同じモデルでもエネルギーは数倍違う AIの効率を決める「ハーネス」とは
AIの効率といえば、話題はたいていモデルに集まる。アーキテクチャ、量子化の方式、アクセラレーターの世代が議論になる。どれも大事だ。ただ、システムが1つの仕事を終えるまでに起きることのうち、これらが説明するのは一部にすぎない。デプロイされたモデルのまわりには、コードの層がある。モデルに何を見せるか、何回呼び出すか、いつ仕事が終わったとみなすかを決める層だ。これがハーネスである。次のような役目を担う。ハーネスは、生成されるトークンの数と、推論の呼び出し回数を決める。