チャットボットに質問するたび、AIエージェントに作業を任せるたび、その仕事量は「トークン」という単位で数えられている。トークンとは、AIが文章を処理するときの細かな区切りのことだ。

だから、トークンの使用量を示す公開グラフが伸びなくなると、人は気づく。AIブームが冷めてきた合図だと受け取る人もいる。

問題のグラフは、OpenRouterの公開ランキングに載っているものだ。1 OpenRouterの中継サービスを通ったトークン量を、週ごとに追っている。

長く上がり続けた線が、ここに来て横ばいになった。このページをHacker Newsのスレッドが取り上げた。そこで広まったのが「トークン・マキシング(token-maxxing)は終わった」という、ぶっきらぼうな一言である。

2

すぐに出てくる結論は「AIの需要はもう頭打ちだ」というものだろう。だが、それは間違いかもしれない。一部しか当たっていない可能性もある。

ひとつの集約サービス(アグリゲーター)で線が平らになる理由は、いくつも考えられる。そして理由ごとに、行き着く先が変わってくるのだ。

この記事のポイント

  • OpenRouterが数えるのは、1つの中継サービスを通った分だけ。横ばいでも、AI需要全体のことは見た目ほど分からない。
  • 横ばいは、利用者の減少とも、1人あたりの作業の減少とも読める。同じ作業を少ないトークンで済ませた結果かもしれず、結論はまるで違う。
  • トークンは、進み具合を測る物差しとしては弱い。完了したタスク数や仕事ごとの売上のほうが多くを語るが、まだそろった形で公表されていない。

横ばいのグラフは、実際に何を数えているのか

このグラフが数えているのは、1つの中継サービスを通ったトークンだけだ。横ばいの意味を考える前に、それが誰の利用なのかをはっきりさせておきたい。

OpenRouterは、アプリとモデルの開発元のあいだに立っている。開発者がOpenRouterにリクエストを送ると、OpenRouterがそれをモデルに渡す。

ランキングが集計しているのは、この中継された通信量である。1

つまりこのグラフは、市場の一切れを見ているにすぎない。ここを通らないAI利用は、たくさんある。

  • 企業との直接契約:モデルの開発元から直接買う企業は、中継の層を通らない。
  • 自前で動かすモデル:重みが公開されたモデル(オープンウェイトモデル)を自社の機材で動かすチームは、集約サービスに何も送らない。
  • 各社の一般向けアプリ:ChatGPTやClaudeで会話する人は、その会社自身のサービスを使っている。

だから、ここで線が平らになったというのは、OpenRouter経由で使っている人たちの話だ。AI利用の全体を表しているわけではない。

需要が変わらなくても、集約サービスの量は動く

集約サービスの合計は、誰が使っているかによって変わりうる。AIがどれだけ求められているかとは、別の話なのだ。

有料道路が1本あるとしよう。交通量が減ったのは、新しいバイパスが開通したからかもしれない。車に乗る人が減ったとは限らない。

こんなふうに曲線を曲げる要因が、いくつかある。

  • 無料モデルの登場や終了:無料の提供は大量の通信を呼び込む。だが、提供が終わるとすぐに去っていくことがある。
  • 大口のアプリ1つの移動:大きなサービス1つが、全体のかなりの割合を占めることがある。それが直接接続に切り替えれば、合計は落ちる。
  • 開発元がより良い直接の条件を出す:開発元から直接使うほうが安い、あるいは安定しているとしよう。それなら、中継の層を通す理由は薄れる。

どれも、グラフの上では需要の流れのように見えうる。実際には、どれもサービスを使う顔ぶれの変化である。

1つの数字に隠れた3つの数字

話題の見出しは「トークン量」を1つの数字として扱っている。だが実際には、3つの数字が混ざっている。

下の表は、それぞれが横ばいになったとき何を意味しうるかをまとめたものだ。

指標横ばいが意味しうること指し示す先
総トークン数下のどの理由もありうるそれだけでは不明
リクエスト数利用者の減少、または使う量の減少需要やシェアの変化
1リクエストあたりのトークン数同じ仕事を少ないトークンで効率の向上

総トークン数は、リクエスト数に1リクエストあたりのトークン数をかけたものだ。リクエストが増えても、1回ごとのトークンが減れば、合計は変わらない。

その裏で、実際の利用は伸びていることもあるわけだ。

集約サービス1つの総トークン数のグラフでは、AI需要が落ちているかどうかには答えられない。 答えられるのは、もっと狭い問いだ。このサービスの利用者が、AIの使い方を変えているかどうか。

その問いに対しても、横ばいは判決にはならない。原因がいくつも考えられる、役に立つ手がかりの1つである。

「トークン・マキシング」が流行り、終わるまで

「トークン・マキシング」とは、トークンを多く使うほど進歩しているように見えた時期の呼び名だ。その習慣に筋が通っていたのは、請求の大半を誰か別の人が払っているあいだだけだった。

トークン・マキシングとはどんなものだったか

電気代が他人持ちだからと、家じゅうの明かりをつけっぱなしにするようなものだ。その習慣は、見ればすぐ分かった。

  • 巨大なコンテキスト:AIエージェントの仕組みが、コードのリポジトリをまるごとプロンプト(AIへの指示文)に読み込んでいた。
  • 長い思考過程:モデルが標準の設定で、答えまでの長い思考過程を書き出していた。
  • やり直しの繰り返し:ツールの呼び出しは、うまくいくまで何度でも繰り返された。
  • 量を売り文句に:スタートアップは、トークンの処理量を勢いの証拠として見せていた。処理したトークンを、届けた価値と同じものとして扱うやり方だ。
  • 安いキャンペーン:無料や低価格のモデル提供のおかげで、大量に使ってもほとんどお金がかからなかった。

なぜその習慣が続いたのか

では、なぜ誰も止めなかったのか。主な理由は、トークンを使う本人が全額を払うことがめったになかったからだ。

そのコストを見えにくくしていた要因が、いくつかある。

  • 利用者を取るための低価格:モデルの提供会社や再販業者が価格で競った。そのため、使うことが安く感じられた。
  • ベンチャー資金:出資を受けたスタートアップは、推論(モデルを動かして答えを出す処理)の大きな請求を、成長のための費用とみなせた。
  • 発売時の特典:新しいモデルには無料枠がつくことが多かった。丁寧に使うより、量を使うほうが得をした。

バグ1つを直すのに100万トークンを使っても、安く感じた。使う本人にとっては、実際に安かったからだ。

定額料金と従量の請求がぶつかるとき

会社が、利用者には定額のサブスクリプションを売る。一方で、トークンには使った分だけお金を払う。この形になると、計算が変わってくる。

いちばん熱心な利用者が、会社にいちばん大きな損をさせうるのだ。

食べ放題の店を思い浮かべると分かりやすい。いちばんのファンは、毎回3皿食べる。店にとってはありがたい客だが、来店のたびに赤字になる。

Replitがその一例だ。同社のCEOは、コストを理由にAnthropicとの協力をやめたと語っている。

Replitが売っているのは、コーディング用のAIエージェントだ。コーディングエージェントは、トークンを大量に使いがちである。その利用に最先端モデルの価格を払えば、定額料金を圧迫するたぐいのコストになる。

抜け道は3つ

この立場にある会社の選択肢は、おおまかに3つある。

  1. 1つの作業あたりのトークンを減らす:エージェントの仕組みを作り直す。コンテキストを削り、キャッシュ(一度処理した内容の使い回し)を増やす。
  2. 安いモデルに切り替える:定型の作業を、低価格のモデルやオープンウェイトモデルに回す。
  3. コストを利用者に回す:従量課金、利用の上限、上位プランを取り入れる。

3つとも、トークン量そのものの伸びを鈍らせる。製品が好調であっても、そうなる。

1つめは、トークンを直接減らす。2つめは、通信をOpenRouterのような集約サービスから丸ごと外すかもしれない。あるいは、1トークンあたりずっと安いモデルへ移すかもしれない。

3つめは、利用者に、頼む内容を慎重に選ばせることになる。

横ばいが意味するかもしれないこと

こう読むと、横ばいは、トークン量が「タダで使える価値の代わり」でなくなった時点を示している。トークンは、管理すべきコストになったのだ。

この読み方には、条件が1つある。量が平らになった原因が、企業のお金の使い方が慎重になったことでなければならない。人々がAIを使わなくなったせいなら、話は別だ。

Replitのようなコストの圧力は、前者の説明に合う。ただ、1社の判断だけでは、全体の流れのうちどれだけをそれが占めるのかは分からない。

下の表は、トークンの支払い方によって、この変化が何を意味するかを比べたものだ。

状況この変化が主に意味すること
定額の製品で、コストはトークン単位利益の圧迫。需要が減ったとは限らない
トークンごとに直接払っている本当のコストは最初から見えていた

鍵は需要より「ハーネス」:見えにくい効率の変化

トークンの曲線が平らでも、人々がAIを求めなくなったとは限らない。モデルを取り巻くソフトウェアが、同じ仕事を少ないトークンでこなせるようになってきた可能性もある。

そのソフトウェアの層は、よく「ハーネス」と呼ばれる。モデルに何を見せるか、どのモデルを呼ぶか、いつやり直すか。それを決めるコードのことだ。

なぜそれが大事なのかは、エネルギーとトークンの効率にハーネスが大事な理由で詳しく説明されている。

ハーネスはどうやってトークンを減らすのか

よく使われるハーネスの技法には、1つの作業を終えるのに必要なトークンを減らすものがいくつかある。ただし、そのうち1つには注意書きがつく。

下の表は、それぞれの技法が何を変えるかを示したものだ。

ハーネスの技法変わること
プロンプトキャッシュ繰り返し使う前提情報の料金が下がる
コンテキスト管理履歴を削り、関係するファイルだけ読む
サブエージェント細かな作業を小さく安いモデルに回す
ツール設計の改善失敗ややり直しの繰り返しが減る

注意書きは、キャッシュについてだ。キャッシュが主に減らすのはコストで、トークン数が減るとは限らない。

報告される量が下がるかどうかは、キャッシュしたトークンをプラットフォームがどう数えるかによる。

残りの3つは、送るトークンそのものを本当に減らす。空いている部屋の明かりを消して、電気代を下げる家庭があるとしよう。

家族の暮らしぶりは何も変わらない。メーターの回り方が、ゆっくりになるだけだ。

だから、あるチームが機能を次々に出しながら、1つあたりのトークンを減らすこともありうる。トークンの管理画面の上では、それが横ばいの線に見えるかもしれない。

逆向きに引っぱる力

ここで、推論モデル(答える前に考える過程を生成するモデル)が話をややこしくする。推論モデルは答える前に、表に出ない「思考」のトークンを生成する。そのトークンも量に加わるのだ。

つまり、ハーネスによる節約は、推論による増加を打ち消しているだけかもしれない。その場合、平らな線は2つの力がつり合った結果だ。どちらかが止まったことを示すものにはならない。

どちらの力が勝つかは、おそらく仕事の種類によって違う。以下は筋の通った推測であって、測った結果ではない。

  • コーディングエージェント:おそらく軽くなっている。ハーネスがもっとも発達しており、開発者がコストを直接感じるからだ。
  • 調査・分析:おそらく重くなっている。長い思考や幅広い情報検索がいちばん役に立つ分野で、答えが大事なら利用者もコストを受け入れる。
  • チャットや話し相手のアプリ:その中間。価格に敏感で、安いモデルに移るかもしれない。そうなると量はモデル間で移るだけで、利用の合計は減らない。

3つの筋書きを見分けるには

役に立つ問いは、トークン量と一緒にほかに何が動いているか、だ。パターンごとに、指し示す説明が違ってくる。

  • 品質と完了したタスクが増え、量は横ばい:横ばいは主に効率の話だ。
  • 利用者、セッション、始まったタスクも横ばい:需要の弱まりが原因である可能性が高い。
  • 1リクエストあたりのトークンが増え、リクエストは減る:重くなった思考が、利用者の減少を覆い隠しているのかもしれない。

外からでは、この見分け方は途中までしか使えない。公開ランキングが示すのは、モデルごとのトークン量だ。タスクが完了したかどうかは示していない。

1つの組織の中でなら、全部を確かめられる。リクエスト数、タスクの結果、1タスクあたりのトークン数は、たいていすでに記録されているからだ。

物差しとしてのトークン数はどうなるか

効率が本当に見えない変数なら、トークンの合計は、AI普及の物差しとして弱くなる。いちばんうまく運用されているシステムほど、自分のトークン数を減らそうと必死に取り組んでいることになる。

これは、まだ仮説だ。公開データはこの説に合う。だが、需要が鈍っているという説にも合ってしまう。

2つを見分けるには、タスクの完了や利用状況のデータが要る。ランキングは、それを出していない。

全体の減速か、通り道が変わっただけか

集約サービス1つで曲線が平らでも、AI利用全体の伸びが止まったとは限らない。通信が、集約サービスからは見えない場所へ移っているだけかもしれない。

ほかの数字は、逆の方向を指している。Anthropicは、IPO(新規株式公開)前の四半期に168億ドルの売上を報告した。3

これはAI開発企業1社の数字で、売上とトークン量は別物だ。それでも、市場の上のほうで有料の需要が力強く伸びていることは分かる。

では、両方が同時に成り立つのはなぜか。当てはまる説明は3つある。2つ以上が同時に働いていることもありうる。

通信が向かいうる3つの行き先

手元のデータで証明されたものは、どれもない。ただ、それぞれ予測することが違うので、確かめることはできる。

  • 卒業:成長したスタートアップは、集約サービスを離れるかもしれない。AI開発企業と直接契約すれば、大口割引、処理能力の確保、データの扱いの取り決め、専任のサポートが得られ、中継の層では太刀打ちしにくい。そうなれば集約サービスは、顧客が大きくなったちょうどそのときに、いちばんの大口を失う。
  • 自前運用:オープンウェイトモデルは、多くの定型作業には十分な性能になった。分類や要約をするコスト重視のチームなら、自前のGPUで動かせる。その通信は、第三者のどの集計からも消える。
  • 売上の集中:AI開発企業は、少数の高額な企業向けの仕事から、高い1トークン単価で多く稼いでいるのかもしれない。顧客が高いモデルや上位の契約に移れば、売上はトークン量よりずっと速く伸びうる。

4つめの可能性もある。本当の飽和、つまり需要がただ伸びなくなった場合だ。

それぞれの説明なら、何が見えるはずか

下の表は、それぞれの説明が予測することを並べたものだ。探すべき兆しであって、出典にある調査結果ではない。

説明探すべき兆し通信の行き先
卒業大型アプリの集約サービス比率が下がるAI開発企業との直接契約
自前運用オープンウェイトのDLやGPU貸出が増える自前のインフラ
売上の集中開発企業の売上が見える量より伸びるどこにも行かず、単価が上がった
本当の飽和集約・開発企業・クラウドがそろって横ばい止まった

二極化した市場、ただし条件つき

これまでのデータは、一様な減速より、二極化した市場のほうによく合う。高価な仕事は伸び続け、お金もよく払われる。

一方、価格に敏感な「ロングテール」(数は多いが1件ずつは小さい利用者層)はどうか。コストを削るか、まとまっていくか、集約サービスを離れていく。

この読み方が成り立つのは、AI開発企業の売上が伸び続け、集約サービスの量が横ばいのあいだだけだ。 この先の四半期で開発企業の売上も止まれば、飽和のほうがありそうな説明になる。

二極化は、事業によって影響の出方が違う。企業向けに売る会社にとって、市場の上のほうはまだ健全に見える。

ロングテール向けの会社は、事情が違う。

趣味の利用者、小さな開発者、一般向けチャットアプリといった顧客こそ、いちばん強くコストを削っているからだ。そこでの成長は、トークンを多く売ることより、1トークンでできることを増やすことから生まれるだろう。

市場全体を映す管理画面は、1つもない。以下の情報源は、それぞれ別の一切れを見ている。

  • 集約サービスのデータ
  • AI開発企業の売上
  • クラウド事業者が公表する推論の情報
  • オープンウェイトモデルのダウンロード傾向

すべてを合わせて、ようやく本当の形がうっすらと見えてくる。

トークンがものさしとして合わなくなるとき、次に見るべきもの

平らなグラフは、そもそも測る対象がずれているのかもしれない。AIの使われ方を時期ごとに比べる単位として、トークンは使いにくくなりつつある。

家計の食費を、買った食材の重さで判断するところを想像してみよう。値段が変わり、買う品も変われば、重さを見ても使ったお金はほとんど分からない。

トークンも、これと同じことになり始めている。

1トークンが、もう同じ1トークンではない理由

トークンを時期ごと、提供元ごとに比べにくくしている理由は3つある。

  • 1トークンあたりの価格が下がってきた:同じ量の仕事でも、以前より安く済むことがある。
  • キャッシュされたトークンは割引料金になる:キャッシュは、一度読み込んだ内容を使い回す仕組みだ。そのため、同じ長さのリクエストでも料金が大きく違うことがある。
  • 推論トークンの扱いが提供元ごとに違う:推論トークンは、AIが答える前に考える段階で使うトークンのこと。見えるものも隠れているものもある。出力として課金されるものもあれば、要約されるものもある。

つまり、トークン数が平らでも、裏にあるお金の動きはまったく違うかもしれない。

量が横ばいのまま価格が下がれば、支出は減る。量が横ばいでも、利用が推論モデルへ移っていれば、支出は増えるかもしれない。

同じグラフから、お金について正反対の読み方ができてしまうのだ。

仕事そのものを追う単位

使われた量の多さより、出てきた結果を追う測り方もある。

  • 完了したタスク:AIエージェントは、頼まれたことをやり終えたか。
  • 採用されたコード変更:出てきたコードを、人が取り込んだ(マージした)か。
  • 作業あたりの売上:顧客はその結果にいくら払ったか。

ただ、どれも業界ではまだ足並みをそろえて報告されていない。そうなるまでは、どんな数字も1つだけでは状況と合わせて読む必要がある。

注目したい手がかり

この頭打ちは一時停止なのか、ピークなのか、それとも仕切り直しなのか。見分ける手がかりはいくつかあるが、どれも1つだけでは決め手にならない。

それぞれ、ほかの手がかりと並べて読む必要がある。

  1. リクエストあたりのトークン数と、リクエスト数。 この2つは別々に追う。リクエスト数が変わらず1回あたりのトークンが減っていれば、効率が上がっているしるしだ。リクエスト数が減っているなら、ユーザーが離れたのかもしれない。ただ、エージェントのセッションが少なく長くなっただけ、という可能性もある。
  2. 価格帯ごとのモデルのシェア。 アグリゲーターのランキングで、最先端モデルと低価格モデルのあいだのシェアの動きを見る。低価格帯への移動は、コストへの圧力と合っている。とはいえ、それだけで需要が安定しているとは言えない。
  3. コーディングエージェントの料金。 定額のサブスクリプションから従量課金に切り替える会社が増えれば、利益が圧迫されているという見方と矛盾しない。
  4. AI開発企業の売上の伸びと、アグリゲーターの利用量の伸び。 この差が広がれば、大口ユーザーがアグリゲーターを離れて直接契約に移っている、という見方に当てはまる。両方がそろって頭打ちになるなら、需要の飽和で説明するほうが自然だ。
  5. トラフィックに占める推論モデルの割合。 推論モデルはトークンを多く使いがちだ。その割合が上がっても全体量が横ばいなら、何か別の要因がトークンの使用を減らしている。ハーネス(モデルを動かす周りの仕組み)の効率化は候補の1つだが、まだ確かめる必要がある。

大まかな見分け方は単純だ。頭打ちの理由が効率化なら、これらの手がかりには「1トークンあたりの成果が増えている」様子が出るはずだ。

需要が飽和しているなら、どの手がかりもそろって平らになるだろう。

立場によって変わる読み方

同じ頭打ちでも、AIにお金を払う側か売る側かで、意味は変わってくる。下の表は、立場ごとに最もありそうな読み方をまとめたものだ。

あくまで読み方の目安で、確かなことは言えない。

立場ありそうな読み方意味すること
最先端モデルを使う定額制の製品利益への圧力トークン代が大きなリスク
従量課金で使う開発者効率化と値下がりコストは下がっているかも
企業の購入担当市場の上位はまだ成長中頭打ちより契約条件が大事
ロングテールや一般向けアプリ最適化と振り分け先の変更1トークンあたりの仕事量が強み
ダッシュボードを読む投資家市場が分かれている1つの画面では足りない

はっきりした数字はどこから得られるか

自分たちの答えを出したいチームは、まずいくつかの点を確かめられる。

  1. 完了したタスクあたりのトークン数。 この1つの数字で、同じシステムの中で起きているのが効率化か衰えかを見分けられる。総トークン数では、それができない。
  2. モデル選びの前に、ハーネスの設定。 キャッシュの活用、文脈の削り込み、サブエージェントへの仕事の振り分け。これらのほうが、安いモデルへの乗り換えより節約できることもある。
  3. ヘビーユーザーに照らした定額料金。 ごく一部のユーザーだけで、最先端モデルの料金では利益が消えてしまうことがある。その問題は、請求書に出るより先にここで見えてくる。
  4. 市場についての主張は、複数の出典で。 アグリゲーターのランキング、AI開発企業の売上、オープンウェイト(中身の重みが公開されたモデル)の動き。それぞれが、市場の別の一部を映している。
  5. 社内で報告する成果の指標を1つ。 完了したタスクや採用された変更は、トークン数より長く役に立ち続けそうだ。

ちょっと立ち止まって

しばらくのあいだ、トークン数が増えることは、何かがうまくいっている証拠のように感じられた。文脈を増やし、推論を増やし、やり直しを増やす。大きいほど良いように見えていた。

ただ、1つのプラットフォームで線が平らになっても、利用が伸びなくなった理由までは分からない。OpenRouterは、こうしたモデルの使われ方をのぞく窓の1つにすぎない。

需要がピークを迎えたのか。それとも、少ないトークンでより多くをこなせるようになっただけなのか。グラフだけでは見分けられない。

それでも、この頭打ちを見ると、もっともな問いが浮かぶ。増え続けるトークン数は、そもそも本当に気にしていたものを測っていたのだろうか。

2つの数字がそろって伸びているあいだは、使った量と成し遂げたことを、つい同じものと見てしまいやすい。

こうした道具を使う、あなた自身の仕事を思い浮かべてみてほしい。最近のタスクのうち、使ったトークンを本当に全部必要としたものはどれだろうか。

そして、もしトークンを数えなくなったら、あなたは代わりに何を測るだろうか。

脚注

  1. OpenRouter, “Rankings,” https://openrouter.ai/rankings ↩ ↩2

  2. Hacker News discussion of the OpenRouter rankings, https://news.ycombinator.com/item?id=50159464 ↩

  3. Anthropicの売上に関する記事, /posts/anthropic-revenue-hits-16-8-billion-in-quarter-before-ipo/ ↩