コーディングエージェントに、失敗しているテストの修正を頼んだとしよう。作業は1時間続く。

新しい依頼をするたびに、エージェントは過去のやり取りをすべてモデルに送り直す。

読み込んだファイル、出会ったエラー、捨てた計画も、全部だ。この読み直しにはお金も時間もかかる。しかも、いま取り組んでいる作業の質まで下げてしまうことがある。

管理された A/B テストで、ある1つの変更によって入力トークンが91.9%減った。生の会話履歴をやめて、作業の状況をまとめた構造化ステートに置き換え、区切りごとに更新したのだ。

以前のテストでは、ツールのスキーマ(ツールの定義)を必要なときだけ読み込む方法で、92.7%を減らしていた。

どちらも考え方は同じで、いまの作業に要らないものは持ち込まない。2つの数字は近いが、その近さが示すのは、この共通の考え方までだ。

ただし、大事な違いが1つある。ツールのスキーマは、あとで正確に取り寄せられるので、安く手放せる。

会話履歴は取り寄せられない。要約するしかなく、要約すれば細部は失われる。ここが、工夫のいちばん難しいところだ。

この記事のポイント

  • 全履歴では、プロンプトがセッション中ずっと膨らむ。マイルストーン圧縮では、一定の範囲におさまる。
  • 圧縮が役立つのは、決定、捨てた道筋、未解決の失敗という作業の因果の糸を残せたときだけだ。要約が落とした情報は、二度と戻らない。
  • 短いセッションでは全履歴のほうが有利だ。ログの文言そのものに頼るデバッグでも、全履歴が有利になる。

テストで変えたのはコンテキストの扱い方だけだ。モデル、最初の課題、20件の隠しテストケース、オフラインのサンドボックス VM は同じにした。

会話履歴が膨らむとエージェントが遅くなる理由

長い履歴は、ターンごとにコストが増え、エージェントの答えの質も下げる。 ツール呼び出し、ファイルの読み込み、スタックトレース、計画のすべてが、次のプロンプトでまた送られるからだ。

入力トークンは、セッションが進むにつれて急に増える。一方で、いまのステップに関係する部分は、全体の中でどんどん小さくなっていく。

左に、ターンごとに再送される全履歴(ツール呼び出し、ファイル読み取り、スタックトレース、計画)がある。そこから矢印が右の2つの影響に分かれる。上はコスト面だ。過去のトークンごとに attention 状態を保存すればメモリを使い、再計算すれば遅延が増える。履歴が長いほど、どちらの選択も高くつく。下は品質面だ。捨てた仮説、古いコード版、解決済みのエラー、放棄した計画という4種の残りものが、現在の作業とモデルの注意を奪い合う。

図1:肥大化した会話履歴がコストと品質の両方を悪化させる仕組み

コストの面:メモリか待ち時間

コストの一部は機械的に決まる。過去のトークンごとに、サービスを動かす側は、アテンションの状態を保存しておくか、計算し直すかのどちらかを選ぶ。

保存すればメモリを使う。計算し直せば遅れが出る。実運用では、この二択がコストと応答速度の両方を左右する。

詳しくは分離型 LLM サービングにおける KV キャッシュ保持の分析で扱っている。

履歴が長くなると、どちらを選んでも負担は重くなる。

質の面:古い材料が邪魔をする

古い履歴は、いまの課題とモデルの注意を取り合う。困りごとの大半は、次の4種類の残りものから生まれる。

  • 古くなった仮説:すでに否定されたのに、まだ目に入る考え。
  • 古いコードの版:モデルが現在のファイルと取り違えかねない、以前の下書き。
  • 解決済みのエラー:直ったのに、まだ未解決に見える問題。
  • 捨てた計画:行き止まりなのに、エージェントを引き戻そうとする道筋。

その結果、よくある症状が出る。すでに却下した方法をもう一度試す。

1時間前に自分で決めたことと食い違う。20ターン前に直したエラーを、また「直そう」とする。

どんなエージェントにも記憶の方針がある

こうした状態は決まったものではない。履歴の膨らみは設計の選択であり、自然の法則ではない。

エージェントには、誰かが書き出したかどうかにかかわらず、記憶の方針がある。その方針が、何を、どんな形で覚えておくかを決めている。

「すべてを一字一句そのまま残す」もその1つだ。ただ、たいていは最良の方針ではない。

比較の組み立て方

この実験では、1つのことを除いてすべてを固定した。変えたのは、エージェントのこれまでの作業を次に引き継ぐ方法だけだ。

以前のテストで使った管理された手法をそのまま使っている。そのテストは、32個の MCP ツール定義を最初にすべて読み込む場合と、必要なときに取り出す場合のスキーマ税を比べたものだ。

2つのテストは、実務家に人気のエージェント設計パターンを数字で確かめるシリーズの一部にあたる。

次の表は、2つの条件で共通する点と違う点をまとめたものだ。

項目条件 A条件 B
モデル同じ同じ
最初の課題同じコーディング課題同じコーディング課題
評価20件の隠しテストケース20件の隠しテストケース
環境オフラインの隔離サンドボックス VMオフラインの隔離サンドボックス VM
コンテキストの方針生の全履歴を保持構造化ステートを区切りごとに更新

変わるのはコンテキストの方針だけだ。ほかが同じなら、トークン数や結果に差が出たとき、その理由はこの方針にあると考えられる。

設定の各部分は、ノイズの原因を1つずつ取り除いている。

  • オフラインのサンドボックス:ネットワークの遅れや外部ツールの変化が、結果に影響しない。
  • 隠しテスト:エージェントは、見えているチェックに合わせて作業を組み立てられない。
  • 共通の最初の課題:どちらの条件も、同じ最初の状態から同じ問題に向き合う。

A/Bテストの2条件を左右に並べた比較図。左の条件Aは「全履歴累積」で、過去の履歴をそのまま保持して毎回すべて送る。右の条件Bは「マイルストーン構造化ステート圧縮」で、作業を構造化した状態で持ち、マイルストーンごとに更新する。下の帯には両条件で同じにした項目として、同一のモデル、同じコーディングタスク、20件の隠しテストケースによる評価、オフラインの隔離されたサンドボックスVMを示す。変えたのはコンテキスト方針だけなので、トークンや結果の差はその方針の違いを示すと結んでいる。

図2:A/Bテストで変えた条件と固定した条件

共通の手法でわかることと、わからないこと

同じ手法を使うことで、2つの実験は同じ問いを立てられる。タスクの成功率が下がり始めるまでに、入力をどれだけ減らせるのか。

2つの結果はどちらも92%前後だが、測っているものは違う。一方は、最初に読み込むツール定義を減らした。もう一方は、時間とともにたまる会話履歴を減らした。

共通の手法のおかげで、設定どうしは比べやすくなる。だからといって、2つの削減が同じ原因から来るとは限らない。組み合わせたときに足し算になるとも言えない。

マイルストーン構造化ステートに入れるべきもの

圧縮したステートが役に立つのは、エージェントが取り戻せないものをすべて残している場合だけだ。もう一度取り寄せられるものは、残さなくてよい。

ステートには、次の6つを入れる。

  1. 現在の目標と受け入れ基準。
  2. すでに下した決定と、それぞれの理由を一行で。
  3. 現在のファイルとモジュールの構成。
  4. 失敗しているテストと、疑われる原因。
  5. 試して却下した方法と、その理由。
  6. 次に予定している行動。

次の3つは捨ててよい。

  • ツールの生の出力と長いログ。
  • 編集したファイルの以前の版。
  • 調査のための読み込みのうち、結果がすでに決定として記録されているもの。

捨てるかどうかの基準は単純だ。あとで取り戻せるかどうかである。ファイルの現在の中身はディスクにあるので、エージェントは読み直せる。

では、ある方法が失敗した理由はどうか。それはほかのどこにも残っていない。

持っているのはエージェント自身の記録だけだ。だから、その記録は残さなければならない。

左側では中央の「マイルストーン構造化ステート」から、残すべき3つの要素「決定事項(各決定に一行の理由を添える)」「却下した道筋(試して捨てた方法とその理由)」「未解決の失敗(失敗中のテストと推定原因)」へ矢印が伸びている。右側には対照として「単に短くしただけのテキスト」を置き、なぜ決めたか・なぜ捨てたかという作業の因果のつながりが残らないこと、要約で落ちた情報は戻らず、失敗の理由は他のどこにも記録されていないことを注記している。

図3:構造化ステートが保持すべき作業の因果のつながり(出典:記事本文)

スナップショットを取るタイミング

ステートを何を入れて書き直すかと同じくらい、いつ書き直すかが大切になる。毎ターン書き直すと、手間が増え、作業のとちゅうで流れを断ち切ることもある。逆に間隔が長すぎると、履歴がまた積み上がってしまう。

作業の自然な切れ目が、よい区切りになる。

  • テストスイートが通ったとき。
  • 小さな作業が終わったとき。
  • 仮説が裏づけられた、または否定されたとき。
  • 計画が変わったとき。

こうした時点では、エージェントの課題への理解がほぼ固まっている。そこで取ったスナップショットには、考えかけの状態ではなく、まとまった考えが記録される。

要約を書くのは誰か

静かに潜むリスクがある。たいていの場合、エージェントは自分の作業を自分で要約するのだ。その要約に誤りがあれば、あとのステップすべてに引き継がれてしまう。

たとえば、要約に「テスト X は通る」と誤って書かれたとする。この誤りは、ずっとあとになって失敗を引き起こしかねない。そのころには、誤りを暴けたはずの生の履歴は、もう残っていない。

このリスクは、区切りごとにスナップショットを実際のリポジトリと照らし合わせると減らせる。主張のなかには、信じるのではなく、プログラムで確かめられるものがある。

  • ファイル構成:書かれた構成と、実際のファイルを比べる。
  • テストの状態:要約の主張に頼らず、テストを再実行する。

この確認でカバーできるのは、機械が検証できる事実だけだ。書かれた決定の理由が正しいかどうかまでは、確かめられない。

文章を短くすることと、理由を残すこと

圧縮には2種類あり、ここで安全なのは片方だけだ。1つは、単に文章を短くするもの。

もう1つは、理由のつながりを残すものだ。何を決め、なぜそう決め、何を除外したのかが残る。

次の表は、生の履歴がなくなったあとで、それぞれがどう持ちこたえるかを比べたものだ。

短くした文章理由を残した記録
記録の例「パーサーを修正した」パーサーを修正した。最初に方法 X が失敗した
却下した道筋しばしば失われる記録される
再開時のリスクエージェントが X を再び試すかもしれないエージェントは X を飛ばす

却下した道筋は、記録のなかでもっとも役に立つ部分であることが多い。 ところが、単純な要約はそれを落としがちだ。現在のコードを説明するものではなくなっているからである。

91.9%の削減で実際に何が変わったか

マイルストーンステートの設定では、全履歴を累積する場合より入力トークンが91.9%少なかった。この数字そのものより、セッションが長くなるにつれて各設定のプロンプトの大きさがどう変わるかのほうが重要だ。

同僚に毎朝状況を伝える場面を思い浮かべてほしい。1つ目の方法は、プロジェクトのメールをそれまでぜんぶ渡す。

2つ目は、1枚の状況メモと昨日のメッセージだけを渡す。3週目になると、1つ目は読むだけでずっと時間がかかる。2つ目は、ほぼ同じ長さのままだ。

セッションの進行で2つの設定はどう振る舞うか

次の表は、設計上、それぞれの設定が何をするかを比べたものだ。測定された結果は、トークンの削減だけである。

ほかの行は、各設定がプロンプトを組み立てる仕組みから導かれた見込みだ。別々に測ったものではない。

振る舞い全履歴(A)マイルストーンステート(B)
プロンプトの大きさターンごとに増える上限があり、区切りで戻る
ターンごとの遅延の見込みセッション中に増えるほぼ一定
コンテキスト上限に達するリスク長いタスクで高まる低め
入力コストの合計ターン数より速く増えるターン数にほぼ比例する

プロンプトに上限があることは、コストだけの話ではない。プロンプトが膨らまなければ、応答時間も安定しやすいはずだ。長いタスクの途中でコンテキストの上限にぶつかる可能性も、低くなる。

上限が問題になるのは、そこに達したときに起きることのせいだ。タスクが失敗するか、システムが収まるように履歴を切り落とす。

急ぎの単純な切り落としは、たいてい位置で削る。古いターンから先に消すようなやり方だ。

重要かどうかは判断しない。計画的な要約なら、少なくとも大事なものを残そうとする。

タスクが長いほど差が開く理由

コストの行は、簡単な算数で説明できる。全履歴では、50ターン目に、1ターン目から49ターン目までを送り直す。

マイルストーン圧縮では、50ターン目に、コンパクトなステートと、直前の区切り以降に起きたことだけを送る。

そのため全履歴では、入力の合計がターン数より速く増える。新しいターンが増えるたびに、古いターンもすべて運ぶことになる。セッションが長いほど、請求の大きな部分が過去の読み直しに使われる。

  1. 9%の削減は、テストしたセッションの長さを反映した数字だ。もっと短いセッションなら差は小さく、もっと長いセッションなら差は大きくなるだろう。

圧縮しすぎのサイン

トークンを節約しても、エージェントの仕事が悪くなるなら意味がない。生の履歴を捨てると、見分けやすい特有の失敗が起こりうる。

  • バグの再発:セッションの前半で直したエラーが戻ってくる。
  • 制約の見落とし:ユーザーが最初に示した要件を、あとの編集が破ってしまう。
  • ツール呼び出しの繰り返し:同じファイルを読み直したり、同じコマンドをもう一度実行したりする。捨てた情報を、改めて探し直している可能性がある。
  • タスクあたりのターン数の増加:ターンが増えると、1ターンあたりの節約分が食いつぶされかねない。

本当の確認になるのは、20件の隠しテストケースだ。トークンが90%以上減っても合格率が保たれるなら、捨てたものの大半はノイズだったことになる。

合格率が下がるなら、節約の代償は正しさだった。その場合は、ステートの形式に、タスクが必要とした何かが欠けている。

コンテキストがすっきりすれば、古い推測が散らばらない分、モデルが集中しやすくなるのではないか、という見方もある。

ただし、これは仮説であり、確認された結果ではない。成り立つのは、要約が正確で、ステートがすでに却下した方法を記録している場合だけだ。

どちらかが欠ければ、コンテキストは薄くなっただけで、よくなったわけではない。1つの設定で20件のテストケースでは、この問いに決着はつかない。そのためには、多くのタスクでの合格率のデータが要る。

ツールスキーマと会話履歴がどちらも92%前後になる理由

今回の91.9%の削減は、オンデマンドのツール取得で得た92.7%の削減にとても近い。この近さは、数字の偶然ではない。同じ種類のむだを反映している。

ただし、大事な違いが1つある。

2つの数字は別々の測定から出たものなので、厳密に比べられるものとして読んではいけない。共通するのは、その裏にあるパターンだ。

次の表は、2つの問題を並べて比べたものだ。

観点ツールスキーマ会話履歴
削減率92.7%91.9%
プロンプトを膨らませるもの使われないツール定義解決済みの履歴
対策コンパクトな索引と、必要時の検索コンパクトなステートと、参照による取得
内容の性質固定タスクの途中で作られる
圧縮による損失なし。原本を正確に取り寄せられるあり。要約が細部の代わりになる
主なリスク検索がツールを取りこぼす要約が事実を落とす、または歪める

共通するパターン

どちらの場合も、入力の大半は、目の前のステップでモデルがめったに必要としない材料だった。コーヒーを1杯買うだけなのに、財布に1年分のレシートを全部入れて持ち歩くようなものだ。

対策の形も、どちらも同じだった。全部を渡すのをやめて、コンパクトな版に置き換える。そして、細部が本当に必要になる場面のために、詳細を取り戻す手段を残しておく。

2つの違い

違いは、圧縮される中身にある。ツール定義は固定されている。取り戻すときも、元のままの形で取り戻せる。

履歴は違う。タスクが進むにつれて作られ、それぞれの部分が前に起きたことに左右される。要約してしまうと、元の文言はプロンプトから消える。

だから履歴の圧縮のほうがリスクが高く、要約するステップの責任も重くなる。 ツール検索の失敗なら、たいてい再試行で済む。要約の失敗は、気づかないうちにセッションの残りを誤った方向へ導きかねない。

2つの削減は足し合わせられるか

2つの手法は狙っているコストが違うので、理屈の上では併用できる。

  • スキーマの取得:セッションの長さに関係なく、毎ターン払う固定のコストを抑える。
  • マイルストーン圧縮:セッションが進むにつれてたまっていく、増え続けるコストを抑える。

併用すれば、両方のコストを抑えられる。プロンプトのより多くの部分を、タスクにとって大事な内容に使えるようになる。

ただし、この組み合わせは測定されていない。それぞれが狙うプロンプトの部分が違うので、効果が別々のままだと予想するのは筋が通っている。だが、その予想は検証されていない。

では、なぜ両者が影響し合うことがあるのか。特定のツールの名前を挙げた圧縮ステートが、検索を引き起こすことがあるからだ。

生の履歴が残っていれば、その検索は要らなかったかもしれない。削減がきれいに足し合わさるかどうかは、同じ管理の下で組み合わせた A/B 実行をしてはじめてわかる。

全履歴が勝つ場面と、圧縮の失敗への備え

構造化した圧縮が、いつも勝つわけではない。状況によっては、全履歴を残すほうがよい選択になる。

目立つ場面は3つある。

  • 短いセッション:取り除ける履歴が少ないので、要約を書くコストが節約したトークンを上回ることがある。
  • 文面そのものが決め手になるデバッグ:エラーメッセージの文言、行番号、ログの1行に左右されるバグがある。「ハンドラーでの型エラー」という要約では、肝心の細部が捨てられてしまう。
  • 密接につながった推論:あとのステップが以前の詳しい推論に頼るとき、要約はエージェントにまだ必要な微妙な含みを平らにしてしまうことがある。

これらには共通点がある。価値があるのは、そこから導かれた結論ではなく、生の文章そのものにあることだ。

その場合、圧縮はエージェントが必要とするものをちょうど消してしまう。請求書の合計だけを残して、争点が特定の1行の明細にあるようなものだ。

節約の大半を保てる備え

トークン削減の大半を手放さずに、こうしたリスクを下げる備えがいくつかある。次の表に、それぞれの備えと、防ぎたい失敗を挙げる。

備え防げるもの
生の成果物をコンテキストの外に参照付きで保存する正確なログやエラー文の喪失
ユーザーの制約を一字一句そのまま固定する言い換えによる要件のずれ
区切りごとにステートをリポジトリと照合する要約の誤りの持ち越し
繰り返されるツール呼び出しを監視する捨てた情報の再発見
覆された決定にフラグを立てるもとの理由を失った要約

いちばん効くのは1つ目の備えだ。 履歴の圧縮が、ツール取得に近い振る舞いになるからである。

要約は小さいままにする。もとのログや出力はディスクに残す。ステップが正確な文面を必要としたときは、エージェントがそこから取り戻せる。

圧縮が情報を失うものにしていた部分の一部を、必要に応じて取り戻せるわけだ。

作業を進める現実的な順序

長時間動くコーディングエージェントを作る人や調整する人に向けて、この結果から次の順序が考えられる。

  1. 変更する前に測る。 典型的な長いタスクで、ターンごとの入力トークンをグラフにする。曲線が平らなら、圧縮で得られるものは少ない。
  2. ステートのスキーマを書き出す。 目標、理由付きの決定、ファイル構成、失敗しているテスト、却下した方法、次の行動を含める。自由形式の要約は、これより弱い代用品だ。
  3. 意味のある区切りで圧縮を起動する。 テストの通過、小さな作業の完了、計画の変更のほうが、決まったターン数よりも起動の条件としてよい。
  4. 生の成果物を取り戻せるようにしておく。 ログや出力は参照付きで保存し、ユーザーの制約は一字一句そのまま固定する。
  5. 圧縮をオンデマンドのツール取得と組み合わせ、質を追う。 隠しテストの合格率、ターン数、繰り返しの呼び出しをあわせて見る。そうすれば、トークンの節約が質の低下を隠すことはない。

ちょっと立ち止まって

エージェントには、ふだんから「全部覚えているほうが安心だ」と思いがちではないだろうか。この実験が揺さぶるのは、その思い込みだ。全部を持ち歩くことが、かえって判断を鈍らせているのかもしれない。

あなたが使っているツールや、あなた自身の仕事のメモは、何を残し、何を捨てる方針で動いているだろうか。

捨てたものの中に、「なぜその道をやめたのか」という、あとから取り戻せない理由は混ざっていないだろうか。

入力トークンの削減率を比べた横棒グラフ。ツールスキーマのオンデマンド読み込み(全件先読み比)は92.7%、マイルストーン構造化ステート圧縮(全履歴累積比)は91.9%で、どちらも9割を超える。注記によると、2つとも今のステップに要らない入力を外した結果である。ただし別々の測定なので、数値が近いことを厳密な比較として読まないよう添えている。

図5:ツールスキーマと会話履歴の入力トークン削減率(出典:記事本文)

節の要点を示す囲み。要点は「ツールスキーマは正確に取り直せるが、会話履歴は取り直せない」。補足は3行ある。1行目は、ツールスキーマは静的で安く外せ、必要なときに元どおり取り直せること。2行目は、会話履歴はタスク中に作られるため要約で圧縮するしかなく、要約では細部が失われること。3行目は、要約が事実を落としたり歪めたりするおそれがあり、そこが工学的に難しい部分であること。

図6:スキーマは取り直せるが履歴は取り直せない

全履歴とマイルストーン圧縮の使い分けを左右2列で比べた図。左の「全履歴が有利な場面」には、削る履歴が少なく要約のコストが節約分を上回りうる短いセッションと、エラー文・行番号・ログの正確な文言が手がかりになるデバッグを挙げている。右の「マイルストーン圧縮が有利な場面」には、プロンプトの膨張を抑えたい長いセッションと、古い情報の干渉を抑えたい場合を挙げている。下には、要約で落ちた情報は戻らないため、生のログやエラー文を文脈の外に保存して参照で取り出せるようにしておくという注意を添えている。

図7:全履歴とマイルストーン圧縮の使い分け(出典:記事本文)

節の要点を示す図。入力トークンを91.9%削減したことの本質は、プロンプトが伸び続けなくなり一定の範囲に収まることだと述べている。補足として、全履歴(A)ではプロンプトがターンごとに大きくなり続けること、マイルストーン状態(B)では一定の範囲にとどまりチェックポイントでリセットされること、実測値は入力トークンの削減だけで他は設計から見込まれる傾向であることを示している。

図4:91.9%削減が変えたのはプロンプトの伸び方である