チャットボットに質問すると、その言葉は何枚も重なった「層」を通り抜けてから答えになって出てくる。

中で何が起きているかの説明は、たいてい部品の話で終わる。モデルのどの部分がどの仕事を受け持つのか、という話だ。

新しい研究は、別の問いを立てた。層が働く「順番」そのものに意味はあるのだろうか。

答えしだいで、研究者がAIの動きを説明したり、不具合を直したりするやり方が変わってくる。ひょっとすると、速くする方法も変わるかもしれない。いまや多くの人が仕事で使っているAIツールの話だ。

この記事のポイント

  • 著者らは1つのトークン(モデルが扱う言葉の単位)が層を通る様子を追った。内部の状態の変化を、測れる「道筋」として扱っている。
  • Qwen、Llama、Gemmaのモデルで、本来の層の順番は道筋をまっすぐにした。始点と終点が同じまま順番を入れ替えたものより、2点を結ぶ直線に1.60〜2.24倍よくそろっていた。1
  • 層の順番が実際に役割を果たしていることは示された。ただ、モデルが「段階を追って推論している」とまでは言えず、実用面はまだ試されていない。

モデルの中を見る2つの方法

これまでの研究は、主に「どこで」処理が起きるかを問うてきた。この研究が問うのは、1つの答えが時間の流れの中でどう組み上がっていくか、だ。

ふつうのやり方は「メカニスティック解釈可能性(mechanistic interpretability)」と呼ばれる。

特定の能力を担う部品を探す方法だ。たとえば個々のニューロン、アテンションヘッド(どこに注目するかを決める仕組み)、回路などである。

これは役に立つ。ただ、描き出すのは固定された配置で、いわば部品表のようなものだ。

部品表からは、物事がどの順番で起きるのかは分からない。その順番に意味があるのかどうかも見えない。

著者らはこう書いている。こうした研究は「機能をパラメーターやアテンションヘッド、ニューロンに位置づけるが、それらの部品は1回の推論がどう展開するかを特定しない」1。

著者らのやり方は違う。「順番どおりに並んだ層の状態の軌跡を、実際に観測できる過程として」扱う。そのうえで「層の順番が、測定可能な計算を定めているかどうか」を確かめた1。

下の表は、2つの見方で見えるもの、見えないものを比べたものだ。

部品の見方過程の見方
調べるもの1つの部品や方向1語が層を通る道筋
よくある問いこの部品を外すと何が壊れるか手順の順番が結果を形づくるか
得意なこと特定の部品が振る舞いの原因だと示すモデルを1回通る全体を描く
見落とすこと部品が層をまたいでどうつながるかどの部品がその曲がり角を生むか

どちらかがもう一方に取って代わるわけではない。部品の見方が強いのは、振る舞いが少数のはっきりした場所に宿っているときだ。

過程の見方が強いのは、別の場面である。手順が積み上がるのか、打ち消し合うのか、さまようのかを問いたいときだ。

モデルの内部を見る2つの見方を4つの観点で比べた表。部品を見る見方(機械論的解釈可能性)は1つの部品や方向を調べ、「この部品を除くと何が壊れるか」を問う。特定の部品が振る舞いを生むと示すのが得意だが、部品が層をまたいでどうつながるかは見落とす。過程を見る見方(層の状態の軌跡)は1語が層を通る道筋を調べ、「処理の順序が結果を左右するか」を問う。モデルを通る1回の処理全体を描くのが得意だが、どの部品がその変化を起こすかは見落とす。表の下には「どちらの見方も、もう一方の代わりにはならない」と書かれている。

図1:部品を見る見方と過程を見る見方の違い(出典:論文1の記述に基づく記事本文の対比表)

道筋をどう測るか

方法はあえて単純にしてある。モデルの本当の道筋を、始点と終点が同じで途中の順番だけを入れ替えたコピーと比べるのだ。

単語がモデルに入る始点と、出力を選ぶ最終状態である終点を、端点弦(endpoint chord)と呼ぶ直線で結んだ図。始点と終点が同じ2本の経路を描いている。実際の層の順序をたどる経路は、層の状態を表す点を通りながら端点弦のすぐそばを進む。同じ層の状態の順番だけを入れ替えた経路は、弦の上側へ大きくふくらんでから下側へ回り込み、弦から大きく外れる。下の注記は、チャード整列(chord alignment)が経路と端点弦の近さを1つの数値で表すものであり、2本の経路の差は順序だけから生じることを説明している。

図2:端点弦と、層の順序を入れ替えた経路との比較(出典:記事で引用した研究の手法説明)

始点と終点を結ぶ直線

ある語の道筋は、モデルに入ったところで始まる。終わるのは、モデルが出力を選ぶときに使う最後の状態だ。

この2点を直線で結んでみる。著者らはこれを「終点弦(endpoint chord)」と呼ぶ。

目的地へまっすぐ向かう道筋は、この直線の近くにとどまる。寄り道の多い道筋は、直線から離れていく。「弦への整列度(chord alignment)」は、これを1つの数字にまとめたものだ。

順番を入れ替えるテスト

通勤を思い浮かべてみよう。家も会社も、立ち寄る場所も同じまま、寄る順番だけをでたらめにする。

本当の経路が、でたらめな経路よりずっとまっすぐだったとしよう。それなら、立ち寄る順番が役割を果たしていることになる。

研究では、これと同じテストをモデルに対して行った。

  1. ある語について、層ごとの状態の本当の並びを記録する。
  2. 同じ状態、同じ始点と終点を使い、途中の手順だけ順番を変えた道筋を作る。
  3. 本当の道筋と入れ替えた道筋が、それぞれどれだけ直線に沿っているかを比べる。

どちらも終点と手順は共通している。だから両者に差が出るなら、その原因は順番しかありえない。

1つの数字で得るもの、失うもの

道筋全体を1つの数字にまとめると、代わりに失うものもある。

  • 得るもの:モデルどうしを比べやすい。ノイズにもあまり左右されない。
  • 失うもの:道筋の形がならされてしまう。どれだけ急に曲がるか、どれだけ速く進むか、どこで向きを変えるかも見えなくなる。

順番に意味が「あるかどうか」を示すなら、1つの数字で足りる。「どこで」「どのように」意味を持つのかを突き止めるには、もっと細かい測り方が必要になるだろう。

画像生成モデルの似た発想

画像生成モデルには、すでに似た考え方がある。FlowBudgetが示したのは、フローマッチング型モデルが学んだ動きの形から分かることだ。

サンプラー(画像を少しずつ作っていく手順)が本当に何ステップ必要かが、再学習なしで分かるという。

今回の研究も、トランスフォーマーの層を同じように読む。別々の箱の集まりとして見ずに、ひと続きの道筋として読むのだ。

ただし、大きな違いが1つある。下の表は、2種類のモデルを比べたものだ。

フローマッチング型トランスフォーマー
道筋をたどるよう訓練されているかはい、設計上そうなっているいいえ
整った道筋は意外かいいえはい

だからこそ、トランスフォーマーで整った道筋が見つかったことは、本物の発見と言える。

1.60〜2.24倍という結果の意味

試したどのモデル系統でも、本来の層の順番は、入れ替えたときよりはっきりまっすぐな道筋を生んだ。どれだけまっすぐになるかは、モデルによって違った。

対象は、Qwen、Llama、Gemmaの代表的なチェックポイント(保存されたモデルの状態)だ。著者らはこう報告している。

「本来の順番による道筋は、終点を保ったまま入れ替えたものに比べ、終点弦に1.60〜2.24倍よくそろっていた」1。

数字の読み方は次のとおりだ。

比率意味すること
約1.0順番は関係なく、手順が足し合わさるだけ
1.60(観測の最小)順番が道筋にはっきり向きを与える
2.24(観測の最大)各手順が前の手順に強く積み上がる

比率が2に近いなら、手順は打ち消し合わずに積み上がっている。並び順そのものが仕事をしているのである。

共通の性質か、モデルごとのくせか

この結果には2通りの読み方がある。どちらにも一理ある。

読み方根拠説明できること
学習済みトランスフォーマーに共通別々に学習された3系統で見られた順番に意味が「ある」こと
モデルごとに違う範囲の上端は下端より約40%高い順番が「どれだけ」大事か

モデルのあいだで何かが違っている。ただ、それが何なのかは、この研究では調べていない。有力な候補はこうだ。

  • 大きさと深さ:モデルの規模と、層の数。
  • 正規化:各層の値を、どこでどのように調整し直すか。
  • 学習:データの組み合わせと、学習した期間。
  • 設計の細部:語の位置をどう扱うか、アテンションをどう組んでいるか。

たとえば深さだけが違うモデルのように、1点だけ異なるモデルどうしを比べてみる。そうすれば、原因を絞り込めるかもしれない。

この結果が示していないこと

この発見は、大げさに受け取られやすい。道筋がまっすぐだと分かっても、言えるのは順番が一貫しているということまでだ。計算の中身が何なのかは分からない。

スコアが高くても、次のことは示されていない。

  • モデルが「段階を追って推論している」こと
  • 各層が、意味の処理をきれいに1段階ずつ受け持っていること
  • 道筋のどの部分が、最も順番に左右されるか

小さな調整がたくさん重なっても、なめらかでまっすぐな道筋はできる。いくつかのはっきりした段階があっても、同じようになりうる。この1つの数字では、両者を見分けられないのだ。

今回の結果が示すことと示さないことを2列で比べた図。左の「示すこと」には、層の順序が実際に働きを持つこと、実際の層の順序はシャッフルした順序よりチャード整列が明確に高いこと、経路の順序が一貫していることが並ぶ。右の「示さないこと」には、モデルが段階的に推論していること、各層が意味の段階を1つずつ担うこと、経路のどの部分が順序に最も依存するか、そして説明・デバッグ・高速化などの実用がまだ検証されていないことが並ぶ。

図4:今回の結果が示すことと示さないこと

これまでの知見との関係

この結果は、ほかの道具で示されてきたことと合っている。新しい指標はそうした手がかりをまとめるもので、置き換えるわけではない。

下の表は、以前の観察と今回の結果のつながりを整理したものだ。

以前の観察どうつながるか
途中の層から読み出すと、予測が層ごとに固まっていく最終状態へ着実に進む動きと合う
中間層は、最初や最後の層より入れ替えに強いらしい両端で順番が最も大事だと示唆。1つの数字では確認できない

形と働きを結びつけるには

道筋の形に意味があると示すには、別の実験が要る。道筋を変えてみて、出力がどうなるかを見る実験だ。たとえば次のような設計が考えられる。

  1. ある層で、語の道筋をわざとずらす。
  2. 順番が大きく関わる区間と、あまり関わらない区間に、同じ大きさのずれを加える。
  3. それぞれのずれで、出力がどれだけ変わるかを比べる。

順番が大きく関わる区間でのずれのほうが、出力を大きく崩したとする。そうなれば、道筋の形はモデルの働きと結びついていることになる。

使い道になりそうなこと

モデル内部の道筋に測れる向きがあるなら、その向きを役立てられるかもしれない。以下の案はどれもまだ仮説で、それぞれに危うさもある。

使い道期待できること主なリスク
早めに打ち切る道筋が落ち着いたら後ろの層を省く後ろの層が小さくても決定的な修正をしているかもしれない
変わった入力を見つけるもつれた道筋が、紛らわしい入力や珍しい入力の目印になる誤報。難しい入力は、もっともな理由でさまようこともある
回路の主張を確かめるある回路が本筋を説明するのか、脇道なのかを試す測定の手間が増える

早めの打ち切りが割に合うのは、節約できる分が、まれに起きる品質の低下を上回るときだけだ。打ち切りの判断基準も、実際の出力と照らして確かめる必要がある。

入力の目印は、それだけでふるい分けに使うと危うい。いくつかある信号の1つとして使うのがいちばんだろう。

この研究がどこまで広がるかは、いくつかの未解決の問いにかかっている。

  • 学習の途中:まっすぐさは早い段階で現れるのか。能力が身につくにつれて鋭くなるのか。過学習(学習データに合わせすぎること)で薄れるのか。
  • 入力ごとの違い:語の種類、タスク、プロンプトの難しさで変わるのか。
  • もっと細かい形:曲がり方、速さ、向きを変える点を見れば、1つの数字に隠れた段階が見えてくるのか。

筆者の見立て

この研究の強みは、比べる相手の選び方にある。本当の道筋を、終点が同じで順番だけを入れ替えたものと比べた。

これで、いちばん思いつきやすい別の説明を取り除ける。調べたいただ1つのこと、つまり順番だけを取り出せるのだ。

ただし、結果は聞こえるより狭い。筆者なりに整理すると、こうなる。

  • 示されたこと:3つのモデル系統で、層の並び順がトークンの道筋をよりまっすぐにしている。
  • 示されていないこと:層が何を計算しているのか。
  • まだ言えないこと:実用的な道具の裏付けになるかどうか。

次の一手として最も役に立ちそうなのは、介入のテストだろう。道筋を変えて、出力が悪くなるかを見るのだ。それがないままでは、道筋の幾何学はどれほどきれいでも、記述にとどまる。

ちょっと立ち止まって

AIモデルを、大きな対応表のように思い描くのは簡単だ。質問を入れれば答えが出てくる、というイメージである。この研究は、その思い込みを揺さぶる。

試したモデルでは、内部の手順の順番が、答えまでの道のりを測れるほど形づくっていた。誰もモデルに、道のりをたどるよう教えていないのに、である。

あなたがAIの答えを信じたり疑ったりするとき、見ているのは出てきた答えだけだろうか。それとも、そこにたどり着くまでの道のりも見ているだろうか。

そして自分の仕事でも、部品ばかり調べて、それが動く順番を見落としている場面はないだろうか。

この節の要点をまとめた図。Qwen、Llama、Gemmaの代表的なチェックポイントでは、実際の層順序でたどった経路が、始点と終点を固定して層の順序を入れ替えた経路より1.60〜2.24倍、端点弦にそろっていた。比が1.0なら順序は関係ないことになるので、この結果は層の順序そのものが経路の向きを決めていることを示す。モデルごとの値は示されておらず、範囲だけを載せている。

図3:実際の層順序は入れ替えた場合より1.60〜2.24倍、端点弦にそろう(出典:記事で引用された研究論文)

脚注

  1. arXiv:2610.26866, “High-dimensional layer-state trajectories reveal the internal dynamics of transformer inference” ↩ ↩2 ↩3 ↩4 ↩5