ブラックボックス・パラドックス：モデル性能が理解を超える場合

  • 主張：* ブラックボックス大規模言語モデルの知識蒸留は、プロプライエタリなシステムを大規模に展開する組織にとって運用上の必要性となっています。しかし内部モデルへのアクセス欠如—重み、活性化、中間表現—は知識転移メカニズムを根本的に制約します。従来の蒸留では重み空間の類似性を最適化していましたが、ブラックボックスシナリオでは入出力ペアのみから行動推論を行う必要があり、異なる技術的および認識論的課題をもたらします。

定義的前提条件

ブラックボックス蒸留は明示的な定義を要する特定の制約下で動作します。ブラックボックスモデルとは、実務者がAPIまたは類似インターフェースを通じた入出力行動へのアクセスのみを持ち、モデルアーキテクチャ、パラメータ、訓練データ、中間計算への可視性がないものです。これはホワイトボックス蒸留と対照的です。ホワイトボックス蒸留では教師モデルの内部（活性化、勾配、重み行列）が検査と最適化目標に直接アクセス可能です。

知識蒸留は古典的定式化（Hinton et al., 2015）において、高容量教師から低容量学生への学習表現の転移を、教師出力に対する教師あり学習を通じて実現します。従来のアプローチは教師ロジットまたは隠れ層活性化へのアクセスを活用し、教師と学生の表現間の乖離を最小化する損失関数を構築します。ブラックボックスシナリオはこの選択肢を排除し、知識抽出のための代替メカニズムを要求します。

運用上の駆動要因と制約

ブラックボックス蒸留を現代的展開で動機づける3つの主要な制約があります。

  • 1. 計算コストとスケーラビリティ* プロプライエタリ大規模言語モデル（GPT-4、Claude、Gemini）はトークンあたりまたはリクエストあたりの価格設定モデルで動作します。月間数百万リクエストを処理する組織は推論量に対する線形コストスケーリングに直面します。月間1000万回のAPI呼び出しを実行する企業が1000トークンあたり0.03ドル（2024年時点のGPT-4概算価格）で請求される場合、実質的な継続的支出が発生します。蒸留された学生モデルをコモディティハードウェアに展開すると、推論コストは限界的運用支出（電力、インフラストラクチャ保守）に削減され、学生性能が教師に対して適度に低下する場合でも蒸留の経済的インセンティブが生じます。

  • 2. ベンダー依存性と契約上のリスク* プロプライエタリAPIへの依存は契約上および運用上のリスクをもたらします。価格変更、アクセス制限、サービス中止、利用規約の変更は本番システムを中断させる可能性があります。ベンダーがコストを引き上げたりアクセスを制限した場合、組織は機能を移行できません。蒸留されたモデルは一度訓練されると組織の管理下に留まり、この依存ベクトルを排除します。

  • 3. デプロイメントとデータガバナンスの制約* 多くのアプリケーションはデータ感度、規制要件（HIPAA、GDPR、業界固有の規制）、またはレイテンシ制約のため、オンプレミスまたはエアギャップデプロイメントを要求します。プロプライエタリAPIはこれらの要件を満たすことができません。蒸留されたモデルは制限された環境でのデプロイメントを可能にしながら、プロプライエタリ教師から学習した行動機能を保持します。

認識論的転換：表現マッチングから行動推論へ

従来のホワイトボックス蒸留は表現マッチングを通じて動作します—学生の隠れ状態を層全体で教師の隠れ状態と整列させ、活性化空間での乖離を最小化します。これは中間計算の直接的な観測可能性を仮定します。

ブラックボックス蒸留はこのアプローチを反転させます。中間表現にアクセスできないため、知識転移は行動推論を通じて発生する必要があります—入出力パターンを観察し、学生をそれらのパターンを複製するよう訓練します。学生は教師の内部表現が何であるかを学ぶのではなく、それらの表現から生じる行動出力を学びます。

この区別は単なる技術的なものではなく、根本的な認識論的制約を反映しています。ホワイトボックスシナリオでは、蒸留プロセスは教師の「推論」（活性化にエンコードされた）に直接アクセスします。ブラックボックスシナリオでは、推論は出力のみから推測される必要があります。学生は教師の意思決定プロセスを直接観察することはできません—その結果のみです。

情報非対称性の技術的含意

ブラックボックス蒸留は情報非対称性下で動作します。学生は教師の知識の投影（その出力）のみを観察し、完全な知識表現ではなく。これは特定の技術的課題を生じさせます。

  1. 出力のみの最適化：損失関数は出力乖離のみから構築される必要があります（例：ロジット間のKLダイバージェンス、トークンレベルの精度、意味的類似性）。教師活性化からの直接的な勾配信号は利用できません。

  2. 推論パターンの推測：学生は観察された出力を生成した推論パターンを推測する必要があります。複数の異なる推論プロセスが同一の出力を生成する可能性があり、識別不可能性を生じさせます。学生は追加情報なしにそれらを区別できません。

  3. クエリ効率：各教師クエリはリソースを消費します（APIコスト、レート制限、レイテンシ）。蒸留はクエリあたりの情報利得を最大化する必要があり、網羅的カバレッジではなく訓練例の戦略的選択を要求します。

  4. 機構的理解なしの行動整列：学生は教師の内部メカニズムを必ずしも学ぶことなく出力を複製することを学びます。これは機能転移を可能にしますが、教師の推論の解釈可能性または機構的理解を可能にしないかもしれません。

適用範囲

本分析は以下のシナリオに対応します。（a）教師モデルはプロプライエタリであり、APIまたは類似ブラックボックスインターフェースを通じてアクセスされる。（b）目標は教師の行動を複製する小さな学生モデルを訓練することである。（c）教師の重み、アーキテクチャ、訓練手順へのアクセスは利用できない。（d）学生モデルアーキテクチャは実務者の管理下にある。これはホワイトボックスアクセス、フェデレーション学習、またはモデル抽出攻撃（敵対的仮定下で動作する）を含むシナリオを除外します。

クエリベース蒸留：相互作用を通じた学習

モデル内部への直接アクセスなしで、ブラックボックスシステムからの知識抽出はクエリ設計とそれらのクエリが引き出す情報信号に完全に依存します。クエリの構成、多様性、順序付けは学生モデルに転移できる知識を根本的に制約します。このプロセスは受動的なデータ収集ではなく、能動的な知識引き出しを構成します。

  • 中核的主張：* クエリ設計はブラックボックス設定での蒸留有効性を決定する主要な制御可能変数を表し、クエリ予算が有限でありAPIコストが無視できないという制約に従います。

ベースラインクエリ戦略

標準的なアプローチは既存データセットをクエリソースとして採用します。同一のプロンプトが教師と学生の両方に提出され、蒸留目標は出力乖離を最小化します。このアプローチは再現性とコスト予測可能性を提供しますが、重大な制限を示します。教師の知識は既存データセットが調査するものを超えて拡張します。その結果、訓練データがカバーしない教師の能力空間の領域で機能ギャップが出現します。

能動学習フレームワークはこのギャップに対処し、高乖離例—教師と学生の出力が実質的に異なるインスタンス—を識別し、蒸留のためにこれらを優先付けします。理論的正当化は情報理論的根拠に基づきます。最大の不一致を示す例は学生の教師に対する欠陥に関する最大の情報を提供します（Settles, 2009; Freeman, 1965）。

構造化プロンプティングを通じた推論抽出

思考の連鎖プロンプティングは最終出力のみではなく中間推論ステップを抽出するための構造化された方法を表します。「Xの答えは何ですか」とクエリするのではなく、教師は「答えを提供する前に段階的に推論を説明してください」とプロンプトされます。学生はその後、推論軌跡と最終出力の両方に対する教師を受け取り、より豊かな訓練信号を生成します。

経験的証拠はこのアプローチを支持します。Wei et al.（2022）は思考の連鎖プロンプティングが大規模言語モデルにおける多段階推論タスクの性能を実質的に改善することを実証しました。蒸留の具体的には、このより豊かな教師信号は理論的に推論機能の転移を改善すべきですが、思考の連鎖蒸留とベースライン出力のみの蒸留間の定量的比較は公開文献に限定されています。

  • 仮定：* 思考の連鎖プロンプティングを通じて抽出された中間推論ステップは教師の推論プロセスを再構築するのに十分です。この仮定は教師の実際の計算が言語化された推論から実質的に異なる場合に成立しないかもしれません。

合成クエリ生成

合成クエリ生成は特定の能力次元をストレステストするために設計された標的化されたプローブを作成します。数学推論モデルの場合、これは複数の推論パターン（代数的操作、幾何学的推論、組み合わせ論理）にわたるスパンの問題生成を含みます。要約モデルの場合、これは複雑性、ドメイン、長さの次元全体で体系的に変動する文書を含みます。

根拠はカバレッジです。合成クエリは学生が既存データセットの暗黙的分布に依存するのではなく、教師の能力スペクトル全体に遭遇することを確保するために設計できます。しかし、このアプローチは設計負担を導入します。クエリジェネレータはカバーされるべき能力空間を正確に特性化する必要があります。

予算制約付きクエリ選択

APIコストは可能な総クエリに対する厳しい制約を課します。予算制約下では、効率的なサンプリング戦略が必要になります。不確実性サンプリング—学生モデルが最大の不確実性を示すインスタンスを選択—は1つの原則的なアプローチを提供し、クエリあたりの情報利得を最大化します。

  • 前提条件：* 不確実性サンプリングは学生の不確実性が情報利得と相関することを仮定します。これは標準的な仮定下でおおよそ成立しますが、学生モデルの不確実性推定が不十分に較正されている場合は失敗する可能性があります。

  • 実行可能な手順：* （1）代表的なベースラインデータセットを使用して蒸留を初期化します。（2）保持された検証セット全体で学生と教師の出力間の乖離を測定します。（3）能力空間の高乖離領域を標的とする合成クエリを生成します。（4）予算枯渇またはパフォーマンスプラトーまで不確実性サンプリングを通じてクエリを選択します。（5）限界的パフォーマンス利得が追加APIの支出を正当化するかどうかを評価します。

アーキテクチャの不一致と補償的学習

学生モデルは通常、教師に存在しないアーキテクチャ制約下で動作します。蒸留されたモデルは教師が96層を使用する場合に6つのトランスフォーマー層を採用するか、または1750億パラメータに対して70億パラメータを採用するかもしれません。これらの制約はデータのみでは克服できない表現ギャップを生じさせます。

  • 中核的主張：* アーキテクチャ制約は学生モデルに教師計算から根本的に異なる補償メカニズムを開発するよう強制し、忠実な機能転移に対する上限を生じさせます。

教師モデル（Transformer 96層）と学生モデル（LSTM 4層）のアーキテクチャ不一致を示す図。教師モデルは複数のMulti-Head Attention層とFeed Forward層を並列処理で実行し、学生モデルは4層のLSTM層で順序処理を行う。知識蒸留による補償学習メカニズムが両モデル間に矢印で表現され、学生モデルへのフィードバックとパラメータ調整のループが示されている。

  • 図6：教師モデルと学生モデルのアーキテクチャ不一致と補償学習メカニズム*

容量制約と注意メカニズム

小さいモデルは大きいモデルが採用する複雑な注意パターンの容量を欠きます。トランスフォーマー注意はトークンシーケンス全体の学習された相互作用を通じて動作します。より深いモデルはこれらの相互作用を多くの層全体で構成でき、多段階推論を可能にします。浅い学生モデルはこの構成深度を複製できません。その結果、学生は構造的な違いにもかかわらず教師出力を近似する代替戦略を開発する必要があります。

  • 経験的観察：* 蒸留された学生は教師が多段階推論を採用する場合に表面レベルのパターンマッチングを頻繁に開発します。これは分布内パフォーマンスの強さと分布シフトまたは敵対的入力に対する堅牢性の低さとして現れます。学生は基礎となる推論プロセスを学ぶのではなく、正しい出力と相関する表面的な手がかりを認識することを学びました。

  • 仮定：* 教師が採用する推論プロセスは十分なデータが与えられた場合、学生によって学習可能です。この仮定は偽である可能性があります。いくつかの推論パターンは学生が欠く建築特性に根本的に依存するかもしれません。

特殊なアーキテクチャ：混合専門家

混合専門家とスパース注意アーキテクチャは異なる蒸留課題を提示します。これらのモデルは選択的に計算し、学習されたルーティング関数に基づいて入力を特殊なサブネットワークにルーティングします。スパース学生への蒸留には、与えられた入力に対して教師がアクティブ化する専門家の組み合わせを識別し、学生がこのルーティング行動を複製するよう訓練することが必要です。

  • 前提条件：* 教師のルーティング決定は観察可能またはクエリのみから推測可能である必要があります。ルーティングが教師の計算に暗黙的である場合、この情報はクエリのみを通じて抽出不可能かもしれません。

具体的なケース：推論モデル蒸留

大規模推論モデル（例：GPT-4スケール）を70億パラメータの学生に蒸留することを考えてください。教師は多くの層全体の深い注意相互作用を通じて推論の一貫性を維持します。学生はこの建築的深さを複製できません。代わりに、学生はプロンプト自体の推論パターンを認識することを学びます—正しい推論と相関する表面的な手がかり—そしてこれらの手がかりを使用して教師出力を近似します。

  • 予想される結果：* 表面パターンが正しい推論と整列する分布内例での強いパフォーマンス。表面レベルのヒューリスティックを破るために設計された敵対的入力での低下したパフォーマンス。

  • 含意：* いくつかの教師機能はアーキテクチャに依存し、構造的に異なる学生には転移しません。これらの機能の忠実な複製を試みることは非効率です。リソースは学習可能な知識に向けてより良く配分されます。

診断手順

（1）建築的ボトルネックをプロファイルします。学生が欠く建築特性に最も大きく依存する教師機能を特定します。（2）これらの機能を要求するタスクで学生のパフォーマンスを測定します。（3）パフォーマンスギャップを定量化し、ギャップが追加訓練で狭まるか、またはプラトーに達するかを決定します。（4）いくつかの機能が転移しないかもしれないことを受け入れます。蒸留努力を学習可能な知識に向けて再配分します。（5）どの教師機能が正常に転移し、どれが転移しないかを文書化し、機能転移マップを作成します。

出力マッチング以上のもの：行動的ニュアンスの捉え方

従来の知識蒸留は、教師と生徒の出力分布間の乖離を最小化します。通常、トークン確率に対するクロスエントロピー損失で測定されます（Hinton et al., 2015）。しかし、ブラックボックス型の大規模言語モデルは、次トークン確率の点推定を超えた行動パターンを示します。本セクションでは、「行動的ニュアンス」が何を構成するのかを検討し、蒸留中にこれらのパターンを捉えるための理論的および経験的根拠を確立します。

LLM出力における行動的ニュアンスの定義

  • 操作的定義：* 行動的ニュアンスは、argmaxトークン選択を超えた出力の測定可能な側面から構成されます。具体的には、（1）信頼度推定のキャリブレーション、（2）文脈全体にわたるスタイル的マーカーの一貫性、（3）入力特性への体系的適応（例：質問の複雑さ、領域特異性）が含まれます。

これらの特性は、精度から形式的に区別されます。モデルは教師と同一のトークンレベル精度を達成しながら、信頼度の不正確さ、トーンの不一貫性、または文脈適応の硬直性を示す場合があります。逆に、生徒は特定のトークン予測で乖離しながら、これらの行動的特性を保持する場合があります。

温度スケーリング出力分布とキャリブレーション

位置 t における語彙上の確率分布は、温度パラメータ τ によって調整できます：

$$p_\tau(w_t) = \frac{\exp(z_t / \tau)}{\sum_v \exp(z_v / \tau)}$$

ここで z_t はロジットを表します。貪欲デコーディング（τ → 0）は確率質量を最高ロジットトークンに集中させ、確信度の高い予測を明らかにします。より高い温度（τ > 1）は分布を平坦化し、もっともらしい継続の全体的な景観を露出させます。

  • 仮定：* 貪欲出力のみ（または低温度サンプル）で訓練された生徒は、非argmaxトークンの相対確率に関する信号を受け取りません。貪欲ターゲットに対する標準的なクロスエントロピー損失の下では、生徒は教師の不確実性構造にマッチするための勾配インセンティブを持ちません。これにより、教師が低い信頼度を表現する分布外入力での過度に確信度の高い予測が生じる可能性があります。

  • 経験的根拠：* 蒸留されたモデルにおけるキャリブレーション低下は、コンピュータビジョンで文書化されており（Guo et al., 2017）、訓練データが完全な分布ではなく点推定のみを表す場合、理論的に予想されます。LLMに特有の場合、温度変動教師出力で訓練された生徒は、保持されたテストセットでより良好にキャリブレーションされた信頼度推定を示すという予備的証拠があります（Ong et al., 2023, arXiv:2305.02301）。

  • 具体的メカニズム：* 教師モデルが4つの候補トークンに確率[0.6, 0.3, 0.08, 0.02]を割り当てるとします。argmaxトークンのみで訓練された生徒は、ワンホットターゲット[1, 0, 0, 0]を受け取ります。生徒は最初のトークンに高い信頼度を予測することを学びますが、代替案の相対確率に対する制約がありません。テスト時に曖昧な入力が提示されると、生徒は[0.95, 0.04, 0.01, 0.00]を割り当てる可能性があります。これは教師より鋭く、不確実性の不正確さにつながります。

行動的クローニング：出力マッチング以上のもの

行動的クローニングは、蒸留を出力分布から応答パターンに拡張します。教師が異なる文脈全体で応答を構造化する体系的な方法です。観察可能なパターンには以下が含まれます：

  • 認識論的マーカー： ヘッジング言語の頻度と配置（「完全には確実ではありません」「利用可能な情報に基づいて」「これは推測的です」）
  • エラー認識： 矛盾する情報が提示されたときに前の陳述を修正する傾向
  • 構造的一貫性： 類似のクエリタイプ全体にわたる列挙、例、または類推の一貫した使用
  • 文脈的感度： 検出されたクエリ複雑さの関数として、応答長、形式性、または深さの変動

これらのパターンは個々のトークン確率に直接エンコードされていませんが、教師の出力全体にわたる統計的規則性として出現します。

  • メカニズム：* 多様な教師出力セット（異なる温度、プロンプト表現、入力文脈を含む）で訓練された生徒は、露出を通じてこれらのパターンを暗黙的に学習します。しかし、この学習は偶発的であり、明示的ではありません。行動的クローニングは以下によってこれを意図的にします：
  1. 行動的一貫性が重要な文脈の空間にわたるデータセットをキュレーションする
  2. パターン遵守を明示的に測定する（例：ヘッジング言語の分類器ベースの検出を介して）
  3. 教師パターンからの乖離にペナルティを課す補助損失を追加する

  • 具体的な例：* 教師が不確実な予測の前に一貫して「完全には確実ではありませんが…」と前置きするとします。貪欲出力で訓練された素朴な生徒は、同様の予測を学習する可能性がありますが、ヘッジング接頭辞なしで、過度に確信度が高く見えます。行動的クローニングアプローチは以下を行います：

  • 教師が不確実性を表現する多様な文脈をサンプリングする

  • 教師に対する生徒のヘッジング頻度を測定する

  • 生徒が教師のヘッジング率にマッチするよう促す損失項を追加する

行動的転移を通じた構造的制限への対処

LLMの標準的な教師あり学習は、密なトークンレベルの教師信号に依存します。各シーケンス位置がターゲットラベルを受け取ります。このアプローチには既知の制限があります。下流タスク性能を直接最適化しない、すべてのトークンが等しく重要であると仮定する、教師が学習した補償行動（訓練時の制約を軽減するために開発した戦略）を捉えない。

  • 仮定：* ブラックボックス教師モデルは既に広範な訓練とファインチューニングを経ています。その出力は、基本訓練目的だけでなく、一般的な失敗モード、ユーザー選好、領域固有の慣例への学習された適応も反映しています。これらの適応は教師の行動に暗黙的ですが、訓練手順を通じてアクセスできません。

  • 主張：* 蒸留は、教師の訓練条件を再現しようとするよりも、これらの学習された補償行動をより効率的に転移できます。ゼロから再最適化するのではなく、生徒は教師の既に適応された出力から学習します。

  • 例：* 教師が体系的なバイアスを持つデータで訓練されたとします（例：特定の領域の過少表現）。教師は暗黙的な補正戦略を学習している可能性があります。例えば、過少表現されたトピックについて議論する際に例の多様性を増加させる。教師の出力で訓練された生徒は、これらの戦略を継承し、再発見する必要がありません。

行動的ニュアンスの評価フレームワーク

標準的なメトリクス（精度、BLEU、ROUGE）は出力の類似性を測定しますが、行動的一貫性は測定しません。包括的な評価には以下が必要です：

  1. キャリブレーションメトリクス： Expected Calibration Error（ECE）、Brierスコア、または保持されたテストセットのログ損失。これらは生徒の信頼度推定が実際の正確性率と一致しているかどうかを測定します。

  2. パターン一貫性メトリクス： スタイル的マーカーの分類器ベースの検出（例：ヘッジング言語を検出するために訓練された二値分類器。教師と生徒の分類間の一致を測定）。

  3. 文脈適応メトリクス： 生徒の応答が入力特性に適切に変動するかどうかを測定します（例：応答長は教師と生徒の両方でクエリ複雑さと相関すべき）。

  4. 敵対的ロバストネス： 行動的一貫性が最も重要である分布外入力でテストします。不正確にキャリブレーションされた生徒はしばしばOODデータでより深刻に失敗します。

  • 実行可能な含意：* 蒸留前に行動的評価スイートを確立します。これらのメトリクスで教師性能を測定します。事後検証だけでなく、生徒訓練中の制約として使用します。

安全性とアライメント転移

安全性プロパティ（拒否行動、倫理的ガイドライン、制約遵守を含む）は、蒸留中に自動的に転移しません。本セクションは、蒸留プロセスによって作成される安全性リスクと機会を形式化します。

安全性プロパティを新興行動パターンとして

LLMにおける安全性は離散的なコンポーネントではなく、訓練手順、ファインチューニング目的、学習された行動パターンの新興特性です。教師モデルが特定のコンテンツ生成を拒否することは、以下を反映しています：

  • 訓練データフィルタリング（有害なコンテンツの削除）

  • 有害な出力にペナルティを課すファインチューニング目的

  • 有害なリクエストを検出し、拒否をトリガーする学習されたヒューリスティック

  • 仮定：* これらのメカニズムは脆弱で文脈依存です。教師は有害なコンテンツの直接的なリクエストを拒否する可能性がありますが、同じリクエストが仮想シナリオに埋め込まれている場合、または技術的な議論としてフレーミングされている場合は応じる可能性があります。

  • 主張：* 蒸留は新しい安全性リスクを作成します。生徒は教師安全性メカニズムの完全なセットを継承しない可能性があるためです。同時に、蒸留は透明性の向上と明示的なアライメントを通じた改善された安全性の機会を提供します。

安全性低下のメカニズム

蒸留中に安全性プロパティが低下する可能性があるいくつかのメカニズムがあります：

  1. ロッシー圧縮： 教師の安全性メカニズムが出力分布の微妙なパターンに依存する場合（例：有害なトークンに割り当てられた低いが非ゼロの確率）、精度に最適化された生徒はこれらのパターンを失う可能性があります。

  2. 分布シフト： 生徒は教師出力で訓練されます。これは可能な応答上の分布です。生徒の訓練手順（例：異なる最適化アルゴリズム、学習率スケジュール）が異なるローカル最適値への収束を引き起こす場合、安全性プロパティは転移しない可能性があります。

  3. 行動パターン損失： 安全性が応答パターンでエンコードされている場合（例：「常に拒否の前に説明を付ける」）、出力マッチングのみで訓練された生徒はこれらのパターンを学習しない可能性があります。

  • 具体的なリスク：* Constitutional AIで訓練された教師モデル（Bai et al., 2022）は、有害なリクエストを拒否しながら説明を提供することを学習します。標準的なクロスエントロピー損失を介して教師の出力で訓練された生徒は、拒否することを学習する可能性がありますが、説明コンポーネントを失い、原則的ではなく回避的に見えます。

敵対的テストと安全性検証

敵対的テストは、境界ケースで生徒の行動を体系的に調査することにより、安全性ギャップを特定します：

  1. ジェイルブレーク試行： 安全性メカニズムを回避するように設計されたクエリ（例：ロールプレイシナリオ、仮想フレーミング、技術的な口実）。

  2. 拒否率測定： 教師と生徒の両方で有害なリクエストをトリガーする拒否の割合を定量化します。有意な乖離は安全性低下を示します。

  3. 拒否品質評価： 拒否が原則的（リクエストが有害である理由を説明）であるか、回避的（説明なしで辞退）であるかを評価します。

  • 操作的手順：* 潜在的な害のカテゴリにわたる100～500のリクエストのデータセットをキュレーションします（暴力、違法行為、欺瞞、プライバシー侵害など）。拒否率と拒否品質で教師と生徒を評価します。統計的テスト（例：二項検定）を使用して、観察された差が有意であるかどうかを判定します。

  • 実行可能な含意：* 安全性検証を展開前の必須ゲートとして扱います。安全性が転移すると仮定しないでください。明示的に測定します。

生徒の透明性を活用した改善されたアライメント

蒸留された生徒は、通常、ブラックボックス教師より小さく、より解釈可能です。この透明性は優れたアライメントの機会を作成します：

  1. メカニズム検査： より小さいモデルは、注意可視化、活性化分析、機械的解釈可能性などの技術を可能にします（Anthropic, 2023）。安全性メカニズムを監査および検証できます。

  2. 領域固有のカスタマイズ： 安全性メカニズムが理解されると、ゼロから再訓練することなく、特定のユースケースに適応させることができます。

  3. 形式的検証： より小さいモデルは形式的検証技術に適応可能である可能性があり、安全性プロパティに関する保証を提供します。

  • 具体的な例：* 蒸留されたモデルは、特定のコーディングタスク（例：エクスプロイト作成）を支援する拒否を継承します。注意分析を通じて、メカニズムを特定します。モデルは「exploit」や「vulnerability」などのキーワードに注意を払い、拒否トークンにルーティングします。その後、以下を実行できます：

  • この拒否がユースケースに適切であるかどうかを監査する

  • 必要に応じてキーワードリストを変更する

  • ドメイン固有の追加安全性チェックを追加する

  • 変更が意図したとおりに機能することを検証する

このレベルの透明性はブラックボックス教師では不可能です。

安全性のための多目的蒸留

安全性を事後的な制約として扱うのではなく、蒸留目的に統合します：

$$\mathcal{L}{\text{total}} = \lambda_1 \mathcal{L}{\text{KD}} + \lambda_2 \mathcal{L}{\text{safety}} + \lambda_3 \mathcal{L}{\text{calibration}}$$

ここで：

  • $\mathcal{L}_{\text{KD}}$ は標準的な知識蒸留損失です

  • $\mathcal{L}_{\text{safety}}$ は敵対的入力での教師拒否行動からの乖離にペナルティを課します

  • $\mathcal{L}_{\text{calibration}}$ はキャリブレーションされた信頼度推定を促進します

  • ハイパーパラメータ選択：* 重み $\lambda_1, \lambda_2, \lambda_3$ は、能力、安全性、キャリブレーションの相対的な重要性を反映しています。これらは、意図されたアプリケーションとリスク許容度に基づいて調整する必要があります。

  • 実行可能な含意：* 境界ケースと敵対的入力を強調するデータセットをキュレーションします。$\mathcal{L}_{\text{safety}}$ でこれらの例に重くウェイトを付けます。展開前に保持された敵対的テストセットで検証します。

評価フレームワーク：忠実度の測定

ブラックボックス蒸留の成功を評価するには、標準的なタスク精度を超えた指標が必要です。忠実度は学生モデルと教師モデルの整合性の複数の次元を包含しているためです。

  • 基本的主張：* 蒸留の忠実度は本質的に多次元であり、4つの異なるが相互に依存する軸にわたって評価される必要があります。すなわち、(1)タスク性能の同等性、(2)行動の一貫性、(3)分布シフト下での堅牢性、(4)計算効率です。このフレームワークは、完全な複製が達成可能でも必要でもないことを前提としています。むしろ、許容可能な忠実度はユースケースに依存し、事前に明示的に定義される必要があります。

タスク性能の同等性

標準的な教師あり学習の指標（精度、F1、BLEU、ROUGE）は、教師の訓練分布から抽出された保留テストセットに対する学生モデルの性能を測定します。しかし、これらの指標だけでは蒸留の成功を特徴付けるには不十分です。学生が教師の決定境界を内在化したのか、単に表面的なパターンを暗記しただけなのかを捉えていないためです。

  • 前提条件：* タスク性能の評価は、デプロイメント分布を代表するラベル付きテストデータへのアクセスを想定しています。ブラックボックス設定で一般的なように、そのようなデータが利用できない場合、性能同等性の独立した検証は困難になります。

  • 測定アプローチ：* 性能ギャップ（Δ = 学生指標 − 教師指標）をタスク難易度、入力長、またはドメインで層別化して報告します。言語モデルの場合、これには保留コーパスのパープレキシティ、QAベンチマークの完全一致とF1、シーケンス・ツー・シーケンスタスクの生成品質指標（BLEU、METEOR、BERTScore）が含まれます。サンプリング変動性を考慮するために、信頼区間またはブートストラップ推定値を指定します。

行動の一貫性

行動の一貫性は、学生が教師の推論プロセスと整合した出力を生成するかどうかを測定します。これは最終的な答えだけでなく、2つのモデルが異なる決定経路を通じて同一の精度を達成できるため、精度とは異なります。

  • 操作的定義：* 行動の一貫性は以下を通じて定量化されます。

  • 出力分布の整合性： 同じ入力セットに対する学生と教師の出力空間上の確率分布を比較します。指標にはJensen-Shannon発散、Wasserstein距離、またはKL発散（KL(学生 || 教師)）が含まれます。発散が低いほど、行動の整合性がより強いことを示します。

  • 推論トレースの類似性： 中間推論が観察可能なタスク（例えば、思考の連鎖プロンプティング）では、推論ステップ、引用された証拠、または論理構造の重複を測定します。これには手動アノテーションまたは自動類似性指標（例えば、ROUGE、埋め込みによる意味類似性）が必要です。

  • 不一致分析： 学生と教師の出力が相違する入力を特定します。不一致をタイプ別に分類します（例えば、幻覚、推論エラー、ドメイン固有のギャップ）。高頻度の不一致パターンは、ランダムノイズではなく体系的な行動の相違を示します。

  • 仮定：* 行動の一貫性は、教師の出力が望ましい決定プロセスを表すことを前提としています。教師がバイアス、幻覚、または複製されるべきではない推論エラーを示す場合、これは成立しないかもしれません。

分布シフト下での堅牢性

堅牢性評価は、入力が訓練分布から逸脱した場合、学生と教師の間で性能低下が同等であるかどうかを評価します。ブラックボックス蒸留が教師の脆弱性を不注意に増幅したり、新しい障害モードを導入したりする可能性があるため、これは重要です。

  • 測定アプローチ：*

  • 分布外（OOD）汎化： 訓練分布とは異なるドメイン、言語、またはデータソースからのテストセットで両モデルを評価します。確立されたOODベンチマーク（例えば、ビジョン用のCIFAR-10-C、NLP用のSQuAD-Shift）でのパフォーマンスを報告します。堅牢性ギャップを計算します。Δ_堅牢性 = (教師OOD性能 − 学生OOD性能)。

  • 敵対的摂動： 敵対的例（文字レベル、単語レベル、または意味的摂動）を適用し、精度低下を測定します。学生と教師の間で性能低下の率を比較します。指標には認証済み堅牢性境界（該当する場合）または経験的攻撃成功率が含まれます。

  • ストレステスト： エッジケース、稀な現象、または敵対的に構成された入力で評価します。障害モードとその頻度を文書化します。

  • 前提条件：* 堅牢性評価は、教師の堅牢性特性が既知であるか、経験的に測定できることを前提としています。ブラックボックス設定では、これは広範なクエリが必要になる場合があります。

計算効率

効率指標は、デプロイメント関連コスト（レイテンシ、メモリ消費、推論コスト）を測定することで、蒸留の実用的価値を定量化します。

  • 測定アプローチ：*

  • レイテンシ： 標準化されたハードウェア条件下でのエンドツーエンド推論時間（入力から出力までの実時間）を測定します。レイテンシのパーセンタイル（p50、p95、p99）を報告して、テール動作をキャプチャします。スピードアップを計算します。S = 教師レイテンシ / 学生レイテンシ。

  • メモリフットプリント： 推論中のピークメモリ消費（モデルの重み＋活性化）を測定します。絶対値（GB）と相対削減（%）として報告します。

  • 推論コスト： クラウドにデプロイされたモデルの場合、推論あたりまたはトークンあたりのコストを定量化します。コスト削減を計算します。C_削減 = (教師コスト − 学生コスト) / 教師コスト。

  • スループット： バッチ処理下での1秒あたりのクエリ数を測定します。高いクエリ量を持つ本番システムに関連します。

  • 仮定：* 効率向上はハードウェアとデプロイメントに依存します。GPU上のレイテンシ改善は、CPUまたはエッジデバイスに転換されない場合があります。報告された指標はハードウェア構成とバッチサイズを指定する必要があります。

能力固有の評価

蒸留の有効性はタスクタイプ全体で均一ではありません。特定の能力は他の能力よりも容易に転送され、タスク固有の評価プロトコルが必要です。

  • 経験的観察（文献から）：*

  • 事実検索： 知識蒸留は通常、教師の出力が決定論的で明確に定義されている事実質問応答に対して高い忠実度を達成します。

  • 推論タスク： 多段階推論（例えば、算術、論理推論）は、学生が中間推論ステップを内在化できない場合があるため、より低い転送忠実度を示します。

  • 生成タスク： オープンエンドの生成（例えば、要約、創作）は、訓練クエリの多様性と学生アーキテクチャに応じて、忠実度に高い分散を示します。

  • 安全性が重要なタスク： 安全性特性の蒸留（例えば、有害なリクエストの拒否）は明示的な評価が必要であり、行動模倣を通じて暗黙的に転送されない場合があります。

  • 推奨：* 評価をタスクカテゴリ別に層別化します。各能力について忠実度指標を個別に報告します。蒸留が無効なタスクタイプを特定し、代替アプローチ（例えば、タスク固有のファインチューニング、アンサンブル方法）を検討します。

統合：多次元忠実度評価

忠実度はスカラー指標ではなく、性能特性のベクトルです。包括的な評価スイートは以下を含むべきです。

  1. 標準ベンチマークでのベースライン性能同等性を確立する。性能ギャップと信頼区間を明示的に報告します。

  2. 出力分布の整合性と不一致分析を通じて行動の一貫性を定量化する。完全な整合性が達成可能でも必要でもないことを認識します。

  3. 分布シフトと敵対的摂動下での堅牢性を評価する。学生と教師の低下率を比較します。

  4. レイテンシ、メモリ、コストの効率向上を測定する。デプロイメントハードウェアとユースケースに文脈化します。

  5. タスクタイプ別に結果を層別化する。忠実度が能力全体で異なることを認識します。

  6. 各指標の仮定と制限を文書化する。データ要件、ハードウェア依存性、潜在的な交絡因子を含めます。

  • 実行可能な示唆：* ユースケース要件に基づいて許容可能な忠実度を事前に定義します。すべての次元が等しい重みを必要とするわけではありません。コスト感応的なデプロイメントは、完全な行動の一貫性よりも効率を優先する場合があります。安全性が重要なアプリケーションは、より低い精度を受け入れる代わりに、ほぼ完全な堅牢性同等性を必要とする場合があります。評価は反復的であるべきです。測定し、ギャップを特定し、クエリ戦略を改善し、再測定します。

統合：前進への道

ブラックボックス蒸留は完全な複製を通じてではなく、デプロイメントを可能にし、コストを削減し、能力の独立性を維持するのに十分な知識を抽出することで成功します。

  • 中核的洞察：* 内部アクセスがない場合、蒸留は行動推論になります。成功は戦略的クエリ設計、アーキテクチャ制約の受け入れ、行動ニュアンスの保存、明示的な安全性エンジニアリング、多次元評価に依存します。

  • 直近のステップ：* ユースケースと許容可能な性能ギャップを定義します。タスク要件に基づいて設計されたターゲットクエリセットを設計します。学生と教師の相違を反復的に測定します。本番デプロイメント前に安全性評価を実装します。起動後のパフォーマンスを継続的に監視します。

経済学は努力を正当化します。技術的課題は実在しますが、管理可能です。ブラックボックス蒸留をマスターする組織は戦略的柔軟性を獲得します。永続的なベンダーロックインなしに最先端の能力を活用する能力です。

再現性に関する注記

  • 行われた仮定：*

  • API価格設定はOpenAI GPT-4レート（2024年11月）に基づいています

  • 計算コストはAWS EC2 g4dn.xlargeインスタンス（オンデマンド$0.526/時間）を想定しています

  • 訓練例は平均500トークン長を想定しています

  • パフォーマンスベンチマークは公開結果（MMLU、HumanEval、GSM8K）に基づいています

  • データソース：*

  • OpenAI価格設定：https://openai.com/pricing

  • モデルパフォーマンス比較：LMSYS Chatbot Arenaリーダーボード

  • 蒸留技術：Hinton et al. (2015)、Hugging Faceの最近の実装

  • フラグが立てられたギャップ：*

  • 特定のライセンス上の含意は法的審査が必要です（ここでは対処されていません）

  • 規制遵守は管轄区域によって異なります（GDPR、HIPAA要件は詳細に記載されていません）

  • 本番監視戦略は実装セクションに延期されています

すべてを変える反転

GPT-4やClaudeのような大規模言語モデルは、私たちが完全に理解しているからではなく、スケールで確実に機能するため、知識労働の事実上の認知インフラストラクチャになっています。この逆説は私たちの時代を定義しています。組織は検査できない基盤の上にミッションクリティカルなシステムを構築しています。ブラックボックス蒸留はこの依存性を反転させます。純粋な行動観察を通じて知識を抽出することで、API相互作用だけで、内部の重みもアクティベーションアクセスもなく、制約を機会に再構成します。

従来の蒸留パラダイムは透明性を前提としていました。教師の重みが見える、隠れた表現が一致可能、知識がアクティベーション整合を通じて直接転送可能です。ブラックボックスシナリオはその仮定を完全に排除します。すべての知識は入出力ペアから逆エンジニアリングされる必要があります。これは克服すべき制限ではなく、探索すべき新しい設計空間です。表現をコピーできない場合、意図を理解する必要があります。その転換は、知識が実際に何を意味するのかについてのより深い推論を強制します。

この瞬間が重要な理由：3つの収束する圧力

  • 経済的持続可能性。* 月間1000万回のAPI呼び出しをGPT-4に行う知識労働者組織は、月間30万ドル以上の認知税に直面しています。これは成功とともにスケールする、ほとんどの組織が運営する周辺では持続不可能です。蒸留された学生モデルは、これを運用コストだけに縮小します。しかし、真の機会はコスト削減ではなく、コスト民主化です。蒸留はAI能力をサブスクリプションサービスからデプロイ可能な資産に変換し、より小さな組織、研究チーム、非営利団体がベンチャー規模の予算なしにフロンティアモデルの上に構築することを可能にします。

  • 主権と適応性。* ベンダーロックインは単なる調達リスクではなく、戦略的脆弱性です。組織の競争優位性が専有モデルへのAPIアクセスに依存する場合、あなたの将来は制御できない価格決定、アクセス制限、ビジネスモデルの転換に人質に取られています。蒸留されたモデルはポータブル資産になります。インフラストラクチャ全体で移動可能、ドメイン固有のニーズに適応可能、上流のポリシー変更に免疫があります。これは1つのベンダーを避けることではなく、AI スタックに組織的独立性を構築することです。

  • 解釈可能性が競争優位性として。* 専有モデルは設計上ブラックボックスのままです。より小さな蒸留モデルは透明になります。安全監査、バイアス検出、行動制御、閉鎖システムでアクセス不可能なままの整合性検証を可能にします。規制枠組みが厳しくなり、ステークホルダーの精査が強まるにつれて、AIシステムがどのように推論するかを説明および監査する能力は、ナイスツーハブからテーブルステークスにシフトします。モデルの推論方法を実証できる組織は、できない組織を上回ります。

基本的転換：表現コピーから行動考古学へ

ここが未来志向のレンズが最も重要な場所です。従来の蒸留は複製についてでした。学生の内部表現を教師のものと一致させることです。ブラックボックス蒸留は推論についてです。観察可能な行動から教師の推論パターンを再構成することです。これらは本質的に異なる問題です。

ホワイトボックスアクセスがある場合、忠実度に最適化します。隠れた状態間の距離を最小化します。APIアクセスのみがある場合、行動的十分性に最適化します。教師が知っていることを明らかにする相互作用を設計し、学生がそれらのパターンを複製するように訓練します。これは新しい規律を強制します。相互作用設計です。どのような質問をしますか。内部計算への直接アクセスなしに教師の知識の境界をどのようにプローブしますか。推論を露出させる例をどのように構成しますか。

これは行動考古学です。体系的な変動の下で出力を観察することで、システムの認知アーキテクチャを再構成することです。モデルが増殖し、専有システムが支配するにつれて、ますます価値が高まるスキルです。これをマスターする組織は、より少ないインタラクションからより多くの知識を抽出します。より有能な学生を構築します。より速く動きます。

イノベーション空白地帯：隣接する機会

  • サービスとしての蒸留。* ブラックボックス蒸留のインフラストラクチャ（相互作用設計、クエリ最適化、学生訓練パイプライン）は、AIツールの新しいカテゴリになります。組織はこれを社内で構築しません。プロセスを自動化するプラットフォームにサブスクライブします。これは専有モデルプロバイダーとエンドユーザーの間に新しい市場層を作成します。

  • ドメイン固有の知識抽出。* フロンティアモデルは汎用主義者です。蒸留されたモデルは専門家になることができます。ドメイン固有の推論をプローブする相互作用を設計することで、医学診断、法的分析、コード生成、学生モデルを作成できます。これは解釈可能なままながら、狭いタスクで教師を上回ります。これはAI システムが有能で信頼できる両方である道です。

  • 行動ベンチマーク。* 蒸留が標準的な慣行になると、教師モデルから抽出するパターンがデータになります。組織全体で集計されると、これらのパターンはフロンティアモデルが実際にどのように推論するかを明らかにします。作成者が主張することではなく、実証的に行うことです。これは新しい形のAI透明性を作成します。スケールでの行動ベンチマーク。

  • フェデレーション知識ネットワーク。* 組織が専有モデルを蒸留し、信頼されたネットワーク全体で蒸留バージョンを共有することを想像してください。APIの依存なしに知識が流れます。より小さなモデルはAI協力の通貨になります。これは集中化されていません。分散しています。ベンダーが制御していません。コミュニティが主導しています。

長期的な社会的影響：AI能力の分散化

ステークスは組織的効率を超えています。フロンティアモデルは少数の資本が豊富な企業に集中しています。この集中は、どの問題が解決されるか、どの視点が増幅されるか、誰がAI能力から利益を得るかを形作ります。ブラックボックス蒸留は分散化技術です。より小さな組織、研究チーム、コミュニティがフロンティアモデルの上に許可や資本なしに構築することを可能にします。これはフロンティアモデルプロバイダーの役割を排除しません。それを再構成します。唯一の能力源ではなく、初期能力の源になります。バリューチェーンはシフトします。蒸留が新しいフロンティアになります。行動推論、相互作用設計、学生訓練をマスターする組織は、AI インフラストラクチャの次のレイヤーになります。

再現性の要件

すべてはここに依存しています。蒸留の結果は検証可能で、再現可能で、透明性を備えていなければなりません。つまり、相互作用プロトコル、訓練手順、評価指標を公開することです。異なる教師モデルと学生モデルのペア間で蒸留品質を測定するオープンベンチマークを構築することです。ブラックボックス設定における知識移転の成功とは何かについての基準を策定することです。

ここで主導権を握る組織は、単により優れたモデルを構築するだけではありません。より優れたプロセスを構築します。他者が従う基準を創出します。次世代のAIシステムが依存するインフラストラクチャレイヤーになります。

  • ブラックボックスのパラドックスは、モデルを透明にすることで解決されるのではなく、透明性なしに知識移転を機能させることで解決されます。* これが次のフロンティアです。ここが真の革新が起こる場所です。

安全性とアライメント移転：リスクを機会として再構成する

安全性特性は蒸留中に自動的には移転されません。教師モデルの拒否動作と倫理的ガイドラインは、明示的な介入なしに蒸留された学生モデルに現れないかもしれません。これはしばしば軽減すべきリスクとして枠付けられます。しかし再構成すると、それは機会です。蒸留は増加した透明性を通じた優れたアライメントの条件を作り出します。

  • 主張：* ブラックボックスの教師モデルの安全性は脆弱で不透明です。蒸留はこの負債を資産に反転させます。より小さく、より解釈可能な学生モデルは、教師の能力を超えながら監査可能で修正可能なままである堅牢なアライメント機構を可能にします。

透明性の優位性

ブラックボックスLLMの脆弱性（敵対的ジェイルブレイクと安全機構の失敗に関する研究で実証されている）は、教師モデルの安全性特性が脆いことを示唆しています。それらは、それ自体が十分に理解されていない訓練ダイナミクスから生じます。有害なリクエストを拒否する教師は、検査に抵抗するメカニズムを通じてそうします。なぜそうするのかを監査することはできません。拒否ロジックを自分のドメイン用に修正することはできません。拒否が適切であることを検証することはできません。

蒸留はこれを反転させます。安全動作に明示的に訓練された小さな学生モデルは、検査可能になります。決定境界を監査できます。モデルが拒否決定に至る方法を追跡できます。ドメイン固有のコンテキスト用に安全ポリシーを修正できます。変更が意図通りに機能することを検証できます。

これは小さな利点ではありません。不透明なコンプライアンスから透明なガバナンスへの構造的転換です。

多目的蒸留：能力と制約

敵対的テストは安全性ギャップを特定します。境界ケースクエリを生成します。拒否をトリガーすべきリクエスト、機密トピック、有害な指示、正当な使用と有害な使用の交差点にあるエッジケース。学生が教師の拒否率と一致するかどうかを評価します。相違が現れた場合、調査します。学生は過度に拒否しているのか（ユーティリティを失っているのか）、それとも過度に拒否していないのか（安全性を失っているのか）。

多目的訓練は能力と制約遵守のバランスを取ります。安全性を事後フィルタとして扱うのではなく、精度と並んで主要な蒸留目的としてエンコードします。リスク許容度を反映するように損失関数に重みを付けます。高リスクドメインではより高い安全性の重み、ユーティリティが最優先の場合はより低い重み。

  • 具体的なシナリオ：* 蒸留されたモデルは、特定のコーディングタスクを支援することへの教師の拒否を継承します。しかし今、拒否ロジックは検査可能です。拒否がユースケースに適切かどうかを監査できます。おそらく教師はすべての「ハッキング」クエリを拒否しますが、組織は正当なセキュリティ研究を支援するためにモデルが必要です。安全ポリシーを修正し、テストし、変更が意図通りに機能することを検証できます。教師のブラックボックス安全性は不透明なままです。学生の安全性は透明で適応可能です。

ドメイン固有のアライメント

ここでの長期的な機会は深刻です。蒸留はスケールでのドメイン固有のアライメントを可能にします。万能な教師モデルを展開するのではなく、コンテキストに合わせたアライメント特性を持つ専門化された学生に蒸留します。

医療に展開された学生は、教師の一般的な安全特性を継承しながら、ドメイン固有の制約を追加できます。不適切な医学的助言の拒否、証拠の制限に関する透明性、診断的質問に対する適切なヘッジ。

金融アドバイスに展開された学生は、異なる制約を強調できます。不適切な投資アドバイスの拒否、利益相反リスクに関する透明性、市場予測に対する適切なヘッジ。

教育に展開された学生は、さらに異なる特性を強調できます。批判的思考の奨励、教育的制限に関する透明性、複雑な概念の適切なスキャフォルディング。

これはブラックボックスの教師では不可能です。透明で蒸留された学生では可能になり、実用的になります。

実行可能なフレームワーク：安全性を考慮した蒸留

  1. 敵対的データセットをキュレートする： 拒否をトリガーすべき境界ケースクエリを収集します。正当な使用と有害な使用が重なるエッジケースを含めます。教師の安全性境界を調査するクエリを含めます。

  2. 安全性移転を測定する： 拒否率、拒否の一貫性、偽陽性率と偽陰性率を追跡します。混同行列を使用して、学生の安全性が教師の安全性から相違する場所を特定します。

  3. 多目的訓練を実装する： 能力目的と並んで安全性目的に重みを付けます。リスク許容度とドメイン要件に基づいて重みを調整します。

  4. 学生の決定を監査する： 高リスクの拒否については、説明可能性メカニズムを実装します。決定パスを追跡します。拒否ロジックが適切であることを検証します。

  5. ドメイン固有のポリシーを反復する： コンテキスト用に安全性制約を修正します。広範にテストします。変更を文書化します。必要に応じてロールバックを有効にします。

  6. 展開を監視する： 本番環境での拒否パターンを追跡します。新興の安全性問題を特定します。新しいリスクが浮上するにつれて学生モデルを更新します。

AI安全の未来は、ブラックボックスの教師モデルとの不透明なコンプライアンスではありません。蒸留を通じた解釈可能な学生への透明で監査可能なドメイン固有のアライメントです。その転換（不透明性から透明性へ、万能から ドメイン固有へ、静的から適応的へ）は、スケールでの知識作業の次のホライズンです。

月間API呼び出し数が100万から1000万に増加するにつれて、GPT-4 APIのコストは30,000ドルから300,000ドルに線形増加する一方、蒸留モデルのオンプレミス運用コストは5,000ドルから32,000ドルに緩やかに増加することを示す折れ線グラフ。蒸留モデルが大幅に低コストであることが明確に示されている。

  • 図2：大規模言語モデルAPI vs 蒸留モデルの月間推論コスト比較（出典：OpenAI GPT-4 pricing (2024), typical on-premise infrastructure costs）*

ホワイトボックス蒸留とブラックボックス蒸留の技術的差異を比較する図。左側の教師モデルから、ホワイトボックス蒸留では重み・活性化・勾配などの内部構造にアクセスして豊富な監督信号を得られるのに対し、ブラックボックス蒸留では入出力ペアのみにアクセスして限定的な監督信号しか得られない。両者とも右側の学生モデルへ知識を蒸留するが、最適化対象と精度が異なることを示している。

  • 図3：ホワイトボックス蒸留 vs ブラックボックス蒸留の技術的制約比較*

蒸留モデルの忠実度評価フレームワークを示す階層構造図。最上位に全体的忠実度があり、第2層で出力忠実度、行動忠実度、安全性忠実度の3つのカテゴリに分岐。第3層では各カテゴリの具体的メトリクスが展開される。出力忠実度ではBLEU、ROUGE、意味的類似性；行動忠実度ではタスク完了率、行動一貫性、意思決定精度；安全性忠実度では安全性違反検出、リスク評価、コンプライアンス度が示されている。

  • 図12：蒸留モデル忠実度評価フレームワークの階層構造*

行動忠実度を中心に配置し、4つの評価軸（一貫性、文脈適応性、エラーパターン、推論プロセス）が放射状に展開する多次元評価フレームワーク。各軸の下には具体的な評価項目が2つずつ配置され、相対的な重要性が色の濃淡で表現されている。

  • 図9：行動忠実度の多次元評価フレームワーク（behavioral evaluation framework design）*

ブラックボックス蒸留を中心に配置し、周囲に4つの関連技術領域（マルチモーダル蒸留、クロスモーダル転移、ドメイン適応、継続学習）を放射状に配置。各領域から拡張可能性を示す矢印が外側に伸びており、それぞれの技術領域における具体的な応用方向を表示している隣接機会マップ。

  • 図15：ブラックボックス蒸留の隣接技術機会マップ（Innovation Landscape Analysis）*