自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/9/20
Tag
非埋め込み行列（アンエンベディング行列）を通じたモデル不確実性の窓 大規模言語モデルは、内部表現を語彙トークンに対する確率分布に変換する非埋め込み行列を通じてトークン予測を生成します。この行列は隠れ状態をロジット空間にマッピングする学習済みの線形変換です。最近の実証研究（Anthropicの機械的解釈可能性研究、Elhage et al., 2021）は、この行列が単純なトークンマッピング以上の幾何学的構造をエンコードしていることを明らかにしています。具体的には、...
トランスフォーマーを幾何学として捉える：層別表現進化がなぜ重要か トランスフォーマーは言語タスクとビジョンタスク全般で最先端の性能を達成していますが、その学習メカニズムは依然として完全には特性化されていません。解釈可能性研究の大多数は二つの異なるスケールで動作しています。微視的スケール（個別の注意ヘッド、特定のニューロン）と巨視的スケール（最終出力ロジット、集約損失関数）です。ここに重要な欠落が生じています。中視的スケール、つまり層スタック全体にわたる表現幾何学の...
潜在的ファクトチェック：活性化エンジニアリングを通じた偽情報検出 モデル表現内部での偽情報検出の根拠 偽情報検出は、表面的なアプローチが測定可能なスケーラビリティの限界を示す臨界的な転換点に到達しています。 キーワードマッチング、既知の虚偽に対する意味的類似度スコアリング、外部知識検索といった従来の手法は、現代の言語モデルの生成速度と乖離する計算上および時間的な制約を示しています。方法論的に異なるアプローチが必要です。それは、真実性を単なるテキスト...
ポジション：説明可能性研究は恣意的手法よりも基礎に優先順位を置くべき 増殖と影響のパラドックス 説明可能AI研究は多数の技術を生み出してきました。特徴帰属法（LIME、SHAP）、顕著性マッピング、スパースオートエンコーダ、注意メカニズムの可視化などです。しかし、これらが実質的な意思決定に及ぼす影響についての経験的証拠は限定的です。組織の導入パターンから見ると、説明は主にコンプライアンス成果物として機能しています。規制要件や監査プロセスを満たすために生成され...
テンポラルグラフネットワークのメモリバックトラッキングとトポロジカルアトリビューションを通じた説明可能性へ向けて テンポラルグラフネットワークにおける不透明性の問題 テンポラルグラフネットワーク（TGN）は、不正検知、推薦システム、ソーシャルネットワーク分析といったアプリケーションで、動的な関係データをモデル化するために広く導入されています。固定されたトポロジーで動作する静的グラフニューラルネットワークとは異なり、TGNは新しいイベントが発生するたびにノー...
トランスフォーマーアテンションにおける実行制御の欠陥 アテンションメカニズムにおける実行制御のギャップ トランスフォーマーのアテンションメカニズムは、人間の認知を区別する重要な能力を欠いています。それが実行制御です。ここでは実行制御を、訓練データから学習した統計的パターンのみに依存するのではなく、タスク目標と文脈的要求に基づいて戦略的に情報フローを調整する能力として定義します。人間の認知は、トップダウンの制御プロセスを採用し、タスク無関連な情報を抑制し、目...
マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定 マスクシーケンスモデルにおける隠れた依存性の問題 マスク離散シーケンスモデル—タンパク質構造予測（AlphaFold2、OmegaFold）、コード生成（CodeBERT、GraphCodeBERT）、自然言語処理（BERT、RoBERTa）に展開されているものを含む—は条件付き独立性の仮定の下で動作します。これらのモデルはマスクされたトークンを可視コンテキストに条件付けて予測します。形...
思考のスペクトル幾何学：位相転移、命令反転、トークンレベルダイナミクス、およびトランスフォーマーの推論における完全な正確性予測 スペクトル位相転移：推論の隠れた幾何学 論題： 大規模言語モデルは、隠れた活性化空間におけるスペクトル位相転移を示し、これが推論タスクと事実想起タスクと相関している。これらの転移は実装ダイナミクスにおいてアーキテクチャ固有であるが、モデルファミリー全体で一貫した方向性パターンを示す。生成中に測定されたスペクトル署名は、最終ト...
思考の幾何学：トロピカル多項式回路としてのTransformerの開示 トロピカル幾何学が自己注意機構をMax-Plus代数として明らかにする 主張： Transformerの自己注意機構は、高信頼条件下においてmax-plus代数（トロピカル半環）として動作し、これはsoftmax関数における逆温度パラメータβを通じて形式化できる。 前提条件と定義： - Softmax注意機構は次のように定義される：α(i,j) = exp(β·s(i,...