自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/9/23
Tag
OKF Agent Memory – Git ネイティブな永続的メモリを備えた AI コーディングエージェント AI コーディングエージェントにおけるメモリの問題 AI コーディングエージェントは根本的なアーキテクチャ上の制約下で動作しています。異なる呼び出しやセッション間で永続的なメモリメカニズムを欠いているのです。これは、コードベース、アーキテクチャ上の決定、実装の根拠、プロジェクト履歴に関する文脈的知識を長期間にわたって蓄積・保持する人間の開発者とは...
適応的確率量子化：現代的MLのための不偏圧縮 適応的確率量子化（ASQ）は、量子化操作の扱い方において決定論的量子化手法と根本的に異なる確率的圧縮技術です。決定論的手法が浮動小数点値を固定された離散レベルにマッピングするのに対し、ASQは隣接する量子化レベル上の確率分布を割り当てます。その結果、量子化出力の期待値が元の入力値と等しくなります。これは形式的には期待値における不偏性（Bengio et al., 2013; Zhou et al., 2016）として定...
U.S. Department of Energy Launches the Genesis Open Models Initiative Genesis as Federal Infrastructure for AI Democratization 米国エネルギー省のGenesis Open Models Initiativeは、先進的なAI機能が民間技術企業に集中している現状に対する、意図的な制度的対応を示しています。消費者向けのAIエージェントを開発...
マーク・ザッカーバーグの5年AI エージェント予測：批判的評価 インフラストラクチャへの賭け：前例のない規模での資本要件 数十億ユーザーへのAIエージェント展開には、過去のテクノロジーロールアウトを遥かに上回るインフラ投資が必要です。AIシステムのスケーリングに必要な資本要件は、基礎インフラだけで2,500億ドル近くに達します。メタの年間データセンター・AIチップ支出は既に数百億ドルに及び、加速が予想されています。 数十億ユーザーの継続的推論を考慮すると...
フロンティアモデルの品質を維持しながら、コストを半減させる小規模モデルの蒸留と運用 モデルデプロイメントの経済学：フロンティアモデルが本番環境で持続不可能である理由 GPT-4やClaude 3 Opusといったフロンティアモデルは優れた推論能力を示していますが、本番環境での規模展開において経済的に成立しないコスト構造を強制します。エージェントシステムをデプロイする組織は根本的な制約に直面しています。これらのモデルは複雑な推論タスクで例外的なパフォーマンス...
DataPrep-Bench: LLMをトレーニングデータ準備者として評価する データ品質のパラドックス: ベンチマーク性能が現実世界の失敗を隠蔽する理由 トレーニングデータの品質は、大規模言語モデル(LLM)の能力を決定する主要因です(Kaplan et al., 2020; Hoffmann et al., 2022)。しかし現在、LLM自体がデータ準備タスクを確実に実行できるかどうかを評価するための標準化された測定フレームワークが業界に不足しています...
Codex リセット コンテキストウィンドウ管理のメカニズム OpenAI の Codex のような AI コーディングアシスタントは、有限のコンテキストウィンドウ内で動作します。これは形式的には、トランスフォーマーベースの言語モデルが単一の順伝播で処理できる最大トークン数（離散的な言語単位）として定義されます。会話にコードスニペット、エラーメッセージ、説明、反復的な改善が蓄積されるにつれて、累積トークン数は単調に増加し、やがてアーキテクチャの上限に接近しま...
ガウス混合注意機構：確率的潜在ルーティングによる線形時間シーケンス混合 ボトルネック：スケール時の密集注意機構 標準的なTransformer注意機構は、すべてのクエリとキー間のペアワイズ類似度スコアを計算するため、長さNのシーケンスに対してO(N²)の演算とO(N²)のメモリが必要です。32,768トークンのシーケンスでは、10.7億要素の注意行列が生成されます。この二次複雑性は、本番システムにおいて2つの異なる障害モードを引き起こします。 1. メ...
データ構成がスケールを上回るようになった LLM事前学習の有効性は、データセットの規模よりもデータ構成によってますます決定されるようになっています。 より大規模なデータセットが均一にモデル性能を向上させるという従来の仮定は、経験的に異議を唱えられています。スケーリング則とデータ効率に関する最近の研究（Hoffmann et al., 2022; Chinchilla scaling）は、キュレーションされた低容量のデータセットが、より大規模で異質な集合より...
Latent Cache Flow: モデル間通信のテキスト化排除 テーゼ 言語モデル間の直接的な潜在状態交換は、テキストのシリアライゼーション・オーバーヘッドを排除し、トークンレベルのアダプタ翻訳よりも情報損失が少ない、より高速なマルチエージェント調整を実現します。ただし、アーキテクチャの互換性と統制された実験条件での測定に依存します。 マルチエージェントLLMシステムにおけるテキストボトルネック 現在のマルチエージェント言語モデルシステムは、エ...
M4の24GBメモリでローカルモデルを実行する M4のユニファイドメモリアーキテクチャ：ローカル推論の新しい閾値 24GBのユニファイドメモリを搭載したM4チップは、ローカルモデル推論において明確なアーキテクチャ上の優位性をもたらします。従来のCPU-GPUシステムでは、分離されたメモリプールが計算ユニット間の明示的なデータ転送を必要とするのに対し、M4のユニファイドメモリアーキテクチャは、ニューラルエンジン、GPU、CPUが中間的なコピーオーバーヘッドなし...
DeepSeekのV4モデルが重要である3つの理由 DeepSeek V4では何が起きたのか DeepSeekは[日付を指定]にV4のプレビューをリリースし、これを製品ラインの主力モデルとして位置付けています。このリリースの重要性を正確に枠組みするには、DeepSeekが確立したパターンを理解する必要があります。同社は、オープンソースモデルを継続的にリリースしており、これらは文書化されたパフォーマンス特性を備え、推論操作あたりの計算コストが低い状態で、独占...
BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" Deep Learningにおけるメモリの壁：制約から機会へ ニューラルネットワークの訓練は根本的なアーキテクチャ制約に直面しています。逆伝播のための活性化を保存するには、O(L × B × N)に比例するメモリが必要です。ここでLはネットワーク深度、Bはシーケンス・バッチの基数、Nは...
「検閲されていない」モデルでも、言いたいことは言えない 検閲されていない自由という幻想 「検閲されていない」AIモデルが企業の制約から解放されるという販売主張は、カテゴリーの誤りに基づいています。ユーザーは代替プラットフォームやファインチューニングされた変種に切り替えることで、主流システムに組み込まれた制限が排除されると想定することが多いです。この想定には経験的な検証が必要です。 実際には、「無制限」と謳われるモデルは複数の制約層の中で動作しており、その一...
CUDAに対抗するROCm：「一歩ずつ進める」 CUDAの競争優位性とAMDの段階的な挑戦 NVIDIAのCUDAエコシステムは、2006年のCUDA導入から始まる約17年間の継続的な開発を通じて確立された、GPU計算における実質的な競争優位性を表しています。この優位性は単なる技術仕様にとどまらず、ライブラリ、フレームワーク、開発者教育、組織的ワークフローの統合システムであり、既存ユーザーにとって切り替えコストを生み出しています。 前提条件：「競争...
スプーンは存在しない。ソフトウェアエンジニアのための機械学習入門 知能の幻想：機械学習が実際に行うこと 機械学習システムは認知的な意味での学習ではなく、統計的パターンマッチングを通じた関数最適化を実行します。この区別は基本的なものであり、機械学習システムを取り巻く多くの神秘性を払拭します。 決定論的な制御フローを持つ従来のソフトウェアとは異なり、機械学習システムは訓練データで発見された統計的関連性を高次元パラメータ空間にエンコードします。形式的には、訓練...
構造化EHRファウンデーションモデルにおけるトークン化のトレードオフ 基礎：EHRモデルにおけるトークン化が重要である理由 構造化電子健康記録のためのファウンデーションモデルは、タイムスタンプ付きの臨床イベントの縦断的シーケンスを操作して、一般化可能な患者表現を学習します。これらのシーケンスがモデルアーキテクチャに到達する前に、離散的なトークンに変換される必要があります。このプロセスは、モデルが表現し学習できる情報を根本的に制約します。 トークン化設計は、...
分散型インテリジェンス：電波望遠鏡からニューラルネットワークへ SETI@homeは、分散ボランティアコンピューティングが数百万の参加者規模に拡張可能であることを実証しました。中央で設計されたアルゴリズムを使用して信号検出を実行するというモデルです（Anderson, 2002）。Autoresearch@homeはこの組織的モデルを言語モデル訓練研究に適用しますが、構造的な区別を導入しています。事前に決定された手順を実行するのではなく、参加者は自律的なAIエージ...
ゴールドマン・サックスのソロモンCEOがAIの見通しに慎重な楽観姿勢を示す ソロモンの生産性論：楽観主義の定量化 ダビッド・ソロモンによる人工知能の経済的インパクトに関する強気の評価は、彼の主張を支える実証的基礎を慎重に検証する価値があります。「大幅な生産性向上」への強調には具体性が求められます。ゴールドマン・サックスが観察している測定可能な改善とは何か、またそうした改善がどのような条件下で実現するのかです。 ソロモンの楽観主義は、金融サービス部門内での観...
Latent Context Compilation: 長いコンテキストをコンパクトなポータブルメモリに蒸留する 長いコンテキスト展開のボトルネック 現代の大規模言語モデル（LLM）は推論時に根本的な制約に直面しています。コンテキスト長と計算コストは超線形のスケーリング関係を示しています。具体的には、キー・バリュー（KV）キャッシュのメモリ要件はコンテキスト長に対して線形に増加する一方、注意計算は最悪の場合二次関数的（O(n²)）にスケールします。ただし、...
複雑性のアーキテクチャ：3.1 Pro が異なる理由 Gemini 3.1 Pro は、レイテンシ最適化よりも拡張推論チェーンを優先する意図的なアーキテクチャシフトを示しています。先行モデルが個別クエリへの迅速な応答生成を重視する一方で、3.1 Pro は複数ステップの分析タスク全体にわたって一貫性を維持するよう設計された反復的洗練プロセスを実装しています。これは能力の違いというより、異なる最適化目標を反映した区別です。 主要なアーキテクチャメカニズムは以下の通...
AIで最も誤解されているグラフ スケーリング則グラフの理解 主張：AI分野で最も誤解されているグラフはスケーリング則曲線である。モデルサイズ、訓練データ量、タスク損失の間の経験的関係を示すこのグラフは、普遍的な予測モデルとして解釈されることが多いが、実際には特定の限定された実験条件下でのみ有効な条件付きトレンドを表している。 定義的前提：Kaplan et al. (2020)とHoffmann et al. (2022)で形式化されたス...
AWS週刊ラウンドアップ：Amazon Bedrockエージェントワークフロー、Amazon SageMakerプライベート接続性、その他（2026年2月2日） タイミングと戦略的文脈 本AWS週刊ラウンドアップは、ビジネスカレンダーにおける自然な転換点に到来する。組織が年末インフラストラクチャレビューを実施し、第1四半期のデプロイメントを準備する時期に、AWSは企業計画の優先事項に直接対応する2つの機能を発表した。すなわち、自律的なタスク調整のためのAma...
新しい研究がAIモデルを実際のホワイトカラー業務でテスト 最近のベンチマーク評価では、コンサルティング、投資銀行業務、法務サービスから抽出された実際の職場タスクに対して、主要な大規模言語モデル(LLM)が評価されています。これらの評価は、一般的な質問応答を超えて、AIエージェントがドメイン専門知識、クライアントとのやり取り、判断を必要とする複数ステップの高リスクな専門業務を実行できるかどうかを測定します。 主張: 現在のAIモデルは、マーケティングの物語...
量子化を実用的なデプロイメントの手段として 量子化は、重みパラメータの数値精度を元の表現—通常は32ビット浮動小数点(FP32)または16ビット(FP16)—から、8ビット整数(INT8)、4ビット、または2ビット表現などのより低精度のフォーマットに削減するモデル圧縮技術です。理論的基盤は、ニューラルネットワークの重みが大きな冗長性を示すという経験的観察に基づいています。多くのパラメータは、モデル能力の比例的な損失なしに、削減された精度で表現できます(Gholam...
♪より良いアテンション・プライアが必要だ ♪ 注意は最適輸送手段であるなぜ事前分布が重要なのか？ Claim:標準的なソフトマックスアテンションメカニズムはトークン位置に対する暗黙の一様事前分布を埋め込んでいる。この事前分布は数学的に任意であり、特定のタスクやデータ分布に対して最適でないことが多い。 理由と証拠: ソフトマックス注意は正則化された最適輸送問題を解く(Gechinovskiy et al., 2022; Petersen et...
GRADE: LLMアライメントにおける方策勾配の逆伝播による置き換え LLMアライメントにおける直接逆伝播の根拠 人間のフィードバックからの強化学習(RLHF)は、大規模言語モデルを人間の好みに合わせるための標準的なアプローチとなっている。経験的に、RLHFで訓練されたモデルは、指示追従の改善と有害な出力の測定可能な削減を示している(Christiano et al., 2017; Ouyang et al., 2022)。しかし、支配的な実装である近接方...
MoEの計算効率を重みとデータのスパース性の組み合わせで改善する 重みのスパース性:基盤 Mixture-of-Experts(MoE)アーキテクチャは、すべてのモデルパラメータを活性化するのではなく、各トークンを学習されたエキスパートのサブセットにルーティングすることで、順伝播あたりの計算コストを削減します。この重みのスパース性メカニズムが、MoEシステムにおける主要な効率向上を構成します。形式的には、モデルが合計E個のエキスパートを含み、各トークンが...
テスラがDojo3を再開:宇宙ベースAIへの戦略的転換 テスラは、DojoとDojo2のスケーリングに優先的に注力していた期間を経て、第3世代AIトレーニングチップであるDojo3の開発再開を発表しました。当初のDojoロードマップは、独自の社内インフラストラクチャを通じた自動運転車両トレーニングの加速を目標としていました。Dojo3は文書化された戦略的方向転換を表しています:チップアーキテクチャは、地上の自動運転アプリケーションではなく、宇宙ベースのAIコンピュ...
テックCEOたちがダボスでAIについて自慢と口論を繰り広げる テクノロジーカンファレンスの代理としてのダボス 主張: 2024年のダボスにおける世界経済フォーラムは、事実上のテクノロジー戦略サミットとして機能し、人工知能が公式セッション、ネットワーキング時間、および経営幹部の注目において不釣り合いなシェアを占めた。 根拠と証拠: 世界経済フォーラムの伝統的な議題は、地政学的リスク、マクロ経済政策、気候変動への移行、およびセクター戦略のバラン...
AdaFRUGAL: 動的制御による適応的メモリ効率訓練 大規模言語モデル訓練におけるメモリ制約 大規模言語モデルの訓練には、GPUメモリに大きなオーバーヘッドが発生し、オプティマイザの状態が総割り当ての50〜70%を消費する(Shazeer et al., 2018; Rajbhandari et al., 2020)。float32精度でAdamオプティマイザを使用して訓練される70億パラメータモデルの場合、モデルの重みは約14GBを占め、オプティマイザ...
SGLangの研究から商用推論プラットフォームへの移行 SGLangは、UC BerkeleyのIon Stoica研究室から生まれたオープンソース研究プロジェクトとして始まり、大規模言語モデル(LLM)推論サービングにおける文書化された非効率性に対処するために設計されました。このプロジェクトは、本番推論システムにおける2つの確立された制約を特に対象としていました:(1)異種リクエストパターン下でのレイテンシの変動、(2)可変プロンプト長と出力トークン要件を持つ同...