自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/3/29
Tag
分散型インテリジェンス：電波望遠鏡からニューラルネットワークへ SETI@homeは、分散ボランティアコンピューティングが数百万の参加者規模に拡張可能であることを実証しました。中央で設計されたアルゴリズムを使用して信号検出を実行するというモデルです（Anderson, 2002）。Autoresearch@homeはこの組織的モデルを言語モデル訓練研究に適用しますが、構造的な区別を導入しています。事前に決定された手順を実行するのではなく、参加者は自律的なAIエージ...
説明可能なアンラーニングが今求められる理由 LLMのアンラーニングは、理論的な研究課題から運用上および規制上の必須要件へと移行しました。大規模言語モデルを展開する組織は、実証済みのリスク露出に直面しています。インターネット規模のデータセットで学習されたモデルは、必然的に著作権で保護された資料、個人識別情報（PII）、および安全性トレーニングにもかかわらず有害な出力と関連する知識をエンコードしています。その結果は実質的です。データ保護フレームワーク下での規制罰（G...
RxnNano: 階層的カリキュラム学習を用いたコンパクト言語モデルの化学反応・逆合成予測への応用 化学反応予測: スケーリングの先へ 化学反応予測は、医薬品開発パイプラインと合成計画ワークフローの加速化を支える基盤的な能力です。現在の最先端アプローチは、パラメータスケーリングとデータセット拡張に大きく依存しており、この前提は検証に値します。実証的証拠が示すのは、これらの戦略は新規反応タイプや訓練データが疎な化学領域に直面すると、脆弱なモデルを生み出すとい...
表現消去ベースの選好最適化によるLLMの有害性除去 現在のLLM安全性における表面性の問題 既存の選好最適化技術—Direct Preference Optimization（DPO）、Negative Preference Optimization（NPO）、および関連手法を含む—は主に出力確率分布を修正することで行動レベルで機能します。しかし、機械的解釈可能性研究からの経験的証拠は、そのような訓練後も潜在空間に有害な表現構造が残存することを示唆していま...
欺くことは教えることか。敵対的強化学習を通じた知覚的堅牢性の構築 知覚的脆弱性の危機 マルチモーダル大規模言語モデル（MLLM）は確立されたベンチマークで強い性能を示す一方で、視覚的複雑性が増した条件下では体系的な失敗パターンを示しています。文書化された脆弱性には、雑然とした場面での物体の誤認識、根拠のない視覚的詳細の生成（ハルシネーション）、知覚的推論を必要とするタスクにおける推論性能の低下が含まれます。これらの失敗パターンは自動運転や医療画像解析といっ...
Latent Context Compilation: 長いコンテキストをコンパクトなポータブルメモリに蒸留する 長いコンテキスト展開のボトルネック 現代の大規模言語モデル（LLM）は推論時に根本的な制約に直面しています。コンテキスト長と計算コストは超線形のスケーリング関係を示しています。具体的には、キー・バリュー（KV）キャッシュのメモリ要件はコンテキスト長に対して線形に増加する一方、注意計算は最悪の場合二次関数的（O(n²)）にスケールします。ただし、...
スペイン発「スーニコーン」Multiverse Computingが無料の圧縮AI モデルをリリース 無料リリースの背後にある戦略的計算 Multiverse Computing はユニコーン評価額に近づくスペインのスタートアップですが、HyperNova 60B という圧縮言語モデルを Hugging Face で無料公開しました。この動きは、断片化した AI 市場における意図的なポジショニングを反映しています。本質的に問われているのは、独占的な所有権を追...
約40MBのバイナリに隠されたバックドアを埋め込み、AIとGhidraに検出させてみた 実験設計：本番規模バイナリへのバックドア埋め込み 本質的に問われているのは、実運用環境を反映した規模でAI支援分析とGhidraの検出能力をどう評価するかです。約40MBのバイナリ—実世界の展開シナリオを代表する本番規模の実行ファイル—にバックドアを埋め込み、再現可能なベンチマークを確立しました。この規模の選択は意図的です。学術的評価では通常、小規模で単純化されたバイナ...
複雑性のアーキテクチャ：3.1 Pro が異なる理由 Gemini 3.1 Pro は、レイテンシ最適化よりも拡張推論チェーンを優先する意図的なアーキテクチャシフトを示しています。先行モデルが個別クエリへの迅速な応答生成を重視する一方で、3.1 Pro は複数ステップの分析タスク全体にわたって一貫性を維持するよう設計された反復的洗練プロセスを実装しています。これは能力の違いというより、異なる最適化目標を反映した区別です。 主要なアーキテクチャメカニズムは以下の通...
テクノロジーの動向：エネルギーとハイプの衝突 テクノロジー部門は二つの異なるが相互に関連した圧力に直面している。人工知能システムは実質的で増加し続けるエネルギー投入を必要とし、一方でソーシャルメディア・プラットフォームは現在の技術的現実を超えたAIの能力に関する言説を増幅させている。これらの力は、インフラ投資の優先順位と企業戦略を、慎重な分析に値する方法で再形成している。組織は、真正な技術的制約と機会を、投機的熱狂と区別するためのフレームワークを開発する必要がある...
Apple Engineers Are Working to Support AI Chatbot Apps Over the Next Few Months Appleのエンジニアリングチームは、OpenAIのChatGPT、AnthropicのClaude、およびそれに類する会話型AI プラットフォームを含む第三者製のAIチャットボットアプリケーションを、Appleの車載インフォテインメントシステムであるCarPlayに統合する取り組みを進めているとされている...
AIで最も誤解されているグラフ スケーリング則グラフの理解 主張：AI分野で最も誤解されているグラフはスケーリング則曲線である。モデルサイズ、訓練データ量、タスク損失の間の経験的関係を示すこのグラフは、普遍的な予測モデルとして解釈されることが多いが、実際には特定の限定された実験条件下でのみ有効な条件付きトレンドを表している。 定義的前提：Kaplan et al. (2020)とHoffmann et al. (2022)で形式化されたス...
BigQueryの会話型分析機能：技術的基礎と組織的実装 自然言語とデータウェアハウスの邂逅 Google Cloudは、BigQuery内にプレビュー機能として会話型分析機能を導入した。これにより、アナリストとビジネスユーザーはSQLではなく自然言語を用いて複雑なデータセットをクエリできるようになった。この機能は大規模言語モデル（LLM）—具体的にはコード生成とセマンティック理解タスクで訓練されたモデル—を活用し、ユーザーの意図を解釈し、会話型クエリをSQ...
ザ・ダウンロード：AIの追跡を試みること、そして次世代原子力発電 AIの進歩追跡：標準的メトリクスが不十分である理由 主張： AI研究・展開コミュニティは、フロンティアモデルにおける真の能力向上を測定するための正式な合意メカニズムを欠いており、能力評価とリスク特性化における体系的な盲点をもたらしている。 根拠と前提： フロンティアモデル開発者（OpenAI、Google DeepMind、Anthropic）が新しい大規模言語モデルをリリー...
AWS、NVIDIA RTX PRO 6000 Blackwell Server Edition GPUで加速したAmazon EC2 G7eインスタンスを発表 パフォーマンス向上とビジネスインパクト G7eインスタンスは大規模言語モデルとコンピュータビジョンアプリケーションの推論時間を大幅に短縮する。Blackwellアーキテクチャはメモリ帯域幅とコンピュート密度を増加させ、アーキテクチャの再設計を必要とせずにトークン生成とフレーム処理を高速化する。推論...
微調整されたQwen2.5-7Bを100本の映画で訓練した確率的ストーリーグラフ 映画学とシステムズエンジニアリングの架橋 映画のナラティブとシステムズエンジニアリングにまたがる学際的研究は、構造的な同型性を露呈させる。物語は有向非環グラフとして形式化可能であり、登場人物、事象、感情的なビートがノードを構成し、因果関係またはテーマ的関係がエッジを構成する。この観察は比喩的ではない。ナラティブ構造を数学的グラフ理論の言葉で正確に言い直したものであり、数十年のナ...
ダウンロード：ヤン・ルクンの新しいベンチャーとリチウムの上昇 今日のテクノロジーランドスケープ：2つの重要な転換 テクノロジーセクターは、体系的な検証を必要とする2つの同時進行する構造的発展に直面しています。ヤン・ルクンの新興ベンチャーは、2022年以来研究投資とメディアカバレッジを支配してきたトランスフォーマーベースの大規模言語モデルアーキテクチャからの文書化された離脱を表しています。同時に、グローバルな電化が加速するにつれて、リチウムサプライチェーンは文...
Codexエージェントループの展開 Codexエージェントループの理解 定義： Codexエージェントループは、言語モデルがコードまたはアクションを生成し、実行結果を観察し、エラーを分類し、改善された出力を再生成するという構造化された反復サイクルであり、タスク完了またはリソース枯渇まで繰り返されます。 理論的基礎： 従来のコード生成は単一パス推論として機能します：意図→モデル→出力。エージェントループは、マルチステップの推論を可能にするフィ...
新しい研究がAIモデルを実際のホワイトカラー業務でテスト 最近のベンチマーク評価では、コンサルティング、投資銀行業務、法務サービスから抽出された実際の職場タスクに対して、主要な大規模言語モデル(LLM)が評価されています。これらの評価は、一般的な質問応答を超えて、AIエージェントがドメイン専門知識、クライアントとのやり取り、判断を必要とする複数ステップの高リスクな専門業務を実行できるかどうかを測定します。 主張: 現在のAIモデルは、マーケティングの物語...
量子化を実用的なデプロイメントの手段として 量子化は、重みパラメータの数値精度を元の表現—通常は32ビット浮動小数点(FP32)または16ビット(FP16)—から、8ビット整数(INT8)、4ビット、または2ビット表現などのより低精度のフォーマットに削減するモデル圧縮技術です。理論的基盤は、ニューラルネットワークの重みが大きな冗長性を示すという経験的観察に基づいています。多くのパラメータは、モデル能力の比例的な損失なしに、削減された精度で表現できます(Gholam...
AppleがSiriをAIチャットボットにする計画：研究者による分析 会話型AIプラットフォームとしてのSiri Appleが報じられているSiriを会話型エージェントに変革する方向転換は、現在のタスク指向設計からの重要なアーキテクチャ上の転換を表しています。現在、Siriはコマンドインタープリターとして機能しています。ユーザーが特定のリクエストを発行すると、システムは個別の出力で応答するか、事前定義されたアクションを実行します。提案されている進化は、複数タ...
♪より良いアテンション・プライアが必要だ ♪ 注意は最適輸送手段であるなぜ事前分布が重要なのか？ Claim:標準的なソフトマックスアテンションメカニズムはトークン位置に対する暗黙の一様事前分布を埋め込んでいる。この事前分布は数学的に任意であり、特定のタスクやデータ分布に対して最適でないことが多い。 理由と証拠: ソフトマックス注意は正則化された最適輸送問題を解く(Gechinovskiy et al., 2022; Petersen et...
推論スタートアップInferactがvLLMの商用化に向けて1億5000万ドルを調達 8億ドルの評価額と市場ポジショニング Inferactの1億5000万ドルのシードラウンドは、事後評価額8億ドルで実施され、特定の市場条件を前提としたvLLMの商業的実行可能性に対する投資家の信頼を反映している。この評価額は精査に値する:企業による採用の成功、持続的な競争優位性、予測可能な収益拡大を前提としている。 基本的な主張: この評価額は、vLLMが本番環境...
GRADE: LLMアライメントにおける方策勾配の逆伝播による置き換え LLMアライメントにおける直接逆伝播の根拠 人間のフィードバックからの強化学習(RLHF)は、大規模言語モデルを人間の好みに合わせるための標準的なアプローチとなっている。経験的に、RLHFで訓練されたモデルは、指示追従の改善と有害な出力の測定可能な削減を示している(Christiano et al., 2017; Ouyang et al., 2022)。しかし、支配的な実装である近接方...
どのAIが最も上手に嘘をつくか?ジョン・ナッシュが設計したゲーム理論の古典 AIシステムにおけるナッシュの欺瞞ゲームの理解 ジョン・ナッシュの「So Long, Sucker」ゲーム—1950年に発表され、シルビア・ナサールの伝記に記録された4人プレイヤーの逐次ゲーム—は、個々の利得最大化を追求する合理的エージェントが、複数ラウンドの相互作用において欺瞞的戦略を採用する形式的メカニズムを実証している(Nash, 1950; Nasar, 1998)。このゲー...
アシスタント軸:LLMのキャラクターの位置付けと安定化 アシスタント軸の定義 主張: 大規模言語モデルは測定可能なスペクトル、すなわち「アシスタント軸」に沿って動作し、実世界での展開において有用性、誠実性、無害性のバランスをどのように取るかを捉えている。 定義上の前提条件: アシスタント軸は、3つの主要な行動目標間のトレードオフを捉える多次元構造として定義される:(1)有用性、タスク完了率と応答の有用性として操作化される;(2)誠実性、事実...
デジタル代謝:再生的アンラーニングによる論理と事実の分離 — 純粋な神経論理コアに向けて パラメータのエンタングルメント:根本的な問題 主張: 大規模言語モデルはパラメータのエンタングルメントを示す。これは、推論論理と事実知識が共有された神経重みの中にエンコードされ、表現の干渉を生み出し、両方の能力を低下させるものである。 定義的前提条件: パラメータのエンタングルメントは、異なる機能的目的(論理的推論と事実検索)が重複する重み行列内に共存...
MoEの計算効率を重みとデータのスパース性の組み合わせで改善する 重みのスパース性:基盤 Mixture-of-Experts(MoE)アーキテクチャは、すべてのモデルパラメータを活性化するのではなく、各トークンを学習されたエキスパートのサブセットにルーティングすることで、順伝播あたりの計算コストを削減します。この重みのスパース性メカニズムが、MoEシステムにおける主要な効率向上を構成します。形式的には、モデルが合計E個のエキスパートを含み、各トークンが...
LLM埋め込み空間における離散的意味状態とハミルトン動力学 LLM埋め込みにおける数学的構造 大規模言語モデルは、学習された変換を通じて意味情報を高次元ベクトル空間に投影する。これらの空間の内部組織—連続的か離散的か—は、未解決の実証的問題である。最近の計算的調査は、LLM埋め込みが均一な連続分布ではなく、離散的な意味組織と一致するクラスタリングパターンを示すことを示唆している。具体的には、意味的に類似した概念を表すトークンは埋め込み空間内の局所的な近傍を占...
RewriteNets: 生成的系列モデリングのためのエンドツーエンド訓練可能な文字列書き換え 現代の系列モデルにおける複雑性問題 Transformerベースのアーキテクチャは生成的系列モデリングの支配的なパラダイムとなっているが、十分に文書化された計算上の制限を示している:系列長における二次複雑性(O(n²))である。この複雑性は、注意機構がすべてのトークン位置間のペアワイズ類似度スコアを計算する必要があることから生じる。長さnの系列に対して、各注意ヘッ...
言語モデルは言語と文化を絡み合わせる 多言語品質格差 言語モデルは、英語以外の言語において体系的なパフォーマンス低下を示しており、この現象は複数の実証研究で文書化されている(Ahuja et al., 2023; Adelani et al., 2021)。ユーザーがスペイン語、中国語、アラビア語、ヒンディー語でモデルに問い合わせると、英語での出力と比較して、応答の正確性、一貫性、文化的関連性において測定可能な低下が発生する。このパターンは、文書化されたトレ...
拡散言語モデル（LLaDA）に対するGCG攻撃の有効性を分析。自己回帰モデルとは異なる脆弱性表面を持つ拡散LLMのセキュリティ評価と、勾配ベース最適化による敵対的プロンプト生成手法を解説。
AdaFRUGAL: 動的制御による適応的メモリ効率訓練 大規模言語モデル訓練におけるメモリ制約 大規模言語モデルの訓練には、GPUメモリに大きなオーバーヘッドが発生し、オプティマイザの状態が総割り当ての50〜70%を消費する(Shazeer et al., 2018; Rajbhandari et al., 2020)。float32精度でAdamオプティマイザを使用して訓練される70億パラメータモデルの場合、モデルの重みは約14GBを占め、オプティマイザ...
課題:LLMと分子設計の出会い 大規模言語モデル(LLM)は、多様な領域におけるパターン認識と推論タスクにおいて強力な性能を実証してきた(Vaswani et al., 2017; Brown et al., 2020)。しかし、構造ベース創薬(SBDD)への応用は、実用性を制約する2つの十分に文書化された制限に直面している。 第一に、LLMはタンパク質構造解釈に必要な堅牢な三次元空間推論能力を欠いている。これらのモデルは逐次的なトークン予測と意味的関係性におい...
自己診断の進化:検索エンジンからAIアシスタントへ 過去20年間、新しい医学的症状に対する主要な初期対応は一貫したパターンに従ってきた:ブラウザを開いて検索する。この行動は実用的な必要性から生まれた—予約の遅延、交通費、診療時間外の障壁なしに、医療情報に即座にアクセスできる能力である。このパターンは十分に定着し、患者は複数のウェブサイトで症状を相互参照し、すでに自己診断を備えた状態で臨床予約に到着するようになった。 この変化は、測定可能な方法で医師と患者の相互作...
コールセンターQ&Aデータセットを通じたドメイン特化型LLMの適応 LLMのファインチューニングには高品質な指示データが必要 主張: 大規模言語モデルは、汎用的な事前学習済み重みのみに依存するのではなく、運用コンテキストに基づいた質問-回答ペアという形式の高品質な指示フォーマットデータセットでファインチューニングすることで、ドメイン特化型の能力を獲得する。 理論的基盤: 事前学習済みLLMは広範な言語パターンをエンコードしているが、制約さ...
CSyMR: MIRツール統合による作曲的記号音楽推論のベンチマーク 孤立した音楽分析と作曲的推論の間のギャップ 大規模言語モデルは、制約された音楽分析タスク(例:和音識別、音階分類、単一小節コンテキストにおける和声機能ラベリング)において測定可能な能力を示してきた。しかし、MIR(音楽情報検索)評価フレームワークを含む既存の音楽推論ベンチマークは、分析次元間の統合を必要とせず、孤立した原子的知識を主に評価している。この制限は、ベンチマーク設計と専門的な音...
SGLangの研究から商用推論プラットフォームへの移行 SGLangは、UC BerkeleyのIon Stoica研究室から生まれたオープンソース研究プロジェクトとして始まり、大規模言語モデル(LLM)推論サービングにおける文書化された非効率性に対処するために設計されました。このプロジェクトは、本番推論システムにおける2つの確立された制約を特に対象としていました:(1)異種リクエストパターン下でのレイテンシの変動、(2)可変プロンプト長と出力トークン要件を持つ同...
さて、メタバースは終わった！ VRがAIに取って代わられ、メタバースは末期状態に メタバースのビジョン—次世代のコンピューティングプラットフォームとしての没入型3D仮想世界—は、生成AIが投資とユーザーの注目の両方を獲得したことで勢いを失った。 VRの普及は2023年に世界で約1億7,100万人のヘッドセットユーザーで頭打ちとなった一方、AIアプリケーションは指数関数的に成長した。企業と消費者は、空間コンピューティングではなく、言語モデル、画像生成、自動化...
今日はエンタープライズAI導入の転換点を迎える エンタープライズAIは、3つの実現条件の収束によって特徴づけられる重要な岐路に達している。第一に、基盤となる大規模言語モデルとドメイン固有モデルが十分な安定性と予測可能性を達成し、組織がその上に再現可能なシステムを構築できるようになった。これは、以前のモデルの動作と出力品質における変動性からの脱却である。第二に、コンピューティングインフラストラクチャのコストが大幅に低下した。クラウドベースのGPUと専用AIハードウェ...
なぜLLMには後付けではなく、LLM向けに設計された言語が必要なのか 理論的基盤：LLM-言語アライメント問題 大規模言語モデル、特にトランスフォーマーベースのアーキテクチャは、語彙上の学習された確率分布に条件付けられた逐次的なトークン予測を通じてコードを生成する(Vaswani et al., 2017)。このプロセスは、人間の開発者がコードを書く方法とは根本的に異なる。LLMは生成前に構文木を解析しない。訓練データにおける統計的パターンに基づいて次のト...
スペクトル生成フローモデル:ベクトル化された大規模言語モデルに代わる物理学に着想を得た手法 トークンからフィールドへ:物理学に基づく代替手法 スペクトル生成フローモデル(SGFM)は、逐次情報の表現と処理方法において、トランスフォーマーアーキテクチャからの構造的な転換を表しています。言語をトークン列に離散化してグローバルアテンション機構を適用するのではなく、SGFMはテキスト生成をウェーブレット基底における確率微分方程式によって支配されるフィールドの連続的な...
LLMは400年にわたる信用詐欺である 誇大宣伝の下にあるパターン 大規模言語モデルは、何世紀にもわたる修辞的伝統を継承している。それは、確率的推論を権威ある知識として体系的に提示することである。このパターンは意図的な欺瞞ではなく、モデルのアーキテクチャと訓練目標の構造的帰結である。数十億のパラメータにわたって統計的精度で次のトークンを予測するようにシステムが最適化されると、権威ある言説を模倣する流暢なテキストを生成することに極めて熟達する。これにより、モデ...
日常的な技術変化は即座の注意を要求する 技術変化の速度は現在、実務者が圧縮された時間枠内(年単位ではなく週から月単位)で業務および市場条件を再構築する能力を持つ新興トレンドに関する最新知識を維持することを必要としている。現在、体系的な注意を要する2つの領域がある:ソフトウェア開発ワークフローへの人工知能の統合、および臨床検証と商業展開に向けたバイオテクノロジーの進展である。両分野とも、実証可能な能力向上と並行して相当な宣伝活動を生み出している。分析上の課題は、持続...
SalesforceがAIエージェント機能を搭載したSlackボットを発表 Salesforceは、高度なAIエージェント機能を統合した強化版Slackボットを正式にリリースし、会話型自動化アーキテクチャにおける文書化された転換を示しました。この反復版は、反応的なコマンド実行を超えて、非同期ディスカッション全体にわたるコンテキスト理解を可能にします。このボットは、チャット履歴を処理し、意思決定ポイントを特定し、明示的なユーザー呼び出しなしに、議論の要約の合成やスケ...
LLMの階層的スパース+低ランク圧縮 現代のLLMにおけるメモリ危機 主張: 大規模言語モデルは現在、法外な量のメモリと計算資源を消費しており、実用的な展開と継続的な訓練のために圧縮は交渉の余地のない要件となっている。 前提条件と仮定: - モデルは事前量子化なしで完全精度(FP32)または半精度(FP16)で保存されている。 - 展開対象には、リソース制約のある環境(エッジデバイス、小規模クラスタ)またはコスト重視の推論シナリオが含まれる...