自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/7/28
Tag
Ternlight – ブラウザで動作する7 MBの埋め込みモデル（WASM） 極限圧縮のアーキテクチャ Ternlightは三値量子化という手法を通じて7 MBのフットプリントを実現しています。この手法はモデルの重みを3つの離散値（−1、0、+1）に制限するものです。このアプローチは確立された知識蒸留の原理に基づいており、より小さなモデルが大規模な埋め込みモデルの出力動作を近似することを学習しながら、意味情報をエンコードする幾何学的関係を保持します。 *...
ブラックボックス・パラドックス：モデル性能が理解を超える場合 主張： ブラックボックス大規模言語モデルの知識蒸留は、プロプライエタリなシステムを大規模に展開する組織にとって運用上の必要性となっています。しかし内部モデルへのアクセス欠如—重み、活性化、中間表現—は知識転移メカニズムを根本的に制約します。従来の蒸留では重み空間の類似性を最適化していましたが、ブラックボックスシナリオでは入出力ペアのみから行動推論を行う必要があり、異なる技術的および認識論的課題...
Latent Context Compilation: 長いコンテキストをコンパクトなポータブルメモリに蒸留する 長いコンテキスト展開のボトルネック 現代の大規模言語モデル（LLM）は推論時に根本的な制約に直面しています。コンテキスト長と計算コストは超線形のスケーリング関係を示しています。具体的には、キー・バリュー（KV）キャッシュのメモリ要件はコンテキスト長に対して線形に増加する一方、注意計算は最悪の場合二次関数的（O(n²)）にスケールします。ただし、...
スペイン発「スーニコーン」Multiverse Computingが無料の圧縮AI モデルをリリース 無料リリースの背後にある戦略的計算 Multiverse Computing はユニコーン評価額に近づくスペインのスタートアップですが、HyperNova 60B という圧縮言語モデルを Hugging Face で無料公開しました。この動きは、断片化した AI 市場における意図的なポジショニングを反映しています。本質的に問われているのは、独占的な所有権を追...
LLMの階層的スパース+低ランク圧縮 現代のLLMにおけるメモリ危機 主張: 大規模言語モデルは現在、法外な量のメモリと計算資源を消費しており、実用的な展開と継続的な訓練のために圧縮は交渉の余地のない要件となっている。 前提条件と仮定: - モデルは事前量子化なしで完全精度(FP32)または半精度(FP16)で保存されている。 - 展開対象には、リソース制約のある環境(エッジデバイス、小規模クラスタ)またはコスト重視の推論シナリオが含まれる...