1億パラメーターのBitNetを数ドルのマイコンで 8MBボード4枚でぎりぎり収まる計算
数ドルで買えて、消費電力もLED1個ほどのボードで言語モデルを動かす。SFのような話に聞こえるが、BitNetの3値の重みがそれを可能にする。ESP32-S3というマイコンを複数つないだクラスターを見ると、何が実際に動き、どこに本当の限界があるのかが分かってくる。限界のほとんどは、最初に思い浮かぶ場所にはない。
Tag
数ドルで買えて、消費電力もLED1個ほどのボードで言語モデルを動かす。SFのような話に聞こえるが、BitNetの3値の重みがそれを可能にする。ESP32-S3というマイコンを複数つないだクラスターを見ると、何が実際に動き、どこに本当の限界があるのかが分かってくる。限界のほとんどは、最初に思い浮かぶ場所にはない。
ローカルで動かすAIエージェントの「記憶のしかた」を比べる研究の多くは、いちばん大事な条件を抜かしている。1回の呼び出しで使える入力トークンの上限(予算)だ。エージェントがどう覚えておくかを、研究者は評価する。切り捨て、要約、検索、それらの組み合わせなどがある。たいていは品質スコアを1つだけ報告する。各方式が入力トークンをいくつまで使ってよかったのかは、ほとんど書かれない。この抜けが結果をゆがめる。ある方式は積極的に検索して8Kの枠をいっぱいに使う。
現代のソフトウェア開発は、異種プラットフォーム間での展開を必須としています。バックエンドサーバー、ウェブブラウザ、デスクトップアプリケーション、モバイルデバイス(iOSおよびAndroid)です。業界の現在の慣行では、異なる言語で記述された独立したコードベースが必須です。ウェブ向けのJavaScript/TypeScript、iOS向けのSwift、Android向けのKotlin、サーバー向けのPythonまたはGo。
EmukoはRISC-V命令セットアーキテクチャ(ISA)をRustで実装し、RV64Iベース整数命令セットと標準拡張(M、A、F、Dなど)を対象としています。RISC-Vのオープン仕様と直交的な命令セマンティクスは、可変長命令、暗黙的なオペランド、数十年の建築的負債を抱えるx86-64と比較して、本質的に単純なエミュレーション対象を提供します。この設計選択は実装の複雑性と検証の難度に直接的な影響を与えます。
量子化は、重みパラメータの数値精度を元の表現—通常は32ビット浮動小数点(FP32)または16ビット(FP16)—から、8ビット整数(INT8)、4ビット、または2ビット表現などのより低精度のフォーマットに削減するモデル圧縮技術です。理論的基盤は、ニューラルネットワークの重みが大きな冗長性を示すという経験的観察に基づいています。多くのパラメータは、モデル能力の比例的な損失なしに、削減された精度で表現できます(Gholami et al., 2021)。
主要な主張: 使いやすさにおける支配的な摩擦は、SwiftとCの型システムを橋渡しする際の安全でないポインタセマンティクスと暗黙的なメモリ所有権ルールに起因する。理論的基盤: Swiftの型システムは、所有権追跡と境界チェックを通じてコンパイル時のメモリ安全性を強制する(Swift Language Guideで形式化されている通り)。対照的に、Cライブラリは生のポインタを公開し、明示的な割り当てと解放を通じた手動のライフタイム管理を要求する。
Pythonのランタイムパフォーマンスは、2つのアーキテクチャ要因によって制約されています。1つは、スレッド間でCPUバウンド操作を直列化するGlobal Interpreter Lock(GIL)、もう1つは実行時の動的型解決のオーバーヘッドです。WebAssembly(WASM)は、これらの制約の外で動作する独自の実行モデル—サンドボックス化された静的型付けバイトコード形式—を提供し、拡張開発者がCやRustを習得する必要がありません。