数カ月に一度、誰かがまた意外な機器でDOOMを動かしてみせる。電卓、スマート冷蔵庫、オシロスコープ、さらには妊娠検査薬の表示部まで、1993年発売のこのシューティングゲームの舞台になってきた。
お決まりの問いは同じだ。この機器は、ゲームを動かせるほど高性能なのか。
DOOMFORMERは、その逆を問う。作者はHacker Newsでこう説明した。
「DOOMを何かの上で動かそうとする代わりに、DOOM(実際にはものすごくたくさんのDOOMのゲーム)を使ってトランスフォーマーを作ることにした」。ここでは、ゲームは動かされるプログラムではない。
動かす側の機械だ。
冗談で終わる話ではない。
仕事で使うAIツールの多くは、トランスフォーマー(文章などを処理するAIモデルの基本的な仕組み)の上で動いている。このプロジェクトは、その土台が実はどれほど少ないもので足りるのかを見せてくれる。
この記事のポイント
- DOOMFORMERは、よくあるネタを逆にした。DOOMが計算機になり、その上でトランスフォーマーが動く。
- 鍵は、古いエンジンの癖である「ブードゥー人形」だ。トリガーや上下する床・天井と組み合わせると、マップが計算を始める。
- 必要な計算は、多数のDOOM上のゲームの仕組みでこなす。作者の見積もりでは、ふつうのやり方より約6万5,000倍遅い。
なぜDOOMは「動かされる側」から「動かす側」になるのか
ふつうのDOOM移植は、機器を試す。DOOMFORMERは、ゲームそのものを試す。DOOMに何が動かせるのか、と問うのだ。
移植が成功すれば、その機器には本物のプログラムを動かせるだけの処理能力、メモリ、画面があるとわかる。試されるのは機器で、ゲームは物差しにあたる。
DOOMFORMERでは、試される側がゲームになる。これは大胆な主張だ。
1秒に35ティック(ゲームが1回更新される単位)で悪魔を廊下に走らせるためだけに作られた仕組みから、汎用の計算を取り出せる、と言っているのだから。
次の表は、2つの考え方を比べたものだ。
| ふつうのDOOM移植 | DOOMFORMER | |
|---|---|---|
| DOOMの役割 | プログラム | 計算機 |
| 試されるもの | 機器の融通のきき方 | ゲームの論理で何が計算できるか |
| 大変な部分 | エンジンを合わせる作業 | マップの仕組みから算術を組む作業 |
| 最終的な成果 | 遊べるゲーム | 動くトランスフォーマー |
では、なぜこれは冗談以上なのか。ゲームのルールを、命令の集まりとして扱っているからだ。 作者は、エンジンの新しいコードを書いていない。
部品はすべて、DOOMのマップがもともと持つ振る舞いから取り出した。
だからこのプロジェクトは、一見ばかげているのに、計算機に本当に必要なものがいかに少ないかを教えてくれる。
ブードゥー人形と、シューティングゲームに隠れた機械
DOOMが計算できるのは、マップとゲームのルールの仕組みのおかげだ。C言語のコードのおかげではない。作者はほとんど余談のように、「ちなみにDOOMはチューリング完全」と書いている。
それを可能にする部品が、ブードゥー人形(voodoo doll)だ。
ブードゥー人形とは
同じプレイヤーの開始地点がマップに複数あると、ブードゥー人形が現れる。
エンジンがプレイヤーの分身を余分に出すのだ。分身は自分では動けない。本物のプレイヤーの状態につながっている。
つながり方は、おおよそ次のとおりだ。
- ダメージ:人形が傷つくと、プレイヤーの体力が減る。
- アイテム:人形が何かを拾うと、プレイヤーが手に入れる。
- トリガー:人形がトリガーの線をまたぐと、プレイヤーが踏んだときと同じように作動する。
マップ作者は何年も前から、プレイヤーに見えない出来事を動かすためにこれを使ってきた。
よくあるのは、閉じた部屋のベルトコンベヤーに人形を載せる仕掛けだ。人形が運ばれていくうちに、タイマーのように出来事が次々に起こる。
演出の仕掛けから計算へ
こうした部品を十分につなげると、計算機の基本部品がそろう。それぞれ、ふつうのゲーム要素に対応している。
- 記憶:上げ下げされたセクター(マップの区画)は、何かが変えるまでそのままだ。つまり1ビットを保てる。
- 信号:コンベヤーに乗った人形が、出来事をある場所から別の場所へ運ぶ。
- 分岐:ドアが開いているか、床が上がっているかで、人形が届くトリガーの線が変わる。次に起こることも変わる。
- ゲート:リフト、ドア、押しつぶす天井(クラッシャー)が、動きを止めたり通したりする。そのため、ある信号が別の信号を制御できる。
- タイミング:コンベヤーの長さと速さが、各出来事の起こる時刻を決める。
「チューリング完全」が約束すること、しないこと
この言葉はよく誤解される。
原理的には、汎用コンピューターができる計算ならどんなものでもこなせる、という意味だ。その計算が小さく済むか、速いか、実用的かについては、何も保証しない。
もう一つ、地味だが大事な制約がある。マップには限りがあり、状態を記憶できるセクターの数も限られる。実際のコンピューターと同じで、持っているメモリが上限になる。
だから大事なのは、DOOMでそれをやるといくらかかるかだ。できるかどうかは二の次になる。DOOMFORMERが立っているのは、「できる」と「使える」のあいだである。
すべてはゲームのティックで進む
この種の計算は、ゲームが更新されたときにしか進まない。ティックとティックのあいだには何も起こらない。どの操作も、人形が動く、セクターが動く、線をまたぐといった、それぞれ時間のかかる手順でできている。
たとえば、タイマーが鳴ったときにしか動けない料理人のいる台所を考えてみよう。どんな料理も、何回鳴れば終わるかという問いになる。この制限が、数の持ち方や、各操作にかかる時間を左右する。
ゲームの仕組みでNumPyを作り直す
トランスフォーマーの大半は、数の表を相手にした、ふつうの算術だ。作者の仕事は、その算術をゲーム内の出来事で作り直すことだった。作者はこう述べている。
「基本的に、DOOMのゲームの仕組みとブードゥー人形を使い、…それを実際の演算と入れ替えて、要するにNumPyの代わりになるものを作る必要があった」。NumPyは、数値計算でよく使われるライブラリだ。
トランスフォーマーが必要とする演算
仕事の大部分を担うのは、行列の掛け算だ。そのまわりに、いくつか別の演算がある。
- 行列の掛け算:掛けて足す手順を大量に重ねる。モデル全体で使われる。
- ソフトマックス:アテンションで、スコアを重みに変える。指数関数と割り算が要る。
- 層の正規化:値を安定した範囲に保つ。割り算と平方根が要る。
- 点ごとの非線形関数:個々の値に別々にかける単純な関数。
小数のない数
最初の問題は、数をどう持つかだ。マップの仕組みには、小数を扱う浮動小数点の値がない。値は、個数、セクターの高さ、出来事が起きた回数のような、整数の量でなければならない。
この点で、機械学習の演算をあえて整数だけに限る「整数のみの量子化」に近い。
Algebraic Integer Quantization for Machine Learning Applicationsで取り上げたとおり、その世界では精度はただではない。使うたびに減っていく予算になる。
DOOMでは、この予算が特にはっきり見える。精度を1ビット増やすたびに、マップの造りもティックも増える。 粗い数なら安く済む。
ただし、モデルの答えがおかしくなり始めるところまでだ。
演算によって難しさが違う理由
数えたり動かしたりに向く演算もあれば、向かない演算もある。次の表は、各演算がトランスフォーマーで何をするか、ゲームの出来事で作りやすいか難しいかを示したものだ。
難しさの欄は、仕組みから考えた推論であり、プロジェクトが公表した数字ではない。
| 演算 | トランスフォーマーでの役目 | 作りやすさの理由 |
|---|---|---|
| 足し算 | 足し込み、残差接続 | 易しい:出来事を数えるかセクターを動かす |
| 掛けて足す | 行列の掛け算 | 中程度:足し算の繰り返しになる |
| 比較 | 最大値、分岐 | 中程度:人形をどちらかへ送る |
| 指数関数 | ソフトマックス | 難しい:数えるだけでは表せない |
| 割り算 | ソフトマックス、正規化 | 難しい:手順を何度も繰り返す |
| 平方根 | 層の正規化 | 難しい:手順を何度も繰り返す |
プロジェクトの公開された説明には、DOOMFORMERが難しい行をどう扱うかは書かれていない。
整数だけで推論する方式では、指数関数や正規化を近似や早見表(ルックアップテーブル)で済ませるのがふつうだ。ここでもその道が理にかなう。1ステップごとにティックを使うからだ。
ただし、これは推測であり、作者が確かめたことではない。
部品から、モデル全体へ
いくつかの基本演算が確実に動けば、あとは組み合わせの問題になる。順番は単純だ。
- 掛けて足す手順を一定の型で繰り返し、行列の掛け算にする。
- 行列の掛け算にソフトマックスを足し、アテンションにする。
- アテンション、フィードフォワードのブロック、正規化を組み合わせ、1つの層にする。
- 層を積み重ね、トランスフォーマーにする。
モデルは、自分の算術がどんなハードウェアで動いているかを知らない。頼っているのは、数が十分に正しいことだけだ。DOOMでは、その「十分」の限度は、マップが払える精度で決まる。
多数のDOOMが、1つの機械として動く
DOOMFORMERは、巨大な1つのマップではない。作者は「ものすごくたくさんのDOOMのゲーム」を使っていると強調している。ゲームの1つ1つが、計算の1単位になる。
この選び方が、ほかのすべてを決める。システムは1台の機械というより、小さな作業員のチームに近くなる。だれかが、その成果を集めなければならない。
分割した計算の流れ
資料には、パイプライン(処理の流れ)の全段階までは書かれていない。それでも、算術を別々のゲームに分ける設計なら、おおよそ次のことが要る。
- 演算を、1つのゲームで扱える大きさの断片に分ける。
- 各ゲームに入力を渡す。入力はマップの状態として書き込む。
- 結果が落ち着くまで、ゲームにティックごとの処理を走らせる。
- ゲームの外から出力を読み取る。
- その値を、次の段階の入力として渡す。
DOOMの中で起こるのは、3だけだ。1、2、4、5は調整役の仕事で、調整はホスト上で動くふつうのコードが担う。
DOOMの仕事はどこまでで、ホストの仕事はどこからか
ゲームの中に作った計算機なら、必ず出てくる疑問がある。計算のどこまでをゲームがやり、どこからをホストがやるのか。
答えは、つなぎのコードが何をするかで変わる。
- 値を運ぶだけなら:算術はDOOMのものだ。
- 途中で合計、スケール調整、集約もするなら:トランスフォーマーの一部は、ふつうのプログラミング言語で動いている。
資料は、どちらなのか、どの程度なのかを述べていない。だから公平な読み方は、この調整を結果の一部として見ることだ。無視してよい配管とは見ない。
これは帳簿づけの話であり、批判ではない。ゲームの中に作った計算機には、必ずプログラムを読み込み、答えを読み出す役が要る。
大事なのは、どの算術が境界のどちら側にあるかをはっきりさせることだ。
「6万5,000倍遅い」は何を測っているのか
作者は、この結果をNumPyの代わりになるものと呼び、約「6万5,000倍遅い」と述べている。この数字は、同じ算術にたどり着く2つの道筋の比較だ。DOOM単体の速度ではない。
次の表は、1回の掛けて足す計算がどう行われるかを比べたものだ。
| 道筋 | 1回の掛けて足す計算 |
|---|---|
| NumPy | コンパイル済みの数値コードがCPUで直接動く |
| DOOMFORMER | ティック、動く物体(エンティティ)、作動するトリガー |
この比較には落とし穴がある。
それらのティックを模擬するDOOMのエンジンも、CPUの上で動いている。つまり遅くなる分は、同じハードウェアの上に、ゲームの物理とイベント処理という層を1枚はさんで、算術を通すコストだ。
6万5,000倍は、桁でいえば5桁弱の差だ。
これほど回り道をする方法として大きいのか小さいのかは、判断が分かれる。この数字だけでは、どれだけがDOOMの仕組みのせいで、どれだけが周りの調整コードのせいなのかはわからない。
仕掛けでできたトランスフォーマーは何を再現するのか
DOOMFORMERは、トランスフォーマーの抽象的な手順を、ゲームの中の物理的な出来事に置き換える。
極端な例だが、1つの単純な事実がよくわかる。モデルの振る舞いは、算術から生まれる。実行するハードウェアは関係ない。
トークンがたどる道
ふつうのモデルでは、トークン(文章を区切った単位)ごとに隠れた状態があり、層を進むにつれて変わっていく。解釈可能性の研究は、その道筋の形を調べている。
High-dimensional layer-state trajectories reveal the internal dynamics of transformer inferenceで取り上げたとおりだ。
道筋を形づくるのは、モデルの3つの部分だ。
- アテンション:文中の別の位置の情報を混ぜ込む。
- フィードフォワードのブロック:各位置の状態を、それぞれ単独で変換する。
- 残差接続:前の値を先へ運び、失われないようにする。
同じ道を、ゲームの部品で
DOOMFORMERは、それらの各段階をマップ内の出来事として組み立てる。資料の説明を大まかにまとめると、対応は次のとおりだ。
| トランスフォーマーの考え方 | DOOMFORMERでの形 |
|---|---|
| トークンの道筋の1歩 | セクターの動き、人形、トリガーの作動 |
| 残差ストリームの値 | 床の高さと出来事の回数 |
| アテンションのパターン | コンベヤーの振り付け |
ハードウェアは関係ない、ただし条件つきで
要点は単純だ。アテンションにシリコンは要らない。設計のどこにも、GPUを必要とする部分はない。
ただし条件が1つあり、結論はそれにかかっている。ゲーム版が元のモデルと同じように振る舞うのは、数が同じになるときだけだ。
本物のモデルは、ふつう浮動小数点で計算する。高さや出来事を数えるゲームの仕掛けは、もっと粗い値で動くかもしれない。
丸め方が違えば、出力が基準のモデルからずれることがある。資料には、DOOMFORMERの出力が標準的な実装とどこまで一致するかは書かれていない。
数が一致するなら、足し算をするのがテンソルコアでも、隠し部屋のリフトでも、モデルの振る舞いは同じだ。
原理上は見える、実際には見えない
ゲームという舞台には、珍しい種類の透明さもある。ただし、ほとんど机上の話だ。
- 原理上は:途中の値のすべてが、マップ上の場所と時間の一点を持つ。特別な道具なしに、レベルを眺めるだけでモデルの内部状態を読み取れる。
- 実際には:システムが大きく遅いので、ほぼ理論上の話にとどまる。順伝播(入力から出力までの1回の計算)を丸ごと、セクターごとに見守る人はいないだろう。
それでも、この絵は役に立つ。隠れた状態という抽象的な考え方も、数の一つ一つが「何かが置かれている場所」「何かが動く場所」になると、つかみやすい。
常識外れの工作が教えてくれること
DOOMFORMERは、わざと実用性を捨てた工作の長い伝統に連なる。役に立つことは狙っていない。なじみのある考えのどの部分が本当に大事かを、見せてくれる。
人は、Minecraftのレッドストーン、表計算の数式、コンウェイのライフゲーム、カードゲームのルールで、動くコンピューターを作ってきた。
どれも本物のコンピューターには勝てない。それぞれが、計算機に実際に必要なものがどれほど少ないかを示している。
トランスフォーマーが必要とするもの
手ごわい場所でトランスフォーマーを動かしてみると、必要なものと、ただの習慣とが仕分けられる。
浮動小数点、ベクトル演算器、高帯域のメモリのおかげで、トランスフォーマーは速く、手頃に動く。DOOMFORMERは、それらがなくても動くことを示した。
そうした便利なものを外すと、トランスフォーマーの必要条件は短いリストに収まる。
- 確かな算術:足し算と掛け算が、毎回同じ答えを返すこと。
- 少数の非線形関数:正確なものが手に入らなければ、近似でよい。
- 値を運ぶ方法:ある段階の結果を、次の段階へ届ける必要がある。
- 時間:遅い土台の上では、1ステップごとにずっと長くかかる。
忘れやすい点だ。AIの話題の多くは、専用チップと巨大なデータセンターに集まる。
ハードウェアが決めるのは、モデルがどれだけ速く、安く動くかだ。モデルが何であるかまでは決めない。
日々の仕事への手がかり
ほとんどの読者は、ゲームエンジンの中に何かを作ることはない。それでもこのプロジェクトは、AIツールをめぐる日々の判断に持ち帰れる考え方をいくつかくれる。
- 計算と機械を切り分けて考える。 新しいモデルやチップの発表には、計算そのものについての主張もあれば、どれだけ速く安くできるかについての主張もある。この2つは種類が違う。
- 遅さは、余計な手間の大きさとして読む。 6万5,000倍という数字は、考え方が壊れているという意味ではない。1つの演算と、それを実行するハードウェアのあいだに、どれだけ余計な仕掛けがはさまっているかを示す。
- 精度は予算と考える。 DOOMFORMERは整数だけで動いた。これは極端な例だ。量子化したモデル(コストを下げるため、低い精度の数で動かすモデル)も、穏やかな形で同じ限界に向き合う。どちらでも、丸めと途中の合計には計画が要る。
- つなぎの部分を探す。 変わった計算環境では、ホストの側が仕事の一部をしていることが多い。奇抜な土台に手柄を全部渡す前に、どの部分かを知っておく価値がある。
- 作ることで見えるものに気づく。 きびしい制約のもとで基本の演算を組み上げると、その仕組みがわかる。親切なハードウェアで使うだけでは、その細部は隠れたままだ。
ちょっと立ち止まって
このプロジェクトのどこかで、ブードゥー人形がコンベヤーに乗って、トリガーの線を通り過ぎる。それで床が上がる。床の高さは、モデルが処理している文の中の、ある数の一部にあたる。
人形は言葉について何も知らない。床はアテンションについて何も知らない。それでも一歩ずつ、システムはトランスフォーマーの出力を作り出す。
今夜データセンターで動いているどのモデルも、見えにくいだけで同じだ。トランジスタは、人形以上に理解しているわけではない。DOOMFORMERは、部品と結果のあいだにある幾重もの層を、無視できなくしたにすぎない。
試してみたい思い込みは、これだ。理解をしている何かでできていなければ、理解のように見えることはできない、という思い込み。
あなたの仕事で、答えがすぐ返ってくるからという理由を中心に信頼しているツールは、どれだろうか。そのうちの1つが、1歩ずつ眺められるほど遅くなったら、見え方は変わるだろうか。

図2:ボードゥー人形とマップの仕組みで計算が成り立つ流れ(出典:作者によるHacker News投稿の説明)

図3:多数のDOOMインスタンスを束ねてTransformerを動かす構成

図1:従来のDOOM移植とDOOMFORMERの違い