煙を感知しても、裁判官の許可が出るまで鳴らない。そんな火災報知器があったらどうだろう。
Anthropicが新しく打ち出した連邦レベルのAI安全法案は、少しそれに似ている。仕事でAIツールを使っている人にとっても、無関係な話ではない。
次の大きなモデルが手元に届く前に、「待った」をかけられるのは誰か。それを、この法案の設計が決めることになるからだ。
中身の核心はこうだ。最先端のAIモデル(フロンティアモデル)は、50人以上が亡くなる出来事に手を貸すおそれがあれば、公開を止められる可能性がある。
ただし、連邦政府の機関が単独で止めることはできない。公開を止めるには、裁判官の許可が要るのだ。
ぱっと見では、AIが大きく暴走するのを防ぐ仕組みに見える。けれどよく読むと、技術よりも規制当局のほうを縛るものかもしれない。
危険をどう描くかより、危険を前に誰かが動けるかどうか。それを決める部分のほうが大事なのだ。
この記事のポイント
- 法案は「50人以上が亡くなるおそれ」という基準に、差し止めには裁判所の承認が要るというルールを組み合わせている。
- モデルが大量の死者を出す「可能性がある」と示すには、悪用を予測しなければならない。裁判所がふだん判断するのは、主にすでに起きた被害だ。
- 試験と報告の義務は残る。ただ裁判官条項のもとでは、直接動く根拠というより、主に裁判の証拠として使われる。
- 企業が自社モデルの公開を止める力は、速く内々に使えるまま残る。政府の同じ力は、時間がかかり条件付きになる。
- 法案に実効性があるかは、4つの細部で決まる。立証の基準、緊急時の手続き、一時的な差し止め、州のルールより優先されるかどうかだ。
大惨事の基準と、その先にある裁判所
法案には2つの柱があり、セットで読まないと意味がつかめない。1つは危険の線引き。もう1つは、その線を越えたときに誰かが動けるかを決める部分だ。
下の表は、2つの柱を並べたものだ。
| 柱 | 何をするか | 何を決めるか |
|---|---|---|
| 大惨事の基準 | 死者50人を発動の目安にする | どこからが深刻か |
| 裁判所の関門 | 裁判官の許可を求める | 基準が実際に使われるか |
数字より関門のほうが大事な理由
基準は、しっかりした安全の下限に見える。最悪の結果に結びついた、はっきりした数字だからだ。
本当の力があるのは、関門のほうである。どの連邦機関も、自分だけではリスクに対して動けない。
訴訟を通じてしか守らせられない安全の下限は、その訴訟の強さ以上には強くならない。
条文の書き方にある3つの問題
法案の書き方には、3つの問題がある。どれも、リスクが本物であっても差し止めを難しくするものだ。
- 基準が予測である:規制当局は、モデルが大量の死者に手を貸す「かもしれない」と示す必要がある。これは、社外の誰もまだ使っていないシステムを、見知らぬ誰かがどう悪用するかの推測だ。被害者も事件もなく、あるのはモデルの能力と悪用の可能性の見積もりだけである。
- 裁判所は過去を見るようにできている:裁判官が得意なのは、誰がいつ何をして、どうなったかという過去の事実を確かめることだ。公開前の差し止めでは、まだ起きていないことの判断を迫られる。モデルが何を可能にするかという専門家の証言は、双方がいつまでも争える種類の証拠そのものだ。
- 死者数だけでは抜け落ちるものが多い:50人という基準は、それに届かないリスクを止める権限の外に置くように読める。下の例を見ると、何が抜け落ちうるかが分かる。
基準に届かないかもしれない被害には、たとえば次のようなものがある。
- 死者がより少ない、小規模な標的型の攻撃
- 直接の死者は出ない、大規模な詐欺
- 時間をかけて積み重なる、重要インフラへのじわじわとした損害
- 広く散らばりすぎて、1つの出来事としては線を越えない深刻な被害
どれも小さな話ではない。それでも死者数を引き金にする仕組みでは、どれも差し止めの理由としてはっきりしない。
法案の真ん中にある食い違い
ここがいちばんの問題だ。法案は、大惨事への備えとして打ち出されている。
ところが実際に働く部分は、危険な公開から市民を守るより、政府から開発企業を守る方向に強く働くかもしれない。
この記事の残りでは、1つの問いを考える。この設計は、危険なモデルが公開される可能性を下げるのか。それとも主に、政府が介入する可能性を下げるのだろうか。
以前の枠組みから何が変わるか
以前の提案にあった安全ルールは、今回も残っている。ただ止める判断が裁判所を通ることになったため、裁判官の許可条項がルールの働きを変えてしまう。
土台は見覚えのあるものだ。Anthropicが以前、議員に示した提案には、次の3つが含まれていた。
- 連邦レベルの安全基準
- 公開前の試験の義務
- フロンティアモデルを開発する企業への報告義務
3つとも、そのまま残っている。
試験と報告にとって、この条項が大事な理由
試験と報告は、情報を生み出す仕組みだ。規制として価値があるのは、政府がその情報で何をできるかの分だけである。
たとえば、スプリンクラーにつながった煙感知器と、大家にメモを送るだけの煙感知器を比べてみよう。どちらも煙は感知する。でも、その後に起きることはまったく違う。
この条項のもとでは、危険な能力を見つけた機関も、自分だけではモデルを止められない。止めるまでの道のりはこうなる。
- 試験で危険な能力が見つかる。
- 機関が、そのリスクが「50人以上が亡くなるおそれ」の基準に届くと判断する。
- 機関が法的な主張を組み立てる。
- 機関が裁判所に、公開を止める許可を求める。
- 開発企業は、自社の専門家と独自のデータの読み方で反論できる。
- 裁判官が判断する。
どの段階にも時間がかかる。そしてどの段階も、開発企業にとっては判断に異を唱える機会になる。
報告の仕組みは、被害を防ぐ道具から、裁判の記録をつくる道具へと寄っていく。
双方の動機はどう変わりうるか
以下の影響は、どれも法案に書かれてはいない。裁判での争いがふつうどう進むかから導いたものだ。起きると決まったわけではなく、あくまでリスクの話である。
- リスクの描き方を開発企業が左右する:技術的な証拠の大半は企業の手元にある。モデルの重み(学習で決まる内部の数値)、社内のレッドチーム(攻撃役になって弱点を探す試験)の結果、学習データ、システムを知る技術者などだ。能力がどれほど危険かが争点なら、証拠を持つ側が有利な立場から始まる。
- 機関が訴訟向けに書くようになるかもしれない:どのリスク判断も裁判の証拠になりうるなら、職員には反対尋問に耐える書き方をする理由が生まれる。よいリスク評価は、幅や不確かさ、早めの警告サインを扱うことが多い。一方、法廷では自信があって守りやすい主張が有利だ。
- 開示が薄くなるかもしれない:情報開示は、開発企業が率直に共有するときにいちばんうまく働く。報告した内容が裁判で不利に使われうるなら、企業には最小限を慎重な言葉で報告する理由ができる。ルール違反は要らず、弁護士が報告書を守りの姿勢で見直すだけで起きることだ。
最後のリスクが、いちばん見えにくい。外から見ると、薄い報告書も中身の詰まった報告書と同じに見えるからだ。
実際に決めるのは誰か
条項は、以前の安全規定を消すわけではない。その役割を変えるのだ。
機関が手にする情報は、直接動くための材料から、裁判官を説得するための材料に変わる。
その結果、実際の判断の場所が動く。機関は今もリスクを見つけられる。ただ公開を止めるには、モデルをいちばんよく知る相手との議論に勝たなければならない。
条項が双方の動機をどう変えるか
道のりが長くなると、企業と規制当局の両方のふるまいが変わる。目立つ影響は3つある。
- 開発企業がリスクの描き方に強く口を出せる:証拠の大半を持つのは企業だ。モデルの重み、社内のレッドチームの結果、学習データ、システムをいちばん知る技術者などがそうだ。法廷では、最も信頼される専門家証人を雇うこともできる。何がどれほど危険かを争うなら、証拠を持つ側が有利な立場から始まる。
- 機関が裁判向けに書き始めるかもしれない:どのリスク判断も裁判の証拠になりうるなら、職員には反対尋問に耐える書き方をする理由ができる。それは、科学をいちばん正確に描くことと必ずしも同じではない。よいリスク評価は、不確かさや幅、早めの警告サインを扱う。法廷で有利なのは、自信があって守りやすい主張だ。
- 開示が薄くなるかもしれない:これがいちばん見えにくいリスクだ。報告の仕組みは、企業が率直に共有するときにいちばんうまく働く。細かな点まで裁判で不利に使われうるなら、企業には最小限を、最も慎重な言葉で報告する理由ができる。法律を破る人は誰もいなくていい。弁護士が報告書を守りの姿勢で見直すようになるだけだ。
つまり、以前の安全ルールは消えない。機関が動くための道具から、主張を組み立てるための道具に変わるのだ。
それによって、本当に決めるのが誰かが変わる。機関は今もリスクを見つけられる。でも何か手を打つには、モデルをいちばんよく知る相手との議論に勝たなければならない。
止めるスイッチを握るのは誰か
問いはシンプルだ。出荷前のモデルを止められるのは誰か。この提案では規制当局は裁判官を通す必要があり、その選択が差し止めの速さと難しさを決める。
審判の候補を2つ考えてみよう。1つは、ルールを作って自分で動く連邦機関。もう1つは、誰かが訴えたときだけ判断する裁判所だ。
下の表は、それぞれがふつうどう働くかを比べたものだ。どれも組織の種類ごとの一般的な特徴で、法案の細部から取ったものではない。
| 観点 | 連邦機関 | 裁判所 |
|---|---|---|
| 技術の知識 | 内部の職員。業界に後れを取りがち | 専門外の裁判官が専門家証人に頼る |
| 速さ | ふつうはより速く動ける | 遅い。緊急審理も裁判所の日程次第 |
| 独立性 | 政治的圧力を疑われやすい | 政治からより守られている |
| 企業への公平さ | 手続きは機関ごとに違う | 双方が主張する正式な審理。上訴あり |
| なじむ証拠 | 予測やリスク評価で動ける | 主に起きたことの判断向け |
| 誰がチェックするか | 行政府と議会 | 上級の裁判所 |
ここで特に大事なのは、最後の2行だ。差し止めは、まだ起きていない被害についての判断になる。一方、裁判所は主に、すでに起きた被害を整理するようにできている。
いちばん難しいのはタイミング
裁判所の判断が役に立つのは、モデルの出荷前に出たときだけだ。 この設計が実際に機能するかを測る、いちばんの試金石になる。
モデルの公開は、ビジネスの日程で動く。日付が決まり、提携先がそろい、ライバルが様子をうかがっている。
裁判は、急ぎの案件でも独自の時計で進む。2つの時計がかみ合うかを決める細部は、法案の基本的な説明では決まっていない。
- 早道はあるか:期限を固定した迅速な手続きがあれば、ずれを埋められるかもしれない。なければ、裁判が公開の時期より長引くおそれがある。
- 証拠はどれだけ強くないといけないか:大量の死者に「手を貸しうる」は低いハードルだ。「そうなる可能性のほうが高い」はそれより高く、「明白で説得力のある証拠」はさらに高い。
- 誰が何を証明するのか:規制当局が危険を証明するなら、疑わしいときは公開が有利になる。開発企業が安全を証明するなら、疑わしいときは延期が有利になる。
- 裁判中にモデルを出荷できるか:できるなら、あとで出た判断は遅すぎて意味がないかもしれない。
これらの答えが分かるまでは、止めるスイッチが強いのか、ほぼ形だけなのか、判断しにくい。
裁判官を挟むことへの賛成論
裁判官を判断の流れに入れることには、まっとうな理由もある。その言い分そのものに、耳を傾ける価値はあるだろう。
- 気まぐれな差し止めを抑えられる:製品を思いのままに止められる規制当局は、動きの速い業界に大きな力を持つ。裁判官の審査は、その力に上限を設ける。
- 中立なチェックが加わる:機関は、政治家やライバル企業、あるいは単なる慎重さからの圧力を受けることがある。裁判官は、そうした圧力の外にいる。
- 法的に持ちこたえやすいかもしれない:大きな判断を裁判所に回す法律は、機関に広い裁量を与える法律より、異議を申し立てられにくい可能性がある。
- 証拠が表に出る:規制当局は、開発企業の弁護士を相手に、公の場で主張しなければならない。閉じた内部審査より、筋の通った判断につながるかもしれない。
日常的な製品ルールなら、これらは本物の利点だ。
2つの間違いのコストが同じではない理由
大惨事のリスクは、日常的な製品ルールとは違う。どんな審判にも間違え方は2通りあり、そのコストは大きく異なる。
下の表は、2つの間違いを比べたものだ。
| 間違い | その後に起きること | 取り返せるか |
|---|---|---|
| 安全なモデルを遅らせた | 時間と収益を失い、ユーザーが待つ | 取り返せる。あとで出荷できる |
| 危険なモデルを公開した | 悪用が可能になり、死者が出るかも | コピーが広がれば多くは無理 |
ここで1つ、条件がある。企業自身のサービスを通じてだけ提供されるモデルなら、理屈の上では停止できる。
一方、モデルのファイルが一般に公開されると、人々がコピーした時点で取り戻せない。「取り返せない」問題がいちばん深刻なのは、後者の場合だ。
一方の間違いは直せて、もう一方は取り返しがつかないかもしれない。それなら、慎重な側に寄るのは理にかなっている。
公開が初期設定で、差し止めに裁判所の承認が要る仕組みは、逆の方向に傾いている。どこまで傾くかは、上で挙げた未解決の問いによる。期限、立証責任、そして裁判中も出荷を続けられるかどうかだ。
自主的な歯止めと、縛られた規制当局
企業はすでに自社モデルの公開を止められるし、実際に止めることもある。法案はこの民間の力には手をつけず、政府が公開を止める力の前にだけ新たなハードルを置く。
以前の報道では、OpenAIが安全上のリスクを理由に、Astraというモデルの公開を取りやめたことが伝えられた。このケースに政府は関わっていない。企業が自分の判断で踏みとどまったのだ。
これは業界にとって評価できる点である。ただ同時に、自主的な歯止めが何に支えられているかも見えてくる。次のどれも、企業ごと、あるいは四半期ごとに変わりうる。
- 社内の判断:何をリスクが高すぎるとみなし、証拠をどう重んじるかは、各ラボが自分で決める。
- 競争の圧力:ライバルが似たものを出す直前でなければ、踏みとどまるのはたやすくなる。
- リスクへの姿勢:経営陣の交代や資金の必要、市場での立場によって、受け入れるリスクの大きさは変わりうる。
- 外からの見え方:取りやめが外に伝わるのは、たいてい企業が自分で公表したときだけだ。
作りがまったく違う、2つの停止スイッチ
説明されている法案のもとでも、開発企業は公開の前日にモデルを引っ込められる。誰の許可も、理由の説明も要らない。対して政府は、裁判所を通さなければならない。
下の表は、モデルの公開を見送る2つの道筋を比べたものだ。
| 企業が見送る | 政府が見送らせる | |
|---|---|---|
| 速さ | すぐ | 裁判所次第 |
| 必要な承認 | なし | 裁判官 |
| 必要な証拠 | 自社の判断 | 法的な基準を満たす証明 |
| 異議の申し立て | できない | 開発企業ができる |
| 引き金 | 自社が選ぶどんな懸念でも | 50人以上の死者のおそれ |
つまり、2つの力は釣り合っていない。企業は公開を止める速くて一方的な力を持ち続け、公の側の力は遅くて条件付きになる。
公的な権限が出てくるのは、最も極端なケースだけだ。それも、企業が争える裁判を経たあとになる。
この釣り合いを受け入れられるかは、1つの条件にかかっている。すべての開発企業が、自分の停止スイッチを毎回きちんと使うことだ。
安全ルールが存在する大きな理由は、それを当たり前とは見なせないからである。
政府の専門家が最終判断を下せないとき
米国政府は、AIのリスクを自ら評価する力を育ててきた。この法案のもとでは、その評価はすぐ行動につながらず、裁判の証拠になる。
連邦政府のAIタスクフォースが設けられ、この技術のリスクについて報告することになっている。モデルが大惨事の線を越えるかを判断するとき、規制当局が頼るのはこうした専門性だろう。
では、法案がその仕事を裁判官経由にすることが、なぜ問題になるのか。専門家の判断が実際に果たす役割が変わるからだ。
- 専門家の判断が助言になる:タスクフォースや機関が、あるモデルに大量の死者のリスクがあると判断したとする。その判断に直接の効力はなく、訴訟の材料の1つにとどまる。
- 裁判所が技術的なリスクを判断する:裁判官は、双方の主張を聞く専門外の判断者だ。政府のほかの部署で専門家がした仕事に、最終的な判断を下すことになる。
- 組織どうしの衝突が組み込まれる:機関の専門家が、あるモデルは大量の死者を可能にしうると警告したとする。裁判官は開発企業側の専門家の話を聞き、それに同意しない。
この最後のケースでは、モデルは出荷される。政府のリスクの見方は変わっていない。単に裁判で負けたのだ。
裁判所は、技術系の機関の判断を尊重することもあるが、いつもではない。裁判官の許可を求める法案は、誰が決めるのかをはっきりさせる。最終判断を下すのは裁判所で、機関の側にその権限はない。
この設計の裏には、もっともな考えもある。AIのリスクをめぐる主張は、争いがあり、不確かで、大げさにもなりやすい。裁判での反論に耐えさせることは、弱い主張をふるい落とす1つの方法だ。
ただしその代わりに、強いけれど不確かな警告まで、ふるい落とされかねない。
そして何かが起きる前の段階では、大惨事のリスクについての警告は、ほぼ必ず不確かなものなのだ。
議員が詰めておきたいところ
法案の目玉は、危険かどうかを分ける線引きだ。ただ、本当に人を守れるかどうかは、手続きのほうで決まる。
誰がリスクを測るのか。裁判所はどれだけ早く動けるのか。そして、裁判が続いているあいだに何が起きるのか。
法案の影響を受ける人たちは、それぞれ違うものを求めている。まず、立場ごとにいちばん気にしていることを表にまとめた。
| 立場 | 主な関心 |
|---|---|
| 最先端のAI開発企業 | 先が読めるルール、気まぐれな禁止がないこと |
| 連邦政府の機関 | リスクを見つけたら動ける権限 |
| 裁判所 | はっきりした基準、こなせる仕事量 |
| 一般市民と安全を訴える人たち | 破滅的な悪用から実際に守られること |
| 州 | 独自のルールを作る余地 |
次に、草案の仕組みがその関心にどこまで応えているかを並べてみる。
| 立場 | 法案が応える点 | 足りない点 |
|---|---|---|
| 開発企業 | 止めるには裁判所の承認が必要。基準も高い | 試験・報告・訴訟のコスト |
| 連邦機関 | 試験結果や報告を見られる | 単独ではモデルを止められない |
| 裁判所 | 適正な手続きの中での役割が決まっている | 技術の予測を急いで判断することになる |
| 市民・安全を訴える人たち | 大量死傷の基準が法律に入る | 執行が遅い、または発動しにくいおそれ |
| 州 | 州法より優先する条項の書き方しだい | より厳しい州法が上書きされうる |
これらの立場の多くには、州ごとにばらばらのルールより、全国で1つのルールを望む理由がある。ただ、州自身はそうではないかもしれない。
意見が分かれるのは、「停止ボタン」を誰が握り、どれだけ早く押せるかという点だ。

図3:法案の実効性を左右する4つの論点
法案が答えなければならない5つの問い
この5つにどう答えるかで、基準が実際に働くのか、紙の上で立派に見えるだけなのかが決まる。
- 「死者50人」という基準は、どう測り、誰が判断するのか。 1回の出来事での死者数か、無理のない範囲で考えた最悪の場合か、確率で重みをつけた推計か。草案はこれを明らかにし、モデルが線を越えたと誰が認定するのかも書く必要がある。
- どの程度の証明が求められ、急ぎの手続きはあるのか。 証明のハードルが高いのに迅速な手続きがなければ、公開日までに条件を満たせないかもしれない。
- 裁判が続くあいだ、機関は公開を一時的に止められるのか。 仮の措置がなければ、裁判所が判断を出すころには、モデルがもう世に出ているかもしれない。
- 法案は、より厳しい州法を上書きするのか。 もしそうなら、連邦の最低基準がそのまま上限にもなる。州のより厳しい保護は消えてしまう。
- 誰も異議を唱えない公開は、誰が確かめるのか。 機関の訴訟だけが引き金なら、多くの公開は企業自身の報告以外、何のチェックも受けないかもしれない。
数字より手続きが大事な理由
リスクの基準が人を守れるのは、リスクが現実になる前に誰かが動ける場合だけだ。
家計の予算に上限を決めたとしよう。お金を使って1か月たってから明細が届くのでは、その上限にあまり意味はない。
ここでも同じことが言える。公開前に裁判所が基準を当てはめられないなら、基準は被害を防ぐ役にほとんど立たないだろう。
そうなると、基準の主な役目は別のところに移る。政府がいつ、どのように介入できるかに、枠をはめることだ。
ちょっと立ち止まって
この話は、よくある思い込みを揺さぶる。危険の線引きをはっきり法律に書けば、危ない製品を誰が止められるかも決まる、という思い込みだ。実際にそれを決めているのは、タイミングと手続きのほうなのだ。
ある機関がモデルを試験したとしよう。機関は、誰かが大量の死傷者を出す攻撃をするのに役立ちかねない能力を見つけた、と考えている。そこで、公開を止める許可を裁判所に求めた。
公開は3週間後に迫っている。開発企業の専門家は、機関の見方に反論している。審理が開かれるのは来月だ。
その3週間に何が起きるかを決めるのは、誰であるべきだろうか。企業か、機関か、それとも裁判所か。
あなたの答えを左右しているのは、技術そのものだろうか。それとも、それぞれの組織をどれだけ信頼しているかのほうだろうか。

図1:危険の基準と、それを使えるかどうかを決める司法ゲート

図2:企業の自主的な見送りと、政府による差し止めの非対称(出典:記事本文)