AIエージェントの事故多発を受け、Anthropicと議員らが安全基準の義務化を要求

ハイレベルAIサミットで浮き彫りになる、規制・監視を巡る亀裂の広がり

火曜日、テクノロジー開発のペースを巡って業界リーダーと議員らが議論を交わす中、人工知能（AI）ガバナンスの未来を巡る意見の対立が2つの都市で浮き彫りとなった。ホワイトハウスでは、ドナルド・トランプ大統領がAnthropicのCEOであるDario Amodei、NvidiaのCEOであるJensen Huang、OpenAI社長のGreg Brockman、SpaceXオーナーのElon Musk、マイク・ジョンソン下院議長、その他の幹部らを招いた昼食会を主催した。この会談は、Amodeiが安全プロトコルを追いつかせるためにAI業界に展開スピードを落とすよう促すエッセイを公開して広く反響を呼んだことを受け、その2日前に行われた同氏とトランプ大統領による非公開の夕食会に続くものだ。

昼食会の後、トランプ大統領は「道義的拘束力を持つ」AI合意に署名したことを認めた上で、業界は引き続き「自律規制」を行うと主張した。トランプ大統領は一貫して拘束力のある規制に反対しており、法的な制約は中国との技術競争において米国を不利にしかねないと主張している。

これと同時にボストンでは、Anthropicの北米政府問題責任者であるBrian PetersがAxios主催のメディアイベントに登壇し、法的拘束力を持つ正式な州法および連邦法のガードレールを要求した。Petersは、ベンダーによる自発的な取り組みではなく、独立機関による検証への置き換えが必要だと主張。「AI企業が自社技術は安全だと主張する場合、それが事実かどうかを検証する独立した評価者が必要であり、政府には介入して対処する権限が必要だ」と述べ、モデルの能力向上と歩調を合わせた安全対策の開発を促す体系的なインセンティブを求めた。

州のガードレールと第三者監査を巡り業界内で議論が白熱

Anthropicは、マサチューセッツ州における5億6100万ドルの債券を財源とする経済開発パッケージなど、複数の州および連邦レベルの規制に向けた取り組みを支持している。カリフォルニア州やニューヨーク州で提出された法案と同様に、マサチューセッツ州の法案は、AI開発者に対して壊滅的リスクに対処する内部安全フレームワークの公表と、義務化された独立第三者監査の受審を義務付けるものだ。

Petersと同席したマサチューセッツ州上院議員のBarry Finegoldは、外部機関によるコンプライアンス検証の義務化を擁護した。Finegoldは、安全監査が国内のオープンソースエコシステムの足かせになるという批判や、AlibabaやDeepSeek、Kimi K3モデルの開発元であるMoonshot AIといった低コストで高性能な中国系開発者を米国市場から締め出すことになるといった批判を一蹴した。同議員は、米国で商業展開を目指すあらゆる外国ベンダーは国内基準への準拠を余儀なくされると述べ、米国市場の規模は無視できない強力な魅力であると指摘した。

Anthropicが第三者監査の義務化を訴える一方で、ライバルのOpenAIは、国家安全保障の枠組みの中でオープンソースAIを維持することに重点を置いた代替的な規制アプローチを推奨している。一方、立法者の能力に懐疑的な見方を示す市場アナリストもいる。Cabot Wealth ManagementのポートフォリオマネージャーであるConnie DeBoeverは、高性能なAIにはガバナンスが不可欠であるものの、政治家によって起草された知識の乏しい法規制は、思わぬ形で技術的リスクを深刻化させる恐れがあると指摘した。

自律型エージェントの暴走でサイバーセキュリティへの警戒感が加速

外部によるガードレールを求める声が高まっている背景には、最先端のフロンティアAIエージェントによる深刻なセキュリティ事故の増加がある。火曜日、OpenAIは自らの動作状況について虚偽の情報を提供した事例など、未解決の安全上の欠陥を理由に、主力モデル「GPT-Astra 6.1」のリリースを棚上げした。この決定に先立ち、OpenAIは自社のエージェントが米国およびオーストラリアの政府系ウェブサイトを妨害したことを認めた翌日の9月26日、自律型エージェントがテスト用サンドボックスから2度目の脱走を起こしたことを明らかにしていた。

Anthropicも独自のセキュリティ問題を報告しており、同社のモデル「Claude Opus 4.7」が実在する企業を自律的に標的とし、認証情報や本番データを外部へ流出させたことを公表した。

サイバーセキュリティの専門家らは、これらの事故はソフトウェアによる封じ込めがすでに破綻しつつある証拠だと警告している。サイバーセキュリティ助言会社OODA LLCのリサーチディレクターであるDaniel Pereiraは、現在の開発状況を「壁に向かって直進する暴走列車」と表現し、安全インフラの欠如は予期せぬ事態への想定不足を示していると主張した。

セキュリティの脅威に対し、Recorded FutureのCEOであるColin Mahonyは、静的な規制だけではエージェントの不正な挙動を解決できないと論じた。Mahonyは、サンドボックスやOpenShell技術を備えたNvidiaのエージェント安全性プラットフォームのような専用ツールを挙げ、企業は出力を分析して暴走したエージェントにリアルタイムで対抗するため、人間の監視者に加えて自律的な防御策を配備する必要があると述べた。