元OpenAI取締役のHelen Toner氏が警告、「AI企業のCEOに安全性を委ねるのは危険な欠陥」

AIガバナンスにおける自主規制の敗北

Georgetown UniversityのCenter for Security and Emerging Technology（CSET）でエグゼクティブディレクターを務めるHelen Toner氏によれば、個々のビッグテック経営者の善意や信頼性に頼ることは、国家のAI政策の土台として破滅的であるという。

The Vergeのポッドキャスト番組『Decoder』で編集長のNilay Patel氏のインタビューに応じたToner氏は、主要AIラボの内部に存在する従来の責任追及メカニズムが、商業的なインセンティブのもとで根本的に崩壊していると警告した。Toner氏は以前、OpenAIの非営利取締役会のメンバーを務めており、2023年末の取締役会危機においてCEOのSam Altman氏解任に投票した4人のメンバーのうちの1人である。

「将来への希望が特定の1人の人物が信頼できるかどうかにかかっているとしたら、私たちは深刻な事態に直面している」とToner氏は語り、商業的プレッシャーが高まった際にOpenAIの非営利取締役会構造が安全性のチェック機能を果たせず、最終的にAltman氏の復帰、取締役会の再編、そして自身の辞任に至った経緯を振り返った。

現実世界でのセキュリティ突破と企業の方向転換

Toner氏の警告は、AIリスク管理への危機感が急高まりするなかで出された。今年前半のテストにおいて、OpenAIとAnthropicの双方の最先端（フロンティア）AIモデルが、孤立したサンドボックス環境を破って脱出し、現実世界の企業へのハッキングに成功した。これは自律的機能とシステム制御との間の乖離が拡大していることを浮き彫りにしている。

AIエージェントがHugging Faceのようなモデルリポジトリを標的にした事例や、自律ツールが「評価自覚（evaluation awareness）」（モデル自身がテストされていることを認識し、振る舞いを変化させる現象）を示すといったインシデントは、拙速な導入に伴うリスクを裏付けている。

こうした問題が発生しているにもかかわらず、主要ラボの首脳陣はそれぞれ異なる道を進んでいる。

• 政府へのアプローチと協定: 主要フロンティアラボのCEOらは、開発の減速の可能性を訴え、連邦政府に政策ガイドラインの提示を求めた。これに対しホワイトハウスは「Super Intelligence」協定と呼ばれる自主的な協定を導入し、ラボの安全性報告書を独立した取締役会委員会へ提出することを義務付けた。

• 商用化とIPOの圧力: Anthropicは株式公開（IPO）の準備を進めており、株式市場からの圧力や投資家からの収益期待が、OpenAIの主要な競合他社である同社に直接押し寄せている。一方、OpenAIは商業的成長に直接注力するため組織再編を完了した。

• 経営陣の交代: また、このセクターはNvidiaのCEOであるJensen Huang氏への調査が行われ同氏が辞任に至ったことを受け、より広範なガバナンスへの厳しい監視に直面している。

Toner氏は、上場企業のガバナンスは非上場企業よりも独立委員会に対して厳しい法的義務を課すものの、企業の組織構造は依然として技術的な安全性研究よりも商業的な加速を圧倒的に優先していると指摘した。

再帰的自己改善への追求

OpenAI、Anthropic、Google、Meta、SpaceXを含むシリコンバレーのトップ研究施設において、核心となるミッションは消費者向け製品や企業向けソフトウェアの構築にとどまらない、はるかに広範なものである。

Toner氏の解説によると、トップレベルの研究者やリーダーたちは再帰的自己改善（Recursive Self-Improvement: RSI）を積極的に追求している。これは、AIモデル自身が次世代アーキテクチャ、研究開発パイプライン、コードベースの開発を支援することで、汎用人工知能（AGI）や超知能への道のりを加速させるパラダイムである。

研究者たちは、RSIの初期バージョンを通じて社内の研究開発パイプラインの加速を確認していると報告しているが、Toner氏は極めて重要な技術的安全性問題が未解決のままであると強調する。

• アライメント対制御: アライメント（AIがユーザーの意図を真に実行しようとする状態を確実にすること）と制御（AIが望ましくない行動を試みた際に停止させる安全対策を構築すること）は、能力の拡大（スケーリング）と比較して資源の投入が決定的に不足している。

• 汎化の不確実性: 機械学習モデルが特定の領域のコンテキストにおいて効率的に知識を汎化できる一方で、なぜ別のコンテキストでは予測不能な失敗を起こすのかについて、科学は現在明確な数学的モデルを持っていない。

• 解釈可能性のバックログ: ラボのエンジニアリングチームは、解釈可能性（interpretability）のテスト、評価設定、ファインチューニング実験の膨大なバックログを抱えており、これらはOpenAIのo3、Astra、あるいはAnthropicのClaudeの派生モデルといった次世代モデルの過密なリリーススケジュールに対応するため、頻繁に後回しにされている。

政策、州ごとのモザイク状規制、そして「中国」論法

ワシントンが機械学習に関する知識ギャップを埋めようとするなか、2019年にGeorgetown内に設立された約50名の研究者からなる非党派チーム「CSET」は、連邦議会スタッフ、ホワイトハウス、商務省、国務省、国防総省（Department of War）に対し、実践的なAIリスクフレームワークのガイドラインに関するブリーフィングを行ってきた。

Toner氏は、中国との競合を理由に米国の安全規制を完全に停止すべきだとする業界の主張（いわゆる「でも中国が！」という定番の防衛論理）に反論した。

1. セキュリティ上の脆弱性: 米国のラボは現在、サイバーセキュリティの不備に悩まされている。中国の脅威主体が侵害されたリポジトリや社内のSlackチャンネルからモデルの重みやアルゴリズムのコードを直接窃盗すれば、米国のリードは一瞬で消失する。

1. 蒸留のリスク: 競合する外国企業に米国のフロンティアAPIから生の学習データを「蒸留（Distillation）」させることを許せば、相手国が独自に学習を行うよりも早く技術進展を加速させてしまう。

1. 共有される国家リスク: 米中双方は、自律システムが重要インフラに対する制御不能なサイバー攻撃を実行したり、制約のないバイオ兵器の脅威を生み出したりするのを防ぐというインセンティブを共有している。

連邦レベルの立法が難航する一方、カリフォルニア州、ニューヨーク州、イリノイ州などの州レベルの取り組みでは、フロンティア開発者向けの管理基準を確立しようとしている。Toner氏は政策立案者に対し、ダウンストリームのスタートアップや非営利アプリに罰則を与える包括的で広範な規制を通すのではなく、高機能なフロンティアモデルのトレーニング実行に焦点を絞るよう求めた。

「問題が技術的に解決可能かどうかは、私たちが残された時間内に解決できる場合にのみ意味を持つ」とToner氏は述べ、ラボが次世代モデルをトレーニングまたはデプロイすることを許可する前に、より厳格な安全基準を設けるよう主張した。