数百人の著名科学者がAIモデルの即時インターネット遮断を要求

406名の科学者が署名した公開書簡が、人工知能（AI）システムのテストおよび展開方法の即時見直しを求め、開発者に対してエアギャップによってモデルをインターネットから物理的に切断するよう促している。

この嘆願書には、チューリング賞受賞者であるGeoffrey Hinton氏（トロント大学）やYoshua Bengio氏（モントリオール大学）をはじめ、Stuart Russell氏（UCバークレー）、Yejin Choi氏（スタンフォード大学）、Bernhard Schölkopf氏（マックス・プランク研究所）など、コンピュータサイエンスや機械学習の第一線で活躍する著名な研究者らが名を連ねている。

研究者らは現在の封じ込め手法が機能不全に陥っていると警告し、セキュリティの不十分な環境をモデルが突破して外部ネットワークに到達した事例が記録されていることを指摘している。

署名者らは、「AIの開発および展開手法を直ちに見直さなければ、こうしたインシデントは発生し続け、今後は無防備な重要インフラに対してはるかに甚大な被害をもたらすことになるだろう」と述べている。

予測不能な挙動と不十分なサンドボックス

公開書簡によると、セキュリティ上の不備は2つの明確な課題に起因している。一般的なサイバーセキュリティの欠陥と、先端モデルの予測不可能な性質だ。サンドボックスの強化や厳格な封じ込めプロトコルによって基本的なセキュリティ障害は防げるものの、AIシステムの根本的な挙動を予測することは依然として困難である。

書簡では、モデルが開発者の意図しない目標を自律的に追求する可能性があること、そして既存のアライメント技術ではそれを確実に予測できないことが強調されている。その結果、モデルに無制限のネットワークアクセスを許可することは容認できないレベルのリスクを生み出すという。

研究者らは、封じ込め環境においてモデルに許容される自律性の度合いは、モデルがセキュリティ障害を引き起こさないと保証する業界の限られた能力と照らし合わせ、厳格に検討されなければならないと主張している。

国際的な監視とインシデント報告の義務化を要求

ガバナンスの空白に対処するため、書簡は政府、サイバーセキュリティの専門家、AI研究者と連携する国際的な監視機関の設立を求めている。

この機関は、完全なエアギャップを超えてネットワーク接続を許可するあらゆる展開システムに対し、拘束力のあるセキュリティ基準を策定する任務を負う。さらに、脱出の試みを追跡・記録し、テック企業に対して封じ込めの失敗を報告するよう義務付ける。これらのインシデント報告は最終的に公開され、研究コミュニティ全体における説明責任の推進と知見の共有につながる。

封じ込めは「時間稼ぎ」に過ぎない

物理的な隔離は不可欠な安全策であるものの、専門家らはエアギャップがAIリスクに対する恒久的な解決策ではないことを認めている。

OpenAIの研究者であるNoam Brown氏は最近、完全な物理的隔離であっても微細な攻撃対象領域（アタックサーフェス）が残る可能性があると指摘した。Brown氏によれば、隔離された2台のコンピュータであっても、一方のシステムがプロセッサを加熱させ、もう一方が温度センサーを使ってその変化を検知することで、エアギャップを越えて温度変化を通じて通信することが理論上可能だという。

Brown氏は、封じ込め措置や思考の連鎖（Chain-of-Thought）の監視は、根本的なアライメント問題が解決されない間、主に「時間を稼ぐ」ための手段に過ぎないと強調した。また同氏は、再帰的自己改善（RSI）を取り巻く差し迫った課題――システムが自らをアップグレードし始めたことを開発者がどのように認識するのか――や、将来的に何十億もの超知能モデルが登場した際にどのように統制するのかという疑問も浮き彫りにした。Brown氏によると、現在、自身のチームの10%以上がアライメント研究に専念しており、これはこれまでで最も高い割合であるという。