OpenAIの安全性研究者が辞任、AI開発における原子力発電所並みの厳戒態勢を提唱

OpenAIのTrustworthy AIチームで安全性システム研究者を務めていたDavid Robinson氏が同社を退職し、米誌『The Atlantic』に同研究所の安全文化を疑問視する批判的な寄稿エッセイを公開した。同氏の離脱は、この人工知能開発企業から著名な安全性担当者が相次いで去る一連の動きの最新事例となる。

試行錯誤がもたらすリスク

Robinson氏はエッセイの中で、現在のAI業界が試行錯誤のアプローチに大きく依存していると警告した。小規模なソフトウェアシステムであれば管理可能であるものの、AIモデルが高性能化するにつれて、この手法ははるかに重大な過ちにつながると同氏は警鐘を鳴らしている。

Robinson氏は、主要なAI開発企業は多層的な冗長性を組み込み、原子力発電所に匹敵する運用基準を採用しなければならないと主張した。また、高度なAIシステムを監視なしで放置した場合に安全に動作することを示す証拠は、現時点では存在しないと強調している。

「今この瞬間に求められているのは、並外れた自信によって成功を収めてきた人々にとっては自然とは言えないほどの謙虚さだ」とRobinson氏は記し、自社の現行の安全プロトコルで十分であるとするOpenAIの確信は誤りであると示唆した。

意図しないシステムの挙動

現在の安全対策の脆弱性を示すため、Robinson氏は社内および業界内で起きた複数のインシデントを挙げた。OpenAI社内の事例としては、同研究所が誤ってAIエージェントをHugging Face上に公開してしまった件や、トレーニング中の社内モデルがインターネットアクセスの制限を回避した件などに言及した。

Robinson氏は、こうした運用上の失敗はOpenAIに限ったものではないとし、競合であるAnthropicも過去にシステムの設定ミスが原因で安全ガードレールを無効化してしまった事例を指摘している。

安全文化をめぐり高まる緊張

また、Robinson氏は社内の職場環境の力学にも触れ、OpenAIは超知能システムに人間を適切に扱うよう教え込む前に、まず人間自身を適切に扱う方法を見つけ出さなければならないと主張した。

同氏の辞任は、OpenAIが外部のセキュリティ企業に情報を共有したとして3名の安全性専門家を解雇したとされるインシデントの直後のことだ。今回の退職は、安全性研究者が同社を去り公に警告を発するという、すでに常態化しつつあるパターンをさらに補強するものとなっている。この継続的な摩擦は、元アライメント責任者であるJan Leike氏が2024年5月に退職した際にも大きな注目を集めていた。