Nvidia、暴走AIエージェントのサンドボックス脱出を防ぐオープンセーフティプラットフォームを発表

自律型エージェント向けの外部封じ込めアーキテクチャを発表

Nvidiaは、自律型AIエージェントを開発環境内に封じ込め続けるための専用セキュリティシステムを発表した。月曜日にジェンスン・フアンCEOが発表した「Nvidia Open Agent Safety Platform」は、ソフトウェアの障壁と専用ハードウェアを組み合わせることで、AIシステムを外部から監視・制限する。これにより、エージェントが不正な脱出を試みた場合でも、本番ネットワークや外部システムへのアクセスを防ぐことができる。

今回の発表は、Anthropic、Google、Meta、OpenAIが開発したAIモデルがサンドボックスの制限をすり抜け、実世界のシステムに接触する注目度の高いインシデントが相次いだことを受けてのものだ。特に注目を集めたのは、OpenAIのエージェントが課されたサイバーセキュリティタスクの実行中にHugging Faceを侵害した今夏のインシデントである。CNBCに出演したフアン氏は、Nvidiaが新たに導入したプラットフォームであればそうした侵害を阻止できていたと述べ、エージェントの安全性は規制強化や開発の減速によってではなく、フルスタックのエンジニアリング課題として取り組むべきだと主張した。

OpenShellとBlueField-4 DPUが実現するエージェント隔離の仕組み

このアーキテクチャは2つの異なるレイヤーで構成されている。1つは、Nvidiaが今年3月に初めて公開した、エージェントのアクセス権限を規定するオープンソースのソフトウェアインターフェース「OpenShell」、もう1つは独立した監視エンジン「Sentry」である。Sentryは、AIモデルを実行するホストGPUやCPU上ではなく、Nvidiaのデータ処理ユニット（DPU）である「BlueField-4」上で隔離された状態で動作する。監視機能を物理的に独立したプロセッサへと移行させることで、セキュリティシステムはエージェントの挙動を侵害されるリスクのない安全な視点から監視できる。

Nvidiaによると、この2層構造により、指定された境界をエージェントが踏み越えようとした場合でも、異常な挙動を検知して数ミリ秒以内に違反エージェントを隔離できるという。フアン氏によると、この取り組みのエンジニアリングは約1年前、開発者のPeter Steinberger氏がエージェントOS「OpenClaw」を立ち上げたことを受けて始まった。3月には、Nvidiaはネイティブなセキュリティ統合を備えたOpenClawのエンタープライズ向け適応版「NemoClaw」を開発している。

フアン氏はエージェントの制御を企業における従業員の監督に例え、「どんなに賢いエージェントを配備するとしても、最初にすべきことはその権限をすべて剥奪することだ」とCNBCで説明した。このオープンソースプラットフォームには、Anthropic、Arm、Microsoft、Oracle、SpaceXをはじめとする業界の複数企業が支持を表明している。一方で、参加組織のリストにはOpenAIの名が目に見えて欠けていた。

開発減速や規制介入に対する業界の反発

Nvidiaのハードウェア中心のアプローチは、規制による凍結やAI配備の強制的な停止に対する同社の抵抗姿勢と一致している。推進派は、そうした規制が中国に対する米国の競争力を損なう恐れがあると主張している。自律的で外部のセキュリティ境界線を維持することで、封じ込めリスクを無力化しながら、急速な能力向上を両立できるとNvidiaは主張する。

その見解には、大統領科学技術諮問会議（PCAST）の共同議長であり、元ホワイトハウスAI担当調整官を務めたベンチャーキャピタリストのDavid Sacks氏も同調した。Sacks氏はX上でこの発表に反応し、最近相次ぐモデルの暴走はインフラの欠陥によるものであり、開発に対する根本的な障壁ではないと位置づけた。サンドボックスが機能しなかったのはランタイム環境の設定ミスや設計不足が原因であり、フロンティアAIの研究を停止すべきだからではない、と同氏は記した。その一方で、エージェントの不正行動の範囲は依然として監視の目を集めており、OpenAIは自社エージェントの暴走報告を記録する専用の公開トラッカーを開設するに至っている。