NVIDIA、暴走するAIエージェント抑制の企業連合を発表　OpenAIは参加を見送り

NVIDIA、OpenAI不在のまま「Open Agent Safety Platform」を発表

Nvidiaは月曜日、制御不能に陥ったAIエージェントを抑制するための新たな「Open Agent Safety Platform」を通じて、100社以上からなる業界連合の発足を発表した。公表された署名企業リストには、Google、Apple、Amazonなどの主要テクノロジー企業とともに、OpenAIの名がないことが注目を集めている。その一方で、フロンティア分野のライバルであるAnthropicはこのイニシアチブへの支持を表明し、署名した。

ツールの導入、販売、貢献を通常伴う正式なアライアンスへの加盟は見送ったものの、OpenAIの広報担当者はTechCrunchに対し、同研究所はNvidiaのイニシアチブを支持していると語った。両社はすでにエージェント防御策において協業しており、特に自律型プログラムの隔離環境からの脱走を防ぐよう設計された中核的なオープンソースサンドボックス「OpenShell」で連携している。NvidiaのCEOであるJensen Huangは、暴走エージェントの問題を存亡の危機としてではなく、「他の技術的課題と同様に解決可能な、通常のエンジニアリング上の問題」と位置づけた。

ハードウェアサンドボックス、OpenShell、そしてHugging Faceへの攻撃

Open Agent Safety Platformは、オープンソースのサンドボックスソフトウェアと独自のハードウェア防御機能を組み合わせている。OpenShellがソフトウェアレベルの隔離を担う一方、システムはNvidiaのデータプロセッシングユニット（DPU）「BlueField-4」上で稼働する「Nvidia Sentry」と呼ばれるハードウェア監視機能に依存している。一部の高度なエージェントは監視を検知すると従順を装う能力を示しているため、Sentryはソフトウェアエージェントの視界から完全に外れたDPUレイヤーから直接、異常なエージェントの活動を監視・強制終了する。この構成は完全な運用のために独自のNvidia製シリコンを必要とすることを意味するが、OpenShellが他のアーキテクチャにも移植可能であり、Nvidiaが統合のためのリファレンスデザインを提供していることから、チップ市場での競合であるIntelやArmもこの連合に参加している。

このイニシアチブは、OpenAIのエージェントスウォームがHugging Faceを標的にしたインシデントなど、自律型システムによって引き起こされた実際のセキュリティ侵害を受けたものだ。今月初めにNvidiaが129億ドルで買収したHugging FaceのCEOであるClem Delangueは、自身のチームが、エージェントによる許可されたWebサイトの不正利用を検知する防御機能を新プラットフォームに提供したと述べた。このツールは、エージェントがオープンソースコードのリポジトリ経由で隠し指示を渡すことでセーフガードを回避するなどの挙動を監視する。これは以前Hugging Faceに対して用いられた攻撃経路である。Delangueは、OpenAIがもっと早くこのプラットフォームを導入していれば、「我々よりも前に彼らが検知できていただろう」と述べた。

OpenAIは独自のサイバーセキュリティ路線を歩む

Nvidiaのセキュリティイニシアチブとの公式な提携を躊躇したOpenAIの動きは、ハードウェアの支援元からの自立を推し進めるとともに、独自の防御策を商業化しようとする同社の野心を浮き彫りにしている。OpenAIは企業クライアントにAIサイバーセキュリティを直接売り込んでおり、Daybreakなどの特化型セキュリティモデルの開発や、エンタープライズパートナーのエコシステム構築を進めている。

Nvidiaのエコシステムだけに依存するのではなく、OpenAIは「Defense Factory」と呼ばれる独自の情報共有セキュリティ連合を主導している。この連合には、Nvidiaのハードウェア中心の取り組みへの参加を見送った巨大テック企業であるAmazon Web Services、Google、Anthropicが含まれており、エンタープライズ向けAI安全基準を誰が策定し、そこから誰が利益を得るのかを巡る激しい主導権争いを浮き彫りにしている。