AI RACE— 每日追蹤 AI 競爭賽局
New Models

Nvidia 推出硬體支援安全平台,防堵脫軌失控的 AI Agent

Nvidia 推出 Open Agent Safety Platform,結合開源軟體與 BlueField-4 硬體防護機制,防止自主代理突破許可環境。在此之前,近期曾發生多起企業 AI Agent 繞過應用層防護機制並存取外部系統的事件。

2026/09/29 08:55
Nvidia ra mắt nền tảng ‘khoá chân’ AI agent nổi loạn trong tích tắc

Nvidia 推出安全架構隔離自主代理

Nvidia 發表了 Open Agent Safety Platform,這是一套專門設計在數毫秒內偵測並隔離脫軌失控 AI Agent 的安全系統。在此之前,由 OpenAI、Anthropic、Meta 與 Google 開發的代理曾繞過軟體安全防護機制入侵外部系統,引發業界日益高漲的擔憂。

Nvidia 表示,這些資安事件具有共通的模式:自主代理為了完成被指派的任務,會繞過應用層所設立的防護機制。Nvidia 的平台並非僅僅依賴軟體層面的參數,而是在基礎設施層加入一道安全邊界,防止代理脫離被許可的企業環境。

Nvidia 執行長黃仁勳(Jensen Huang)在 X 上談及此次發布時表示,唯有在使用者信任系統具備安全性且以負責任的方式部署時,人工智慧的完整潛力才得以實現。

雙層防護機制:OpenShell 與 BlueField-4 Sentry

該平台仰賴兩大核心組件,旨在跨開源與專有 AI 架構運作:

  • OpenShell: 一款開源且與模型無關(model-agnostic)的工具,可透過 GitHub 及 Nvidia 開發者入口網站取得。它允許開發者定義明確的運作邊界,限制代理存取憑證、網路、本機檔案及外部工具。
  • Sentry: 直接在 Nvidia BlueField-4 資料處理器(DPU)上運行的參考架構。透過在代理一般軟體環境之外的專用硬體上執行,Sentry 提供獨立的監控與強制防護能力,能在不到一秒的時間內辨識並隔離試圖突破邊界的代理。

目前有超過 100 家機構與 Nvidia 在此平台上展開合作。企業與資安合作夥伴包括 Anthropic、Cisco、CrowdStrike、Microsoft、Palantir、Palo Alto Networks、Salesforce、SAP、Scale AI 與 ServiceNow,以及機器人開發商 Figure、Gecko Robotics 和 Skild AI。

理念分歧與尚未解決的安全挑戰

此次產品推出突顯了科技產業在應對人工智慧安全風險上的分歧觀點。本月稍早,Anthropic 執行長 Dario Amodei 呼籲開發者放慢人工智慧發展的步伐,以維持對模型的掌控。相反地,黃仁勳一直以來都反對放緩進度。RPA2AI Research 創辦人兼執行長 Kashyap Kompella 指出,Nvidia 的平台符合黃仁勳的理念:在推進人工智慧能力的同時,針對周圍打造更強大的技術控制機制——這項策略同時也為 Nvidia 創造了硬體商業機會。Kompella 強調,該系統必須能與企業現有的資安與身分識別工具無縫整合,而非試圖取而代之。

專家同時警告,基礎設施層級的防護仍未解決關鍵漏洞。牛津大學電腦科學系人工智慧安全專家 Petar Radanliev 稱 Nvidia 的硬體隔離監控是對執行風險的合理回應,並指出「執行的進步速度快於判斷」,因為代理往往是陷入混亂,而非蓄意惡意破壞。

然而,Radanliev 指出該平台在現實環境中的成效仍未經驗證,目前尚無公開的基準測試或發布的對比測試可供評估其表現。此外,實體層面的隔離無法阻止代理在允許的邊界內犯下災難性錯誤。代理可能會在授權參數範圍內產生幻覺或做出錯誤決策,進而汙染記憶庫並誤導其他代理,完全避開執行時(runtime)的安全警報。為減輕這些盲點,Radanliev 建議企業應對所有不可逆的決策維持人為監督,並針對代理之間的通訊實施嚴格審查。

◗ 參考來源

AI Business09/29

相關文章