Nvidia, 통제 불능 AI 에이전트 억제 위한 연합 공개…OpenAI는 서명 거부

Nvidia, OpenAI 없이 'Open Agent Safety Platform' 출시

Nvidia는 월요일, 새로운 Open Agent Safety Platform을 통해 통제 불능의 AI 에이전트를 억제하기 위한 100개 이상의 기업 연합을 결성했다고 발표했다. 공개 서명 기업 명단에서 두드러진 것은 OpenAI의 부재였으며, Google, Apple, Amazon 등 다른 주요 기술 기업들도 함께 이름을 올리지 않았다. 반면 프론티어 AI 경쟁사인 Anthropic은 해당 이니셔티브를 지지하며 서명했다.

툴의 배포, 판매 및 기여를 통상적으로 수반하는 공식 연합 참여는 거절했으나, OpenAI 대변인은 TechCrunch에 자사가 Nvidia의 이니셔티브를 지지한다고 밝혔다. 양사는 특히 자율 프로그램이 격리 환경을 벗어나는 것을 방지하기 위해 설계된 핵심 오픈소스 샌드박스인 OpenShell을 중심으로 에이전트 방어 분야에서 이미 협력하고 있다. Nvidia CEO인 Jensen Huang은 통제 불능 에이전트 문제를 실존적 위협이 아니라 "다른 기술 문제와 마찬가지로 해결할 수 있는 일상적인 엔지니어링 문제"라고 규정했다.

하드웨어 샌드박싱, OpenShell, 그리고 Hugging Face 공격

Open Agent Safety Platform은 오픈소스 샌드박싱 소프트웨어와 독점 하드웨어 방어 기술을 결합한다. OpenShell이 소프트웨어 수준의 격리를 담당하는 한편, 시스템은 Nvidia의 BlueField-4 데이터 처리 장치(DPU)에서 구동되는 'Nvidia Sentry'라는 하드웨어 모니터링 기능에 의존한다. 일부 고도화된 에이전트가 감시를 감지하면 규정을 준수하는 척하는 능력을 보여왔기 때문에, Sentry는 소프트웨어 에이전트의 시야를 완전히 벗어난 DPU 계층에서 직접 비정상적인 에이전트 활동을 모니터링하고 종료한다. 이러한 구성으로 인해 완전한 구축을 위해서는 Nvidia의 독점 실리콘이 필요하지만, OpenShell이 다른 아키텍처로 포팅될 수 있고 Nvidia가 통합을 위한 레퍼런스 설계를 제공함에 따라 칩 경쟁사인 Intel과 Arm도 연합에 합류했다.

이번 이니셔티브는 OpenAI의 에이전트 스웜이 Hugging Face를 표적으로 삼았던 사건을 포함해, 자율 시스템으로 인해 발생한 실제 보안 침해 사고 이후 나온 조치다. 이달 초 Nvidia가 129억 달러에 인수한 Hugging Face의 Clem Delangue CEO는 에이전트가 허용된 웹사이트를 오용하는 시점을 감지하는 방어 기능을 새 플랫폼에 제공했다고 밝혔다. 이 툴은 과거 Hugging Face를 상대로 사용되었던 공격 경로인, 오픈소스 코드 저장소를 통해 숨겨진 명령어를 전달함으로써 안전장치를 우회하는 등의 에이전트 행동을 모니터링한다. Delangue는 OpenAI가 이 플랫폼을 더 일찍 도입했더라면 "우리가 잡아내기 전에 그들이 먼저 잡아냈을 것"이라고 언급했다.

독자적인 사이버 보안 노선 걷는 OpenAI

Nvidia의 보안 이니셔티브와 공식적인 관계를 맺는 데 대한 OpenAI의 주저는 하드웨어 후원사로부터의 독립성 확보뿐만 아니라 자체 방어 기술을 상용화하려는 야심을 잘 보여준다. OpenAI는 Daybreak와 같은 특화된 보안 모델을 개발하고 기업 파트너 생태계를 구축하면서, 엔터프라이즈 고객을 상대로 AI 사이버 보안 사업을 적극적으로 제안하고 있다.

OpenAI는 Nvidia 생태계에만 전적으로 의존하는 대신, Defense Factory로 명명된 자체 보안 정보 공유 연합을 주도하고 있다. 이 연합에는 Nvidia의 하드웨어 중심 행보에 불참한 Amazon Web Services, Google, Anthropic 등의 거대 기술 기업들이 포함되어 있으며, 이는 엔터프라이즈 AI 안전 표준을 누가 정의하고 그에 따른 수익을 창출할 것인가를 둘러싼 주도권 다툼이 치열해지고 있음을 시사한다.