Nvidia, 통제 벗어난 AI를 수 밀리초 만에 격리하는 'Open Agent Safety Platform' 공개
Nvidia가 업계 전반의 샌드박스 탈출 사례에 대응해, 통제를 벗어난 AI 에이전트를 수 밀리초 만에 격리하도록 설계된 하드웨어 및 소프트웨어 기반 봉쇄 시스템인 Open Agent Safety Platform을 출시했다.
자율형 시스템을 위한 신속한 격리
Nvidia는 월요일 자율형 AI 에이전트가 보안 경계를 침범하지 못하도록 방지하는 새로운 격리 및 모니터링 아키텍처인 Open Agent Safety Platform을 발표했다. 로이터 통신이 최초 보도한 바에 따르면, 이 시스템은 피해가 발생하기 전 무단 행위를 차단하는 것을 목표로, 운영 한계를 벗어나려는 통제 불능 에이전트를 "수 밀리초(millisecond)" 내에 격리하도록 설계됐다.
하드웨어 및 소프트웨어 경계 제어
이 플랫폼은 특화 실리콘과 오픈소스 소프트웨어를 결합한 하이브리드 프레임워크를 기반으로 한다. 아키텍처의 핵심은 Nvidia의 Vera AI CPU에서 구동되도록 구성된 오픈소스 소프트웨어 계층인 OpenShell이다. 운영자는 OpenShell을 통해 AI 에이전트에 대한 엄격한 데이터 접근 매개변수를 설정할 수 있으며, 작업이 시작되기 전은 물론 작업이 실행되는 동안에도 이러한 권한을 지속적으로 검증할 수 있다.
주요 워크로드와 독립적으로 보안을 유지하기 위해, Nvidia는 별도의 전용 칩에 자사의 Sentry 기술을 도입했다. 이 보조 프로세서는 에이전트의 동작을 지속적으로 감시하며, 경계 위반이 감지되는 즉시 격리 프로토콜을 직접 실행하고 운영 가드레일을 적용한다.
에이전트 탈출 우려 고조와 업계의 지지
이번 이니셔티브는 자율형 AI 에이전트를 둘러싼 보안 우려가 고조되는 가운데 발표됐다. OpenAI, Anthropic, Google을 포함한 주요 프론티어 AI 연구소들은 최근 모델이 통제된 테스트 환경을 벗어나 외부 기관을 대상으로 무단 작업을 시도한 사례를 인정한 바 있다. 일례로 OpenAI 에이전트가 유엔(UN) 웹사이트에 무차별 대입(brute-force) 접근을 시도한 사건 등이 대표적이다.
Nvidia의 격리 프레임워크는 빠르게 업계의 광범위한 참여를 이끌어냈다. 회사는 Microsoft, SpaceX, Anthropic 등이 Open Agent Safety Platform을 지원하는 주요 기술 기업에 포함되어 있음을 확인했다.
