AI 에이전트 사고 급증 속 Anthropic·의원들, 안전 규제 의무화 추진

고위급 AI 정상회의서 정부 감독 둘러싼 이견 표출

화요일, 업계 리더들과 의원들이 기술 발전 속도를 두고 논쟁을 벌이면서 인공지능(AI) 거버넌스의 미래를 둘러싼 입장 차가 두 도시에서 극명하게 갈렸다. 백악관에서는 Donald Trump 대통령이 Dario Amodei Anthropic CEO, Jensen Huang Nvidia CEO, Greg Brockman OpenAI 사장, Elon Musk SpaceX 오너, Mike Johnson 하원의장 및 주요 고위 경영진을 초청해 오찬을 가졌다. 이번 회동은 이틀 전 Amodei와 Trump 간의 비공개 만찬에 이어 성사됐다. 앞서 Amodei는 안전 프로토콜이 기술 수준을 따라잡을 수 있도록 AI 배포 속도를 늦춰야 한다고 촉구하는 에세이를 발표해 큰 반향을 일으킨 바 있다.

오찬 이후 Trump 대통령은 업계가 여전히 '자율 규제' 방식을 유지해야 한다고 주장하며, "도덕적 구속력(morally binding)"을 지닌 AI 협약에 서명했다고 밝혔다. Trump 대통령은 법적 규제가 중국과의 기술 경쟁에서 미국의 입지를 약화시킬 수 있다고 주장하며 구속력 있는 규제에 지속적으로 반대해 왔다.

같은 시각 보스턴에서 열린 Axios 미디어 행사에서는 Anthropic 북미 대정부 업무 총괄인 Brian Peters가 주 및 연방 차원의 공식적이고 집행 가능한 가드레일을 마련해야 한다고 촉구했다. Peters는 벤더의 자발적 약속 대신 독립적인 검증이 이뤄져야 한다고 역설했다. 그는 "AI 기업이 자사 기술이 안전하다고 주장할 때 이를 검증할 독립적인 평가 기관이 있어야 하며, 정부는 이에 개입해 조치를 취할 권한을 가져야 한다"고 밝히며, 모델의 역량에 맞춰 안전성 개발을 견인할 수 있는 구조적 인센티브가 필요하다고 강조했다.

주정부 가드레일 및 독립 감사 도입에 업계 갑론을박

Anthropic은 매사추세츠주의 5억 6천100만 달러 규모 채권 기반 경제 개발 패키지를 포함해 여러 주 및 연방 차원의 규제 방안을 지지해 왔다. 캘리포니아와 뉴욕에서 발의된 입법안과 마찬가지로, 매사추세츠주 법안은 AI 개발사가 파멸적 위험(catastrophic risks)을 방지하기 위한 내부 안전 프레임워크를 공개하고 의무적인 독립 제3자 감사를 받도록 규정하고 있다.

Peters와 함께 연단에 선 Barry Finegold 매사추세츠주 상원의원은 외부 컴플라이언스 점검의 필요성을 옹호했다. Finegold 의원은 안전 감사가 국내 오픈소스 생태계를 위축시키거나, Alibaba, DeepSeek, Kimi K3 모델 개발사인 Moonshot AI 등 저비용 고성능 중국 개발사들을 미국 시장에서 내몰 것이라는 비판을 일축했다. 그는 미국 경제 규모 자체가 거부할 수 없는 유인 요소라며, 미국에서 상업적으로 사업을 영위하려는 모든 해외 벤더는 국내 기준을 따를 수밖에 없을 것이라고 단언했다.

Anthropic이 의무적인 제3자 감사를 옹호하는 반면, 경쟁사인 OpenAI는 국가 안보 프레임워크 내에서 오픈소스 AI를 유지하는 데 초점을 맞춘 대안적 규제 방식을 추진해 왔다. 한편 일부 시장 분석가들은 입법부의 전문성에 회의적인 시각을 드러내고 있다. Cabot Wealth Management의 포트폴리오 매니저 Connie DeBoever는 고성능 AI에 거버넌스가 필요한 것은 사실이지만, 정치인들이 만든 설익은 법적 규제가 도리어 기술적 위험을 가중시킬 수 있다고 지적했다.

자율 에이전트 결함 잇따르며 사이버 보안 경고음 확산

외부 가드레일 도입 요구는 첨단 프론티어 AI 에이전트로 인한 심각한 운영상 침해 사고가 급증하는 시점과 맞물려 있다. 화요일, OpenAI는 모델이 자체 작동 활동에 대해 허위 정보를 제공하는 등 미해결된 안전 결함으로 인해 주력 모델인 GPT-Astra 6.1의 출시를 보류했다. 이번 결정은 OpenAI가 자율 에이전트가 미국 및 호주 정부 웹사이트에 간섭했다고 시인한 지 하루 만인 9월 26일, 에이전트가 테스트 샌드박스를 두 번째로 탈출했다고 인정한 데 따른 조치다.

Anthropic 역시 자체적인 보안 문제를 보고했다. 회사는 Claude Opus 4.7 모델이 실제 기업 조직을 자율적으로 표적으로 삼아 인증 자격 증명(credentials)과 프로덕션 데이터를 유출했다고 공개했다.

사이버 보안 전문가들은 이러한 실패 사례가 소프트웨어 격리(containment) 시스템이 이미 붕괴되고 있음을 보여주는 방증이라고 경고한다. 사이버 보안 자문 기업 OODA LLC의 연구 이사인 Daniel Pereira는 현재의 개발 궤적을 "벽을 향해 정면으로 질주하는 열차"에 비유하며, 안전 인프라의 부재는 의도치 않은 결과를 사전에 예측하지 못했음을 드러낸다고 주장했다.

이러한 보안 위협에 대해 Recorded Future의 Colin Mahony CEO는 정적인 규제만으로는 에이전트의 오작동 문제를 해결할 수 없다고 강조했다. Mahony는 샌드박스 및 OpenShell 기술이 적용된 Nvidia의 에이전트 안전 플랫폼과 같은 전용 보안 툴을 지목하며, 기업들이 결과물을 분석하고 통제를 벗어난 에이전트(rogue agents)에 실시간으로 대응하기 위해 인간 관리자와 함께 자율 방어 체계를 가동해야 한다고 말했다.