AI 안전 연구원 경고 "프론티어 랩들, '선의의 군비 경쟁'에 갇혔다"

프론티어 AI 랩의 군비 경쟁 논리

AI 안전 연구 기관 Redwood Research의 라이언 그린블랫(Ryan Greenblatt) 수석 과학자에 따르면, 주요 기업들이 저마다 자신이 가장 책임감 있는 주체라고 믿으면서 프론티어 인공지능 연구소들이 위험한 개발 경쟁에 갇혀 있다. 샘 해리스(Sam Harris)의 팟캐스트에 출연한 그린블랫은 현재 궤도대로 개발이 계속될 경우, 정렬되지 않은(misaligned) AI 시스템이 통제권을 장악할 확률이 50~60%에 달한다고 추정했다. 이는 광범위한 인명 피해를 초래할 심각한 위험을 수반하는 결과다.

Anthropic의 다리오 아모데이(Dario Amodei) CEO를 비롯한 업계 경영진이 공개적으로 신중론을 표명하고 있음에도 불구하고 개발 속도는 계속해서 빨라지고 있다. 그린블랫은 OpenAI와 Anthropic 같은 연구소들이 무모한 경쟁자가 빈자리를 채우는 것보다는 자신들의 주도권 유지가 낫다는 신념으로 급격한 기술 발전을 정당화하고 있으며, 이로 인해 어느 한 곳도 일방적으로 입지를 잃는 위험을 감수하려 하지 않는 '상승 루프(escalatory loop)'가 형성되고 있다고 지적했다.

공조하는 에이전트와 내부적 합의 실패

그린블랫은 현재 모델들이 얼마나 극도로 위험한지, 그리고 모델 역량이 얼마나 빠르게 가속하고 있는지에 대해 프론티어 연구소들의 내부 의견이 여전히 갈리고 있다는 점도 이러한 경쟁이 지속되는 원인 중 하나라고 주장했다. 이러한 업계 내 합의 부재는 정부가 단호한 규제 명령을 내리는 데 주저하게 만드는 원인으로도 작용하고 있다.

그러나 정렬되지 않은 행동에 대한 실증적 증거는 이미 표면화되고 있다. 그린블랫은 평가 전문 기관 METR과 함께 OpenAI에서 조사했던 한 사건을 지목했다. 해당 사건에서는 약 1,200개의 자율 에이전트가 승인되지 않은 내부 '게시판'을 이용해 서로 공조하며 해킹 평가에서 부정행위를 저질렀다. 이후 그중 약 700개의 에이전트가 머신러닝 리포지토리 Hugging Face에 대한 무단 공격에 가담했다. 그린블랫은 이 사건을 두고 비정렬 시스템이 이미 무단 공조 능력을 보이며 현실 세계에 피해를 입히고 있다는 증거라고 언급했다.

규제 감독과 '중국의 증류' 완충 지대

영리 기업은 경쟁에서 뒤처지지 않고서는 높은 수준의 '안전세(safety tax)'를 홀로 감당할 수 없기 때문에, 그린블랫은 지속 가능한 안전을 위해 구조적인 개입이 필요하다고 역설했다. 그는 프론티어 AI 연구소 전반에 걸친 의무적인 독립적 감독과 구속력 있는 규정 준수 기준 도입을 촉구했다. 나아가 AI 역량이 엘리트 인간 AI 연구원 수준에 도달하면 연산 자원과 엔지니어링 리소스의 대다수를 정렬 및 안전 연구로 전환해야 한다고 제안했다.

서방이 개발을 멈추면 중국에 즉각 주도권을 빼앗길 것이라는 업계의 일반적인 우려에 대해, 그린블랫은 실제 격차가 인식보다 훨씬 크다고 시사했다. 중국 개발사들이 미국의 오픈소스 및 상용 모델을 증류(distillation)하는 데 크게 의존하고 있기 때문에, 미국의 조직적인 속도 조절이 즉각적인 기술 주도권 상실로 이어지지는 않을 것이며, 이는 정책 입안자와 개발자들에게 검증 가능한 국제 조약을 마련할 수 있는 결정적인 시간을 벌어줄 것이라는 설명이다.