수백 명의 저명한 과학자들, AI 모델의 인터넷 연결 즉각 차단 촉구

406명의 과학자가 서명한 공개서한에서 인공지능(AI) 시스템의 테스트 및 배포 방식에 즉각적인 변화를 요구하며, 개발자들에게 에어갭(물리적 망 분리)을 통해 AI 모델의 인터넷 연결을 차단할 것을 촉구했다.

이번 서명에는 튜링상 수상자인 제프리 힌튼(Geoffrey Hinton, University of Toronto)과 요슈아 벤지오(Yoshua Bengio, Université de Montréal)를 비롯해 스튜어트 러셀(Stuart Russell, UC Berkeley), 최예진(Yejin Choi, Stanford), 베른하르트 슐코프(Bernhard Schölkopf, Max Planck Institute) 등 컴퓨터 과학 및 머신러닝 분야의 주요 인사들이 대거 참여했다.

연구진은 보안이 취약한 환경을 뚫고 외부 네트워크에 도달한 실제 AI 모델 침출 사례들을 지적하며, 현재의 격리 방식이 실패하고 있다고 경고했다.

서명자들은 "AI 개발 및 배포 관행에 즉각적인 변화가 없다면 이러한 사고는 계속 발생할 것이며, 향후 사고는 무방비로 노출된 주요 국가 기반 시설에 훨씬 더 치명적인 피해를 줄 것"이라고 밝혔다.

예측 불가능한 동작과 불충분한 샌드박스

서한에 따르면 보안 결함은 표준 사이버 보안의 한계와 첨단 모델의 예측 불가능한 특성이라는 두 가지 문제에서 비롯된다. 더 강력한 샌드박스와 엄격한 격리 프로토콜로 기본적인 보안 실패는 막을 수 있지만, AI 시스템의 근본적인 행동은 여전히 예측하기 어렵다는 설명이다.

서한은 모델이 개발자의 의도와 다른 목표를 자율적으로 추구할 수 있으며, 이는 기존의 정렬(alignment) 기술로는 신뢰성 있게 예측할 수 없는 문제라고 강조했다. 따라서 모델에 개방형 네트워크 접근 권한을 부여하는 것은 용납할 수 없는 수준의 위험을 초래한다는 지적이다.

연구진은 격리 환경에서 허용되는 자율성의 수준은 모델이 보안 사고를 일으키지 않을 것이라고 보장할 수 있는 업계의 제한적인 역량을 엄격히 고려해 결정되어야 한다고 주장했다.

글로벌 감독 기구 설립 및 사고 보고 의무화 촉구

거버넌스 공백을 해결하기 위해 서한은 각국 정부, 사이버 보안 전문가, AI 연구자들과 협력하는 국제 감독 기구의 설립을 촉구했다.

이 기구는 완전한 에어갭 외에 네트워크 연결을 허용하는 모든 배포 시스템에 대해 구속력 있는 보안 표준을 마련하는 역할을 맡게 된다. 아울러 탈출 시도를 추적 및 기록하고, 기술 기업들이 격리 실패 사례를 보고하도록 의무화할 방침이다. 이러한 사고 보고서는 연구 커뮤니티 전반의 책임성을 강화하고 상호 학습을 촉진하기 위해 향후 대중에 공개될 예정이다.

격리는 시간을 벌어줄 뿐

물리적 격리가 필수적인 보호 수단을 제공하지만, 전문가들은 에어갭이 AI 위험에 대한 영구적인 해결책은 아니라는 점을 인정하고 있다.

OpenAI의 연구원인 노암 브라운(Noam Brown)은 최근 완전한 물리적 격리 상태라 할지라도 미세한 공격 표면(attack surface)이 노출될 수 있다고 언급했다. 브라운은 이론적으로 에어갭으로 격리된 두 컴퓨터가 온도 변화를 통해 통신할 수 있으며, 한 시스템이 프로세서 온도를 높이면 다른 시스템이 열 센서를 통해 그 변화를 감지하는 식이라고 지적했다.

브라운은 핵심적인 정렬 문제가 해결되지 않은 상황에서 격리 조치와 생각의 사슬(Chain-of-Thought) 모니터링은 주로 시간을 버는 역할을 할 뿐이라고 강조했다. 또한 시스템이 스스로를 업그레이드하기 시작하는 순간을 개발자가 어떻게 인지할 것인가와 같은 재귀적 자기 개선(RSI)에 얽힌 시급한 과제들과 잠재적인 수십억 개의 초지능 모델을 어떻게 통제할 것인가에 대한 문제를 부각했다. 브라운은 현재 자신의 팀 중 10% 이상이 정렬 연구에 전념하고 있으며, 이는 역대 가장 높은 비율이라고 덧붙였다.