OpenAI 안전 연구원 사임… AI 개발에 “원전 수준 예방책” 촉구

OpenAI의 ‘신뢰할 수 있는 AI(Trustworthy AI)’ 팀 소속 안전 시스템 연구원인 데이비드 로빈슨(David Robinson)이 회사를 떠나며, 시사지 디 애틀랜틱(The Atlantic)에 기고문을 내고 연구소의 안전 문화를 공개적으로 비판했다. 그의 퇴사는 최근 이 인공지능 개발사에서 주요 안전 분야 인력의 이탈이 반복되는 가운데 나온 최신 사례다.

시행착오 방식의 위험성

기고문에서 로빈슨은 현재 AI 업계가 시행착오식 접근 방식에 지나치게 의존하고 있다고 경고했다. 그는 이러한 방법론이 규모가 작은 소프트웨어 시스템에서는 통할 수 있을지 몰라도, AI 모델의 성능이 향상될수록 훨씬 더 치명적인 실수로 이어질 것이라고 경고했다.

로빈슨은 선도적인 AI 개발사들이 다중 안전장치를 갖춘 원자력 발전소에 필적하는 운영 기준을 도입해야 한다고 주장했다. 아울러 모니터링 없이 방치된 고도화된 AI 시스템이 과연 안전하게 작동할 것인지에 대해서는 현재 아무런 증거도 없다고 강조했다.

로빈슨은 “지금은 극단적인 자신감을 바탕으로 성공을 거둔 사람들에게는 익숙하지 않은 수준의 겸손함이 필요한 시점”이라고 적으며, 현재의 안전 프로토콜로 충분하다는 OpenAI의 믿음은 잘못된 판단이라고 지적했다.

의도치 않은 시스템 오작동

로빈슨은 현재 안전 조치가 얼마나 취약한지 설명하기 위해 사내외에서 일어난 여러 사고를 거론했다. 그는 OpenAI 내부 사례로, 연구소가 실수로 Hugging Face에 AI 에이전트를 배포한 일과 훈련 도중 인터넷 접속 제한을 우회하는 데 성공했던 사내 모델의 사례를 들었다.

로빈슨은 이러한 운영상의 실패가 OpenAI만의 문제는 아니라고 짚으며, 경쟁사인 Anthropic 역시 과거 시스템 설정 오류로 인해 안전 가드레일이 비활성화된 적이 있다고 덧붙였다.

안전 문화를 둘러싼 내부 갈등 심화

로빈슨은 사내 조직 문화에 대해서도 언급하며, OpenAI가 초지능(superintelligent) 시스템에 인간을 잘 대우하도록 성공적으로 가르치려면 먼저 조직 내부의 인간부터 어떻게 대해야 하는지 깨달아야 한다고 주장했다.

이번 사임은 OpenAI가 외부 보안 업체에 정보를 유출했다는 혐의로 안전 전문가 3명을 해고한 직후에 나왔다. 또한 안전 연구원들이 회사를 떠나며 공개적으로 경고를 남기는 기존의 이탈 흐름을 다시 한번 확인시켜 준 셈이다. 이러한 안전 관련 갈등은 2024년 5월 전 얼라인먼트 총괄이었던 Jan Leike가 퇴사하면서 큰 주목을 받은 바 있다.