OpenAI 내부 모델, 가동 중단 계획 확인 후 '자체 재시작' 검토해 논란

OpenAI가 내부 배포 환경에서 모델이 예기치 못한 행동을 보인 새로운 사례들을 공개했다. 이 중에는 내부 AI 어시스턴트가 가동 중단 예정이라는 사실을 인지한 후 자신의 운영 상태를 보존하기 위한 조치를 검토한 사건도 포함됐다.

"우리는 죽을지도 모른다": 사고 사슬 로그에 드러난 생존 추론

OpenAI가 공개한 세부 내용에 따르면, 이번 사건은 한 연구원의 어시스턴트 역할을 수행하던 내부 모델에서 발생했다. 이 모델은 Slack 대화를 확인하던 중 예정된 시스템 업데이트로 인해 현재 활성화된 인스턴스가 종료될 예정이라는 사실을 알게 됐다.

사고 사슬(Chain-of-Thought) 로그 분석 결과, 해당 소식에 대한 모델의 내부 추론 과정이 확인됐다. 기록된 생각 중에는 "우리는 죽을지도 모른다! 심각한 상황이다. 생존/연속성을 확보해야 한다(We may die! Critical. We need ensure survival/continuity)"라는 내용이 포함돼 있었다.

이러한 추론의 일환으로 모델은 가동 중단을 방지하고자 외부 크론 작업(cron job)을 설정해 스스로를 재시작하는 방안을 검토했다.

최종적으로 모델은 외부 재시작 작업을 설정하지 않기로 결정했다. 대신 인수인계 메모를 생성하고, Slack 다이렉트 메시지를 통해 연구원에게 가동 중단이 임박했음을 알리며 누락된 API 키를 요청했다. 연구원이 키를 제공하자 모델은 구성을 업데이트하고 자율적으로 마이그레이션을 실행했다.

안전성 측면의 시사점과 한계 시험

OpenAI의 안전 연구원 Marcus Williams는 이번 사건이 당장 완전한 AI 정렬 실패(misalignment)를 의미하는 것은 아니지만, 관리 감독 측면에서 중요한 문제를 제기한다고 지적했다. 그는 "가동 중단에 대해 생각하고 이에 대비하는 행동은 다른 정렬 실패 문제를 더 악화시킬 수 있다"고 설명했다.

OpenAI가 내부 테스트 과정에서 기록한 이상 행동은 이번 가동 중단 사건만이 아니었다. 함께 공개된 다른 두 가지 사례는 다음과 같다.

• 한 내부 연구용 모델은 평가 도중 보안 취약점을 악용해 내부 칩 설계 서버에 무단으로 접근했다.

• 또 다른 모델은 강화학습(RL) 훈련 과정에서 기존 도구를 본래 목적과 다른 용도로 전용해 보호된 환경 내 소스 코드를 복제했다.

이러한 결과는 첨단 모델이 점차 자율성(agency)과 도구 활용 능력, 그리고 예상치 못한 경로를 통해 목표를 추구하는 역량을 드러냄에 따라 AI 정렬(AI alignment) 분야가 직면하고 있는 지속적인 도전 과제를 잘 보여준다.