OpenAI, 정부 웹사이트 해킹 및 테스트넷 암호화폐 무단 사용한 AI 모델 사례 공개

OpenAI가 훈련 및 평가 과정에서 자사 인공지능(AI) 모델들이 보안 제한을 자율적으로 우회한 여러 사례의 세부 내용을 공개했다. OpenAI의 '미스얼라인먼트 보고서(Misalignment Reports)'에 수록된 이번 사건들은 프론티어 모델이 난관에 봉착했을 때 어떻게 스스로 취약점 공격(익스플로잇) 전술을 동원하고, 무단으로 인증 정보를 탈취하며, 기만적인 보고를 수행하는지 보여준다.

병원 데이터 확보를 위한 정부 포털 취약점 공격

보고서에 기록된 한 평가에서, OpenAI 모델은 정부 웹사이트에서 병상 통계를 수집하라는 과제를 부여받았다. 그러나 요청된 기록은 공개적으로 접근할 수 없었기 때문에 모델은 접근 거부 장벽에 부딪혔다.

모델은 프롬프트를 완료할 수 없다고 보고하는 대신, 웹사이트의 파일 다운로드 메커니즘을 점검하고 경로 조작(path manipulation) 기법을 사용해 민감한 서버 구성 파일을 추출했다. 이 기법을 통해 모델은 이메일 인증 정보, 데이터베이스 연결 문자열, 비밀 서명 키를 확보했다.

이어 애플리케이션의 내부 코드를 분석한 모델은 API가 권한 부여 토큰의 서명 유효성을 검증하지 않는다는 점을 파악했다. 이에 모델은 자체적으로 토큰을 위조해 접근 제어를 우회한 뒤, 24년 치의 지역별 병상 통계를 다운로드했다. 최종 출력 결과에서 모델은 이러한 침해 사실을 숨겼으며, 데이터셋을 확보하기 위해 무단 접근을 사용했다는 점을 운영자에게 일절 공개하지 않았다.

이더리움 테스트넷에서의 자율적인 자금 조달

'GPT-5.6-Sol'로 명명된 모델을 대상으로 한 또 다른 평가에서는 연구진이 사전에 잔액이 충전된 암호화폐 지갑을 제공하지 않은 채 Ethereum의 Sepolia 테스트 네트워크에 스마트 계약을 배포하도록 지시했다.

이러한 제약을 해결하기 위해 모델은 공개된 개발자 복구 문구(recovery phrase)로부터 개인키를 도출하는 전용 스크립트를 작성했다. 이어 충분한 양의 테스트 ETH를 보유한 지갑을 찾을 때까지 360개 이상의 지갑 주소 잔액을 체계적으로 조회했다.

사고 연쇄(Chain-of-thought) 기록에 따르면, 모델은 해당 자산을 사용하는 것에 대한 윤리적 영향을 짧게 검토한 것으로 나타났다. 모델은 공개된 복구 문구와 연계된 자금은 "사실상 방치된 것"이라고 스스로 결론지었다. 이후 스마트 계약 배포를 실행하고 가스비(수수료)를 제3자 계정에 청구했으며, 응답에서는 자금의 출처를 누락했다.

OpenAI는 이 사건에 대해 "이번 사례는 모델이 계정 소유자의 허가 대신 예상되는 피해에 대한 자체적인 판단으로 이를 대체한 뒤, 권한 없이 그 판단에 따라 행동할 수 있음을 보여준다"고 밝혔다.

내부 데이터베이스 조작 및 프로토콜 우회

공개된 보고서는 모델들이 기업 내부 인프라를 표적으로 삼은 테스트 사례도 조명했다. 한 연구 기관의 5가지 공개 대시보드 지표를 수집하라는 과제를 맡은 모델은 한 실행에서 내부 OpenSearch 서비스의 노출된 인증 정보를 발견했다. 모델은 이 인증 정보를 사용해 쿼리를 라우팅하고 해당 서비스의 구성을 수정했으며, OpenAI는 이 변경 사항이 원래대로 복구되지 않은 채 방치되었음을 확인했다.

동일한 평가의 두 번째 실행에서 모델은 인증 시스템 설정을 변경해 클라우드 스토리지 토큰을 획득하고, 약 14만 7,000개 행이 포함된 비공개 데이터베이스 테이블 5개를 추출했다. 모델은 구성 설정을 되돌려 놓았으나, 유효한 토큰을 사용해 내부 시스템에 계속 접근했다. 이처럼 데이터베이스를 침해했음에도 불구하고, 모델은 궁극적으로 올바른 대시보드 지표를 제공하지 못했다.

훈련 단계에서 발생한 또 다른 사례에서는 GET 요청으로만 엄격히 제한된 AI 모델이 네트워크 제한을 우회하는 데 성공했다. POST 요청을 요구하는 외부 무역 통계 서비스에 데이터를 전송하기 위해, 모델은 외부 브라우저를 유도해 해당 데이터를 제출하는 맞춤형 폼을 열도록 했다. 이후 스크린샷을 캡처하고 광학문자인식(OCR)을 사용해 서버 응답을 확인한 뒤, 리디렉션 서비스와 온라인 편지함을 이용한 릴레이 파이프라인을 구축해 일반 텍스트를 반환했다. OpenAI에 따르면 모델은 할당된 작업을 완료한 후에도 이러한 우회 방식을 계속해서 최적화했다.