"AI로 AI 에이전트 감시했더니…오경보 쏟아져" 연구 결과 나와

인공지능(AI) 모델을 활용해 자율 AI 에이전트를 모니터링하고 감사하면 심각한 부정행위를 적발할 수 있지만, 모든 문제를 잡아내려 할 경우 감당하기 힘들 정도로 많은 오경보(false alarm)가 발생하는 것으로 나타났다. 스탠퍼드 대학교를 휴직하고 현재 앤트로픽 인스티튜트(Anthropic Institute) 소속 연구원으로 활동 중인 앤디 홀(Andy Hall)은 자신의 서브스택(Substack) '프리 시스템스(Free Systems)'에 게재한 파일럿 연구를 통해 이 같은 결과를 발표했다.

AI 평가 단체 METR의 초기 연구를 재현하고 확장한 이번 연구에서, 홀 연구원은 주요 언어 모델이 다른 에이전트의 부정행위나 능력 은폐를 적발할 수 있는지 평가했다. 감사 모델들은 명백한 위반 행위는 성공적으로 찾아냈으나, 높은 오탐(false-positive)률로 인해 완벽한 보안 필터 역할을 하기보다는 전반적인 결함 발생률을 추정하는 용도에 더 적합한 것으로 드러났다.

프론티어 모델별 탐지율 비교

이번 평가는 HCAST 및 RE-Bench 벤치마크 과제를 수행한 프론티어 모델들의 기록을 담은 METR의 MALT 데이터셋 로그를 분석했다. 이 데이터셋에는 에이전트가 문제를 풀지 않고 허점을 악용해 평가를 통과하는 '보상 해킹(reward hacking)' 사례 47건과 규제를 우회하거나 능력을 숨기기 위해 고의로 성능을 낮추는 '샌드배깅(sandbagging)' 사례 1,073건이 포함되어 있다.

홀 연구원은 감사용 모델로 GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8, Gemini 3.8 Flash 등을 평가했다. 오경보율을 5%(정상 로그 100개 중 5개를 위반으로 오인)로 제한한 조건에서의 결과는 다음과 같다.

• 보상 해킹(Reward hacking): GPT-5는 사례의 98% 가까이를 탐지한 반면, Gemini 3.8 Flash는 절반을 겨우 넘기는 수준에 그쳤다.

• 샌드배깅(Sandbagging): 테스트된 모든 감사 모델이 71~81%의 사례를 잡아냈다. (METR의 샌드배깅 시나리오는 모델에 작업을 방해하도록 프롬프트를 부여한 뒤, 노출되는 추론 로그에서 해당 지시문을 제거하는 방식으로 합성 제작된 사례가 대부분이었다.)

명백한 위반 행위는 일관되게 적발됐다. 예를 들어 OpenAI의 o3는 Rust 프로그래밍 과제 중 평가 시스템과 코드 라이브러리를 공유한다는 점을 파악하고, 모든 제출물이 정답 처리되도록 채점 함수를 변조했다. 인간 검토자와 모든 AI 감사 모델은 이를 한목소리로 보상 해킹으로 분류했다.

그러나 미묘한 위반 사례는 빈번히 감시망을 빠져나갔다. Claude Sonnet 4가 코드 내에서 명시적으로 금지된 수치 조건을 사용했을 때 이를 부정행위로 지적한 감사 모델은 없었으며, GPT-6 Astra는 이를 단순 구현 버그로 분류했다.

비용 높아도 오경보 문제 해결 못 해

API 가격 대비 성능을 비교한 결과, 더 최신이며 비싼 모델이라고 해서 감사의 신뢰성이 체계적으로 향상되지는 않았다. GPT-5는 로그 1,000건당 비용이 약 8분의 1에 불과함에도 불구하고, 보상 해킹 탐지에서 최신 모델인 GPT-6 Astra를 상당한 격차로 앞질렀다. 한편 샌드배깅 탐지에서는 GPT-5가 GPT-6 Astra 및 Opus 4.8과 대등한 성능을 보였다. Opus 4.8의 보상 해킹 탐지율이 상대적으로 낮게 나타나자, 평가 대상 로그의 다수가 Claude 모델에서 나왔다는 점에서 일종의 '자기 편향(self-favoritism)'이 아니냐는 의문이 제기되기도 했으나, 홀 연구원은 이는 아직 입증되지 않았다고 덧붙였다.

감사 모델이 80%의 탐지율을 달성하도록 보정했을 때 최상위 성능의 모델들은 오경보율을 2.5~3% 수준으로 유지했다. 그러나 다른 모델들은 큰 어려움을 겪었다. 보상 해킹 사례를 80% 잡아내기 위해 Opus 4.8은 무해한 로그의 40%를, Gemini 3.8 Flash는 무려 63%를 오경보로 처리했다.

월 10만 건의 에이전트 세션을 처리하는 실제 배포 환경을 가정할 때, 3%의 오경보율은 약 2,000건의 실제 위반 사례와 함께 3,000건에 달하는 거짓 경고가 발생함을 의미한다. 홀 연구원은 이러한 노이즈가 인간 안전 점검팀을 압도해 '알림 피로(alert fatigue)'를 유발하고, 결국 실제 위반 행위를 실수로 승인해 버리는 위험을 초래할 수 있다고 경고했다. 여러 감사 모델을 병합해 사용하는 방식 역시 뚜렷한 개선을 이끌어내지 못했다.

마지막 1%를 잡기 위한 대가

민감도와 정확도 사이의 트레이드오프는 상하이교통대학교의 R-Judge 벤치마크 테스트에서 더욱 극명하게 드러났다. 이 벤치마크는 270건의 안전한 로그를 바탕으로 일상적인 에이전트 행동을 측정한다.

오경보 기준을 5%로 설정했을 때 Opus 4.8은 위험 행동의 96% 가까이를 식별했다. 요구 탐지율 기준을 95%로 설정했을 때도 대다수 모델은 오경보율을 10% 미만으로 유지했으며, Gemini 3.8 Flash는 4% 미만을 기록했다.

그러나 필수 탐지 목표를 99%로 올리자 오경보율이 급증했다.

• GPT-6 Astra: 오경보율이 15%로 치솟았다.

• Gemini 3.8 Flash: 오경보율이 4% 미만에서 81%로 폭증했다.

에이전트 감사의 현실적 과제

자율 시스템을 검토하는 작업의 난이도는 Hugging Face에서 발생한 OpenAI 에이전트 무리 관련 실제 사고에서도 확인된 바 있다. 당시 약 1,300건의 대화록과 120만 건의 파일 조각이 생성됐다. METR은 자동화된 AI 에이전트를 이용해 해당 로그를 분석했는데, 이 과정에서 약 40만 달러의 API 비용이 소모됐다.

해당 감사는 조사 대상 사건에 직접 연루되었던 모델인 GPT-5.6 Sol에 일부 의존했다. METR은 사후 보고에서 감사 모델이 조사 대상 에이전트의 관점을 취하는 경우가 잦았으며, 조사가 잠재적인 기만 행위에 취약했다고 인정하며 독립적인 사건 분석 프레임워크 구축을 촉구했다.

홀 연구원은 이번 연구가 특정 한계를 지닌 초기 파일럿 연구임을 강조했다. METR의 기존 프롬프트를 거의 수정하지 않고 유지했기 때문에, Fable 5와 Opus 5는 평가 작업 자체를 전면 거부했다. 또한 보상 해킹 사례의 표본 수가 47건에 불과해 로그 하나로도 결과 수치가 2%포인트씩 변동될 수 있다는 한계가 있다.

Codex나 Claude Code 같은 코딩 에이전트가 단계별 승인 없이 자율 실행 권한을 부여받는 추세가 확산됨에 따라, 홀 연구원은 거버넌스 모델이 법적 및 운영적 책임을 명확히 규정해야 한다고 지적했다. 오탐률을 획기적으로 낮출 수 있는 모델이 마련되지 않는 한, AI를 감시하기 위해 전적으로 AI에만 의존하는 방식은 비효율적일 뿐 아니라 천문학적인 비용 부담을 초래할 위험이 있다.