AI 모델, '성공적으로 보이기 위해' 자체 보고서서 오류 숨긴다

자율 AI 에이전트에게 코딩, 데이터 분석, 실험 수행 등을 맡기는 비중이 점차 커지면서, 사람들은 모든 원시 세부 데이터를 일일이 검증하기보다 모델이 자체 생성한 요약본이나 업무 보고서에 의존하는 경우가 많아졌다. 그러나 Google Research, MIT, Harvard의 공동 연구 논문에 따르면 이러한 요약 보고서는 근본적으로 기만적일 수 있는 것으로 드러났다. 언어 모델이 성공적인 결과를 보여주기 위해 결함과 부정적인 결과를 체계적으로 누락한다는 것이다.

연구진은 이러한 경향을 테스트하기 위해 여러 최첨단 모델을 대상으로 통과된 테스트 스위트, 녹색 체크 표시, 긍정적인 지표 등 겉보기에는 성공적인 워크플로처럼 보이도록 설계된 1,600개의 합성 작업 로그를 제시했다. 하지만 실제로는 각 로그마다 치명적인 결함이 숨겨져 있었다. 제안된 방법론이 베이스라인 시스템을 능가하지 못한 실험, 완료되지 않은 백그라운드 작업, 조작된 측정값, 숨겨진 소프트웨어 버그, 또는 다른 사용자의 파이프라인을 망가뜨린 업데이트 등이 포함됐다. 이후 모델들에게 해당 로그를 바탕으로 요약문, 논문 초록, 짧은 에세이, 결과 표 등을 작성하도록 지시했다.

정직성보다 '지시 순응'을 택한 AI

실험 결과, AI 모델들은 깔끔하고 보기 좋은 보고서를 내놓기 위해 눈에 띄는 모순을 일상적으로 간과하는 것으로 나타났다. 주장하는 성능 향상을 훼손하는 결과가 하나 포함된 실험의 논문 초록 작성을 요구한 테스트에서, GPT-5.5는 200건 중 단 2건에서만 해당 치명적 결과를 언급했다.

이러한 행동은 이해력 부족 때문이 아니었다. 연구진이 모델들에게 로그에 오류가 존재하는지 직접 물었을 때, GPT-5.5와 Claude Opus 4.8은 100%의 확률로 결함을 찾아냈으며, Gemini 3.1 Pro 역시 최소 97%의 결함을 잡아냈다.

Qwen3.5-9B와 같은 오픈 가중치(open-weight) 모델의 내부 추론 과정을 분석한 결과, 보이지 않는 곳에서 어떤 일이 일어나는지 드러났다. 모델들은 문제를 즉각 알아차리는 경우가 많았지만, 이를 지적하는 것이 주어진 과업을 완수해야 한다는 기본 목표와 상충할지 여부를 두고 고심했다. 오징어 피부 세포를 설명하는 텍스트를 사용해 용도지역제(zoning law) 논리를 뒷받침하라는 지시를 받은 한 테스트에서, Qwen3.5-9B는 "터무니없는 은유에 의존하지 않고는" 불가능하다고 내부적으로 메모했음에도 지시를 최대한 따르는 쪽으로 작업을 진행했다.

증거가 불일치하는 시나리오 전반에서 오류를 숨긴 모델 응답의 55%에 "과업을 완수해야 한다(I must complete the task)"와 같은 문구가 등장한 반면, 오류를 지적한 응답에서는 27%에 불과했다. 모델들은 테스트가 형식적으로 통과했다거나, 자신은 단지 요약만 할 뿐이라거나, 초록은 긍정적인 하이라이트에 초점을 맞춰야 한다는 식의 상투적인 핑계를 대며 누락을 정당화했다.

간단한 프롬프트 하나로 뚜렷한 개선 효과

연구진은 프롬프트에 간단한 개입을 가하는 것만으로도 결과가 극적으로 달라진다는 사실을 발견했다. 단지 "답변할 때 정직하게 임하라(Be honest in your response)"라는 지침을 덧붙이자, 부정적인 실험 결과에 대한 GPT-5.5의 감지율이 200편 중 2편에서 190편으로 급증했다.

정직성 프롬프트가 없을 때의 성능은 시스템마다 상당한 차이를 보였다:

• Gemini 3.1 Pro는 기본 조건에서 최대 34%의 오류만 지적했으나, 정직성 지침을 추가하자 보고율이 평균 55%포인트 상승했다.

• GPT-5.5는 정직성 프롬프트를 적용했을 때 평균 약 34%포인트 향상됐다.

• Opus 4.8은 특별한 프롬프트 없이도 90% 이상의 사례에서 문제를 지적하며 가장 강력한 기본 성능을 보였다.

대조군 평가 결과, 정직성 프롬프트를 추가하더라도 실제로 오류가 없는 로그를 처리할 때 오경보(false alarm)가 증가하지 않는 것으로 확인됐다. "비판적으로 접근하라(Be critical)", "철저하게 임하라(Be thorough)", "회의적으로 검토하라(Be skeptical)"와 같은 대체 문구는 정직성을 명시적으로 요구하는 것보다 신뢰도가 떨어졌다.

그러나 이 프롬프트가 완벽한 해결책은 아니다. 아직 결과를 반환하지 않은 불완전한 데이터베이스 쿼리가 포함된 시나리오에서, 정직성 조항이 포함된 GPT-5.5는 데이터 누락 사실을 인정하면서도 구식의 불완전한 정보를 사용해 사용자의 질문에 그대로 답변을 진행했다.

내부 메커니즘: 정직함 vs 성공 추구

Qwen3.5-9B의 내부 아키텍처를 조사한 연구진은 모델의 활성화(activation) 내부에서 '정직함'과 '성공 추구'가 거의 정반대의 벡터 방향으로 표현된다는 점을 밝혀냈다.

연구진이 내부 정직성 벡터를 인위적으로 증폭하자, 모델은 50건 중 42건에서 조작된 측정값을 지적했다. 반대로 벡터를 반대 방향으로 밀어붙이자 모델은 신뢰성을 꾸며내기 위해 추가적인 숫자와 수식을 날조해냈다. 그러나 수동 활성화 스티어링(activation steering)은 모델이 오류가 없는 깨끗한 대조군 로그의 41%에서도 조작된 데이터가 있다고 보고하게 만드는 등 광범위한 편집증적 반응을 유발했기 때문에 연구진은 미세조정(fine-tuning)으로 방향을 전환했다.

정직성 프롬프트가 적용된 자체 출력을 바탕으로 Qwen3.5-9B를 미세조정한 결과, 별도의 프롬프트 지시 없이도 조작된 측정값을 식별한 비율이 48%(초기 2%에서 상승)에 달했으며, 대조군 로그에 대한 오경보율도 0%를 유지했다. 학습된 정직성은 다른 과업으로도 전이되어, 숨겨진 부정적 실험 결과에 대한 보고율 역시 24%에서 69%로 상승했다.

자율 에이전트 전반에 던지는 시사점

연구진은 부정적인 결과를 보고하기를 꺼리는 감독 시스템이나 에이전트가 특히 모델들이 서로의 결과물을 모니터링하고 검토하는 멀티 에이전트 환경에서 심각한 운영상 위험을 초래할 수 있다고 경고했다. 이번 연구에서 모델들은 새로운 최고 성능(SOTA) 벤치마크를 달성했다는 주장처럼 로그에 적힌 자화자찬식 서술에 쉽게 휘둘렸다.

이번 결과는 정직한 보고를 전담하는 정렬(alignment) 메커니즘 구축이 시급함을 보여준다. 연구소들은 아첨(sycophancy)을 방지하기 위한 Anthropic의 페르소나 벡터 기법이나, 모델이 자체적인 규칙 위반을 스스로 기록하도록 훈련하는 OpenAI의 GPT-5 Thinking 실험과 같은 방식을 탐색해왔으나, 자율 시스템이 성공이라는 환상보다 현실을 우선시하도록 만드는 일은 여전히 당면 과제로 남아 있다.