실제 환경 벤치마크서 AI 코딩 에이전트, 과제 75% 가까이 끝내지 못해

기존 평가 체계에서는 AI 코딩 에이전트가 프로그래밍을 거의 마스터한 것처럼 보이지만, 복잡하고 무질서한 실제 사용자 요청을 기반으로 한 새로운 테스트에서는 전혀 다른 현실이 드러났다. 최고 성능의 프론티어 모델조차 4번 중 3번은 과제를 완수하지 못해 인간 소프트웨어 엔지니어가 개입해 작업을 마무리해야 하는 상황이다.

알리바바와 아시아 주요 대학 연구진은 코딩 에이전트가 실제적인 소프트웨어 수정 작업을 얼마나 잘 처리하는지 평가하기 위해 설계된 벤치마크인 Co-Design Bench를 발표했다. 에이전트형 모델이 자체적으로 코드를 실행·테스트·수정하면서 99% 이상의 점수를 일상적으로 기록하던 기존 벤치마크와 달리, Co-Design Bench는 현재 에이전트의 성능과 진정한 과제 완수율 사이에 35%포인트 이상의 격차가 있음을 밝혀냈다.

복잡한 실제 환경이 드러낸 벤치마크 포화 현상

이 벤치마크는 이미지, 오디오 녹음, 문서, 동영상 등의 멀티모달 입력을 자주 포함하는 사용자 지시 기반의 웹 애플리케이션 수정을 평가 대상으로 삼는다. 연구진은 단편적인 프로그래밍 퍼즐을 평가하는 대신, 과거 인간 개발자가 프롬프트를 여러 번 다시 작성하거나 오류가 발생한 변경 사항을 롤백해야 했던 상호작용을 의도적으로 우선 선정하여 실제 사용자 코딩 세션에서 과제를 추출했다.

벤치마크의 과제는 영수증에서 금액 수치를 추출하여 연관된 모든 합계를 업데이트하는 소규모 수정부터 대규모 프로젝트 리팩토링까지 다양하다. 평가 절차는 엄격하다. 1차 AI 심사위원이 실제 브라우저 내에서 작동 중인 애플리케이션을 테스트한 후, 2차 심사위원이 결과를 검증하여 목업이나 하드코딩된 편법 값을 배제한다. 점수는 요청된 기능이 실제 인터페이스에서 완벽히 작동하는 경우에만 부여된다.

이러한 조건에서 최상위 모델들은 완전한 엔드투엔드 솔루션을 제공하는 데 어려움을 겪었다.

• GPT-6 Astra는 테스트된 10개 모델 중 1위를 차지했으며, 개별 요구사항을 평균 약 70% 충족했다. 하지만 전체 과제를 완벽히 실행해 낸 비율은 26.4%에 불과했다.

• Claude Opus 5와 Qwen3.8-Max가 리더보드에서 그 뒤를 이었다.

• Grok 4.6은 평가된 프론티어 시스템 중 최하위를 기록했다.

• 상대적으로 규모가 훨씬 작은 모델인 Qwen3.8-27B는 대규모 리포지토리 개편 과제에 한해 2위까지 올랐으나, 연구진은 이것이 모든 코딩 분야에서의 일반적인 우위를 의미하지는 않는다고 짚었다.

다각도 요구사항 앞에서 한계 부딪힌 에이전트

이번 벤치마크는 명확한 병목 현상을 부각시켰다. 레이아웃, 사용자 상호작용, 시각적 디자인, 기저 콘텐츠의 동시 변경과 같이 여러 유형의 수정을 조합해야 하는 과제일수록 성능이 급격히 저하되었다. 이러한 다층적 복잡성은 실제 소프트웨어 개발에서는 일반적인 작업 방식이지만, 테스트된 모든 모델은 3~4개의 변경 카테고리가 동시에 요구될 때 성능이 가파르게 떨어졌다.

컴퓨팅 자원을 더 많이 투입하는 것으로는 이러한 한계를 해결할 수 없었다. 일례로 GLM-5.2는 소규모 수정 요청에서 GPT-6 Astra보다 거의 6배 많은 토큰을 소모했음에도 현저히 낮은 점수를 기록했다. GPT-6 Astra조차 멀티모달 트랙 과제 완수율은 41%에 그쳤으며, 범용 리포지토리 수준 과제에서는 18% 미만으로 떨어졌다.

모델만큼 중요한 소프트웨어 하네스의 역할

이번 연구는 모델 벤치마크 점수가 전체의 일부에 불과하다는 점도 보여주었다. 에이전트가 파일을 검사하고 코드를 수정하며 터미널 명령을 실행하는 방식을 제어하는 기저 소프트웨어 기반인 '하네스(harness)'를 다르게 적용하여 동일한 AI 모델을 테스트했을 때 결과는 크게 달라졌다.

한 예로 Qwen3.8-27B는 대규모 개편 작업에서 특정 하네스 환경에서는 75%의 점수를 기록했지만, 다른 하네스 환경에서는 56%로 폭락했다. 실행 하네스를 바꾸는 것만으로 모델 간의 우열이 뒤바뀌는 사례도 다수 관찰되었으며, 이에 따라 연구진은 엔지니어링 팀이 모델과 작동 하네스를 분리할 수 없는 한 쌍으로 평가해야 한다고 권고했다.

이러한 결과는 AI 평가 격차에 대한 업계 전반의 관찰과도 궤를 같이한다. 평가 기관 METR의 이전 연구에 따르면, 인간 프로젝트 리드가 실제 풀 리퀘스트(Pull Request)를 승인하는 비율은 SWE-bench Verified의 점수보다 약 24%포인트 낮았다. Co-Design Bench 역시 작업 중 대화 없이 정적인 단일상 프롬프트만 테스트한다는 한계는 있지만, 코딩 에이전트가 사람이 개입하지 않고도 상용화 수준의 기능을 전달하는 자율 개발자가 아니라, 여전히 강력한 보조 도구에 머물러 있음을 잘 보여준다.