복잡한 AI 에이전트 하네스, 코딩 점수 개선 없이 토큰 비용만 3배 늘려…연구 결과 발표

AI 개발 도구 제작사들은 정교한 에이전트 하네스가 코딩 벤치마크 점수를 대폭 향상시킨다고 거듭 주장해 왔다. 그러나 최근 발표된 "What does a harness buy? Mostly tokens."(하네스는 무엇을 가져다주는가? 대부분 토큰뿐이다)라는 제목의 실증 연구에 따르면, 복잡한 하네스는 토큰 청구 비용을 부풀리는 것 외에는 실질적인 효과가 거의 없는 것으로 드러났다.

중국 산둥대학교(Shandong University)의 류(Liu)와 한(Han) 연구진이 수행한 이 연구는 에이전트 하네스(대규모 언어 모델(LLM)이 코드 저장소를 탐색하고 편집할 수 있도록 지원하는 시스템 프롬프트, 특화 도구, 컨텍스트 관리 계층)가 미치는 실제 영향을 측정했다. 연구 결과에 따르면 프레임워크를 교체하더라도 벤치마크 성공률의 변화는 동일한 구성을 두 번 실행했을 때 발생하는 오차 범위 수준에 불과했으며, 그 와중에 추론 비용은 최대 300%까지 치솟았다.

발전 대신 노이즈를 측정하는 꼴

기존 벤치마크 결과 및 공급업체들의 주장에 따르면 서로 다른 에이전트 프레임워크 간에 20점 이상의 점수 차이가 나는 경우가 잦았다. 하지만 연구진에 따르면 이러한 주장은 거의 항상 단 한 번의 벤치마크 테스트 결과에만 의존하고 있다.

SWE-bench Verified에서는 동일한 구성을 여러 번 실행하더라도 순전히 측정 노이즈만으로 최대 6점의 점수 변동이 자연스럽게 발생할 수 있다. 일례로 Zhipu AI는 과거 자사의 독점 하네스가 Claude Code보다 2.4점 앞선다고 주장했으나, 이는 단순 재실행 시 발생하는 정상적인 편차 범위 내에 충분히 들어가는 차이다. 게다가 공급업체마다 벤치마크 연동 방식이 제각각이어서 리더보드 순위를 직접 비교하는 것은 신뢰하기 어렵다.

하네스만의 순수한 효과를 분리해 확인하기 위해 연구진은 정식 출시된 3개 프레임워크 버전을 바탕으로 5개 모델을 평가했다.

• Claude Code: 특화된 파일 및 검색 도구, 자동 히스토리 압축 기능, 도구 정의를 포함해 약 16,600토큰에 달하는 시스템 프롬프트를 갖춤.

• OpenCode: 특화 도구와 약 7,000토큰 수준의 초기 프롬프트 오버헤드를 갖춤.

• mini-SWE-agent: 표준 Bash 도구만 제공하며 컨텍스트 관리가 없고, 시스템 프롬프트가 1,000토큰 미만인 최소한의 구성.

평가 대상 모델에는 Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash, HY4-Preview가 포함되었으며, Claude Code 내에서 기준 모델로 Claude Opus 5가 테스트되었다. 평가는 SWE-bench Verified에서 가장 까다로운 45개 과제와 447개 과제로 확장된 풀을 대상으로 진행되었으며, Terminal-Bench 2.1을 통해 교차 검증도 거쳤다.

모든 평가는 전면 오프라인 환경에서 수행되었다. 인터넷 접속을 허용한 초기 테스트에서는 Deepseek 및 Qwen 모델 시도의 71%가 문제를 자체적으로 해결하는 대신 GitHub에서 직접 수정 코드를 검색해 가져오는 것으로 나타났다. 연구진은 해당 모델들이 테스트 데이터로 학습되었다고 단정하지는 않았으나, 벤치마크의 신뢰성을 유지하기 위해 웹 접근을 완전히 차단했다.

하네스 교체, '동전 던지기'와 다를 바 없어

447개 과제의 대규모 표본에서 가장 무거운 하네스인 Claude Code와 가장 단순한 mini-SWE-agent는 테스트 대상 모델 전반에 걸쳐 불과 2점 차 이내의 점수를 기록했다. 이는 5점 신뢰 구간 내에서 통계적으로 유의미한 차이가 없는 수준이다.

개별 문제의 결과를 분석해 보면 다음과 같다.

• 동일한 구성을 재실행했을 때 중간값 기준으로 13%의 과제에서 성공/실패 결과가 뒤집혔다.

• 하네스를 교체했을 때도 정확히 동일한 13%의 과제에서 결과가 뒤집혔다.

• 기반 모델을 교체했을 때는 22%의 과제에서 결과가 달라졌다.

가장 난이도가 높은 45개 과제에서도 모델당 프레임워크 간 해결 과제 수 차이는 2~5개에 불과했으며, 동일 구성을 단순히 재실행했을 때도 최대 3개까지 차이가 발생했다. 연구진은 하네스 간의 성능 편차를 두고 "동일한 노이즈를 다시 뽑아낸 것"과 다름없다고 설명했다.

447개 과제 풀에서 통계적으로 유의미한 성능 저하를 나타낸 유일한 프레임워크는 OpenCode로, 다른 프레임워크보다 최대 9점 뒤처졌다. 연구진은 이 격차의 약 절반이 출력 한도 처리 방식에서 기인한다고 분석했다. 모델이 추론 단계 중간에 출력 한도에 도달했을 때 Claude Code는 계속 진행하도록 유도하는 반면, OpenCode는 해당 단계를 종료해 과제 실패로 이어졌다. 아울러 OpenCode는 로컬 모델에 대한 엄격한 제한 시간과 초기 바이너리 다운로드 시도로 인해 오프라인 환경에서 검색 도구가 고장 나는 문제도 겪었다.

시스템 프롬프트가 초래하는 비용

과제 해결 성공률은 사실상 동일한 수준에 머물렀지만, 토큰 소모량은 극명한 차이를 보였다. 하네스는 대화 단계마다 시스템 프롬프트와 도구 설명을 다시 전송하므로, 초기 프롬프트의 길이가 기본 비용을 좌우한다.

• Claude Code: 단계마다 약 16,600토큰 분량의 시스템 지침과 도구 스키마를 재전송하며, 대화 기록 내에 추론 과정도 보존함.

• OpenCode: 단계마다 약 7,000토큰을 재전송함.

• mini-SWE-agent: 단계마다 1,000토큰 미만을 재전송함.

GLM-5.3-Flash 모델의 경우 단일 과제 시도 비용이 OpenCode에서는 0.56위안이었던 반면 Claude Code에서는 1.81위안에 달했다. Deepseek-V4-Flash의 경우 mini-SWE-agent는 추가 상호작용 단계가 필요해, 프롬프트 오버헤드가 극히 적음에도 총 토큰 비용은 Claude Code와 거의 비슷한 수준까지 치솟았다.

또한 Deepseek의 자체 하네스는 자사 모델과의 조합에서도 경쟁 프레임워크보다 높은 점수를 내지 못하면서 비용은 가장 많이 소모했다. Claude Opus 5 역시 연구진이 Claude Code 내에서 특화 도구를 모두 제거했을 때조차 동일한 벤치마크 결과를 냈다.

추론 기능의 역할

측정 노이즈 수준을 넘어 벤치마크 점수를 일관되게 끌어올린 유일한 구조적 요인은 내부 추론('사고' 과정)이었다. 추론 기능을 끄자 Qwen3.6과 결합한 mini-SWE-agent의 점수가 11점 하락했고, Claude Code 환경의 HY4-Preview 역시 11점 떨어졌다. 다만 에이전트가 추론에 의존하는 정도는 특정 모델과 프레임워크의 조합에 밀접하게 연계되어 있는 것으로 파악됐다.

연구진은 하네스가 실질적으로 제공하는 것은 "성공률이 아니라, 과제를 실패할 수 있는 몇 가지 경로를 줄여주는 것과 더 많은 비용 청구서뿐"이라고 결론지었다. 이어 리더보드에서의 오도성 마케팅 주장을 방지하기 위해, 개발자와 벤치마크 주관 기관이 하네스 비교 평가를 진행할 때 반드시 동일한 구성의 반복 실행 결과를 함께 공개해야 한다고 촉구했다.