벤치마크 공개: 막대한 연산 자원 소모하는 AI 에이전트 팀, 품질 향상은 ‘미미’

멀티 에이전트 AI 시스템 배포는 인기 있는 설계 패턴으로 자리 잡았으나, 여러 모델을 팀으로 구성할 경우 단일 에이전트 대비 성능 향상은 미미한 반면 막대한 연산 비용이 발생하는 경우가 많다는 최신 연구 결과가 나왔다.

Vals AI가 진행한 평가에 따르면, 에이전트 팀은 단일 에이전트 구성보다 결과가 거의 낫지 않으면서도 지속적으로 훨씬 더 많은 토큰을 소모하는 것으로 나타났다.

최대 추론 수준에서는 거의 없는 이점

Vals AI는 'Vibe Code Bench'를 통해 GPT-6 Sol과 Claude Opus 5.5를 평가했다. 두 모델을 각각 단독 에이전트와 협업 팀 구성으로 나누고, 중간 추론 노력(medium reasoning effort)과 최대 추론 노력(maximum reasoning effort)이라는 두 가지 운영 설정에서 테스트를 진행했다.

멀티 에이전트 구성은 단일 에이전트 대비 1.8배에서 5.1배 높은 비용을 발생시켰다. 그러나 단독 모델과 에이전트 팀 간의 4가지 직접 비교 중 통계적으로 유의미한 품질 향상을 보인 시나리오는 단 하나에 불과했다. 바로 중간 추론 수준으로 실행된 GPT-6 Sol로, 팀 구성이 단독 에이전트보다 7.3점 높은 점수를 기록했다.

모델이 최대 추론 수준으로 작동했을 때, 협업 구성은 GPT-6 Sol이나 Claude Opus 5.5 모두에게 유의미한 이점을 주지 못했다. 이러한 결과는 기반 프론티어 모델이 이미 전체 연산 자원을 완전히 활용하고 있을 때, 이를 에이전트 팀으로 구성하는 것은 가파른 토큰 비용을 정당화하지 못하는 수확 체감으로 이어진다는 점을 보여준다.

Anthropic도 확인한 수확 체감

Claude Opus 5.5를 사용한 Anthropic 자체 내부 테스트에서도 에이전트 수가 증가함에 따라 품질 개선 효과가 줄어드는 유사한 수확 체감 경향이 나타났다. 대규모 에이전트 팀이 특정 성능 기준점에 더 빠르게 도달하기는 했으나, 24시간 후 점수 비교에서는 에이전트를 10개에서 100개로 늘려도 성능 향상은 미미한 수준에 그쳤다. 추가로 진행된 ProgramBench 테스트에서도 속도 향상은 예외 없이 토큰 소비량 증가를 수반했다.

다양한 팀 규모에 따른 벤치마크 점수는 이러한 정체 현상을 잘 보여준다.

• 지식 기반 과제 (Opus 5.5): 에이전트 1개 0.53점; 에이전트 10개 0.70점; 에이전트 30개 0.71점; 에이전트 100개 0.74점.

• Lean 정리 증명 과제 (Opus 5.5): 에이전트 1개 0.39점; 에이전트 10개 0.66점; 에이전트 30개 0.66점; 에이전트 100개 0.68점.

Anthropic은 Fable 5.1도 함께 평가했는데, 이 모델은 10개 이상의 에이전트 환경에서 Lean 정리 증명 과제 시 상대적으로 더 높은 품질 향상을 보였으나 모든 테스트에서 Opus 5.5에 뒤처졌다. 지식 기반 평가에서는 에이전트 군집을 30개에서 100개로 늘렸을 때 Fable 5.1의 점수가 오히려 소폭 하락했다.

속도 향상과 '조율세(Coordination Tax)'

업계 연구원들은 멀티 에이전트 구성의 주요 실질적 이점이 지능 향상이 아닌 작업 완료 속도라고 지적한다. OpenAI 연구원 Noam Brown은 'Dwarkesh Podcast'에 출연해 멀티 에이전트 시스템은 주로 속도를 사는 것에 가깝다고 언급했다. 테스트에서 에이전트 4개는 작업을 두 배 빠르게 완료했으나 연산 비용도 두 배로 발생했으며, 에이전트 16개 환경에서도 이러한 추세가 이어졌으나 효율성은 다소 떨어졌다.

Brown은 병렬화의 효과가 문제 영역에 크게 좌우된다고 강조했다. 웹 리서치나 수학 문제는 여러 모델에 효과적으로 분할할 수 있지만, 창작 글쓰기와 같은 작업은 그렇지 않다. Brown은 소설을 쓰기 위해 1만 개의 에이전트를 투입하는 것은 한 편의 글에 1만 명의 인간 작가를 배정하는 것만큼 비효율적이라고 지적했다. 또한 막대한 비용 탓에 대규모 에이전트 군단을 활용한 실험은 여전히 미지의 영역으로 남아 있다고 덧붙였다.

OpenAI 개발자 Eric Provencher 역시 에이전트 수가 늘어날수록 에이전트 간 커뮤니케이션이 삐걱거리는 경우가 잦다며 에이전트 군집에 대해 경고했다. Provencher는 이러한 비효율성을 '조율세(coordination tax)'라고 부르며, 아키텍처 측면에서 반드시 필요한 상황이 아니라면 복잡한 에이전트 군집은 돈 낭비에 불과한 경우가 많다고 주장했다.