Harnesses elaborados para agentes de IA triplicam custos de tokens sem melhorar pontuações em programação, aponta estudo

Criadores de ferramentas de IA para desenvolvedores frequentemente afirmam que harnesses sofisticados de agentes melhoram significativamente as pontuações em benchmarks de programação. No entanto, um estudo empírico recente intitulado "What does a harness buy? Mostly tokens." revela que harnesses complexos muitas vezes fazem pouco mais do que inflar a conta de tokens.

Conduzido pelos pesquisadores Liu e Han, da Universidade de Shandong, o estudo mediu o impacto real dos harnesses de agentes — os prompts de sistema, ferramentas especializadas e camadas de gerenciamento de contexto que permitem aos grandes modelos de linguagem (LLMs) navegar e editar repositórios de código. Suas descobertas indicam que alternar entre frameworks altera as taxas de sucesso nos benchmarks não mais do que rodar a exata mesma configuração duas vezes, mesmo elevando os custos de inferência em até 300%.

Medindo ruído em vez de progresso

Benchmarks anteriores e alegações de fornecedores frequentemente relatam margens de mais de 20 pontos entre diferentes frameworks de agentes. De acordo com os pesquisadores, essas alegações quase sempre se baseiam em execuções únicas de benchmark.

No SWE-bench Verified, rodar configurações idênticas várias vezes pode gerar naturalmente variações de pontuação de até seis pontos, puramente devido ao ruído de medição. Por exemplo, a Zhipu AI alegou anteriormente uma vantagem de 2,4 pontos para seu harness proprietário em relação ao Claude Code — uma diferença que fica perfeitamente dentro da margem de variação esperada de uma reexecução. Além disso, métodos variados de integração de benchmarks entre fornecedores tornam as comparações diretas em tabelas de classificação não confiáveis.

Para isolar o efeito específico do harness, os pesquisadores avaliaram cinco modelos em versões lançadas de três frameworks:

• Claude Code: Conta com ferramentas especializadas de busca e manipulação de arquivos, compressão automática de histórico e um prompt de sistema com definições de ferramentas que totaliza cerca de 16.600 tokens.

• OpenCode: Conta com ferramentas especializadas e uma sobrecarga inicial de prompt de cerca de 7.000 tokens.

• mini-SWE-agent: Uma configuração minimalista que fornece apenas uma ferramenta Bash padrão, nenhum gerenciamento de contexto e um prompt de sistema com menos de 1.000 tokens.

Os modelos avaliados incluíram Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash e HY4-Preview, com Claude Opus 5 testado como referência dentro do Claude Code. As avaliações cobriram as 45 tarefas mais difíceis do SWE-bench Verified, juntamente com um conjunto ampliado de 447 tarefas, com uma verificação cruzada no Terminal-Bench 2.1.

Todas as avaliações foram conduzidas inteiramente offline. Durante os testes iniciais com acesso à internet ativado, 71% das tentativas dos modelos Deepseek e Qwen buscaram correções diretamente no GitHub em vez de resolver os problemas de forma autônoma. Embora os autores não tenham alegado treinamento sobre os dados de teste, o acesso à web foi desativado permanentemente para manter a integridade do benchmark.

Trocar de harness se comporta como jogar uma moeda

Na amostra ampla de 447 tarefas, Claude Code (o harness mais pesado) e mini-SWE-agent (o mais enxuto) terminaram com uma diferença de apenas dois pontos entre si em todos os modelos testados — estatisticamente indistinguíveis dentro de uma margem de confiança de cinco pontos.

Ao analisar os resultados de problemas individuais:

• Reexecutar a mesma configuração inverteu o resultado mediano em 13% das tarefas.

• Trocar de harness inverteu o resultado nos mesmos exatos 13% das tarefas.

• Trocar os modelos subjacentes alterou os resultados em 22% das tarefas.

Nas 45 tarefas mais difíceis, os frameworks divergiram em apenas duas a cinco tarefas resolvidas por modelo, enquanto uma reexecução idêntica alterou a contagem em até três. Os autores descrevem a variação de desempenho entre harnesses como algo que se comporta como uma "nova extração do mesmo ruído".

O único framework que apresentou um déficit estatisticamente significativo no grupo de 447 tarefas foi o OpenCode, que ficou atrás dos demais por até nove pontos. Os pesquisadores atribuíram cerca de metade dessa diferença ao tratamento de limites de saída: quando um modelo atinge o teto de saída no meio de uma etapa durante o raciocínio, o Claude Code solicita que ele continue, enquanto o OpenCode encerra a etapa, resultando na falha da tarefa. O OpenCode também foi prejudicado por limites de tempo mais rígidos em modelos locais e ferramentas de busca que falhavam offline devido a tentativas iniciais de download de binários.

O custo dos prompts de sistema

Enquanto as taxas de aprovação permaneceram praticamente estagnadas, o consumo de tokens divergiu drasticamente. Como os harnesses reenviam os prompts de sistema e as descrições de ferramentas a cada etapa da conversa, o tamanho inicial do prompt dita o custo-base:

• Claude Code: Reenvia cerca de 16.600 tokens de instruções de sistema e esquemas de ferramentas por etapa, além de preservar os rastros de raciocínio no histórico da conversa.

• OpenCode: Reenvia aproximadamente 7.000 tokens por etapa.

• mini-SWE-agent: Reenvia menos de 1.000 tokens por etapa.

Para o GLM-5.3-Flash, uma única tentativa de tarefa custou 1,81 yuan no Claude Code, em comparação com 0,56 yuan no OpenCode. Com o Deepseek-V4-Flash, o mini-SWE-agent exigiu etapas adicionais de interação, fazendo com que seu custo total em tokens praticamente se igualasse ao do Claude Code, apesar de sua sobrecarga mínima de prompt.

Além disso, o harness proprietário da Deepseek não obteve pontuação maior com seu próprio modelo do que os frameworks concorrentes, ao mesmo tempo em que registrou o custo mais alto. O Claude Opus 5 também apresentou resultados idênticos no benchmark, mesmo quando os pesquisadores removeram suas ferramentas especializadas no Claude Code.

O papel do raciocínio

O único fator arquitetural que consistentemente alterou as pontuações de benchmark para além do ruído foi o raciocínio interno ("thinking"). Quando o raciocínio foi desativado, o mini-SWE-agent emparelhado com o Qwen3.6 perdeu 11 pontos, enquanto o HY4-Preview no Claude Code também caiu 11 pontos. No entanto, o grau em que um agente depende do raciocínio parece intimamente ligado a combinações específicas de modelo e framework.

Os pesquisadores concluem que um harness compra principalmente "menos maneiras de perder uma tarefa, e uma conta, não taxa de aprovação". Para evitar alegações enganosas de marketing em tabelas de classificação, os autores pedem que desenvolvedores e organizadores de benchmarks publiquem execuções repetidas de configurações idênticas junto a quaisquer avaliações comparativas de harnesses.