Equipes de agentes de IA consomem computação massiva para ganhos mínimos de qualidade, revela benchmark
Novas avaliações da Vals AI e da Anthropic mostram que arquiteturas multiagente custam até 5,1 vezes mais do que agentes individuais e raramente melhoram a qualidade final, oferecendo sobretudo ganhos de velocidade anulados por altos custos de coordenação.
A implementação de sistemas de IA multiagente tornou-se um padrão de design popular, mas pesquisas recentes mostram que agrupar modelos em equipes frequentemente gera custos pesados de computação com melhorias de desempenho insignificantes em comparação a um único agente.
De acordo com avaliações conduzidas pela Vals AI, equipes de agentes consomem de forma consistente volumes dramaticamente maiores de tokens, entregando resultados quase imperceptivelmente superiores aos de configurações com um único agente.
Pouca vantagem no raciocínio máximo
A Vals AI avaliou o GPT-6 Sol e o Claude Opus 5.5 no "Vibe Code Bench", testando ambos os modelos como agentes individuais e como equipes colaborativas sob duas configurações operacionais: esforço de raciocínio médio e esforço de raciocínio máximo.
As configurações multiagente geraram custos entre 1,8 e 5,1 vezes maiores do que suas contrapartes de agente único. No entanto, em quatro comparações diretas entre modelos solo e equipes de agentes, apenas um único cenário demonstrou um ganho de qualidade estatisticamente significativo: o GPT-6 Sol operando em raciocínio médio, no qual a configuração em equipe superou o agente individual em 7,3 pontos.
Quando os modelos operaram com esforço máximo de raciocínio, a configuração colaborativa não proporcionou nenhuma vantagem significativa nem ao GPT-6 Sol, nem ao Claude Opus 5.5. Os resultados indicam que, quando os modelos de fronteira já utilizam capacidade computacional total, reuni-los em equipes de agentes gera retornos decrescentes que não justificam os elevados gastos com tokens.
Retornos decrescentes da Anthropic
Os próprios testes internos da Anthropic com o Claude Opus 5.5 mostraram uma tendência semelhante de retornos decrescentes de qualidade à medida que o número de agentes aumentava. Embora equipes maiores tenham atingido limites específicos de desempenho mais rapidamente, escalar de 10 para 100 agentes melhorou as pontuações apenas marginalmente após 24 horas. Em testes adicionais no ProgramBench, os ganhos de velocidade vieram invariavelmente acompanhados de um maior consumo de tokens.
As pontuações de benchmark em diferentes tamanhos de equipe ilustram essa estagnação:
- Tarefa de base de conhecimento (Opus 5.5): 1 agente obteve pontuação de 0,53; 10 agentes obtiveram 0,70; 30 agentes obtiveram 0,71; 100 agentes obtiveram 0,74.
- Tarefa de prova de teoremas em Lean (Opus 5.5): 1 agente obteve pontuação de 0,39; 10 agentes obtiveram 0,66; 30 agentes obtiveram 0,66; 100 agentes obtiveram 0,68.
A Anthropic também avaliou o Fable 5.1, que apresentou ganhos relativos de qualidade mais expressivos na tarefa de prova de teoremas em Lean acima de 10 agentes, embora ainda tenha ficado atrás do Opus 5.5 em todos os testes. Na avaliação da base de conhecimento, a pontuação do Fable 5.1 caiu ligeiramente ao escalar o enxame de 30 para 100 agentes.
Ganhos de velocidade e a "taxa de coordenação"
Pesquisadores do setor apontam que o principal benefício prático das configurações multiagente é a velocidade de conclusão das tarefas, e não uma inteligência aprimorada. Em entrevista ao Dwarkesh Podcast, o pesquisador da OpenAI Noam Brown destacou que sistemas multiagente compram predominantemente velocidade. Em testes, quatro agentes concluíram tarefas duas vezes mais rápido, mas geraram o dobro do custo computacional; com 16 agentes, essa tendência se manteve, porém tornou-se ligeiramente menos eficiente.
Brown ressaltou que a paralelização depende fortemente do domínio do problema. Embora pesquisas na web e problemas matemáticos possam ser divididos com eficácia entre múltiplos modelos, tarefas como escrita criativa não podem. Escalar 10.000 agentes para escrever um romance, observou Brown, é tão ineficaz quanto colocar 10.000 escritores humanos para trabalhar no mesmo texto. Ele acrescentou que realizar experimentos com frotas massivas de agentes permanece uma área amplamente inexplorada devido aos custos proibitivos.
O desenvolvedor da OpenAI Eric Provencher também alertou contra o uso de enxames de agentes, advertindo que a comunicação entre eles frequentemente falha à medida que o número aumenta. Provencher descreveu essa ineficiência como uma "taxa de coordenação", argumentando que, sem uma necessidade arquitetural estrita, enxames complexos de agentes muitas vezes representam apenas desperdício de dinheiro.
