Benchmark do mundo real mostra que agentes de IA para programação não concluem quase 75% das tarefas

Enquanto os conjuntos de avaliação convencionais sugerem que os agentes de IA para programação praticamente dominaram o desenvolvimento de software, um novo teste baseado em solicitações reais e confusas de usuários revela uma realidade bem diferente. Mesmo os modelos de ponta com melhor desempenho deixam as tarefas incompletas cerca de três em cada quatro vezes, exigindo que engenheiros de software humanos intervenham para finalizar o trabalho.

Pesquisadores da Alibaba e de várias universidades asiáticas apresentaram o Co-Design Bench, um benchmark projetado para avaliar como os agentes de programação lidam com modificações reais de software. Ao contrário de benchmarks mais antigos, nos quais os modelos baseados em agentes alcançam rotineiramente pontuações acima de 99% executando, testando e corrigindo o próprio código, o Co-Design Bench expõe uma lacuna de mais de 35 pontos percentuais entre o desempenho atual dos agentes e a verdadeira conclusão das tarefas.

Confusão do mundo real expõe a saturação dos benchmarks

O benchmark foca em revisões de aplicações web com base nas instruções dos usuários, que frequentemente incluem entradas multimodais, como imagens, gravações de áudio, documentos ou vídeos. Em vez de avaliar problemas isolados de programação, a equipe extraiu tarefas de sessões reais de código de usuários, priorizando deliberadamente interações em que os desenvolvedores humanos anteriormente precisaram reescrever seus prompts várias vezes ou reverter alterações com falhas.

As tarefas no benchmark variam desde pequenos ajustes — como extrair um valor numérico de um recibo e atualizar todos os totais dependentes — até refatorações completas de projetos. A avaliação é rigorosa: um juiz principal de IA testa a aplicação em execução dentro de um navegador em tempo real, após o qual um segundo juiz verifica o resultado para descartar mock-ups ou valores pré-definidos (hardcoded) para burlar o teste. A pontuação só é concedida se o recurso solicitado realmente funcionar na interface ao vivo.

Sob essas condições, os modelos de primeira linha enfrentaram dificuldades para entregar soluções de ponta a ponta:

• O GPT-6 Astra ficou em primeiro lugar entre os dez modelos testados, atendendo a cerca de 70% dos requisitos individuais em média. No entanto, obteve execução totalmente correta em apenas 26,4% das tarefas.

• O Claude Opus 5 e o Qwen3.8-Max ocuparam as posições seguintes na classificação.

• O Grok 4.6 ficou em último lugar entre os sistemas de ponta avaliados.

• O Qwen3.8-27B, um modelo substancialmente menor, subiu para o segundo lugar especificamente em grandes reformulações de repositórios, embora os pesquisadores tenham notado que isso não indicava uma vantagem geral em todos os domínios de programação.

Demandas multifacetadas sobrecarregam os agentes

O benchmark destacou um gargalo claro: o desempenho se deteriora rapidamente quando as tarefas combinam múltiplos tipos de revisões, como alterações simultâneas no layout, na interação do usuário, no design visual e no conteúdo subjacente. Embora essa complexidade em camadas seja uma prática padrão no desenvolvimento de software em produção, todos os modelos testados apresentaram quedas acentuadas de desempenho quando três ou quatro categorias de mudança estavam presentes ao mesmo tempo.

Alocar mais recursos computacionais para o problema não resolveu essa deficiência. Por exemplo, o GLM-5.2 consumiu quase seis vezes mais tokens que o GPT-6 Astra em solicitações de alterações menores, alcançando, ainda assim, pontuações significativamente mais baixas. Mesmo o GPT-6 Astra resolveu completamente apenas 41% das tarefas da categoria multimodal e caiu para menos de 18% em tarefas mais amplas em nível de repositório.

O harness do software importa tanto quanto o modelo

O estudo também demonstrou que os benchmarks de modelos contam apenas parte da história. Quando os pesquisadores testaram os mesmos modelos de IA usando diferentes harnesses — a estrutura de software subjacente (scaffolding) que governa como um agente inspeciona arquivos, edita código e executa comandos no terminal —, os resultados mudaram drasticamente.

Em um dos casos, o Qwen3.8-27B obteve 75% de pontuação em um ambiente de harness, mas despencou para 56% em outro durante grandes reformulações. Em vários casos, a alteração do harness de execução mudou qual modelo superou o outro, levando os autores a recomendar que as equipes de engenharia avaliem os modelos e seus harnesses operacionais como um par inseparável.

As descobertas se alinham com observações mais amplas da indústria sobre as lacunas na avaliação de IA. Pesquisas anteriores do grupo de avaliação METR mostraram que as taxas reais de aceitação de pull requests por líderes de projetos humanos ficaram cerca de 24 pontos percentuais atrás das pontuações no SWE-bench Verified. Embora o Co-Design Bench ainda tenha limitações — como o teste de prompts estáticos e de turno único sem diálogo no meio da tarefa —, ele demonstra que os agentes de programação continuam sendo assistentes poderosos, e não desenvolvedores autônomos capazes de entregar recursos prontos para produção sem supervisão.