Un benchmark del mundo real revela que los agentes de programación con IA no logran completar casi el 75 % de las tareas

Mientras que los conjuntos de evaluación convencionales sugieren que los agentes de programación impulsados por IA prácticamente han dominado el desarrollo de software, una nueva prueba basada en solicitudes reales y complejas de los usuarios revela una realidad sumamente distinta. Incluso los modelos de frontera con mejor rendimiento dejan las tareas incompletas cerca de tres de cada cuatro veces, lo que obliga a los ingenieros de software humanos a intervenir para finalizar el trabajo.

Investigadores de Alibaba y varias universidades asiáticas presentaron Co-Design Bench, un benchmark diseñado para evaluar cómo los agentes de programación gestionan modificaciones de software reales. A diferencia de las evaluaciones más antiguas donde los modelos basados en agentes obtienen habitualmente puntuaciones superiores al 99 % al ejecutar, probar y corregir su propio código, Co-Design Bench expone una brecha de más de 35 puntos porcentuales entre el rendimiento actual de los agentes y la verdadera finalización de las tareas.

La complejidad del mundo real deja al descubierto la saturación de los benchmarks

El benchmark se centra en revisiones de aplicaciones web basadas en instrucciones de usuarios, las cuales suelen incluir entradas multimodales como imágenes, grabaciones de audio, documentos o videos. En lugar de evaluar acertijos de programación aislados, el equipo extrajo tareas de sesiones reales de programación de usuarios, priorizando deliberadamente interacciones donde los desarrolladores humanos tuvieron que reformular sus prompts varias veces o revertir cambios defectuosos.

Las tareas del benchmark abarcan desde ajustes menores —como extraer un monto numérico de un recibo y actualizar todos los totales dependientes— hasta la refactorización completa de un proyecto. La evaluación es rigurosa: un juez primario basado en IA prueba la aplicación en ejecución dentro de un navegador en vivo, tras lo cual un segundo juez verifica el resultado para descartar maquetas (mock-ups) o valores falsos escritos directamente en el código (hardcoded). Solo se concede la puntuación si la función solicitada opera de manera genuina en la interfaz en vivo.

Bajo estas condiciones, los modelos de primer nivel tuvieron dificultades para ofrecer soluciones integrales (end-to-end):

• GPT-6 Astra ocupó el primer lugar entre los diez modelos evaluados, cumpliendo en promedio con cerca del 70 % de los requisitos individuales. Sin embargo, logró una ejecución completamente correcta en solo el 26,4 % de las tareas.

• Claude Opus 5 y Qwen3.8-Max ocuparon los siguientes puestos en la tabla de clasificación.

• Grok 4.6 quedó en el último lugar entre los sistemas de frontera evaluados.

• Qwen3.8-27B, un modelo sustancialmente más pequeño, subió al segundo lugar específicamente en reestructuraciones a gran escala de repositorios, aunque los investigadores señalaron que esto no indicaba una ventaja generalizada en todos los dominios de la programación.

Las exigencias polifacéticas abruman a los agentes

El benchmark puso de manifiesto un cuello de botella claro: el rendimiento se deteriora rápidamente a medida que las tareas combinan múltiples tipos de revisiones, como cambios simultáneos en el diseño de interfaz (layout), la interacción del usuario, el diseño visual y el contenido subyacente. Aunque esta complejidad de múltiples capas es una práctica habitual en el desarrollo de software en producción, todos los modelos probados mostraron drásticas caídas de rendimiento cuando se presentaban tres o cuatro categorías de cambios a la vez.

Destinar más recursos de cómputo al problema no resolvió esta deficiencia. Por ejemplo, GLM-5.2 consumió casi seis veces más tokens que GPT-6 Astra en solicitudes de cambios menores, obteniendo aun así puntuaciones significativamente más bajas. Incluso GPT-6 Astra resolvió por completo solo el 41 % de las tareas de la sección multimodal y cayó por debajo del 18 % en tareas más amplias a nivel de repositorio.

El entorno de ejecución del software importa tanto como el modelo

El estudio también demostró que los benchmarks de los modelos cuentan solo una parte de la historia. Cuando los investigadores probaron los mismos modelos de IA utilizando diferentes harnesses (la estructura de software subyacente que rige cómo un agente inspecciona archivos, edita código y ejecuta comandos en la terminal), los resultados cambiaron drásticamente.

En un caso, Qwen3.8-27B obtuvo un 75 % en un entorno de harness, pero se desplomó al 56 % en otro durante reestructuraciones de gran tamaño. En varios casos, cambiar el harness de ejecución alteró qué modelo superaba al otro, lo que llevó a los autores a recomendar que los equipos de ingeniería evalúen los modelos y sus harnesses operativos como un par inseparable.

Los hallazgos se alinean con observaciones más amplias de la industria sobre las brechas de evaluación de la IA. Investigaciones previas del grupo de evaluación METR descubrieron que las tasas de aceptación de pull requests reales por parte de líderes de proyecto humanos quedaron aproximadamente 24 puntos porcentuales por detrás de las puntuaciones en SWE-bench Verified. Aunque Co-Design Bench aún tiene limitaciones —como evaluar prompts estáticos de un solo turno sin diálogo a mitad de la tarea—, demuestra que los agentes de programación siguen siendo asistentes potentes en lugar de desarrolladores autónomos capaces de entregar funciones listas para producción sin supervisión.