Los complejos entornos de agentes de IA triplican el gasto en tokens sin mejorar el código, según un estudio

Los creadores de herramientas de desarrollo basadas en IA afirman con frecuencia que los sofisticados entornos de agentes (harnesses) mejoran de manera significativa las puntuaciones en los benchmarks de programación. Sin embargo, un reciente estudio empírico titulado "What does a harness buy? Mostly tokens." revela que estos complejos entornos a menudo hacen poco más que inflar la factura de tokens.

Realizado por los investigadores Liu y Han de la Universidad de Shandong, el estudio midió el impacto en el mundo real de los harnesses de agentes: los prompts del sistema, las herramientas especializadas y las capas de gestión de contexto que permiten a los modelos de lenguaje grande (LLM) navegar y editar repositorios de código. Sus hallazgos indican que alternar entre diferentes frameworks altera las tasas de éxito en los benchmarks tanto como ejecutar dos veces exactamente la misma configuración, aun cuando dispara los costos de inferencia hasta en un 300 por ciento.

Medir el ruido en lugar del progreso

Los benchmarks anteriores y las declaraciones de los proveedores suelen reportar márgenes de más de 20 puntos entre diferentes frameworks de agentes. Según los investigadores, estas afirmaciones se basan casi siempre en una única ejecución del benchmark.

En SWE-bench Verified, ejecutar configuraciones idénticas varias veces puede generar de forma natural variaciones de puntuación de hasta seis puntos debido exclusivamente al ruido de medición. Por ejemplo, Zhipu AI afirmó anteriormente una ventaja de 2,4 puntos para su harness propietario frente a Claude Code, una diferencia que se encuentra cómodamente dentro de la varianza esperada de una segunda ejecución. Además, los diversos métodos de integración de los benchmarks utilizados por los proveedores hacen que las comparaciones directas en las tablas de clasificación no sean confiables.

Para aislar el efecto específico del harness, los investigadores evaluaron cinco modelos en versiones comerciales de tres frameworks:

• Claude Code: Cuenta con herramientas especializadas de archivos y búsqueda, compresión automática del historial y un prompt de sistema con definiciones de herramientas que suma alrededor de 16.600 tokens.

• OpenCode: Dispone de herramientas especializadas y una sobrecarga inicial de prompt de unos 7.000 tokens.

• mini-SWE-agent: Una configuración básica que solo ofrece una herramienta Bash estándar, sin gestión de contexto y con un prompt de sistema inferior a 1.000 tokens.

Los modelos evaluados incluyeron Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash y HY4-Preview, utilizándose Claude Opus 5 como referencia dentro de Claude Code. Las evaluaciones abarcaron las 45 tareas más complejas de SWE-bench Verified junto con un conjunto ampliado de 447 tareas, con una verificación cruzada en Terminal-Bench 2.1.

Todas las evaluaciones se llevaron a cabo de forma totalmente offline. Durante las pruebas iniciales con acceso a internet habilitado, el 71 por ciento de los intentos de los modelos de Deepseek y Qwen obtuvieron las soluciones directamente de GitHub en lugar de resolver los problemas de manera autónoma. Aunque los autores no atribuyeron esto a un entrenamiento con datos de prueba, el acceso a la web se deshabilitó permanentemente para mantener la integridad del benchmark.

Cambiar de harness equivale a lanzar una moneda al aire

En la amplia muestra de 447 tareas, Claude Code (el harness más pesado) y mini-SWE-agent (el más ligero) terminaron con una diferencia de menos de dos puntos entre sí en todos los modelos evaluados, una variación estadísticamente indistinguible dentro de un margen de confianza de cinco puntos.

Al analizar los resultados de las tareas individuales:

• Volver a ejecutar la misma configuración alteró el resultado mediano en el 13 por ciento de las tareas.

• Cambiar de harness alteró el resultado exactamente en el mismo 13 por ciento de las tareas.

• Cambiar el modelo subyacente modificó los resultados en el 22 por ciento de las tareas.

En las 45 tareas más difíciles, los frameworks divergieron en apenas dos a cinco tareas resueltas por modelo, mientras que una repetición idéntica alteró el recuento hasta en tres. Los autores describen la variación de rendimiento entre harnesses como un comportamiento similar a "una nueva extracción del mismo ruido".

El único framework que mostró un déficit estadísticamente significativo en el grupo de 447 tareas fue OpenCode, que quedó por detrás de los demás hasta por nueve puntos. Los investigadores atribuyeron cerca de la mitad de esta brecha a la gestión del límite de salida: cuando un modelo alcanza el tope de generación a mitad de un paso durante el razonamiento, Claude Code le indica que continúe, mientras que OpenCode da por concluido el paso, provocando el fallo de la tarea. OpenCode también se vio afectado por límites de tiempo más estrictos en modelos locales y por herramientas de búsqueda que fallaban sin conexión debido a intentos iniciales de descargar binarios.

El costo de los prompts de sistema

Mientras que las tasas de éxito se mantuvieron prácticamente parejas, el consumo de tokens divergió de forma drástica. Debido a que los harnesses reenvían las instrucciones del sistema y las descripciones de las herramientas en cada paso de la conversación, la longitud inicial del prompt dicta el costo base:

• Claude Code: Reenvía aproximadamente 16.600 tokens de instrucciones de sistema y esquemas de herramientas por paso, preservando además las trazas de razonamiento en el historial de la conversación.

• OpenCode: Reenvía cerca de 7.000 tokens por paso.

• mini-SWE-agent: Reenvía menos de 1.000 tokens por paso.

Para GLM-5.3-Flash, un único intento de tarea costó 1,81 yuanes en Claude Code frente a 0,56 yuanes en OpenCode. Con Deepseek-V4-Flash, mini-SWE-agent requirió pasos de interacción adicionales, lo que equiparó su costo total de tokens casi al nivel de Claude Code a pesar de su mínima sobrecarga inicial de prompt.

Asimismo, el harness propietario de Deepseek no obtuvo mejores resultados con su propio modelo que los frameworks competidores, registrando a su vez el costo más elevado. Por su parte, Claude Opus 5 ofreció resultados idénticos en el benchmark incluso cuando los investigadores prescindieron de sus herramientas especializadas dentro de Claude Code.

El papel del razonamiento

El único factor arquitectónico que movió de forma consistente los puntajes del benchmark más allá del ruido fue el razonamiento interno ("thinking"). Cuando se desactivó el razonamiento, mini-SWE-agent junto con Qwen3.6 perdió 11 puntos, mientras que HY4-Preview en Claude Code cayó también 11 puntos. Sin embargo, el nivel de dependencia que un agente tiene respecto al razonamiento parece estar fuertemente vinculado a combinaciones específicas entre modelo y framework.

Los investigadores concluyen que un harness compra principalmente "menos formas de perder una tarea, y una factura, no una mejor tasa de éxito". Para evitar afirmaciones de marketing engañosas en las tablas de clasificación, los autores instan a los desarrolladores y organizadores de benchmarks a publicar ejecuciones repetidas de configuraciones idénticas junto con cualquier evaluación comparativa de harnesses.