Los equipos de agentes de IA consumen enormes cantidades de cómputo para obtener mejoras mínimas de calidad, según revela un benchmark

Implementar sistemas de IA multiagente se ha convertido en un patrón de diseño popular, pero investigaciones recientes muestran que agrupar modelos en equipos suele generar enormes costos computacionales con mejoras de rendimiento insignificantes en comparación con un solo agente.

Según evaluaciones realizadas por Vals AI, los equipos de agentes consumen de forma consistente muchísimos más tokens al tiempo que entregan resultados apenas superiores a las configuraciones de un solo agente.

Poca ventaja con el razonamiento al máximo

Vals AI evaluó GPT-6 Sol y Claude Opus 5.5 en el "Vibe Code Bench", poniendo a prueba ambos modelos como agentes individuales y como equipos colaborativos bajo dos configuraciones operativas: esfuerzo de razonamiento medio y esfuerzo de razonamiento máximo.

Las configuraciones multiagente elevaron los costos entre 1.8 y 5.1 veces más frente a sus contrapartes de un solo agente. Sin embargo, a lo largo de cuatro comparaciones directas entre modelos individuales y equipos de agentes, solo un escenario demostró una mejora de calidad estadísticamente significativa: GPT-6 Sol funcionando con razonamiento medio, donde la configuración en equipo superó al agente individual por 7.3 puntos.

Cuando los modelos operaron al máximo esfuerzo de razonamiento, el esquema colaborativo no otorgó ninguna ventaja significativa ni a GPT-6 Sol ni a Claude Opus 5.5. Los hallazgos indican que cuando los modelos de frontera subyacentes ya utilizan toda su capacidad de cómputo, organizarlos en equipos de agentes genera rendimientos decrecientes que no justifican el elevado gasto en tokens.

Los rendimientos decrecientes de Anthropic

Las propias pruebas internas de Anthropic con Claude Opus 5.5 mostraron una tendencia similar de rendimientos decrecientes en calidad a medida que aumentaba el número de agentes. Aunque los equipos más grandes alcanzaron ciertos umbrales de rendimiento con mayor rapidez, escalar de 10 a 100 agentes apenas mejoró las puntuaciones de forma marginal tras 24 horas. En pruebas adicionales con ProgramBench, las ganancias de velocidad llegaron sistemáticamente acompañadas de un mayor consumo de tokens.

Las puntuaciones del benchmark a través de distintos tamaños de equipo ilustran este estancamiento:

• Tarea de base de conocimiento (Opus 5.5): 1 agente obtuvo 0.53; 10 agentes obtuvieron 0.70; 30 agentes obtuvieron 0.71; 100 agentes obtuvieron 0.74.

• Tarea de demostración de teoremas en Lean (Opus 5.5): 1 agente obtuvo 0.39; 10 agentes obtuvieron 0.66; 30 agentes obtuvieron 0.66; 100 agentes obtuvieron 0.68.

Anthropic también evaluó Fable 5.1, que mostró mayores mejoras relativas de calidad en la tarea de demostración de teoremas en Lean por encima de los 10 agentes, aunque continuó por detrás de Opus 5.5 en todas las pruebas. En la evaluación de base de conocimiento, la puntuación de Fable 5.1 cayó ligeramente al escalar el enjambre de 30 a 100 agentes.

Ganancias de velocidad y el "impuesto de coordinación"

Investigadores de la industria señalan que el principal beneficio práctico de las configuraciones multiagente radica en la velocidad para completar tareas, más que en una inteligencia superior. En declaraciones para el podcast de Dwarkesh, el investigador de OpenAI Noam Brown señaló que los sistemas multiagente principalmente compran velocidad. En las pruebas realizadas, cuatro agentes completaron las tareas el doble de rápido, pero incurrieron en el doble del costo de cómputo; con 16 agentes, esta tendencia continuó, pero se volvió ligeramente menos eficiente.

Brown destacó que la paralelización depende en gran medida del dominio del problema. Mientras que la investigación web y las matemáticas pueden dividirse eficazmente entre múltiples modelos, tareas como la escritura creativa no lo permiten. Desplegar 10.000 agentes para escribir una novela, apuntó Brown, es tan ineficaz como asignar a 10.000 escritores humanos el mismo texto. Agregó que realizar experimentos con flotas masivas de agentes sigue siendo un terreno en gran parte inexplorado debido a los costos prohibitivos.

El desarrollador de OpenAI Eric Provencher también advirtió contra los enjambres de agentes, señalando que la comunicación entre ellos falla con frecuencia a medida que aumenta su número. Provencher describió esta ineficiencia como un "impuesto de coordinación", argumentando que, sin una necesidad arquitectónica estricta, los enjambres complejos de agentes a menudo no representan más que un desperdicio de dinero.