El benchmark CloudOpsBench revela que el razonamiento es el principal cuello de botella para la IA en operaciones en la nube
Un nuevo benchmark de código abierto desarrollado por la Universidad de Míchigan muestra que los principales agentes de IA tienen dificultades con tareas estándar de ingeniería en la nube, y los fallos de razonamiento representan el 80 por ciento de los errores.
Incluso los modelos de inteligencia artificial más capaces tienen dificultades cuando se les encomienda gestionar infraestructuras en la nube en el mundo real. Según los resultados de CloudOpsBench, un benchmark de código abierto recientemente publicado, las limitaciones de razonamiento —más que la falta de conocimiento del dominio— constituyen el principal cuello de botella que impide a los agentes de IA ejecutar de manera eficaz tareas de operaciones en la nube.
Desarrollado por un equipo liderado por Ang Chen en la Universidad de Míchigan junto con ingenieros DevOps experimentados, CloudOpsBench Versión 1.0 evalúa cómo los agentes de IA manejan las tareas fundamentales de administración de la nube.
Los principales modelos de IA no logran estar a la altura en operaciones de AWS
El lanzamiento inicial de CloudOpsBench consta de 45 tareas desarrolladas sobre Amazon Web Services (AWS). Estas tareas reflejan desafíos operativos del mundo real, como la resolución de problemas en servicios, la eliminación de recursos sin uso, la restricción de derechos de acceso, el despliegue de actualizaciones y el desmantelamiento de proyectos enteros.
Al ser sometidos a prueba en el benchmark:
- Claude Fable 5.1 obtuvo la puntuación más alta, resolviendo el 60 por ciento de las tareas.
- GPT-6 Astra le siguió, completando el 53 por ciento de las tareas.
Ninguno de los modelos evaluados fue capaz de completar todas las tareas con éxito. El entorno de evaluación permite que las tareas se ejecuten de manera idéntica tanto en una configuración activa en la nube de AWS como en un emulador.
Fallo de razonamiento, no déficit de conocimiento
Un análisis detallado de fallos publicado junto con el benchmark destaca que el problema central no es la falta de datos técnicos, sino un razonamiento defectuoso durante la ejecución de las tareas:
- El 80 por ciento de los fallos se debió a un razonamiento deficiente. Los agentes de IA con frecuencia juzgaron mal el alcance del problema, no inspeccionaron todos los servicios relevantes o declararon una tarea como completada antes de tiempo.
- El 20 por ciento de los fallos fue el resultado de acciones incorrectas, algunas de las cuales provocaron consecuencias irreversibles para la infraestructura en la nube subyacente.
Los investigadores señalaron que, si bien los modelos a menudo poseen el conocimiento factual necesario, su incapacidad para planificar, verificar y razonar a lo largo de flujos de trabajo administrativos de múltiples pasos provoca errores en el sistema.
Disponibilidad como código abierto y futura expansión
CloudOpsBench ha sido publicado abiertamente en GitHub bajo la licencia de código abierto Apache 2.0, lo que permite a investigadores y desarrolladores acceder libremente al código fuente y a las herramientas de diagnóstico.
Aunque la Versión 1.0 se centra exclusivamente en AWS, el equipo planea expandir las futuras iteraciones del benchmark para cubrir Google Cloud Platform (GCP), Microsoft Azure y Oracle Cloud Infrastructure (OCI).
