Benchmark CloudOpsBench revela que raciocínio é o principal gargalo para IA em operações de nuvem
Um novo benchmark open-source desenvolvido pela Universidade de Michigan mostra que os principais agentes de IA enfrentam dificuldades com tarefas padrão de engenharia de nuvem, com falhas de raciocínio sendo responsáveis por 80% dos erros.
Mesmo os modelos de inteligência artificial mais capazes enfrentam dificuldades ao receberem a tarefa de gerenciar infraestruturas de nuvem no mundo real. De acordo com os resultados do CloudOpsBench, um benchmark open-source recém-lançado, limitações de raciocínio — e não a falta de conhecimento de domínio — servem como o principal gargalo que impede os agentes de IA de executar tarefas de operações de nuvem com eficácia.
Desenvolvido por uma equipe liderada por Ang Chen na Universidade de Michigan, ao lado de engenheiros DevOps experientes, o CloudOpsBench Versão 1.0 avalia como agentes de IA lidam com funções fundamentais de administração de nuvem.
Principais modelos de IA ficam aquém em operações na AWS
O lançamento inicial do CloudOpsBench consiste em 45 tarefas construídas sobre a Amazon Web Services (AWS). Essas tarefas refletem desafios operacionais do mundo real, incluindo a solução de problemas em serviços, remoção de recursos não utilizados, restrição de direitos de acesso, implantação de atualizações e desativação de projetos inteiros.
Quando testados no benchmark:
- Claude Fable 5.1 alcançou a pontuação mais alta, resolvendo 60% das tarefas.
- GPT-6 Astra veio logo atrás, concluindo 53% das tarefas.
Nenhum modelo avaliado conseguiu concluir todas as tarefas com sucesso. O ambiente de avaliação permite que as tarefas sejam executadas de forma idêntica tanto em uma configuração em nuvem ativa da AWS quanto em um emulador.
Falha de raciocínio, não déficit de conhecimento
Uma análise detalhada das falhas publicada junto com o benchmark destaca que o problema central não é a ausência de fatos técnicos, mas sim um raciocínio falho durante a execução da tarefa:
- 80% das falhas decorreram de um raciocínio deficiente. Os agentes de IA frequentemente julgaram mal o escopo do problema, não inspecionaram todos os serviços relevantes ou declararam uma tarefa como concluída antes da hora.
- 20% das falhas resultaram de ações incorretas, algumas das quais provocaram consequências irreversíveis para a infraestrutura de nuvem subjacente.
Os pesquisadores observaram que, embora os modelos frequentemente possuam o conhecimento factual necessário, sua incapacidade de planejar, verificar e raciocinar através de fluxos de trabalho administrativos de várias etapas leva a erros no sistema.
Disponibilidade em código aberto e expansão futura
O CloudOpsBench foi lançado publicamente no GitHub sob a licença open-source Apache 2.0, permitindo que pesquisadores e desenvolvedores tenham acesso gratuito ao código-fonte e às ferramentas de diagnóstico.
Embora a Versão 1.0 se concentre exclusivamente na AWS, a equipe planeja expandir futuras iterações do benchmark para cobrir o Google Cloud Platform (GCP), Microsoft Azure e Oracle Cloud Infrastructure (OCI).
