CloudOpsBench 벤치마크, 클라우드 운영 AI의 핵심 병목 현상으로 '추론 능력' 지목

가장 뛰어난 성능을 가진 인공지능(AI) 모델이라 할지라도 실제 클라우드 인프라 관리 작업에서는 고전하는 것으로 나타났다. 최근 공개된 오픈소스 벤치마크인 CloudOpsBench의 결과에 따르면, AI 에이전트가 클라우드 운영 작업을 효과적으로 수행하지 못하는 주요 병목 현상은 도메인 지식의 부족이 아닌 '추론 능력의 한계'인 것으로 분석됐다.

미시간 대학교의 Ang Chen 교수팀과 숙련된 DevOps 엔지니어들이 공동 개발한 CloudOpsBench 버전 1.0은 AI 에이전트가 핵심 클라우드 관리 업무를 얼마나 잘 처리하는지 평가한다.

주요 AI 모델, AWS 운영 능력 기대 이하

CloudOpsBench의 첫 번째 릴리스는 Amazon Web Services(AWS)를 기반으로 구축된 45개의 작업으로 구성되어 있다. 이 작업들은 서비스 트러블슈팅, 미사용 리소스 제거, 액세스 권한 제한, 업데이트 배포, 전체 프로젝트 해체 등 실제 운영 현장에서 발생하는 과제들을 반영하고 있다.

벤치마크 테스트 결과는 다음과 같다.

• Claude Fable 5.1이 60%의 작업 해결률을 기록하며 가장 높은 점수를 받았다.

• GPT-6 Astra가 53%의 작업 완료율로 그 뒤를 이었다.

평가 대상 모델 중 모든 작업을 성공적으로 완수한 모델은 없었다. 평가 환경은 실제 AWS 클라우드 설정이나 에뮬레이터에서 동일하게 작업을 실행할 수 있도록 설계되었다.

지식 부족이 아닌 '추론 실패'가 원인

벤치마크와 함께 발표된 세부 실패 분석 보고서는 핵심 문제가 기술적 지식의 부재가 아니라, 작업 수행 과정에서의 결함 있는 추론이라고 강조했다.

• 실패 사례의 80%는 부실한 추론에서 비롯됐다. AI 에이전트들은 문제의 범위를 잘못 판단하거나, 관련 서비스를 모두 점검하지 못하거나, 작업을 너무 일찍 완료된 것으로 선언하는 경우가 잦았다.

• 실패의 20%는 잘못된 조치로 인해 발생했으며, 이 중 일부는 기본 클라우드 인프라에 돌이킬 수 없는 결과를 초래하기도 했다.

연구진은 모델들이 필요한 사실적 지식은 갖추고 있는 경우가 많지만, 다단계 관리 워크플로우를 계획하고 검증하며 추론하는 능력이 부족해 시스템 오류로 이어진다고 지적했다.

오픈소스 공개 및 향후 확장 계획

CloudOpsBench는 Apache 2.0 오픈소스 라이선스에 따라 GitHub에 공개되었으며, 연구자와 개발자들은 코드베이스와 진단 도구에 자유롭게 접근할 수 있다.

버전 1.0은 AWS에만 집중하고 있지만, 연구팀은 향후 벤치마크를 확장하여 Google Cloud Platform(GCP), Microsoft Azure, Oracle Cloud Infrastructure(OCI)까지 아우를 계획이다.