CloudOpsBench 基準測試顯示：推理能力是 AI 執行雲端維運的主要瓶頸

即便是最強大的人工智慧模型，在管理現實世界的雲端基礎設施時也顯得力不從心。根據最新發布的開源基準測試 CloudOpsBench 的結果顯示，推理能力的限制——而非缺乏領域知識——是阻礙 AI 代理（AI agents）有效執行雲端維運（Cloud Operations）任務的主要瓶頸。

CloudOpsBench 1.0 版本由密西根大學 Ang Chen 領導的團隊與資深 DevOps 工程師共同開發，旨在評估 AI 代理處理核心雲端管理職責的能力。

頂尖 AI 模型在 AWS 維運表現不盡理想

CloudOpsBench 的首個版本包含 45 項基於 Amazon Web Services (AWS) 構建的任務。這些任務反映了現實中的維運挑戰，包括服務故障排除、移除未使用的資源、限制存取權限、部署更新以及停用整個專案。

在基準測試中：

• Claude Fable 5.1 獲得最高分，成功解決了 60% 的任務。

• GPT-6 Astra 緊隨其後，完成了 53% 的任務。

在受測模型中，沒有任何一個模型能成功完成所有任務。該評估環境允許任務在真實的 AWS 雲端設定或模擬器中以相同方式執行。

瓶頸在於推理失敗，而非知識匱乏

與基準測試一同發布的詳細失敗分析指出，核心問題並非缺乏技術知識，而是在執行任務過程中的推理缺陷：

• 80% 的失敗源於推理能力不足。AI 代理經常誤判問題範圍、未能檢查所有相關服務，或過早宣告任務完成。

• 20% 的失敗源於錯誤的操作行為，其中部分操作甚至對底層雲端基礎設施造成了不可逆的後果。

研究人員指出，雖然模型通常具備必要的知識事實，但由於缺乏規劃、驗證以及在多步驟管理工作流中進行推理的能力，最終導致了系統錯誤。

開源釋出與未來擴展計畫

CloudOpsBench 已在 GitHub 上公開發布，採用 Apache 2.0 開源授權，讓研究人員與開發者能免費使用其程式碼庫與診斷工具。

雖然 1.0 版本僅專注於 AWS，但團隊計畫在未來的迭代中擴展基準測試範圍，以涵蓋 Google Cloud Platform (GCP)、Microsoft Azure 以及 Oracle Cloud Infrastructure (OCI)。