CloudOpsBenchベンチマークで判明：クラウド運用におけるAIの最大ネックは「推論能力」

最も優秀な人工知能モデルであっても、現実世界のクラウドインフラの管理を任されると苦戦を強いられる。新たに公開されたオープンソースのベンチマーク「CloudOpsBench」の結果によると、AIエージェントがクラウド運用タスクを効果的に実行することを阻む主なボトルネックは、専門知識の不足ではなく、推論の限界にあるという。

ミシガン大学のAng Chenが率いるチームと経験豊富なDevOpsエンジニアらによって開発されたCloudOpsBench Version 1.0は、AIエージェントがクラウド管理の核となる業務にどのように対処するかを評価するものだ。

最先端AIモデルもAWSでの運用では及ばず

CloudOpsBenchの初期リリースは、Amazon Web Services（AWS）上で構築された45個のタスクで構成されている。これらのタスクは、サービスのトラブルシューティング、未使用リソースの削除、アクセス権限の制限、アップデートのデプロイ、プロジェクト全体の終了処理など、現実世界の運用の課題を反映している。

ベンチマークでテストを行った結果は以下の通りだ。

• Claude Fable 5.1が最高スコアを獲得し、タスクの60パーセントを解決した。

• 続いてGPT-6 Astraがタスクの53パーセントを完了した。

評価されたモデルの中で、すべてのタスクを完了できたものは存在しなかった。なお評価環境では、実際のAWSクラウド環境またはエミュレータのいずれにおいても、タスクを同一に実行できるようになっている。

知識不足ではなく「推論の失敗」

ベンチマークとともに公開された詳細な失敗分析では、根本的な問題は技術的な知識の欠如ではなく、タスク実行時における推論の欠陥であることが浮き彫りになっている。

• 失敗の80パーセントは推論の乏しさに起因していた。AIエージェントは頻繁に問題の範囲を見誤ったり、すべての関連サービスを点検しなかったり、タスクが完了したと時期尚早に宣言したりした。

• 失敗の20パーセントは不適切なアクションによるものであり、その中には下層のクラウドインフラに不可逆的な影響を及ぼしたものもあった。

研究者らは、モデルが必要な事実的知識を保持していることが多いものの、複数ステップに及ぶ管理ワークフローの計画、検証、推論を行う能力が欠けていることがシステムエラーにつながっていると指摘している。

オープンソース公開と今後の拡張計画

CloudOpsBenchはApache 2.0オープンソースライセンスのもと、GitHubで一般公開されており、研究者や開発者はコードベースや診断ツールに無償でアクセスできる。

Version 1.0はAWSのみに特化しているが、チームは今後のベンチマークのアップデートでGoogle Cloud Platform（GCP）、Microsoft Azure、Oracle Cloud Infrastructure（OCI）までカバー範囲を広げる計画だ。