AIエージェントチーム、品質向上はわずかで膨大な計算資源を浪費──ベンチマークテストで判明
Vals AIとAnthropicによる新たな検証で、マルチエージェント構成は単一エージェントと比べて最大5.1倍のコストがかかる一方、出力品質の向上はわずかであり、主に得られる処理速度の向上も高い協調コストで相殺されることが明らかになった。
マルチエージェントAIシステムの導入は人気のある設計パターンとなっているが、モデルをチーム化しても計算コストが跳ね上がるだけで、単一エージェントと比べた性能向上はごくわずかにとどまることが多いという研究結果が示された。
Vals AIが実施した検証によると、エージェントチームは一貫して劇的に多くのトークンを消費するものの、単一エージェント構成をかろうじて上回る程度の成果しか出せていないという。
最大限の推論では優位性がほぼ皆無に
Vals AIは「Vibe Code Bench」においてGPT-6 SolとClaude Opus 5.5を評価した。両モデルを単独エージェントおよび協調チームの双方として、「中程度の推論エフォート」と「最大の推論エフォート」という2つの動作環境下でテストした。
その結果、マルチエージェント構成では単一エージェントに比べてコストが1.8倍から5.1倍に跳ね上がった。しかし、単独モデルとエージェントチームを直接比較した4つのシナリオのうち、統計的に有意な品質向上が見られたのはわずか1件にすぎなかった。それは中程度の推論エフォートで動作させたGPT-6 Solであり、チーム構成が単独エージェントを7.3ポイント上回ったケースのみだった。
モデルを最大の推論エフォートで動作させた場合、協調構成にしてもGPT-6 Sol、Claude Opus 5.5のいずれにも有意な優位性はもたらされなかった。この結果は、基盤となるフロンティアモデルがすでに計算資源をフルに活用している場合、それらをエージェントチームとして編成しても収穫逓減に陥り、高額なトークン消費を正当化できなくなることを示唆している。
Anthropicでも確認された収穫逓減
AnthropicがClaude Opus 5.5を用いて行った社内テストでも、エージェント数の増加に伴って品質向上が頭打ちになるという同様の傾向が確認された。エージェントチームの規模を拡大すると特定の性能閾値への到達速度は上がったものの、24時間経過後のスコアにおいてエージェント数を10から100に増やしてもわずかな改善にとどまった。さらに、ProgramBenchによるテストでは、処理速度の向上が常にトークン消費の増加と引き換えになることも一貫して示された。
エージェントチームの規模ごとのベンチマークスコアは、この頭打ちの傾向を如実に表している。
- ナレッジベースタスク（Opus 5.5）： 1エージェント：0.53、10エージェント：0.70、30エージェント：0.71、100エージェント：0.74。
- Lean定理証明タスク（Opus 5.5）： 1エージェント：0.39、10エージェント：0.66、30エージェント：0.66、100エージェント：0.68。
AnthropicはFable 5.1の評価も行った。同モデルはLean定理証明タスクにおいてエージェント数が10を超えると相対的により高い品質向上を見せたものの、すべてのテストでOpus 5.5の後塵を拝した。また、ナレッジベースの評価では、スウォーム（群れ）を30から100エージェントにスケールアップした際にFable 5.1のスコアがわずかに低下した。
処理速度の向上と「協調税」
業界の研究者たちは、マルチエージェント構成の実質的なメリットは知能の向上ではなく、主にタスク完了速度の短縮にあると指摘する。OpenAIの研究者であるNoam Brown氏は「Dwarkesh Podcast」に出演した際、マルチエージェントシステムがもたらすのは主に「速度の獲得」であると述べた。テストでは、4つのエージェントを使うとタスク完了速度は2倍になったものの計算コストも2倍になり、16エージェントでもその傾向は続いたが効率はやや低下したという。
Brown氏は、並列化の効果は問題の領域に大きく依存することを強調した。ウェブ調査や数学などは複数のモデルに効果的に分割できる一方、クリエイティブライティングのようなタスクではそれが通用しない。小説を執筆するために1万のエージェントを投入することは、1人の代わりに1万人の人間の作家を同じ作品に割り当てるのと同じくらい無意味だと同氏は指摘する。さらに、膨大なエージェント群を用いた実験は法外なコストがかかるため、依然として未開拓の領域のままであると付け加えた。
OpenAIの開発者であるEric Provencher氏もエージェントスウォームに対して警鐘を鳴らし、数が増えるにつれてエージェント間のコミュニケーションが破綻しやすくなると指摘している。Provencher氏はこの非効率性を「協調税（coordination tax）」と呼び、アーキテクチャ上の厳格な必然性がない限り、複雑なエージェントスウォームは単なる費用の無駄遣いになるケースが多いと主張している。
