基準測試揭露：AI Agent 團隊狂燒巨額算力，品質提升卻微乎其微

部署多代理人（Multi-agent）人工智慧系統已成為相當熱門的設計模式，但近期研究顯示，將模型組合成團隊往往會產生龐大的運算成本，相較於單一代理人，效能提升卻微乎其微。

根據 Vals AI 進行的評測，代理人團隊消耗的 Token 數量始終大幅增加，但產出的成果卻幾乎沒有優於單一代理人的配置。

在完整推理模式下優勢甚微

Vals AI 在「Vibe Code Bench」基準測試中評估了 GPT-6 Sol 與 Claude Opus 5.5，分別在「中等推理量（medium reasoning effort）」與「最大推理量（maximum reasoning effort）」兩種運作設定下，測試這兩款模型作為單一代理人以及協同團隊的表現。

多代理人配置導致成本比單一代理人高出 1.8 至 5.1 倍。然而，在單一模型與代理人團隊的四組直接對比中，僅有一種情境展現出統計上顯著的品質提升：即以中等推理模式運行的 GPT-6 Sol，其團隊配置的表現比單一代理人高出 7.3 分。

當模型在最大推理量下運作時，協同配置並未為 GPT-6 Sol 或 Claude Opus 5.5 帶來任何顯著優勢。這項調查結果表明，當底層的前沿模型已經充分運用全部運算資源時，將它們組成代理人團隊所帶來的邊際效益遞減，完全無法合理化高昂的 Token 支出。

Anthropic 的邊際效益遞減現象

Anthropic 針對 Claude Opus 5.5 的內部測試也顯示出類似趨勢：隨著代理人數量增加，品質回報呈現邊際效益遞減。雖然規模更大的代理人團隊能更快達到特定的效能門檻，但從 10 個代理人擴展到 100 個代理人，在 24 小時後的評分僅有微幅提升。在額外的 ProgramBench 測試中，速度的提升無一例外都伴隨著 Token 消耗量的增加。

不同團隊規模下的基準測試分數清楚說明了這種停滯現象：

• 知識庫任務（Opus 5.5）： 1 個代理人得分為 0.53；10 個代理人得分為 0.70；30 個代理人得分為 0.71；100 個代理人得分為 0.74。

• Lean 定理證明任務（Opus 5.5）： 1 個代理人得分為 0.39；10 個代理人得分為 0.66；30 個代理人得分為 0.66；100 個代理人得分為 0.68。

Anthropic 亦評估了 Fable 5.1，該模型在 Lean 定理證明任務中，當代理人數量超過 10 個時展現出較強的相對品質增益，但在所有測試中仍落後於 Opus 5.5。在知識庫評估中，當代理人群體規模從 30 個擴大到 100 個時，Fable 5.1 的得分甚至略微下滑。

速度優勢與「協作稅」

業界研究人員指出，多代理人架構最主要的實際效益在於任務完成速度，而非提升智慧表現。OpenAI 研究員 Noam Brown 在 Dwarkesh Podcast 上指出，多代理人系統主要買到的是速度。在測試中，4 個代理人完成任務的速度快了兩倍，但運算成本也增加了一倍；到了 16 個代理人時，這項趨勢依然存在，但效率略有下降。

Brown 強調，平行化處理極度依賴問題所屬的領域。雖然網路研究與數學運算能有效分配給多個模型處理，但像創意寫作這類任務則不然。Brown 指出，部署 10,000 個代理人來寫一部小說，就像指派 10,000 位人類作家合寫同一篇文章一樣徒勞無功。他補充道，由於成本過於高昂，針對龐大代理人艦隊進行實驗在很大程度上仍是一片未知領域。

OpenAI 開發者 Eric Provencher 也對代理人群體（Swarm）提出告誡，警告隨著數量增加，代理人之間的溝通往往會出現障礙。Provencher 將這種無效率現象稱為「協作稅（coordination tax）」，並主張除非在架構上有嚴格的必要性，否則複雜的代理人群體往往只是在浪費金錢。