研究指出：精心設計的 AI Agent 運作框架使 Token 成本暴增三倍，卻無助於提升寫程式跑分

AI 開發者工具的製造商經常宣稱，精密複雜的 Agent 運作框架（Harness）能大幅提升寫程式基準測試的成績。然而，一篇名為《What does a harness buy? Mostly tokens.》（運作框架換來了什麼？大多只是 Token）的最新實證研究卻顯示，複雜的框架往往只是讓 Token 帳單暴增，實質助益微乎其微。

這項由山東大學研究人員 Liu 與 Han 進行的研究，評估了 Agent 運作框架對現實世界的影響——包括系統提示詞（System Prompts）、專屬工具以及上下文管理層，這些組件負責讓大型語言模型（LLM）得以瀏覽並編輯程式碼儲存庫。他們的發現指出，在不同框架之間切換，對基準測試成功率帶來的改變，並不亞於將完全相同的配置重複執行兩次；然而，這卻會使推論成本飆升達 300%。

測量出的只是雜訊而非進步

先前的基準測試與各家廠商的宣傳中，經常可見不同 Agent 框架之間出現超過 20 分的差距。但研究人員指出，這些宣稱幾乎都是仰賴單一次的基準測試運行結果。

在 SWE-bench Verified 上，即便是完全相同的配置，僅僅因為測量雜訊，多次重複執行就可能自然產生高達 6 分的成績波動。舉例來說，智譜 AI（Zhipu AI）先前宣稱其專屬框架比 Claude Code 擁有 2.4 分的優勢，但這項差距完全落在重新測試的預期誤差範圍之內。此外，不同廠商之間採用的基準測試整合方式各異，也讓排行榜上的直接比較失去公信力。

為了釐清框架本身的具體影響，研究人員針對三種已發布版本的框架，評估了五款模型：

• Claude Code： 具備專門的檔案與搜尋工具、自動歷史記錄壓縮功能，以及包含工具定義、總計約 16,600 個 Token 的系統提示詞。

• OpenCode： 具備專屬工具，初始提示詞開銷約為 7,000 個 Token。

• mini-SWE-agent： 極簡架構，僅提供標準 Bash 工具、沒有上下文管理機制，且系統提示詞低於 1,000 個 Token。

受測模型包含 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 與 HY4-Preview，並在 Claude Code 中測試了 Claude Opus 5 作為參考基準。評估範圍涵蓋 SWE-bench Verified 中難度最高的 45 項任務，以及擴大至 447 項任務的題目庫，並以 Terminal-Bench 2.1 進行交叉驗證。

所有評估皆在完全離線的環境下進行。在初始開放網路連線的測試中，Deepseek 與 Qwen 模型有 71% 的解題嘗試是直接從 GitHub 抓取修復方案，而非自主解決問題。儘管研究作者並未指控其使用了測試資料進行訓練，但為了維持基準測試的公正性，研究仍全面停用了網路存取權限。

更換框架如同擲硬幣

在 447 項任務的廣泛樣本中，配備最繁複框架的 Claude Code 與最精簡的 mini-SWE-agent，在所有受測模型上的差距皆在 2 分以內——在 5 分的信賴區間下，兩者在統計學上幾乎毫無差異。

若分析單一問題的解題結果：

• 重新執行相同配置：在 13% 的任務中，中位數結果發生逆轉。

• 更換運作框架：同樣在 13% 的任務中，結果發生逆轉。

• 更換底層模型：則在 22% 的任務中改變了結果。

在難度最高的 45 項任務中，各框架在每個模型上的解題數量差異僅有 2 到 5 個，而完全相同的配置重新執行一次，變動幅度就可達 3 個。作者形容，不同框架之間的效能差異，本質上就像是「在相同的雜訊池中重新抽樣一次」。

在 447 項任務的題目庫中，唯一展現出顯著統計劣勢的框架是 OpenCode，其落後幅度高達 9 分。研究人員將這項差距的大約一半歸因於「輸出上限的處理方式」：當模型在推理步驟途中觸及輸出上限時，Claude Code 會提示它繼續進行，但 OpenCode 卻會直接中止該步驟，導致任務失敗。此外，OpenCode 還受到本地模型時間限制較為嚴苛，以及搜尋工具因初次嘗試下載二進位檔而在離線環境下故障等問題所拖累。

系統提示詞的代價

儘管通過率基本持平，Token 的消耗量卻有著天壤之別。由於框架在每個對話步驟中都會重新發送系統提示詞與工具描述，初始提示詞的長度直接決定了基準成本：

• Claude Code： 每個步驟重新發送約 16,600 個 Token 的系統指令與工具結構定義（Schema），同時還會在對話歷史中保留推理軌跡。

• OpenCode： 每個步驟重新發送約 7,000 個 Token。

• mini-SWE-agent： 每個步驟重新發送少於 1,000 個 Token。

以 GLM-5.3-Flash 而言，在 Claude Code 中嘗試單一任務的成本為 1.81 元人民幣，相較之下 OpenCode 僅需 0.56 元人民幣。而在使用 Deepseek-V4-Flash 時，mini-SWE-agent 需要更多的互動步驟，使其整體 Token 成本幾乎追平了 Claude Code，抵消了其精簡提示詞的優勢。

此外，Deepseek 自家的專屬框架搭配自身模型時，跑分並沒有高於競爭對手的框架，反而創下了最高的成本記錄。同樣地，即使研究人員將 Claude Code 中專門為 Claude Opus 5 設計的專屬工具移除，其基準測試成績也完全相同。

推理能力扮演的角色

唯一能穩定突破雜訊、真正推升測試成績的架構因素，是模型內部的推理能力（「思考」過程）。當關閉推理功能時，mini-SWE-agent 搭配 Qwen3.6 的成績滑落了 11 分，而 Claude Code 搭配 HY4-Preview 同樣下跌了 11 分。然而，Agent 對推理能力的依賴程度，似乎與特定「模型－框架」的搭配組合息息相關。

研究人員總結指出，運作框架買到的主要是「更少搞砸任務的方式，以及一張昂貴的帳單，而不是更高的通過率」。為了遏止排行榜上具誤導性的行銷宣傳，研究作者強烈呼籲開發者與基準測試主辦單位，在發布任何框架評比時，務必同時公布相同配置的重複測試數據。