真實世界基準測試顯示：AI 程式開發 Agent 未能完成近 75% 任務

儘管傳統的評測套件顯示 AI 程式開發 Agent 基本上已掌握程式設計能力，但一項基於複雜且混亂的真實世界使用者需求所做的最新測試，卻揭露了截然不同的現實。即使是表現最強悍的前沿模型（frontier models），也有大約四分之三的任務未能完整完成，需要人類軟體工程師介入接手才能收尾。

來自阿里巴巴與數所亞洲大學的研究人員推出了 Co-Design Bench，這是一套專門用來評估 AI 程式開發 Agent 如何處理真實軟體修改需求的基準測試。過往的基準測試中，Agent 模型能透過自行執行、測試與修復程式碼輕易拿下超過 99% 的高分；相較之下，Co-Design Bench 卻揭露了現今 Agent 的實際表現與「真正完成任務」之間存在超過 35 個百分點的差距。

真實世界的複雜性暴露基準測試飽和問題

該基準測試主要針對根據使用者指令進行 Web 應用程式修改的情境，這些指令通常包含圖片、語音錄音、文件或影片等多模態輸入。研究團隊並未採用孤立的程式題目，而是從真實使用者的寫程式過程中擷取任務，並刻意優先挑選那些人類開發者先前必須多次重構提示詞、或不得不復原已弄壞變更的互動紀錄。

基準測試中的任務範圍極廣，從微調（例如從收據中擷取金額數字並更新所有相關的總計金額），到全規模的專案重構均包含在內。評估過程非常嚴謹：主要 AI 評審會在即時瀏覽器中測試運行中的應用程式，隨後由第二評審檢查結果，以排除偽造介面（mock-ups）或硬編碼（hardcoded）作弊值的情況。只有在請求的功能於實時介面中真正發揮作用時，才能獲得評分。

在這些嚴苛條件下，頂級模型難以提供端到端的完整解決方案：

• GPT-6 Astra 在受測的 10 個模型中排名第一，平均滿足約 70% 的單項需求。然而，它在所有任務中僅有 26.4% 達到完全正確的執行結果。

• Claude Opus 5 與 Qwen3.8-Max 則在排行榜上緊追其後。

• Grok 4.6 在受評測的前沿系統中排名最後。

• Qwen3.8-27B 作為一個體積明顯較小的模型，在大型程式庫（repository）重構任務中異軍突起爬升至第二名，但研究人員指出這並不代表它在所有程式開發領域都具備全面優勢。

多面向需求讓 Agent 力不從心

這項基準測試凸顯出一個明顯的瓶頸：當任務結合了多種修改類型時（例如同時調整版面配置、使用者互動、視覺設計與底層內容），效能就會迅速惡化。雖然這種多層次的複雜度在實際的軟體開發工作中極為常見，但當同時出現三到四種變更類別時，所有受測模型的效能都出現了大幅下滑。

即使投入更多算力資源也無法解決這項缺憾。例如在較小的變更需求上，GLM-5.2 消耗的 Token 數量幾乎是 GPT-6 Astra 的六倍，但得分卻顯著偏低。即便是得分最高的 GPT-6 Astra，在多模態賽道的任務中也僅能完全解決 41%，而在更廣泛的專案庫等級（repository-level）任務中，完全解決率更跌破 18%。

軟體 Harness 與模型本身同等重要

該研究同時證明，純粹的模型評測只能反映一部分事實。當研究人員使用不同的 Harness（即控制 Agent 如何檢查檔案、編輯程式碼與執行終端機命令的底層軟體架構與腳手架）來測試相同的 AI 模型時，測試結果出現了劇烈變化。

以一個案例來說，Qwen3.8-27B 在處理大型重構時，於某一 Harness 環境中獲得了 75% 的分數，但在另一個 Harness 環境中卻大幅下滑至 56%。在多個案例中，僅僅更換執行 Harness 就改變了模型之間的勝負關係，這讓作者建議工程團隊在評估模型及其營運 Harness 時，應將兩者視為不可分割的組合進行整體考量。

這些發現與科技產業對 AI 評測落差的廣泛觀察一致。評測機構 METR 先前的研究發現，人類專案負責人在真實世界中接受 Pull Request（PR）的比例，比模型在 SWE-bench Verified 上的得分低了約 24 個百分點。儘管 Co-Design Bench 仍有其侷限性（例如測試無中途對話的靜態單輪提示詞），但它證明了現階段程式開發 Agent 仍偏向強大的輔助角色，而非能在無人看管下交付可直接上線（production-ready）功能的自主開發者。