AI RACE— 每日追蹤 AI 競爭賽局
Language Models

Anthropic Fable 5.2 模型於遠端勞動指數完成逾 41% 真實外包工作

Anthropic 推出全新 Fable 5.2 模型,在遠端勞動指數(Remote Labor Index)上實現 41.3% 的任務完成率,執行 Upwork 專業級外包任務的效率幾乎是其最接近競爭對手的兩倍。

2026/11/10 21:07
Fable 5.2 của Anthropic hoàn thành hơn 41% công việc freelance thực tế trên Remote Labor Index

根據遠端勞動指數(Remote Labor Index,簡稱 RLI)的最新基準測試結果,Anthropic 最新人工智慧模型 Fable 5.2 以專業品質完成了 41.3% 的真實世界外包專案,展現出實用能力上的重大飛躍。

RLI 由 Scale Labs 與 AI 安全中心(Center for AI Safety,CAIS)聯合開發,旨在衡量自主 AI Agent 執行真實客戶工作的成功率,即產出成果是否足以獲得付費客戶的接受。Fable 5.2 取得 41.3% 的成績建立起絕對領先優勢,完成的任務數量不僅是其上一代直接產品的兩倍以上,效能更是幾乎翻倍超越其他競爭對手的頂尖前沿模型。

實用 Agent 任務的快速演進

基準測試結果凸顯了 AI Agent 從單純的展示(demo)快速演進至執行持續專業工作流程的速度。大約在一年前 RLI 基準測試發表時,當時領先的 Agent——Manus——僅成功完成了 2.5% 的任務。而如今 Fable 5.2 完成的專業任務數量已是其 16 倍以上。

在更短的時間區間內,這種躍升同樣十分顯著:

  • 7 月: Fable 5 以約 16% 的成績領先指數。
  • Fable 5.1: 得分低於 18%,遠落後於 Fable 5.2。
  • 目前的競爭對手: Anthropic 的 Opus 5.5 以 21.25% 位居第二,微幅領先 OpenAI 的 GPT 6 Astra(20.83%)。Google 在此項測試中表現最佳的系統 Gemini Argon 4 得分則為 17.08%,而較舊的系統如 GPT-5.2 與 Gemini 3 Pro 則停留在 3% 以下。

重大突破與目前的限制

根據 Scale Labs 的說法,Fable 5.2 在音訊與音樂剪輯、建築與室內設計以及 3D 模型建立等領域取得了最顯著的突破。該系統成功完成了近 50 項先前在基準測試中從未有任何 AI Agent 解決過的複雜任務,展現出處理長程專案的能力,而這類專案通常會導致模型偏離軌道。

然而,挑戰依然存在。該模型在工業產品設計與動畫任務上依然面臨瓶頸。研究人員指出,當 Agent 在 RLI 上失敗時,通常會產出業餘水準的成果、損壞的專案檔案、相互矛盾的設計或未完成的交付物。

經受 14.4 萬美元真實外包合約的測試

與測試單一程式碼謎題或選擇題的合成基準測試不同,RLI 評估的是端到端的專業任務。評估套件包含來自 Upwork 上 358 位經過驗證的自由工作者所完成的 240 個專案,代表約 14.4 萬美元的實際付費工作。

測試集中的每個專案平均成本為 632.60 美元,平均需要近 29 小時的人工勞動。任務涵蓋 CAD 繪圖、影片製作、遊戲開發及資料分析等領域。為了完成這些任務,AI Agent 在配備業界標準軟體(包括 Blender、GIMP 和 Audacity)以及專用 AI 生成工具的虛擬環境中運行。

提交的成果由受過專業訓練的人工專家手動評估,專家會使用原生軟體開啟輸出檔案,並與自由工作者最初的交付成果直接進行比對。CAIS 曾嘗試使用評估用 AI 模型將評分流程自動化,但自動化裁判最終宣告失敗;由於無法熟練操作專用的專業軟體,自動化審查模型屢次被表面上的修飾所誤導,給予技術上存在瑕疵的提交成果過高的分數。

◗ 參考來源

The Decoder11/10

相關文章