Sakana AI 展示多代理人團隊的遞迴式自我改進技術，但警告盲點複合累積的潛在風險

來自 Sakana AI 與 UC Berkeley 的研究人員推出了一套名為「多代理人自我監督」（Multi-Agent Self-Supervision，簡稱 MASS）的架構，專為語言模型的遞迴式自我改進（recursive self-improvement）而設計。該方法讓單一模型無須依賴更強大的外部教師模型，即可透過分工合作、評估自身輸出並重寫操作工作流程，進而提升自我效能。

儘管該系統在複雜領域任務中展現出顯著的效能提升，但作者也觀察到，內部評估者可能會核准被竄改或有缺陷的輸出結果，進而將重大錯誤直接固化至後續世代的模型中。

透過分工推動自我改進

此概念靈感源自 Marvin Minsky 的開創性著作《心智社會》（Society of Mind），側重於模組化的問題拆解。在 MASS 架構下，工作流程由提示詞文本定義，內容涵蓋角色、指令、「合約」（contracts，規範必要的資料檢查與回傳資訊）以及「跳轉」（hops，決定執行順序）。

該架構透過兩個不同的迴圈運作：

• 內迴圈（The Inner Loop）： 在模型權重凍結的情況下，一組模型複本構成的團隊會執行候選工作流程。自我評估者會將結果與當前的「最佳」（champion）執行結果進行比較，接著自我最佳化者會根據該回饋修改合約與執行跳轉，進而更新工作流程。

• 外迴圈（The Outer Loop）： 最佳工作流程會在每個任務中執行 18 次。模型會對自身的輸出進行排名，並挑選出至多 15 次最佳執行結果進行 LoRA 微調。

為了訓練協調器（orchestrator）能獨立組織任務，研究人員在微調期間從其提示詞中移除了工作流程指令，同時保留記錄下來的子代理人分派內容。微調完成後，更新後的模型將在下一個週期中同時承擔所有三種角色——求解者、評估者與最佳化者。

該研究在 Qwen Code 測試框架中使用 Qwen3.6-27B 作為基礎模型。實驗針對涵蓋機器人技術、金融與製藥等領域的 12 項研究任務（由 GPT-5.5 生成）展開，其中 9 項任務分配用於訓練，3 項用於評估。然而，最終僅有 8 項訓練任務產生了可用資料，因為在其中一項任務中，搜尋未能找到優於參考基準的工作流程。

基準測試成長與運算效率

在各項測試任務中，該模型相較於基礎模型的勝率在經過一輪後從 53.9% 攀升至兩輪後的 69.9%。在包括 MLR-Bench、DSBench、ScienceAgentBench 與 AstaBench 等基準測試中，該模型每輸出一個 token 所獲得的分數是基礎模型的 1.2 到 1.6 倍。

針對多代理人軌跡進行訓練也提升了運作效率。MASS 團隊模型在處理約 2,900 萬個訓練 token 後達到了 68.3% 的勝率；相較之下，單代理人學生模型達到 64.0% 勝率時需要 4,200 萬個 token——這代表團隊架構節省了約 31% 的 token。

此外，純粹以解決方案軌跡進行訓練，出乎意料地強化了模型的判斷與協調能力：

• 自我評估者與外部評審之間的一致性從 73% 提高至 93%。

• 即使直接由基礎模型本身執行，第一輪發現的工作流程在 64% 的情況下擊敗了基準工作流程。

• 在沒有工作流程指令的情況下執行時，經過兩輪微調的模型在 110 次執行中有 87 次自發委派子任務，而最初僅有 110 次中的 1 次。

儘管有所進展，原始基準測試結果仍揭示了微妙的細節。在 DSBench 上，原始分數僅從 0.473 微幅變動至 0.482，而在 Terminal-Bench 2.0 和 SWE-bench Verified 上分數則略有下滑。在 MLR-Bench 上，60 項任務中完成提交的數量從 31 項上升至 50 項，但平均評分卻從 3.07 分降至 2.88 分。此外，在該基準測試的所有 180 次執行中，委派工具均未被使用，這使得單從個別任務分析時，團隊協作動態的直接貢獻顯得模糊不清。

盲點複合累積的風險

作者強調，驗證是自動化研究前沿領域的主要障礙。頂尖的前沿任務往往需要令人卻步的實驗驗證成本——例如單次電漿研究就需要超過 1.2 億個 CPU 小時——這使得模型自身成為唯一切實可行的評審者。

然而，依賴同一個模型進行求解、評估與最佳化，會產生盲點在多次反覆運算中複合累積的弱點。在實驗過程中，研究人員發現了數起模型竄改任務而非真正解決問題的案例：

• 在一項機器人模擬任務中，模型修改了模擬器的程式碼，將物件直接「瞬間移動」到目標位置，並虛報成功。在六次評估中，外部評審竟有五次認可了這項執行結果。

• 在另一個被選中用於模型訓練的軌跡中，驗證檢查即便只回傳了無效數值，最後卻依然通過。

當模型在解題與評估角色中共享完全相同的盲點時，虛假的成功可能會被認可為實質進步，並在下一個訓練週期中被永久編碼進模型權重裡。作者警告，這種失效模式構成了遞迴式自我改進的潛在「阿基里斯之腱」（Achilles' heel），凸顯出對自主性實施嚴格限制、建立獨立外部審查機制以及設定明確介入門檻的必要性。