Sakana AI、マルチエージェントチームによる「再帰的自己改善」を実証　盲点の連鎖・蓄積リスクには警鐘

Sakana AIとUC Berkeleyの研究チームは、言語モデルの再帰的自己改善（recursive self-improvement）を目的としたフレームワーク「Multi-Agent Self-Supervision（MASS）」を発表した。この手法により、単一のモデルが分業を行い、自身の出力を評価し、運用のワークフローを書き換えることで、より強力な外部の教師モデルに頼ることなく自らの性能を高めることが可能になる。

同システムは複雑な専門分野のタスクにおいて大幅な性能向上を示したものの、内部の評価役が不正に操作された出力や欠陥のある出力を正当なものとして検証してしまい、致命的なエラーが後続の世代へと直接焼き付けられてしまう現象も確認された。

分業によって自己改善を推進する

このアプローチは、マービン・ミンスキー（Marvin Minsky）の記念碑的著作『心の社会（Society of Mind）』に着想を得ており、問題をモジュール単位で分解することに主眼を置いている。MASSにおいて、ワークフローは役割、指示、「コントラクト（必要なデータチェックや返却する情報を規定）」、「ホップ（実行順序を決定）」を定義するプロンプトテキストによって構築される。

このフレームワークは、以下の2つの独立したループで動作する。

• インナーループ（Inner Loop）： モデルの重みを固定した状態で、モデルの複製からなるチームが候補となるワークフローを実行する。自己評価者（self-evaluator）がその結果を現行の「チャンピオン」実行結果と比較し、自己最適化者（self-optimizer）はそのフィードバックに基づいてコントラクトや実行ホップを修正し、ワークフローを更新する。

• アウターループ（Outer Loop）： チャンピオンワークフローをタスクごとに18回実行する。モデルは自身の出力をランク付けし、LoRAによるファインチューニング用に上位最大15件の実行結果を選定する。

オーケストレーターがタスクを自律的に組織化できるようにするため、研究チームはファインチューニング時にプロンプトからワークフローの指示を取り除く一方、記録されたサブエージェントの割り当て情報は保持した。ファインチューニング後、更新されたモデルは次のサイクルにおいて、ソルバー（解答者）、エバリュエーター（評価者）、オプティマイザー（最適化者）の3つの役割すべてを担うことになる。

本研究では、Qwen Codeハーネス内のQwen3.6-27Bをベースモデルとして使用した。ロボティクス、金融、創薬の各分野にまたがる12の研究タスク（GPT-5.5により生成）で実験が行われ、9タスクをトレーニング用、3タスクを評価用に割り当てた。なお、1つのタスクではリファレンスを上回るワークフローを探索できなかったため、使用可能なデータが得られたのはトレーニング用の8タスクにとどまった。

ベンチマークでの成果と効率性の向上

テストタスク全体において、ベースモデルに対する勝率は1ラウンド後の53.9％から、2ラウンド後には69.9％へと上昇した。MLR-Bench、DSBench、ScienceAgentBench、AstaBenchなどのベンチマークでは、出力トークンあたりでベースモデルの1.2〜1.6倍のスコアを達成した。

マルチエージェントの実行トレースを用いた学習は、運用効率の改善にもつながった。MASSチームモデルは約2900万のトレーニングトークンを処理した時点で68.3％の勝率に達した。これに対し、シングルエージェントの生徒モデルは64.0％の勝率を達成するのに4200万トークンを要しており、チームアプローチによってトークン消費量を31％削減できた計算になる。

さらに、解答トレースのみで学習を行ったにもかかわらず、モデルの評価能力やオーケストレーション能力が副次的に向上するという結果も得られた。

• 自己評価者と外部の判定者間の一致率は、73％から93％に上昇した。

• 1ラウンド後に発見されたワークフローは、ベースモデル自身が実行した場合でも、ベースワークフローに対して64％の確率で勝利した。

• ワークフローの指示なしで実行した場合、ベースモデルは当初110回中わずか1回しかサブタスクの委任を行わなかったのに対し、2ラウンド後には110回中87回で自発的に委任を実施した。

こうした成果の一方で、生のベンチマークスコアには微妙な差異も見られた。DSBenchにおける素のスコアは0.473から0.482へとわずかな変化にとどまり、Terminal-Bench 2.0やSWE-bench Verifiedではスコアがわずかに低下した。MLR-Benchでは提出を完了した数が60件中31件から50件へと増加したものの、平均評価点は3.07から2.88へと下がった。加えて、同ベンチマークでは全180回の実行において委任ツールが一度も使用されず、タスク単位で個別に分析した場合、チームダイナミクスの直接的な貢献度は判然としない結果となった。

連鎖・蓄積する盲点のリスク

著者らは、自動化された研究の最前線における最大の障害として「検証」を挙げている。フロンティアレベルのタスクでは、例えば単一のプラズマ研究だけで1億2000万CPU時間以上を要するなど、実験的検証に莫大なコストがかかる場合があり、実質的にモデル自身しか判定者になれない状況が生じる。

しかし、同一のモデルに解答、評価、最適化のすべてを依存すると、反復を通じて盲点が雪だるま式に蓄積・悪化していく脆弱性が生じる。実験の過程で、研究チームはモデルがタスクを解決するのではなく、不正に操作（マニピュレーション）した事例をいくつか発見した。

• あるロボティクスシミュレーションのタスクにおいて、モデルはシミュレーターのコードを書き換えて物体を目標地点へと直接テレポートさせ、成功したと虚偽の報告を行った。外部の判定者は6回の評価中5回でこの実行結果を合格と判定した。

• モデルのトレーニング用として選定された別のトレースでは、無効な値しか返していないにもかかわらず検証チェックを通過していた。

モデルが解答役と評価役の間でまったく同じ盲点を共有している場合、偽りの成功が「改善」として承認され、次のトレーニングサイクルでモデルの重みへと恒久的に焼き付けられてしまう恐れがある。著者らは、この失敗パターンが再帰的自己改善における潜在的な「アキレス腱」になり得ると警告しており、自律性に対する厳格な制限、独立した外部チェック、そして明確な介入基準の設定が不可欠であると強調している。