AnthropicのFable 5.2、Remote Labor Indexで実際のフリーランス業務の41%超を完了

Anthropicの最新AIモデル「Fable 5.2」が、実世界のフリーランスプロジェクトの41.3%をプロ品質で完了させ、実用能力における大幅な飛躍を実証した。これは、Remote Labor Index（RLI）による新たなベンチマーク結果で明らかになったものだ。

Scale LabsとCenter for AI Safety（CAIS）が共同開発したRLIは、自律型AIエージェントが、実際の顧客から報酬を受け取るに値するレベルで、実際のクライアント業務をどれほど成功裏に実行できるかを測定するものである。Fable 5.2の41.3%というスコアは圧倒的なリードを築いており、直前の前身モデルの2倍以上の仕事を完了させ、競合するフロンティアモデルの性能のほぼ2倍に達している。

実用エージェント業務における急速な進化

今回のベンチマーク結果は、AIエージェントが孤立したデモの段階から、継続的なプロフェッショナル向けワークフローの実行へと、どれほど急速に進歩したかを浮き彫りにしている。約1年前にRLIベンチマークが立ち上げられた当時、トップだったエージェント「Manus」が完了できたタスクはわずか2.5%であった。現在のFable 5.2は、その16倍以上のプロフェッショナル向け課題を完了している。

より短い期間での飛躍も同様に顕著である。

• 7月： Fable 5が約16%でインデックスのトップに立っていた。

• Fable 5.1： Fable 5.2に大きく引き離され、18%弱のスコアにとどまった。

• 現在の競合他社： AnthropicのOpus 5.5が21.25%で2位につけており、OpenAIのGPT 6 Astraの20.83%を僅かに上回っている。Googleのテストにおける最高システムであるGemini Argon 4は17.08%を記録し、GPT-5.2やGemini 3 Proといった旧世代システムは3%未満にとどまっている。

ブレークスルーと現在の限界

Scale Labsによると、Fable 5.2は音声・音楽編集、建築・インテリアデザイン、そして3Dモデリングの分野で最も著しいブレークスルーを遂げたという。同システムは、これまでのベンチマーク上のどのAIエージェントも一度も解決できなかった約50の複雑なタスクを正常に完了させ、モデルが脱線する原因となりがちな長期にわたるプロジェクトをやり遂げる能力を示した。

しかし、依然として大きな障壁は残っている。同モデルは、産業用製品のデザインやアニメーションのタスクには依然として苦戦している。RLIでエージェントが失敗した際、それらは総じて素人レベルの成果物、破損したプロジェクトファイル、矛盾したデザイン、あるいは不完全な成果物を生み出していると研究者らは指摘している。

14万4000ドルの実世界契約を対象としたテスト

孤立したコーディングのパズルや多肢選択式の問題を評価する合成ベンチマークとは異なり、RLIはエンドツーエンドのプロフェッショナル向け課題を評価する。この評価スイートは、Upworkで認証された358人のフリーランスから調達した240の完了済みプロジェクトで構成されており、総額にして約14万4000ドルの実際の有償業務に相当する。

テストセット内の各プロジェクトの平均コストは632.60ドルであり、人間の労働時間で平均29時間弱を必要とする。タスクはCAD製図、動画制作、ゲーム開発、データ分析などの分野にわたる。これらの課題を完了するため、AIエージェントはBlender、GIMP、Audacityといった業界標準のソフトウェアを備えた仮想環境内で動作し、特化したAI生成ツールによって補完されている。

提出物は、訓練を受けた専門の人間の手によって手動で評価される。彼らはネイティブソフトウェアで出力ファイルを開き、人間のフリーランスによる元の成果物と直接比較する。CAISは評価用AIモデルを使用して採点の自動化を試みたが、自動ジャッジは失敗に終わった。専門的なプロフェッショナルソフトウェアを熟練して操作することができず、自動レビュアーは表面的な洗練さに繰り返し惑わされ、技術的に破損した提出物に対して過大に膨らんだスコアを付けたのである。