現実世界のベンチマークで判明、AIコーディングエージェントはタスクの約75%を完遂できず

従来の評価スイートはAIコーディングエージェントがプログラミングをほぼマスターしたかのように示しているが、複雑で乱雑な現実のユーザーリクエストに基づく新たなテストは、それとはまったく異なる現実を浮き彫りにした。最高性能を誇るフロンティアモデルでさえ、約4回に3回はタスクを未完了のまま残しており、人間のソフトウェアエンジニアが介入して作業を完了させる必要がある。

Alibabaおよび複数のアジアの大学の研究者らは、コーディングエージェントが現実的なソフトウェア修正をどのように処理するかを評価するために設計されたベンチマークCo-Design Benchを発表した。エージェント型モデルが自身のコードを実行、テスト、修正することで99%以上のスコアを日常的に記録する従来のベンチマークとは異なり、Co-Design Benchは現在のエージェントのパフォーマンスと真のタスク完遂度との間に35パーセンテージポイント以上の乖離があることを暴露している。

現実世界の複雑さが示すベンチマークの飽和

このベンチマークは、画像、音声録音、ドキュメント、動画などのマルチモーダル入力が含まれることも多いユーザーの指示に基づくWebアプリケーションの改修を対象としている。研究チームは、隔離されたプログラミングパズルを評価するのではなく、実際のユーザーによるコーディングセッションからタスクを抽出した。人間である開発者が過去にプロンプトを何度も言い直したり、壊れた変更をロールバックしたりしなければならなかったやり取りを意図的に優先している。

ベンチマーク内のタスクは、領収書から金額を抽出して依存するすべての合計値を更新するような軽微な調整から、本格的なプロジェクトのリファクタリングまで多岐にわたる。評価は厳格だ。プライマリAIジャッジがライブブラウザ内で実行中のアプリケーションをテストし、その後セカンダリジャッジが結果を検証して、モックアップやハードコードされた不正な値（チート値）を排除する。要求された機能がライブインターフェース上で実際に動作して初めて成果として認められる。

このような条件の下、トップクラスのモデルでもエンドツーエンドのソリューションを提供することに苦戦した。

• GPT-6 Astraはテストされた10種類のモデルの中で首位を獲得し、個別の要件については平均して約70%を満たした。しかし、タスクを完全に正しく実行できた割合はわずか26.4%にとどまった。

• Claude Opus 5とQwen3.8-Maxがリーダーボードの次点にランクインした。

• Grok 4.6は評価されたフロンティアシステムの中で最下位となった。

• 大幅にサイズの小さいモデルであるQwen3.8-27Bは、特に大規模なリポジトリの改修において2位に浮上した。ただし研究者らは、これがすべてのコーディング領域における全般的な優位性を示すものではないと指摘している。

多角的な要求がエージェントを圧倒

ベンチマークでは明確なボトルネックが浮き彫りになった。レイアウト、ユーザーインタラクション、ビジュアルデザイン、バックエンドのコンテンツに対する変更が同時に行われるなど、タスクが複数の種類の修正を組み合わせるようになると、パフォーマンスが急速に悪化するのだ。このような多層的な複雑さは商用ソフトウェア開発では標準的だが、テストされたすべてのモデルで、3つまたは4つの変更カテゴリが同時に存在する場合に急激なパフォーマンス低下が見られた。

この不足は、より多くの計算リソースを投入しても解決しなかった。たとえば、GLM-5.2は小規模な変更リクエストにおいてGPT-6 Astraの6倍近くのトークンを消費したにもかかわらず、スコアははるかに低かった。GPT-6 Astraでさえ、マルチモーダルなトラックのタスクを完全解決できたのは41%にとどまり、より広範なリポジトリレベルのタスクでは18%未満にまで低下した。

ソフトウェアハーネスの影響力はモデルと同等

本研究はまた、モデルのベンチマークが全体の一部しか示していないことも証明した。エージェントがどのようにファイルを調査し、コードを編集し、ターミナルコマンドを実行するかを制御する基盤ソフトウェア環境である「ハーネス」を変えて同じAIモデルをテストしたところ、結果が大きく変動した。

あるケースでは、Qwen3.8-27Bは大規模改修において、あるハーネス環境では75%のスコアを記録したが、別の環境では56%に急落した。実行ハーネスを変更したことでモデルの優劣が入れ替わるケースが複数見られたことから、研究チームはエンジニアリングチームに対し、モデルと運用ハーネスを分離できないペアとして評価することを推奨している。

これらの発見は、AI評価の乖離に関する業界全体の観察結果とも一致している。評価団体METRによる以前の研究では、人間のプロジェクトリードによる現実世界でのプルリクエスト承認率は、SWE-bench Verifiedのスコアよりも約24パーセンテージポイント下回っていることが判明していた。Co-Design Benchにも、タスク途中の対話を含まない静的なシングルターンプロンプトのテストにとどまるなどの制限はあるものの、コーディングエージェントが無人で本番運用可能な機能を提供できる自律的な開発者ではなく、依然として強力なアシスタントの域を出ないことを示している。