Nghiên cứu: Khung điều phối AI agent phức tạp ngốn token gấp ba lần nhưng không cải thiện điểm lập trình

Các nhà phát triển công cụ AI thường tuyên bố rằng những khung điều phối agent (agent harness) phức tạp có thể cải thiện đáng kể điểm số trên các bài benchmark lập trình. Tuy nhiên, một nghiên cứu thực nghiệm mới đây mang tên "What does a harness buy? Mostly tokens." (Khung điều phối mang lại điều gì? Chủ yếu là tốn token) đã chỉ ra rằng các bộ khung cầu kỳ này thường chẳng làm được gì ngoài việc đội chi phí token lên gấp bội.

Được thực hiện bởi hai nhà nghiên cứu Liu và Han tại Đại học Sơn Đông (Trung Quốc), nghiên cứu đã đo lường tác động thực tế của các khung điều phối agent — tập hợp bao gồm các prompt hệ thống (system prompt), công cụ chuyên biệt và các tầng quản lý ngữ cảnh cho phép mô hình ngôn ngữ lớn (LLM) điều hướng cũng như chỉnh sửa các kho mã nguồn (code repository). Kết quả cho thấy việc hoán đổi qua lại giữa các framework khác nhau chỉ làm thay đổi tỷ lệ giải quyết bài toán tương đương với việc chạy lại cùng một cấu hình hai lần, trong khi chi phí suy luận (inference) có thể bị đội lên tới 300%.

Đo lường độ nhiễu thay vì tiến bộ thực chất

Các bài benchmark trước đây cùng những tuyên bố từ các nhà cung cấp thường báo cáo mức chênh lệch lên tới hơn 20 điểm giữa các framework agent khác nhau. Tuy nhiên, theo các nhà nghiên cứu, những công bố này gần như luôn dựa trên một lượt chạy benchmark duy nhất.

Trên SWE-bench Verified, việc chạy cùng một thiết lập nhiều lần có thể tạo ra mức dao động tự nhiên lên tới 6 điểm chỉ đơn thuần do sai số đo lường. Đơn cử, Zhipu AI từng tuyên bố bộ khung độc quyền của mình vượt trội hơn Claude Code 2,4 điểm — khoảng cách hoàn toàn nằm trong biên độ dao động ngẫu nhiên khi chạy lại bài kiểm tra. Hơn nữa, việc mỗi bên áp dụng các phương pháp tích hợp benchmark khác nhau khiến việc so sánh trực tiếp trên bảng xếp hạng trở nên thiếu tin cậy.

Để cô lập tác động cụ thể của từng bộ khung, nhóm nghiên cứu đã đánh giá 5 mô hình trên các phiên bản hoàn thiện của 3 framework:

• Claude Code: Sở hữu các công cụ tìm kiếm và thao tác tệp chuyên biệt, cơ chế tự động nén lịch sử hội thoại, cùng prompt hệ thống chứa các định nghĩa công cụ có dung lượng khoảng 16.600 token.

• OpenCode: Trang bị các công cụ chuyên biệt và chi phí prompt ban đầu rơi vào khoảng 7.000 token.

• mini-SWE-agent: Thiết lập tối giản chỉ cung cấp một công cụ Bash tiêu chuẩn, không có cơ chế quản lý ngữ cảnh và prompt hệ thống chưa tới 1.000 token.

Các mô hình được đưa vào đánh giá gồm Qwen3.6, Qwen3.8, DeepSeek-V4-Flash, GLM-5.3-Flash và HY4-Preview, trong đó Claude Opus 5 được thử nghiệm bên trong Claude Code để làm mốc đối chiếu. Quá trình đánh giá được thực hiện trên 45 tác vụ khó nhất của SWE-bench Verified cùng một tập mở rộng gồm 447 tác vụ, đồng thời đối chiếu chéo trên Terminal-Bench 2.1.

Toàn bộ các thử nghiệm đều được tiến hành hoàn toàn ngoại tuyến (offline). Trong các thử nghiệm ban đầu khi còn bật kết nối internet, có tới 71% số lần thử của các mô hình DeepSeek và Qwen đã lấy trực tiếp bản vá sửa lỗi từ GitHub thay vì tự lực giải quyết vấn đề. Dù các tác giả không cáo buộc mô hình được huấn luyện trên dữ liệu kiểm thử, việc truy cập web đã bị vô hiệu hóa vĩnh viễn để bảo toàn tính toàn vẹn của benchmark.

Đổi khung điều phối chẳng khác nào tung đồng xu

Trên tập mẫu quy mô lớn gồm 447 tác vụ, Claude Code (bộ khung nặng nhất) và mini-SWE-agent (bộ khung tinh gọn nhất) có kết quả chỉ chênh nhau trong khoảng 2 điểm trên tất cả các mô hình được thử nghiệm — mức chênh lệch gần như không có ý nghĩa thống kê trong khoảng tin cậy 5 điểm.

Khi phân tích kết quả trên từng bài toán riêng lẻ:

• Chạy lại cùng một thiết lập làm đảo ngược kết quả trung vị trên 13% số tác vụ.

• Hoán đổi khung điều phối cũng làm đảo ngược kết quả trên đúng 13% số tác vụ đó.

• Hoán đổi mô hình nền tảng làm thay đổi kết quả trên 22% số tác vụ.

Ở nhóm 45 tác vụ khó nhất, các framework chỉ chênh lệch nhau từ 2 đến 5 bài toán được giải trên mỗi mô hình, trong khi việc chạy lại cùng một cấu hình cũng đã khiến con số này dịch chuyển tới 3 bài. Nhóm tác giả mô tả sự chênh lệch hiệu năng giữa các khung điều phối chỉ giống như "một lần bốc thăm ngẫu nhiên khác từ cùng một nguồn nhiễu".

Framework duy nhất cho thấy sự thụt lùi rõ rệt về mặt thống kê trên tập 447 tác vụ là OpenCode, khi kém các đối thủ tới 9 điểm. Các nhà nghiên cứu phát hiện khoảng một nửa khoảng cách này bắt nguồn từ cách xử lý giới hạn độ dài đầu ra: khi một mô hình chạm trần đầu ra ở giữa một bước suy luận, Claude Code sẽ gửi prompt yêu cầu mô hình tiếp tục, trong khi OpenCode lại hủy luôn bước đó, dẫn đến tác vụ thất bại. OpenCode cũng bị ảnh hưởng bởi giới hạn thời gian ngặt nghèo hơn trên các mô hình cục bộ và công cụ tìm kiếm bị lỗi khi chạy offline do cố gắng tải về các tệp nhị phân ban đầu.

Cái giá đắt đỏ của prompt hệ thống

Trong khi tỷ lệ hoàn thành tác vụ gần như giậm chân tại chỗ, lượng token tiêu thụ lại có sự phân hóa một trời một vực. Do các khung điều phối phải gửi lại toàn bộ prompt hệ thống và mô tả công cụ sau mỗi bước hội thoại, độ dài prompt ban đầu sẽ quyết định mức chi phí nền tảng:

• Claude Code: Gửi lại khoảng 16.600 token chỉ dẫn hệ thống và lược đồ công cụ (tool schema) ở mỗi bước, đồng thời lưu giữ toàn bộ vết suy luận (reasoning trace) trong lịch sử hội thoại.

• OpenCode: Gửi lại khoảng 7.000 token sau mỗi bước.

• mini-SWE-agent: Gửi lại chưa tới 1.000 token sau mỗi bước.

Với GLM-5.3-Flash, một lần thử giải tác vụ tốn 1,81 nhân dân tệ trên Claude Code, so với chỉ 0,56 nhân dân tệ trên OpenCode. Với DeepSeek-V4-Flash, mini-SWE-agent đòi hỏi nhiều bước tương tác hơn, khiến tổng chi phí token của nó gần như ngang ngửa Claude Code dù mức ngốn prompt ban đầu rất thấp.

Đáng chú ý, khung điều phối độc quyền của chính DeepSeek khi chạy cùng mô hình của hãng cũng không ghi nhận điểm số cao hơn các framework đối thủ, trong khi lại phát sinh chi phí đắt đỏ nhất. Tương tự, Claude Opus 5 vẫn cho ra kết quả benchmark tương đương ngay cả khi các nhà nghiên cứu tước bỏ hoàn toàn các công cụ chuyên biệt của nó trong Claude Code.

Vai trò của năng lực suy luận

Yếu tố kiến trúc duy nhất thực sự tạo ra đột phá về điểm benchmark vượt khỏi mức nhiễu thống kê là năng lực suy luận nội tại ("thinking"). Khi tính năng suy luận bị tắt, mini-SWE-agent kết hợp cùng Qwen3.6 sụt giảm tới 11 điểm, trong khi HY4-Preview chạy trên Claude Code cũng mất đi 11 điểm. Dẫu vậy, mức độ phụ thuộc của một agent vào năng lực suy luận dường như gắn liền chặt chẽ với từng sự kết hợp cụ thể giữa mô hình và framework.

Các nhà nghiên cứu kết luận rằng một bộ khung điều phối phức tạp chủ yếu chỉ mang lại "ít nguy cơ hỏng tác vụ hơn và một hóa đơn tiền điện toán đắt đỏ, chứ không phải tỷ lệ pass cao hơn". Để ngăn chặn các chiêu trò tiếp thị gây hiểu lầm trên các bảng xếp hạng, nhóm tác giả kêu gọi giới lập trình và các đơn vị tổ chức benchmark cần công khai kết quả của nhiều lượt chạy trên cùng một cấu hình mỗi khi đưa ra bất kỳ so sánh nào giữa các khung điều phối agent.