Benchmark thực tế hé lộ các AI agent lập trình thất bại trong gần 75% tác vụ

Trong khi các bộ công cụ đánh giá truyền thống cho thấy các AI agent lập trình dường như đã làm chủ hoàn toàn kỹ năng viết mã, một bài kiểm tra mới dựa trên các yêu cầu lộn xộn, phức tạp ngoài đời thực lại phơi bày một thực tế hoàn toàn trái ngược. Ngay cả những mô hình tiên tiến nhất hiện nay cũng bỏ dở nhiệm vụ trong khoảng 3 trên 4 lần thử nghiệm, buộc các kỹ sư phần mềm con người phải can thiệp để hoàn tất công việc.

Các nhà nghiên cứu từ Alibaba và một số trường đại học châu Á vừa giới thiệu Co-Design Bench, một bộ benchmark được thiết kế để đánh giá cách các tác nhân lập trình (coding agent) xử lý những yêu cầu chỉnh sửa phần mềm trong thực tế. Khác với các benchmark trước đây – nơi các mô hình dạng tác nhân (agentic) thường xuyên đạt điểm số trên 99% nhờ khả năng tự chạy, tự kiểm thử và sửa lỗi mã nguồn của chính mình – Co-Design Bench đã chỉ ra khoảng cách lên tới hơn 35 điểm phần trăm giữa hiệu năng hiện tại của agent và khả năng thực sự hoàn thành tác vụ.

Sự phức tạp của thế giới thực làm lộ giới hạn của các benchmark cũ

Bộ benchmark này tập trung vào các yêu cầu chỉnh sửa ứng dụng web dựa trên chỉ dẫn của người dùng, vốn thường kết hợp nhiều dạng dữ liệu đầu vào đa phương thức (multimodal) như hình ảnh, bản ghi âm, tài liệu hoặc video. Thay vì đánh giá các bài toán lập trình đơn lẻ, nhóm nghiên cứu đã trích xuất các tác vụ từ những phiên viết mã thực tế của người dùng, đặc biệt ưu tiên các tương tác mà trước đó các lập trình viên con người đã phải diễn đạt lại câu lệnh (prompt) nhiều lần hoặc phải hoàn tác (rollback) các thay đổi bị lỗi.

Các tác vụ trong benchmark trải rộng từ những tinh chỉnh nhỏ — chẳng hạn như trích xuất một con số từ hóa đơn và cập nhật lại toàn bộ các tổng tiền liên quan — cho đến việc tái cấu trúc (refactor) toàn bộ dự án. Quy trình đánh giá được thực hiện vô cùng nghiêm ngặt: một giám khảo AI chính sẽ kiểm thử ứng dụng đang chạy bên trong trình duyệt thực tế, sau đó một giám khảo thứ hai sẽ rà soát kết quả nhằm loại trừ các bản dựng giả lập (mock-up) hoặc những giá trị "gian lận" được gán cứng (hard-coded). Điểm số chỉ được ghi nhận nếu tính năng được yêu cầu thực sự hoạt động trơn tru trên giao diện thực tế.

Trong điều kiện thử nghiệm này, các mô hình hàng đầu đều gặp rất nhiều khó khăn để mang lại một giải pháp trọn vẹn từ đầu đến cuối:

• GPT-6 Astra giành vị trí quán quân trong số 10 mô hình được thử nghiệm, đáp ứng trung bình khoảng 70% các yêu cầu riêng lẻ. Tuy nhiên, mô hình này chỉ đạt tỷ lệ thực thi chính xác hoàn toàn ở 26,4% tác vụ.

• Claude Opus 5 và Qwen3.8-Max lần lượt chiếm các vị trí tiếp theo trên bảng xếp hạng.

• Grok 4.6 đứng cuối cùng trong số các hệ thống mô hình tiên phong (frontier model) được đánh giá.

• Qwen3.8-27B, một mô hình có kích thước nhỏ hơn đáng kể, bất ngờ vươn lên vị trí thứ hai ở bài kiểm tra đại tu các kho mã nguồn (repository) lớn. Dù vậy, các nhà nghiên cứu lưu ý rằng điều này không đồng nghĩa với việc nó vượt trội trên mọi khía cạnh lập trình.

Quá tải trước những yêu cầu đa tầng

Bộ benchmark đã làm nổi bật một nút thắt cổ chai rõ rệt: hiệu năng của AI sụt giảm nhanh chóng khi các tác vụ kết hợp đồng thời nhiều loại chỉnh sửa khác nhau, chẳng hạn như vừa thay đổi bố cục, tương tác người dùng, thiết kế giao diện lẫn logic xử lý bên dưới. Dù độ phức tạp đa tầng này là chuyện thường ngày trong quy trình phát triển phần mềm thực tế (production), mọi mô hình tham gia thử nghiệm đều ghi nhận mức sụt giảm hiệu năng nghiêm trọng khi phải xử lý cùng lúc từ ba đến bốn nhóm thay đổi.

Việc dồn thêm tài nguyên tính toán cũng không thể giải quyết được thiếu sót này. Đơn cử, GLM-5.2 tiêu tốn lượng token gấp gần 6 lần so với GPT-6 Astra đối với các yêu cầu chỉnh sửa nhỏ, nhưng điểm số đạt được vẫn thấp hơn đáng kể. Ngay cả GPT-6 Astra cũng chỉ giải quyết trọn vẹn 41% tác vụ ở nhánh đa phương thức (multimodal) và tụt xuống dưới 18% đối với các tác vụ quy mô lớn ở cấp độ toàn bộ repository.

Khung điều phối (harness) quan trọng không kém bản thân mô hình

Nghiên cứu cũng chứng minh rằng điểm benchmark của mô hình chỉ phản ánh một phần câu chuyện. Khi các nhà nghiên cứu thử nghiệm cùng một mô hình AI trên các khung điều phối (harness) khác nhau — tức bộ khung phần mềm nền tảng quy định cách agent duyệt file, sửa mã nguồn và thực thi các lệnh terminal — kết quả đã thay đổi một cách rõ rệt.

Trong một trường hợp thử nghiệm, Qwen3.8-27B đạt 75% trong một môi trường harness nhất định, nhưng lại tụt dốc xuống còn 56% ở một harness khác khi xử lý các đợt đại tu dự án lớn. Ở nhiều trường hợp, việc thay đổi harness thực thi thậm chí còn đảo ngược thứ hạng mô hình nào thể hiện tốt hơn. Điều này khiến các tác giả đưa ra khuyến nghị: các đội ngũ kỹ thuật nên đánh giá mô hình và harness vận hành của chúng như một cặp bài trùng không thể tách rời.

Những phát hiện này hoàn toàn trùng khớp với các quan sát rộng hơn trong ngành công nghệ về khoảng cách đánh giá AI. Nghiên cứu trước đây của nhóm đánh giá METR từng chỉ ra rằng tỷ lệ chấp thuận pull request thực tế từ các trưởng dự án con người thấp hơn điểm số trên SWE-bench Verified tới khoảng 24 điểm phần trăm. Mặc dù Co-Design Bench vẫn còn những hạn chế nhất định — như việc chỉ thử nghiệm các câu lệnh (prompt) tĩnh, đơn lượt (single-turn) mà không có tương tác đối thoại trong quá trình làm — bộ benchmark này đã chứng minh rằng các AI agent lập trình hiện vẫn chỉ dừng lại ở vai trò trợ lý đắc lực, chứ chưa thể trở thành những lập trình viên độc lập có khả năng bàn giao các tính năng sẵn sàng cho môi trường thực tế (production) mà không cần sự giám sát của con người.