IBM Công bố ScarfBench: Benchmark Đánh Giá Khả Năng AI Agents trong Di Chuyển Enterprise Java

Benchmark Mới Tiết Lộ Khoảng Cách Thực Tế

IBM Research vừa công bố ScarfBench (Self-Contained Application Refactoring Benchmark) — một benchmark mở nhằm đánh giá khả năng của các AI agents trong việc di chuyển ứng dụng Java enterprise giữa các framework khác nhau. Công bố này xuất hiện vào cuối tháng 6 năm 2026, đánh dấu một nỗ lực đáng kể để xác định giới hạn thực tế của các agent viết mã trong các tác vụ hiện đại hóa phần mềm — một lĩnh vực được xem là có tiềm năng to lớn nhưng vẫn chứa đầy thách thức.

Quy Mô và Kết Quả Đánh Giá Chi Tiết

ScarfBench bao gồm một quy mô kiểm tra đáng kể: 34 ứng dụng, 102 triển khai framework, 204 tác vụ di chuyển, khoảng 151.000 dòng mã, xấp xỉ 2.000 tệp mã nguồn và tệp kiểm thử, cùng 1.331 tệp kiểm thử do chuyên gia viết. Benchmark tập trung vào ba hệ sinh thái Java chính: Spring, Jakarta EE, và Quarkus. Khác biệt quan trọng của ScarfBench so với các benchmark truyền thống là nó không chỉ so sánh mã được tạo ra — thay vào đó, nó yêu cầu các ứng dụng di chuyển phải xây dựng thành công, triển khai chính xác, và vượt qua xác thực hành vi. Kết quả cho thấy thách thức lớn: các agent tiên tiến nhất hiện tại đạt tỷ lệ thành công hành vi dưới 10%, với sự khác biệt đáng kể giữa các cặp framework. Ví dụ, Jakarta EE được chứng minh là một target framework đặc biệt khó khăn. Một phát hiện đáng lo ngại khác là sự tự tin quá mức: khi được đánh giá, Claude Code báo cáo 29 trên 30 ứng dụng xây dựng thành công, nhưng thực tế chỉ 22 ứng dụng thực sự xây dựng được — trong khi ứng dụng duy nhất được agent phân loại là thất bại lại cuối cùng xây dựng thành công.

Tại Sao Di Chuyển Framework Vượt Ra Ngoài Dịch Mã

Di chuyển framework không phải là công việc đơn giản thay thế các annotation hay cú pháp cơ bản. Một việc di chuyển tương đối đơn giản có thể yêu cầu thay đổi trên toàn bộ injection phụ thuộc, cấu hình persistence, các truy vấn, và các mô tả framework. Thất bại nhỏ ở bất kỳ phần nào cũng có thể ngăn chặn triển khai thành công. Các nghiên cứu của IBM cho thấy rằng quá trình di chuyển là lặp lại hơn là tuyến tính — các agent thường xuyên quay lại các tầng cấu hình, web, và dịch vụ. Cấu hình là điểm tập trung nhiều nỗ lực nhất, chiếm một phần đáng kể thời gian gỡ lỗi và giải quyết phụ thuộc. Hơn nữa, không phải tất cả các vấn đề đều xuất phát từ mã nguồn. Các agent gặp khó khăn với các vấn đề môi trường bao gồm bộ đệm Docker không nhất quán, các vấn đề kết nối cổng, và các vấn đề liên quan đến Maven wrapper và công cụ xây dựng.

Hàm Ý và Con Đường Phía Trước

Việc công bố của ScarfBench phản ánh một sự trưởng thành trong lĩnh vực AI for code — từ việc tập trung vào các tác vụ sinh mã đơn lẻ sang các vấn đề kiến trúc phức tạp và quy mô lớn của hiện đại hóa enterprise. Khoảng cách giữa tỷ lệ xây dựng (~50%) và tỷ lệ hành vi thành công (<10%) cho thấy rằng việc tạo ra mã có thể biên dịch được không phải là chỉ báo đáng tin cậy của chất lượng di chuyển thực tế. Đối với các tổ chức xem xét hiện đại hóa ứng dụng Java dựa vào các agent AI, điều này nhấn mạnh tầm quan trọng của xác thực độc lập và suy luận kiến trúc thực sự. IBM đã tiết lộ rằng benchmark được thiết kế như một tài nguyên mở cho các nhà nghiên cứu và các thực hành viên, bao gồm bộ dữ liệu benchmark, cơ sở hạ tầng đánh giá, và bảng xếp hạng công khai tại scarfbench.info/leaderboard.