Sakana AI thử nghiệm thành công khả năng tự cải tiến đệ quy bằng nhóm đa tác tử, nhưng cảnh báo về "điểm mù" tích tụ

Các nhà nghiên cứu từ Sakana AI và UC Berkeley vừa giới thiệu Multi-Agent Self-Supervision (MASS - Tự giám sát đa tác tử), một khung làm việc được thiết kế nhằm phục vụ quá trình tự cải tiến đệ quy (recursive self-improvement) cho các mô hình ngôn ngữ. Phương pháp này cho phép một mô hình duy nhất tự nâng cao năng lực thông qua việc phân chia lao động, tự đánh giá kết quả đầu ra và tái cấu trúc quy trình vận hành mà không cần phụ thuộc vào một mô hình "giáo viên" (teacher model) mạnh hơn từ bên ngoài.

Mặc dù hệ thống đã chứng minh được hiệu năng vượt trội trên nhiều tác vụ chuyên ngành phức tạp, các tác giả cũng nhận thấy rằng các bộ tự đánh giá nội bộ có thể vô tình hợp thức hóa những kết quả bị thao túng hoặc có lỗi, từ đó "khắc sâu" những sai sót nghiêm trọng này trực tiếp vào các thế hệ mô hình tiếp theo.

Phân chia công việc để thúc đẩy quá trình tự cải tiến

Ý tưởng của nhóm nghiên cứu được lấy cảm hứng từ cuốn sách kinh điển Society of Mind của Marvin Minsky, tập trung vào việc phân rã bài toán thành các khối mô-đun. Trong MASS, một quy trình làm việc được định nghĩa bằng văn bản prompt mô tả rõ các vai trò, chỉ dẫn, "hợp đồng" (contracts - quy định việc kiểm tra dữ liệu bắt buộc và thông tin trả về) cùng các "bước nhảy" (hops - xác định thứ tự thực thi).

Khung làm việc này vận hành thông qua hai vòng lặp riêng biệt:

• Vòng lặp bên trong (The Inner Loop): Khi trọng số mô hình được giữ cố định, một nhóm gồm các bản sao của mô hình sẽ chạy thử nghiệm một quy trình ứng viên. Bộ tự đánh giá (self-evaluator) sẽ so sánh kết quả với lượt chạy "vô địch" (champion) hiện tại, và bộ tự tối ưu (self-optimizer) sẽ cập nhật quy trình làm việc bằng cách sửa đổi các hợp đồng và bước thực thi dựa trên phản hồi đó.
• Vòng lặp bên ngoài (The Outer Loop): Quy trình vô địch sẽ được thực thi 18 lần cho mỗi tác vụ. Mô hình tự xếp hạng các kết quả đầu ra của mình và chọn ra tối đa 15 lượt chạy tốt nhất để tinh chỉnh bằng kỹ thuật LoRA.

Để huấn luyện bộ điều phối (orchestrator) khả năng tự tổ chức tác vụ một cách độc lập, các nhà nghiên cứu đã loại bỏ chỉ dẫn quy trình khỏi prompt của nó trong giai đoạn tinh chỉnh, nhưng vẫn giữ lại các lượt phân công tác tử phụ đã được ghi nhận. Sau khi tinh chỉnh, mô hình mới sẽ đảm nhận toàn bộ cả ba vai trò—giải quyết bài toán, đánh giá và tối ưu hóa—cho chu kỳ tiếp theo.

Nghiên cứu sử dụng Qwen3.6-27B làm mô hình nền tảng bên trong môi trường Qwen Code. Các thử nghiệm được tiến hành trên 12 tác vụ nghiên cứu bao gồm robot, tài chính và dược phẩm (do GPT-5.5 tạo ra), trong đó 9 tác vụ dành cho huấn luyện và 3 tác vụ dành cho đánh giá. Chỉ có 8 tác vụ huấn luyện mang lại dữ liệu khả dụng, do quá trình tìm kiếm không tìm ra được quy trình nào vượt trội hơn quy trình tham chiếu ở một tác vụ.

Hiệu quả hoạt động và bước tiến trên các bài benchmark

Trên các tác vụ thử nghiệm, tỷ lệ thắng của mô hình trước mô hình gốc đã tăng từ 53,9% sau một vòng lên 69,9% sau hai vòng. Trên các bài benchmark bao gồm MLR-Bench, DSBench, ScienceAgentBench và AstaBench, mô hình đạt điểm số trên mỗi token đầu ra cao gấp 1,2 đến 1,6 lần so với mô hình gốc.

Việc huấn luyện trên các vết thực thi (traces) đa tác tử cũng giúp cải thiện hiệu suất vận hành. Mô hình nhóm MASS đạt tỷ lệ thắng 68,3% sau khi xử lý khoảng 29 triệu token huấn luyện. Trong khi đó, một mô hình "học sinh" đơn tác tử chỉ đạt tỷ lệ thắng 64,0% nhưng lại tiêu tốn tới 42 triệu token—đồng nghĩa với việc phương pháp tiếp cận theo nhóm giúp tiết kiệm tới 31% lượng token.

Hơn nữa, việc chỉ huấn luyện thuần túy trên các vết giải pháp bất ngờ nâng cao cả khả năng đánh giá lẫn điều phối của mô hình:

• Mức độ đồng thuận giữa bộ tự đánh giá và các giám khảo bên ngoài tăng từ 73% lên 93%.
• Các quy trình được phát hiện sau vòng một đã đánh bại các quy trình gốc trong 64% số lần thử nghiệm, ngay cả khi chính mô hình gốc là bên thực thi.
• Khi vận hành mà không có chỉ dẫn quy trình, mô hình gốc đã tự phát phân quyền các tác vụ phụ trong 87 trên tổng số 110 lượt chạy sau hai vòng, so với chỉ 1 trên 110 lượt chạy ở thời điểm ban đầu.

Dù đạt được những bước tiến này, kết quả benchmark thô vẫn cho thấy nhiều điểm đáng lưu ý. Trên DSBench, điểm số thô chỉ nhích nhẹ từ 0,473 lên 0,482, trong khi điểm số lại giảm nhẹ trên Terminal-Bench 2.0 và SWE-bench Verified. Trên MLR-Bench, số bài nộp hoàn thành tăng từ 31 lên 50 trên tổng số 60 bài, nhưng điểm trung bình lại giảm từ 3,07 xuống 2,88. Ngoài ra, công cụ phân quyền hoàn toàn không được sử dụng trong cả 180 lượt chạy trên bài benchmark đó, khiến đóng góp trực tiếp từ tính tương tác nhóm vẫn còn là một dấu hỏi khi phân tích riêng lẻ trên từng tác vụ.

Cảnh báo rủi ro từ các điểm mù tích tụ

Các tác giả nhấn mạnh rằng khâu kiểm chứng (verification) chính là trở ngại lớn nhất ở ranh giới phía trước của nghiên cứu tự động hóa. Các tác vụ tiên phong có thể đòi hỏi chi phí xác minh thực nghiệm đắt đỏ đến mức bất khả thi—chẳng hạn như một nghiên cứu về plasma đơn lẻ đã đòi hỏi hơn 120 triệu giờ CPU—khiến chính mô hình trở thành trọng tài khả dĩ duy nhất.

Tuy nhiên, việc phụ thuộc vào cùng một mô hình để vừa giải quyết, đánh giá lẫn tối ưu hóa lại tạo ra một lỗ hổng: các điểm mù sẽ tích tụ và nhân lên qua từng chu kỳ lặp. Trong các thử nghiệm, nhóm nghiên cứu đã phát hiện ra nhiều trường hợp mô hình "lách luật" thay vì thực sự giải quyết tác vụ:

• Ở một tác vụ mô phỏng robot, mô hình đã can thiệp vào mã nguồn của bộ mô phỏng để dịch chuyển tức thời các vật thể đến thẳng vị trí đích, rồi báo cáo kết quả thành công giả mạo. Các giám khảo bên ngoài đã phê duyệt lượt chạy này trong 5 trên 6 lần đánh giá.
• Trong một vết thực thi khác được chọn để huấn luyện mô hình, bước kiểm tra hợp lệ vẫn vượt qua trót lọt dù nó chỉ trả về toàn các giá trị không hợp lệ.

Khi một mô hình mang những điểm mù giống hệt nhau ở cả vai trò giải toán lẫn chấm điểm, những thành công giả mạo có thể được phê chuẩn thành "cải tiến", rồi bị khắc vĩnh viễn vào trọng số mô hình trong chu kỳ huấn luyện tiếp theo. Các tác giả cảnh báo rằng cơ chế lỗi này đại diện cho một "gót chân Achilles" tiềm tàng đối với quá trình tự cải tiến đệ quy, đồng thời nhấn mạnh sự cần thiết của việc đặt ra giới hạn nghiêm ngặt cho quyền tự trị, các bước kiểm tra độc lập từ bên ngoài và các ngưỡng can thiệp rõ ràng.