Benchmark mới: Mô hình nhóm AI agent ngốn tài nguyên tính toán khổng lồ nhưng hiệu quả tăng không đáng kể

Việc triển khai các hệ thống AI đa tác tử (multi-agent) đang trở thành một xu hướng thiết kế phổ biến, nhưng nghiên cứu gần đây cho thấy việc gom nhiều mô hình thành nhóm thường làm đội chi phí tính toán lên rất cao mà hiệu năng đem lại chẳng nhỉnh hơn một tác tử đơn lẻ (single-agent) là bao.

Theo các đánh giá do Vals AI thực hiện, các nhóm agent liên tục tiêu tốn lượng token khổng lồ nhưng kết quả mang lại hầu như không vượt trội so với thiết lập agent đơn lẻ.

Lợi thế mờ nhạt ở mức suy luận tối đa

Vals AI đã đánh giá GPT-6 Sol và Claude Opus 5.5 trên bộ thử nghiệm "Vibe Code Bench", kiểm tra cả hai mô hình ở cả vai trò tác tử độc lập lẫn nhóm cộng tác dưới hai mức thiết lập: nỗ lực suy luận trung bình (medium reasoning effort) và nỗ lực suy luận tối đa (maximum reasoning effort).

Cấu hình đa tác tử khiến chi phí tăng vọt từ 1,8 đến 5,1 lần so với mô hình đơn lẻ tương đương. Tuy nhiên, qua 4 kịch bản so sánh trực tiếp giữa các mô hình đơn lẻ và nhóm agent, chỉ duy nhất một trường hợp ghi nhận mức cải thiện chất lượng có ý nghĩa thống kê: GPT-6 Sol chạy ở mức suy luận trung bình, khi cấu hình nhóm vượt trội hơn agent đơn lẻ 7,3 điểm.

Khi các mô hình vận hành ở mức suy luận tối đa, thiết lập cộng tác không mang lại bất kỳ lợi thế rõ rệt nào cho cả GPT-6 Sol lẫn Claude Opus 5.5. Kết quả này chỉ ra rằng khi các mô hình tiên phong (frontier models) nền tảng đã sử dụng toàn bộ năng lực tính toán, việc gom chúng thành nhóm agent sẽ dẫn đến tình trạng hiệu suất cận biên giảm dần (diminishing returns), hoàn toàn không tương xứng với chi phí token đắt đỏ bỏ ra.

Quy luật hiệu suất giảm dần từ góc nhìn của Anthropic

Thử nghiệm nội bộ của Anthropic với Claude Opus 5.5 cũng cho thấy xu hướng hiệu quả chất lượng giảm dần tương tự khi số lượng agent tăng lên. Dù các nhóm agent lớn đạt được một số ngưỡng hiệu năng nhanh hơn, việc mở rộng từ 10 lên 100 agent chỉ giúp cải thiện điểm số không đáng kể sau 24 giờ. Trong các thử nghiệm bổ sung trên ProgramBench, sự gia tăng về tốc độ luôn đi kèm với mức tiêu thụ token tăng vọt.

Điểm số benchmark qua các quy mô nhóm khác nhau minh họa rõ nét giai đoạn bão hòa này:

• Nhiệm vụ cơ sở tri thức (Opus 5.5): 1 agent đạt 0,53; 10 agent đạt 0,70; 30 agent đạt 0,71; 100 agent đạt 0,74.

• Nhiệm vụ chứng minh định lý Lean (Opus 5.5): 1 agent đạt 0,39; 10 agent đạt 0,66; 30 agent đạt 0,66; 100 agent đạt 0,68.

Anthropic cũng đánh giá Fable 5.1, mô hình cho thấy mức cải thiện chất lượng tương đối rõ hơn ở nhiệm vụ chứng minh định lý Lean khi vượt mốc 10 agent, dù nó vẫn xếp sau Opus 5.5 trong toàn bộ các bài kiểm tra. Ở bài đánh giá cơ sở tri thức, điểm số của Fable 5.1 thậm chí còn giảm nhẹ khi quy mô nhóm (swarm) tăng từ 30 lên 100 agent.

Tăng tốc độ và cái giá của "thuế điều phối"

Các nhà nghiên cứu trong ngành chỉ ra rằng lợi ích thực tế lớn nhất của kiến trúc đa tác tử nằm ở tốc độ hoàn thành nhiệm vụ thay vì nâng cao trí thông minh. Chia sẻ trên chương trình Dwarkesh Podcast, nhà nghiên cứu Noam Brown của OpenAI lưu ý rằng các hệ thống đa tác tử chủ yếu giúp "mua" tốc độ. Trong các thử nghiệm, 4 agent hoàn thành nhiệm vụ nhanh gấp đôi nhưng chi phí tính toán cũng tăng gấp đôi; đến mốc 16 agent, xu hướng này vẫn tiếp diễn nhưng hiệu quả kinh tế bắt đầu giảm dần.

Brown nhấn mạnh rằng khả năng song song hóa phụ thuộc rất lớn vào lĩnh vực của bài toán. Trong khi việc tìm kiếm thông tin trên web hay toán học có thể được phân chia hiệu quả cho nhiều mô hình, các tác vụ như viết lách sáng tạo thì không thể. Theo Brown, việc triển khai 10.000 agent để viết một cuốn tiểu thuyết cũng vô ích như việc giao cùng một cuốn sách cho 10.000 tác giả là con người cùng viết. Ông cho biết thêm rằng việc chạy thử nghiệm với các cụm agent quy mô khổng lồ hiện vẫn là vùng đất chưa được khai phá nhiều do chi phí quá đắt đỏ.

Nhà phát triển Eric Provencher của OpenAI cũng lên tiếng cảnh báo về các mạng lưới agent (agent swarms), nhấn mạnh rằng việc giao tiếp giữa các agent thường xuyên gặp trục trặc khi số lượng tăng lên. Provencher gọi sự kém hiệu quả này là "thuế điều phối" (coordination tax), đồng thời lập luận rằng trừ khi có nhu cầu kiến trúc thực sự cấp thiết, các mạng lưới agent phức tạp phần lớn chỉ gây lãng phí tiền bạc.