Benchmark CloudOpsBench hé lộ khả năng suy luận là "điểm nghẽn" chí mạng của AI trong vận hành Cloud

Ngay cả những mô hình trí tuệ nhân tạo mạnh mẽ nhất hiện nay cũng gặp khó khăn khi được giao nhiệm vụ quản lý hạ tầng đám mây trong thế giới thực. Theo kết quả từ CloudOpsBench, một bộ công cụ đánh giá (benchmark) mã nguồn mở vừa được công bố, chính những hạn chế về khả năng suy luận — chứ không phải việc thiếu kiến thức chuyên môn — đang là rào cản chính ngăn cản các AI agent thực hiện hiệu quả các tác vụ vận hành đám mây.

Được phát triển bởi đội ngũ do Ang Chen dẫn đầu tại Đại học Michigan cùng các kỹ sư DevOps giàu kinh nghiệm, CloudOpsBench Phiên bản 1.0 tập trung đánh giá cách các AI agent xử lý những nhiệm vụ quản trị đám mây cốt lõi.

Các mô hình AI hàng đầu "hụt hơi" trước các tác vụ AWS

Phiên bản đầu tiên của CloudOpsBench bao gồm 45 tác vụ được xây dựng trên nền tảng Amazon Web Services (AWS). Những tác vụ này phản ánh các thách thức vận hành thực tế, bao gồm xử lý sự cố dịch vụ, xóa bỏ các tài nguyên không sử dụng, thắt chặt quyền truy cập, triển khai các bản cập nhật và gỡ bỏ toàn bộ dự án.

Khi thử nghiệm trên bộ benchmark này:

• Claude Fable 5.1 đạt điểm số cao nhất, giải quyết được 60% số tác vụ.

• GPT-6 Astra đứng thứ hai với tỷ lệ hoàn thành 53%.

Đáng chú ý, không có mô hình nào được đánh giá có thể hoàn thành xuất sắc mọi tác vụ. Môi trường đánh giá cho phép các tác vụ chạy đồng nhất trên cả thiết lập đám mây AWS thực tế hoặc thông qua trình giả lập.

Lỗi suy luận, không phải thiếu hụt kiến thức

Một phân tích chi tiết về các thất bại được công bố cùng với bộ benchmark đã nhấn mạnh rằng vấn đề cốt lõi không nằm ở việc thiếu các dữ kiện kỹ thuật, mà là do suy luận sai lầm trong quá trình thực hiện tác vụ:

• 80% thất bại bắt nguồn từ khả năng suy luận kém. Các AI agent thường xuyên đánh giá sai phạm vi của vấn đề, không kiểm tra tất cả các dịch vụ liên quan hoặc tuyên bố hoàn thành tác vụ quá sớm.

• 20% thất bại là kết quả của các hành động sai lầm, một số trong đó gây ra những hậu quả không thể đảo ngược cho hạ tầng đám mây bên dưới.

Các nhà nghiên cứu lưu ý rằng mặc dù các mô hình thường sở hữu kiến thức thực tế cần thiết, nhưng việc thiếu khả năng lập kế hoạch, xác minh và suy luận xuyên suốt các quy trình quản trị nhiều bước đã dẫn đến các lỗi hệ thống.

Phát hành mã nguồn mở và kế hoạch mở rộng

CloudOpsBench đã được phát hành công khai trên GitHub theo giấy phép mã nguồn mở Apache 2.0, cho phép các nhà nghiên cứu và nhà phát triển truy cập miễn phí vào mã nguồn và các công cụ chẩn đoán.

Mặc dù Phiên bản 1.0 chỉ tập trung độc quyền vào AWS, nhóm phát triển dự kiến sẽ mở rộng các phiên bản tương lai của bộ benchmark để bao phủ cả Google Cloud Platform (GCP), Microsoft Azure và Oracle Cloud Infrastructure (OCI).