Fable 5.2 của Anthropic hoàn thành hơn 41% công việc freelance thực tế trên Remote Labor Index

Mô hình AI mới nhất của Anthropic, Fable 5.2, vừa chứng minh bước tiến vượt bậc về khả năng thực chiến khi hoàn thành 41,3% các dự án freelance ngoài đời thực đạt chất lượng chuyên nghiệp, theo kết quả đánh giá mới nhất trên bảng xếp hạng Remote Labor Index (RLI).

RLI — chỉ số do Scale Labs hợp tác cùng Trung tâm An toàn AI (CAIS) phát triển — đo lường mức độ thành công của các tác nhân AI (AI agent) tự chủ trong việc thực thi công việc thực tế từ khách hàng, đạt chuẩn để được người thuê chấp nhận thanh toán. Với điểm số 41,3%, Fable 5.2 đã tạo ra khoảng cách áp đảo khi hoàn thành số lượng công việc gấp hơn hai lần so với phiên bản tiền nhiệm và bỏ xa các mô hình AI hàng đầu hiện nay.

Tiến trình phát triển thần tốc của các tác nhân AI thực chiến

Kết quả này cho thấy tốc độ trưởng thành nhanh chóng của các tác nhân AI: từ những bản demo thử nghiệm đơn lẻ cho đến việc gánh vác các quy trình công việc chuyên nghiệp kéo dài. Thời điểm RLI lần đầu ra mắt cách đây khoảng một năm, tác nhân dẫn đầu lúc bấy giờ là Manus chỉ hoàn thành vỏn vẹn 2,5% nhiệm vụ. Đặt lên bàn cân, Fable 5.2 hiện đã giải quyết số lượng công việc chuyên môn gấp hơn 16 lần.

Tốc độ bứt phá còn thể hiện rõ qua từng mốc thời gian ngắn:

• Tháng 7: Fable 5 dẫn đầu bảng xếp hạng với tỷ lệ khoảng 16%.

• Fable 5.1: Tăng trưởng không đáng kể, tụt lại phía sau Fable 5.2 khi chỉ đạt dưới 18%.

• Các đối thủ hiện tại: Opus 5.5 (cũng của Anthropic) giữ vị trí thứ hai với 21,25%, nhỉnh hơn một chút so với GPT 6 Astra của OpenAI (20,83%). Hệ thống thể hiện tốt nhất của Google trong bài kiểm tra là Gemini Argon 4 chỉ đạt 17,08%, trong khi các hệ thống thế hệ cũ như GPT-5.2 hay Gemini 3 Pro "lẹt đẹt" ở mức dưới 3%.

Những bước đột phá và giới hạn còn tồn tại

Theo Scale Labs, Fable 5.2 tạo ra bước đột phá lớn nhất ở các mảng chỉnh sửa âm thanh/âm nhạc, thiết kế kiến trúc/nội thất và dựng hình 3D. Hệ thống này đã xử lý thành công gần 50 tác vụ phức tạp mà chưa từng có tác nhân AI nào trên RLI giải được trước đây, cho thấy khả năng duy trì định hướng trong các dự án dài hơi — vốn là điểm yếu khiến nhiều mô hình khác dễ bị "lệch đường ray".

Tuy nhiên, rào cản phía trước vẫn không nhỏ. Mô hình vẫn chật vật với các nhiệm vụ thiết kế sản phẩm công nghiệp và hoạt họa (animation). Khi các tác nhân thất bại trên RLI, các nhà nghiên cứu ghi nhận chúng thường tạo ra sản phẩm mang tính nghiệp dư, tệp dự án bị lỗi, thiết kế mâu thuẫn hoặc giao nộp kết quả dở dang.

Bài kiểm tra khắt khe trên các hợp đồng trị giá 144.000 USD

Khác với các bộ benchmark nhân tạo chỉ đánh giá bài toán lập trình rời rạc hay câu hỏi trắc nghiệm, RLI chấm điểm toàn bộ quy trình của một hợp đồng công việc thực tế. Bộ thử nghiệm bao gồm 240 dự án đã hoàn tất, thu thập từ 358 freelancer đã xác minh trên sàn Upwork, tương đương khoảng 144.000 USD tổng giá trị hợp đồng thực tế.

Mỗi dự án trong bộ dữ liệu có chi phí trung bình 632,60 USD và đòi hỏi trung bình gần 29 giờ làm việc của con người. Các tác vụ đa dạng từ vẽ kỹ thuật CAD, sản xuất video, phát triển game cho đến phân tích dữ liệu. Để thực hiện công việc, các tác nhân AI phải thao tác trong môi trường ảo tích hợp sẵn các phần mềm tiêu chuẩn ngành như Blender, GIMP, Audacity, kết hợp với các công cụ tạo dựng AI chuyên dụng.

Kết quả nộp về được đánh giá thủ công bởi các chuyên gia con người. Họ mở trực tiếp tệp sản phẩm trên phần mềm chuyên dụng và đối chiếu song song với sản phẩm gốc của freelancer. Đáng chú ý, CAIS từng nỗ lực tự động hóa khâu chấm điểm bằng các mô hình AI giám định nhưng không thành công. Do không thể thao tác thành thạo trên các phần mềm chuyên ngành, các "giám khảo AI" liên tục bị đánh lừa bởi vẻ ngoài trau chuốt và trao điểm số cao ngất ngưởng cho những sản phẩm thực chất bị hỏng hóc về mặt kỹ thuật.