Rủi ro thực sự của AI doanh nghiệp không phải là các tác nhân tự động mà là độ phức tạp giữa chúng

Sự bùng nổ các tác nhân AI trong doanh nghiệp và vấn đề “bóng tối” của độ phức tạp

Trong bối cảnh các doanh nghiệp ngày càng triển khai hàng loạt tác nhân AI để tự động hoá quy trình, Rory Blundell – CEO của Gravitee – nhấn mạnh rằng rủi ro thực sự không nằm ở một tác nhân riêng lẻ mà ở mạng lưới phức tạp các tác nhân tương tác với nhau. Gravitee đã đưa ra cảnh báo: “Complexity doesn’t creep up with agent headcount. It compounds with the number of paths between agents.” (Độ phức tạp không tăng dần theo số lượng tác nhân mà tăng lên theo số lượng đường nối giữa chúng). Khi một doanh nghiệp triển khai một “đội quân” các tác nhân, mỗi tác nhân không chỉ gọi API nội bộ mà còn có thể gọi các tác nhân khác, thâm nhập vào các ứng dụng chưa được thiết kế để chịu quyết định của máy. Điều này tạo ra một “hệ thống gió mạnh, rối rắm mà không ai có thể nhìn rõ đủ để quản trị”.

Chi tiết các thách thức quản trị và ví dụ thực tiễn

• Mối quan hệ nối kết nhanh chóng tăng lên: Thêm một tác nhân thứ hai vào hệ thống đồng nghĩa với việc tạo ra một kết nối mới. Khi số lượng tác nhân tăng lên tới mười, không chỉ có mười kết nối mới mà có thể xuất hiện hàng chục, thậm chí hàng trăm đường nối tiềm năng, vì bất kỳ tác nhân nào cũng có thể gọi bất kỳ tác nhân nào khác và mỗi lần gọi có thể kích hoạt một chuỗi gọi tiếp theo.
• Quy trình hỗ trợ bị kéo dài: Một ticket hỗ trợ, vốn trước đây chỉ cần một hệ thống để xử lý, giờ có thể phải đi qua bốn tác nhân trước khi con người cuối cùng nhìn thấy. Mỗi “hand‑off” là một điểm quyết định chưa được phê duyệt, làm tăng nguy cơ lỗi và vi phạm chính sách.
• Sự mờ nhạt trong quản lý quyền truy cập: Ví dụ, một tác nhân được tạo ra để tóm tắt ticket hỗ trợ được cấp quyền API rộng rãi vì “scoping” (định phạm vi) sẽ tốn thêm một sprint. Sau sáu tháng, cùng một tác nhân có thể có đường dẫn tới hệ thống thanh toán – một quyền mà không ai nhớ đã đồng ý.
• Thiếu chủ sở hữu rõ ràng: Khi một quy trình có năm tác nhân tham gia và sự cố xảy ra ở bước thứ tư, không ai được chỉ định chịu trách nhiệm vì sơ đồ tổ chức chỉ dừng lại ở “triển khai tác nhân” mà không xác định “người chịu trách nhiệm”.
• Cơ chế quản trị chưa bắt kịp: Gravitee cho biết, “Fixing the cluster starts with identity. Every agent needs to exist as its own entity, not a shadow permission borrowed from whoever deployed it.” (Việc khắc phục bắt đầu bằng việc xác định danh tính. Mỗi tác nhân phải là một thực thể riêng, không phải là quyền mượn từ người triển khai). Điều này bao gồm:

1. Đăng ký tên riêng cho mỗi tác nhân trong sổ đăng ký.
2. Gán quyền hạn được định phạm vi rõ ràng.
3. Bổ nhiệm một người bảo trợ (human sponsor) chịu trách nhiệm cuối cùng.

• Giám sát thời gian thực và thực thi: Một bảng điều khiển chỉ hiển thị “tác nhân đã vi phạm phạm vi năm phút trước” là công cụ giám sát, chưa đủ để ngăn chặn vi phạm. Gravitee khuyến nghị phải có hệ thống có khả năng “stop an out‑of‑policy call before it executes” (ngăn chặn cuộc gọi vi phạm trước khi thực thi), thay vì chỉ ghi lại để xem xét sau này.
• Cần cả hai yếu tố – giám sát và thực thi: “Enterprises serious about agent accountability need both, and most have only built the first.” (Các doanh nghiệp nghiêm túc về trách nhiệm của tác nhân cần cả hai, nhưng hầu hết chỉ xây dựng yếu tố đầu tiên). Khi chỉ có giám sát, doanh nghiệp sẽ có “a filing cabinet full of perfectly documented agents operating inside a system nobody can actually explain” (một tủ hồ sơ đầy các tác nhân được ghi chép đầy đủ nhưng hệ thống không ai có thể giải thích).

Bối cảnh rộng hơn và hướng đi cho doanh nghiệp

Trong thời đại AI đang bùng nổ, nhiều công ty đang chuyển từ việc chạy các dự án thí điểm (pilot) sang triển khai thực tế (production). Tuy nhiên, “the real risk was never a single agent doing exactly what it was built to do. It's a hundred of them doing exactly that, all at once, interacting in combinations nobody designed for.” (Rủi ro thực sự không phải là một tác nhân duy nhất làm đúng chức năng, mà là hàng trăm tác nhân làm đúng chức năng đồng thời, tương tác theo những kết hợp không ai thiết kế). Khi độ phức tạp đạt tới “bức tường”, những doanh nghiệp có thể vượt qua là những tổ chức đã xây dựng được khả năng quan sát và chịu trách nhiệm toàn diện, cho phép đội quân tác nhân mở rộng mà không mất khả năng trả lời câu hỏi “hệ thống đang làm gì ngay bây giờ, và ai chịu trách nhiệm?”.

Gravitee cho rằng, không nên xem độ phức tạp là lý do để “pump the brakes” (phanh lại). Ngược lại, các doanh nghiệp thành công đang hướng tới “Human‑Agent Harmony” – một môi trường mà quy mô và trách nhiệm cùng tăng trưởng, thay vì phải đánh đổi lẫn nhau. Khi giải quyết được vấn đề phức tạp và tự chủ, AI doanh nghiệp sẽ không còn là “villain” (kẻ phản diện) mà trở thành “the whole point” (điểm cốt lõi) của chuyển đổi số.

Với tầm nhìn này, các nhà lãnh đạo công nghệ cần nhanh chóng thiết lập cơ chế danh tính, quyền hạn, giám sát thời gian thực và cơ chế ngăn chặn vi phạm cho mỗi tác nhân, đồng thời xây dựng quy trình quản trị xuyên chuỗi để tránh “permission creep” và mất trách nhiệm. Chỉ khi có cả ba yếu tố – nhận dạng, giám sát và thực thi – doanh nghiệp mới có thể khai thác tiềm năng của hàng loạt tác nhân AI mà không rơi vào bẫy “bóng tối” của độ phức tạp.