Intel công bố năm bài học thiết yếu khi triển khai AI agents trong doanh nghiệp

Từ chatbot thông minh đến quy trình tự động hóa

Tương lai của trí tuệ nhân tạo trong doanh nghiệp sẽ vượt xa những chatbot thông minh hơn. Đó là những AI agents có khả năng thực hiện các tác vụ kinh doanh phức tạp từ đầu đến cuối, kết nối liền mạch giữa con người, quy trình làm việc, dữ liệu và hệ thống. Để tìm hiểu sâu về những điều kiện cần thiết cho AI agents hoạt động hiệu quả, Intel vừa hoàn thành hàng ngàn thí nghiệm đánh giá hiệu suất của agentic AI workloads. Các phát hiện ban đầu từ những thí nghiệm này dẫn đến năm bài học thực tế dành cho lãnh đạo doanh nghiệp muốn triển khai công nghệ này một cách hiệu quả và đo lường được.

Agentic AI: vấn đề về toàn bộ hệ thống

Phát hiện đầu tiên và quan trọng nhất là agentic AI không phải chỉ một vấn đề về suy luận mô hình (inference). Hầu hết các triển khai agentic AI hiện tại bị giới hạn ở việc chỉ đánh giá hiệu suất của mô hình ngôn ngữ, không đo lường được hiệu suất tổng thể của toàn bộ hệ thống. Để khắc phục điều này, Intel mở rộng Terminal-Bench, một công cụ benchmark mã nguồn mở, bổ sung thêm các khả năng về profiling, telemetry và replay. Họ sử dụng kỹ thuật ghi lại và tái tạo lại các phản hồi từ mô hình ngôn ngữ một cách xác định, cho phép tách biệt rõ ràng hiệu suất agent khỏi biến động của LLM.

Các thí nghiệm của Intel bao gồm một loạt các tác vụ đa dạng—biên dịch code, kiểm tra hồi quy, truy vấn cơ sở dữ liệu, logic Boolean, xử lý video, nén dữ liệu, đại số tuyến tính, ray tracing, và huấn luyện máy học—để đảm bảo tính liên quan cao với môi trường doanh nghiệp thực tế.

Từ dữ liệu này, Intel xác định sáu chỉ số hiệu suất quan trọng mà các nhà vận hành AI agents cần theo dõi liên tục: tỷ lệ thành công tác vụ, chi phí trên mỗi tác vụ, thời gian hoàn thành tác vụ, khối lượng tác vụ xử lý (throughput), mật độ agent (số agents trên mỗi vCPU), và độ trễ thực thi. Những chỉ số này trả lời những câu hỏi mà lãnh đạo doanh nghiệp thực sự quan tâm: hệ thống có hoạt động đúng như dự kiến không? Hệ thống có thể hỗ trợ bao nhiêu agents cùng lúc? Và cần phải scaling như thế nào để mở rộng?

Ba khía cạnh quan trọng khi triển khai agentic AI

Tiếp theo là ba khía cạnh quan trọng trong việc triển khai agentic AI. Thứ nhất, quy hoạch theo mật độ agent, không phải số lượng agent tuyệt đối. Mật độ agent (agents per vCPU) là yếu tố chính xác định mức bão hoà của hệ thống. Ví dụ, 10 agents trên hệ thống 8 vCPU và 20 agents trên 16 vCPU sẽ hoạt động tương tự nếu mật độ giống nhau. Điều này giúp kiến trúc sư có phương pháp linh hoạt để so sánh khả năng chịu tải trên các cỡ instance khác nhau và các thế hệ bộ xử lý khác nhau. Mật độ phù hợp cũng phụ thuộc vào mục tiêu kinh doanh: copilots tương tác và trợ lý dành cho người dùng nên chạy ở mật độ thấp vì thời gian phản hồi quan trọng, trong khi các khối lượng công việc batch như các quy trình IT có thể chạy ở mật độ cao hơn.

Thứ hai, agentic AI cần một khả năng quan sát (observability) hoàn toàn mới. Theo dõi độ sử dụng CPU trung bình là một chỉ số yếu kém cho agentic workloads. Các agents thường xuyên chuyển đổi giữa chờ phản hồi từ mô hình và các burst ngắn tính toán nặng. Vì tính chất bùng nổ (bursty) này, độ sử dụng trung bình có thể trông chấp nhận được nhưng thực tế các burst đang tạo ra hàng chờ và làm chậm trải nghiệm người dùng. Độ trễ tác vụ (P95 latency) là chỉ số tốt hơn nhiều, cho thấy khi nào workflow bắt đầu bị chờ ngay cả trước khi thời gian tác vụ trung bình xấu đi.

Thứ ba, mặc định sử dụng scale-out (thêm nhiều hệ thống) thay vì scale-up (tăng core hoặc memory cho một hệ thống). Dữ liệu kiểm tra của Intel cho thấy scale-out thường là lựa chọn tốt hơn, vì nó tăng tổng khả năng chịu tải agent, cải thiện hiệu suất tổng thể, hỗ trợ tính sẵn sàng cao (high availability), thường giảm chi phí, và dễ dàng hơn trong việc giữ nguyên tỷ lệ agents-per-vCPU khi hệ thống lớn lên. Scale-up chỉ cần thiết khi agents yêu cầu tính toán song song nặng nề, ràng buộc về trạng thái chia sẻ, hay các ràng buộc về licensing.

Những tổ chức thực tế hiện tại

Những tổ chức đang đạt kết quả sản xuất thực tế với agentic AI là những nơi triển khai lớp tự động hóa xung quanh các quy trình làm việc đã được quy chuẩn hóa và có các mục tiêu dịch vụ rõ ràng: tạo mã, cơ sở kiểm tra hồi quy, phân loại ticket, phân tích thị trường và đánh giá bảo mật. Đối tượng lý tưởng trong doanh nghiệp cho agentic AI không phải là người dùng thử nghiệm đuổi theo những điều mới lạ, mà là những lãnh đạo chịu trách nhiệm phải cải thiện thời gian chu kỳ, tăng năng suất, bảo vệ chất lượng dịch vụ, thực thi chính sách, và mở rộng áp dụng với chi phí được kiểm soát. Giá trị thực sự của agentic AI đến từ việc giúp doanh nghiệp hoàn thành công việc thực tế trên các nhóm, hệ thống, dữ liệu và quy trình, trong khi vẫn tuân thủ các yêu cầu quản trị và có khả năng mở rộng theo nhu cầu.