NVIDIA đóng góp OpenShift cho CNCF, công bố hạ tầng Kubernetes mã nguồn mở cho các "nhà máy AI"

Tại hội nghị KubeCon + CloudNativeCon, NVIDIA vừa công bố bước mở rộng quy mô lớn cho các đóng góp mã nguồn mở của hãng, nhằm tăng cường bảo mật cho các AI agent tự động và mở rộng quy mô hạ tầng AI doanh nghiệp trên nền tảng Kubernetes.

Khi các "nhà máy AI" (AI factory) ngày càng phụ thuộc vào Kubernetes để điều phối các cụm GPU khổng lồ, việc quản lý bảo mật cho agent, vòng đời khối lượng công việc (workload lifecycle) và thời gian phục vụ mô hình (model serving time) đã trở thành điểm nghẽn vận hành then chốt. Nhằm giải quyết bài toán này, gã khổng lồ ngành chip đang chuyển giao quyền quản trị các bộ công cụ agent quan trọng cho cộng đồng, đồng thời giới thiệu thêm các phần mềm mã nguồn mở để tăng tốc triển khai hạ tầng GPU.

Bảo mật AI agent với OpenShift và CNCF

NVIDIA đang đóng góp NVIDIA OpenShift cho Cloud Native Computing Foundation (CNCF), tổ chức phi lợi nhuận trực thuộc Linux Foundation. Được tiếp nhận dưới dạng dự án CNCF Sandbox, OpenShift cung cấp một runtime mã nguồn mở được thiết kế để bảo mật, giám sát và quản trị các agent tự động.

OpenShift cho phép các đội ngũ doanh nghiệp áp dụng các biện pháp kiểm soát xác định (deterministic controls) đối với hành vi của agent khi chúng truy cập vào các điểm cuối suy luận (inference endpoints), thực thi tác vụ và sử dụng các công cụ của bên thứ ba. Kiến trúc dạng mô-đun của giải pháp này có thể kết nối linh hoạt với hạ tầng tính toán phụ trợ (compute backends), kho lưu trữ thông tin xác thực, bộ công cụ giám sát và các nhà cung cấp dịch vụ suy luận của doanh nghiệp. Theo NVIDIA, đã có hàng trăm tổ chức ứng dụng OpenShift, giúp dự án thu hút hàng chục nghìn lượt đóng góp chỉ trong vòng một năm kể từ khi ra mắt.

Jim Zemlin, CEO của Linux Foundation, nhấn mạnh rằng việc bảo vệ các agent tự động đang trở thành thách thức mang tính bước ngoặt đối với hạ tầng đám mây. Ông cho biết việc đưa OpenShift vào CNCF sẽ bảo đảm một nền tảng cộng đồng chung để cùng định hình các tiêu chuẩn bảo mật cho agent trong tương lai.

Bắt tay cùng Google phát triển Agent Substrate

Bên cạnh OpenShift, NVIDIA cũng đang tích cực đóng góp cho Agent Substrate — một framework mã nguồn mở do Google khởi xướng và đã được chấp thuận vào CNCF Sandbox. Được thiết kế để vận hành các tác vụ agent chạy dài hạn ở quy mô lớn, Agent Substrate cho phép hệ thống tạm dừng (suspend) và tiếp tục (resume) môi trường thực thi của agent trên các tài nguyên dùng chung, qua đó giải phóng năng lực tính toán GPU trong thời gian nhàn rỗi mà không làm gián đoạn các phiên làm việc đang diễn ra.

NVIDIA đang tích hợp Agent Substrate với nền tảng suy luận NIM và bộ điều phối KAI Scheduler nhằm quản lý tài nguyên cụm dùng chung. Hơn nữa, NVIDIA và Google cũng đang hợp tác trực tiếp để tích hợp OpenShift với Agent Substrate, cho phép các nhà phát triển áp dụng các chính sách bảo mật và quản lý quá trình thực thi của agent một cách liền mạch trên các môi trường đám mây lai (hybrid cloud) và đa đám mây (multi-cloud).

Tăng tốc các nhà máy AI chạy GPU với NVKE và Snapshot

Để hỗ trợ các tổ chức xây dựng hạ tầng nhà máy AI được quản lý toàn diện, NVIDIA đã công bố ba thành phần mã nguồn mở mới nhằm mở rộng nền tảng NVIDIA DGX AI Factory Platform:

• NVIDIA Kubernetes Engine (NVKE) và NVIDIA Kubernetes Recipes (NVKR): Hiện đã có bản xem trước công khai (public preview). Các dự án này cung cấp khả năng tự động hóa quản lý vòng đời cụm và các image đã được ký xác thực, cố định phiên bản (version-pinned) nhằm quản lý hạ tầng GPU trên Kubernetes. Các đối tác trong hệ sinh thái bao gồm Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud, vCluster, Firmus và SK Telecom đang tích hợp NVKE và NVKR vào ngăn xếp hạ tầng của họ.

• NVIDIA Snapshot: Thành phần mô-đun mã nguồn mở được phát triển để giải quyết độ trễ khi mở rộng quy mô các cụm suy luận từ mức 0 (scale from zero). Thay vì buộc các node phải nạp lại trọng số mô hình (model weights) và trải qua quá trình làm nóng (warm-up) kéo dài, Snapshot khôi phục các bản sao lưu trạng thái (checkpointed replicas) chỉ trong vài giây.

Các đánh giá thử nghiệm ban đầu cho thấy tốc độ được cải thiện vượt bậc trên các hệ thống NVIDIA HGX B300. Nhà đóng góp thượng nguồn Crusoe đã thử nghiệm mô hình Llama-3 trên Crusoe Cloud và rút ngắn thời gian sẵn sàng phục vụ từ khoảng 8 phút xuống còn 31 giây. Tương tự, nền tảng Saturn Cloud đã đo kiểm hiệu năng suy luận scale-from-zero bằng vLLM, giúp hạ thời gian khởi động từ mức 2–8,5 phút xuống chỉ còn từ 6 đến 34 giây.