NVIDIA phát hành "công thức" Dynamo giúp tăng tốc các mô hình AI mã nguồn mở hàng đầu của Hàn Quốc

NVIDIA vừa chính thức phát hành các "công thức" (recipe) triển khai đã được tối ưu hóa dựa trên framework NVIDIA Dynamo dành riêng cho các mô hình AI mã nguồn mở hàng đầu tại Hàn Quốc. Động thái này nhằm tinh giản quy trình triển khai thực tế (production deployment), mang lại hiệu năng suy luận (inference) ở quy mô trung tâm dữ liệu cao gấp 2 lần ngay khi áp dụng.

Tháo gỡ nút thắt cổ chai khi triển khai trên nhiều GPU

Khi các mô hình AI hiện đại ngày càng lớn, vượt quá dung lượng bộ nhớ và khả năng tính toán của một GPU đơn lẻ, các nhà phát triển buộc phải phân chia (partition) chúng trên nhiều GPU. Tuy nhiên, việc triển khai mô hình trong các môi trường đa nút (multi-node) này đòi hỏi sự phối hợp phức tạp giữa việc định tuyến yêu cầu (request routing) và giao tiếp giữa các GPU để tránh làm sụt giảm hiệu năng.

NVIDIA Dynamo là một framework phục vụ suy luận phân tán (distributed inference-serving) mã nguồn mở, được thiết kế chuyên biệt để quản lý các hệ thống triển khai đa nút ở quy mô trung tâm dữ liệu. Framework này tự động hóa việc định tuyến yêu cầu và quản lý giao tiếp nhằm tối đa hóa hiệu suất suy luận của mô hình.

Các mô hình AI mở được hỗ trợ và mức nâng cấp hiệu năng

Các bộ công thức triển khai mới được thiết kế "đo ni đóng giày" cho 4 mô hình mã nguồn mở nổi bật của Hàn Quốc:

• A.X K2 từ SK Telecom

• K-EXAONE 2.0 từ LG AI Research

• Solar Open 2 từ Upstage

• Motif-3 từ Motif Technologies

Được tối ưu hóa cho dòng GPU NVIDIA B200, các bộ công thức cấu hình sẵn này giúp loại bỏ hoàn toàn quá trình thử-sai phức tạp khi thiết lập hệ thống suy luận. Bằng cách mang lại mức tăng hiệu năng lên tới 2 lần ngay khi triển khai, NVIDIA kỳ vọng sẽ giúp các nhà phát triển doanh nghiệp nhanh chóng biến các mô hình AI mở của Hàn Quốc thành các dịch vụ "AI cho mọi người" (AI for All) sẵn sàng đi vào thực tế thương mại.