Nvidia ra mắt Nemotron 3.5 Super VL: Mô hình đa phương thức mã nguồn mở 120B dành cho AI Agent doanh nghiệp

Nvidia vừa tiếp tục mở rộng dải mô hình mở của mình với Nemotron 3.5 Super VL, mô hình đa phương thức (multimodal) 120 tỷ tham số được thiết kế chuyên biệt để vận hành các AI agent chạy ngầm liên tục trong môi trường doanh nghiệp. Cùng với phiên bản chủ lực này, Nvidia cũng giới thiệu hai biến thể Bolt nhỏ gọn nhằm mang khả năng xử lý AI cục bộ lên PC và các thiết bị biên (edge devices).

Được phát triển với sự hợp tác của Liên minh Nemotron (Nemotron Coalition) — bao gồm Mistral AI, Thinking Machines Lab, Perplexity và Black Forest Labs — Super VL được xây dựng trên kiến trúc Mixture-of-Experts (MoE), trong đó chỉ có 12 tỷ trên tổng số 120 tỷ tham số được kích hoạt cho mỗi token.

Thiết kế cho các quy trình phức tạp và phân tích tài liệu

Nvidia thiết kế Super VL nhằm phục vụ các agent chuyên trách, có khả năng thực thi các quy trình nghiệp vụ nhiều bước, tuân thủ các chỉ dẫn phức tạp, gọi công cụ (tool calling), cũng như xử lý văn bản, hình ảnh, tài liệu và video.

Mô hình có khả năng phân tích trực tiếp bảng biểu, biểu đồ và tệp PDF mà không cần đến một mô hình thị giác (vision model) riêng biệt. Theo Nvidia, Super VL đạt 80,8% trên benchmark CharXiv (tăng lên 84% khi kết hợp thực thi mã Python) và lọt vào nhóm các mô hình mở dẫn đầu trên OCRBench v2.

Về mặt hiệu năng, Nvidia đã chưng cất (distill) Super VL từ mô hình suy luận lớn hơn là Nemotron 3 Ultra. Super VL đạt độ chính xác tương đương Ultra dù chỉ dùng một phần năm số lượng tham số. Khi chạy trên các GPU đơn lẻ, mô hình mang lại thông lượng (throughput) cao gấp 5 lần so với các mô hình mở tương đương.

Các biến thể Bolt nhỏ gọn dành cho phần cứng cục bộ

Để hỗ trợ việc thực thi trên máy cục bộ, Nvidia đã ra mắt hai mô hình nhỏ hơn:

• Nemotron 3.5 Bolt 74B-A9B 24GB: Mô hình MoE lai (9 tỷ tham số kích hoạt trên tổng số 74 tỷ) được tối ưu hóa bằng kỹ thuật lượng tử hóa trọng số 2-bit chuyên sâu. Mô hình được thiết kế cho các máy trạm mạnh mẽ và hệ thống cục bộ như RTX Spark và DGX Spark, dù vẫn đòi hỏi phần cứng cao cấp với ít nhất 24 GB bộ nhớ.

• Bolt E4B 4GB: Biến thể nhỏ hơn dự kiến ra mắt vào cuối tháng này, hướng tới các trợ lý giọng nói tốc độ cao, nhân vật tương tác và thiết bị biên chạy trên card GeForce RTX cùng các mô-đun Jetson.

Ứng dụng trong doanh nghiệp và tối ưu hóa

Những doanh nghiệp ứng dụng sớm đang tận dụng Super VL cho các khối lượng công việc nặng về tài liệu và nhạy cảm về dữ liệu. Scale AI đã tùy biến mô hình này để xử lý tín dụng nhà cung cấp tại Skydance, Ramp dùng để chuyển ảnh chụp hóa đơn thành dữ liệu có cấu trúc, còn EY đang ứng dụng vào quy trình thẩm định mua lại doanh nghiệp (due diligence). Các công ty an ninh mạng như Alice, Dream và CrowdStrike cũng đang tinh chỉnh (fine-tuning) mô hình để phân tích lỗ hổng và phát hiện mối đe dọa.

Nhằm giảm thiểu chi phí tính toán, Nvidia đã nén Super VL bằng định dạng NVFP4 4-bit và tích hợp phần mềm suy luận Dynamo, cho phép mô hình phục vụ số lượng người dùng đồng thời gấp 8 lần, đồng thời cắt giảm tới 85% thời gian tạo token đầu tiên (time-to-first-token) nhờ cơ chế context caching và speculative drafting.

Mở rộng khả năng tiếp cận trọng số mở

Đi ngược lại tiền lệ thông thường trong ngành, Nvidia không chỉ công bố trọng số mô hình (hiện đã có trên Hugging Face ở các phiên bản base, post-trained và bản nén 4-bit), mà còn chia sẻ cả quy trình huấn luyện (training recipes), môi trường học tăng cường (reinforcement learning), cùng bộ dữ liệu pre-training và post-training quy mô lớn. Trong đó bao gồm một tập dữ liệu ngôn ngữ Ấn Độ với 2,83 nghìn tỷ token trên 22 ngôn ngữ bản địa, được phát triển cùng Viện Công nghệ Ấn Độ Madras (IIT Madras) và AI4Bharat.