NVIDIA mở rộng nền tảng Cosmos với bộ công cụ mới nhằm huấn luyện, đánh giá và triển khai mô hình thế giới

NVIDIA vừa công bố đợt mở rộng quy mô lớn cho nền tảng Cosmos, giới thiệu một bộ công cụ dành cho nhà phát triển, các checkpoint mô phỏng cùng các bản thiết kế (blueprint) chuẩn cloud-native nhằm đẩy nhanh quá trình xây dựng, đánh giá và triển khai các mô hình thế giới (world models). Được thiết kế để giúp các hệ thống AI vật lý (physical AI) hiểu và mô phỏng môi trường thực tế, nền tảng này hiện nằm trong top 5 trên sáu bảng xếp hạng mô hình mở khác nhau.

Bản cập nhật cung cấp cho các nhà phát triển công cụ để mở rộng tập dữ liệu huấn luyện đa phương thức (multimodal), tinh chỉnh và chưng cất mô hình (distill), cũng như mô phỏng các chính sách điều khiển cho robot và hệ thống tự hành trước khi triển khai vào môi trường thực tế.

Các bản thiết kế Cloud-Native phục vụ khâu chuẩn bị dữ liệu

Các mô hình thế giới phụ thuộc rất lớn vào nguồn dữ liệu đa giác quan, phong phú. Để giải quyết tình trạng khan hiếm dữ liệu và nút thắt cổ chai trong khâu tuyển chọn, NVIDIA đã nâng cấp Cosmos Curator — công cụ tuyển chọn video tăng tốc bằng GPU — nhằm hỗ trợ các luồng dữ liệu đầu vào đa phương thức và đa cảm biến.

Song song với Curator, NVIDIA cũng phát hành 5 bản thiết kế Cosmos Data Factory trên nền tảng đám mây, có thể truy cập qua GitHub, Microsoft Azure, Nebius và CoreWeave:

• Tạo tập dữ liệu cho xe tự hành (Autonomous Vehicle Dataset Generation): Tuyển chọn và gán nhãn dữ liệu lái xe thực tế, đồng thời tổng hợp các trường hợp biên (edge case) hiếm gặp.
• Tăng cường thuộc tính hình ảnh (Image Attribute Augmentation): Thay đổi các thuộc tính của vật thể để tinh chỉnh hệ thống tìm kiếm thị giác.
• Tạo video sự kiện (Event Video Generation): Biến hình ảnh tĩnh thành các chuỗi video tổng hợp mô tả các kịch bản hiếm hoặc nguy hiểm.
• Tạo hình ảnh lỗi (Defect Image Generation): Tổng hợp hình ảnh lỗi trên bo mạch in (PCB), kính và kim loại để phục vụ kiểm tra chất lượng trong công nghiệp.
• Tăng cường dữ liệu video (Video Data Augmentation): Điều chỉnh điều kiện ánh sáng và thời tiết trong các luồng video hiện có nhưng vẫn giữ nguyên cấu trúc hình học của khung cảnh.

Các đối tác công nghiệp và ô tô hiện đã bắt đầu ứng dụng những bản thiết kế này. Porsche đang xây dựng một "bánh đà dữ liệu" (data flywheel) dùng chung cho xe tự hành giữa các thương hiệu thuộc Tập đoàn Volkswagen bằng Cosmos Data Factory thông qua Voxel51 trên Microsoft Azure, với mục tiêu cắt giảm tới 90% số lượt lái thử thực tế lặp lại và rút ngắn chu kỳ phát triển tới 85%. Nhà sản xuất robot công nghiệp ANYbotics đã tạo ra hơn 1.500 đoạn video tổng hợp bằng các blueprint của Cosmos kết hợp cùng Encord để huấn luyện robot kiểm tra phát hiện sự cố tràn chất lỏng. Trong khi đó, công ty thị giác máy tính Ultralytics đã sử dụng tính năng tạo lỗi tổng hợp để huấn luyện lại mô hình YOLO, nâng cao khả năng định vị và độ nhạy (recall).

Huấn luyện, thích ứng và chưng cất mô hình

Được công bố tại sự kiện GTC Berlin, Cosmos Framework mở rộng đưa các quy trình huấn luyện và tối ưu hóa thành những kỹ năng dạng agent (agentic skills) trên Cosmos 3 và các mô hình mở tương thích. Các nhà phát triển giờ đây có thể tinh chỉnh và áp dụng học tăng cường (reinforcement learning) cho nhiều mô hình, bao gồm GR00T, Alpamayo, QWEN, Pi0.5 cùng nhiều kiến trúc khác trên Hugging Face.

Framework này hỗ trợ các kỹ thuật tối ưu hóa mô hình như lượng tử hóa (quantization) và chưng cất (distillation). Trong một dự án triển khai thực tế, phòng nghiên cứu robot MicroAGI đã hậu huấn luyện (post-train) Cosmos 3 trên các cảnh quay thao tác từ góc nhìn thứ nhất (egocentric) và chưng cất mô hình suy luận 32 tỷ tham số thành mô hình Nano 8 tỷ tham số mà không làm giảm độ chính xác. Các nhà phát triển cũng có thể gán nhãn dữ liệu và hậu huấn luyện Cosmos 3 bằng Roboflow, sau đó triển khai trực tiếp các mô hình thu được lên GPU biên tại các nhà kho và nhà máy.

Mô phỏng vòng lặp đóng và suy luận thời gian thực

Nhằm tối ưu hóa quy trình đánh giá, NVIDIA đã tung ra các checkpoint mới của mô hình Cosmos 3 Nano được thiết kế riêng cho việc mô phỏng tương tác. Các biến thể này cho phép nhà phát triển đánh giá các chính sách điều khiển vòng lặp đóng (closed-loop) đối với xe tự hành và robot thao tác bằng hai tay trong nhiều tình huống lặp lại từ nhiều góc nhìn trước khi đưa ra thế giới thực.

Đối với môi trường sản xuất (production), các vi dịch vụ Cosmos 3 NIM được cập nhật mang lại hiệu năng suy luận nhanh hơn tới 2 lần mà không suy giảm chất lượng đầu ra, cho phép phát cảnh báo dưới một giây đối với các tác vụ phân tích video liên tục.

NVIDIA cũng phát hành Metropolis Blueprint dành cho tác vụ tìm kiếm và tóm tắt video (VSS) 3.3. Nhờ sự hỗ trợ của các microservice Cosmos NIM, bản thiết kế này cho phép các nhóm kỹ thuật giám sát nhiều hơn 40% số luồng camera trên cùng một phần cứng GPU. Tập đoàn năng lượng ADNOC đã tích hợp kiến trúc này thông qua nền tảng MistIQ của Fogsphere để theo dõi các mối nguy an toàn theo thời gian thực trên 65 cơ sở vận hành, tận dụng dữ liệu tổng hợp từ Cosmos Data Factory để bao quát các tình huống nguy hiểm mà không cần dàn dựng ngoài đời thực.