Kỹ sư NVIDIA kết hợp AI agent thế hệ mới cùng Omniverse để tăng tốc mô phỏng vật lý và robot học

Để biến một ý tưởng mô phỏng ban đầu thành ứng dụng hoàn chỉnh, các kỹ sư thường phải trải qua nhiều công đoạn phức tạp: lắp ráp tài nguyên 3D, cân chỉnh thông số vật lý, xử lý quy trình render và kiểm chuẩn hành vi cảm biến so với thực tế. Mới đây, NVIDIA đã trình diễn cách các nhà phát triển tinh gọn quy trình này bằng việc kết hợp các mô hình AI tiên tiến (frontier AI) như GPT-6 Astra và Claude Fable 5 với các thư viện NVIDIA Omniverse, cho phép xây dựng, thử nghiệm và hoàn thiện các mô phỏng vật lý chỉ thông qua câu lệnh ngôn ngữ tự nhiên.

Bằng cách tích hợp AI agent với bộ công cụ Omniverse được tăng tốc bởi GPU, các kỹ sư có thể điều hướng quá trình tạo mã nguồn ứng dụng, thiết lập thông số vật lý và cập nhật bối cảnh, đồng thời liên tục đánh giá và lặp lại kết quả.

Robot hình người: Bài toán kho vận và thử thách vượt rào

Môi trường tương tác đóng vai trò then chốt trong việc đánh giá hành vi của robot trước khi triển khai trên phần cứng thực tế. Frank DeLise, Giám đốc sản phẩm Omniverse tại NVIDIA, đã sử dụng Astra để chuyển đổi mô hình nhà kho SimReady và robot hình người thành một trình mô phỏng tương tác hỗ trợ cả góc nhìn thứ nhất lẫn thứ ba. Dưới sự điều phối của DeLise, AI agent này đã tích hợp hàng loạt thư viện Omniverse—bao gồm ovphysx cho mô phỏng vật lý, ovstage để cập nhật bối cảnh, ovrtx để render và ovui cho giao diện người dùng—kết hợp cùng simready-foundation để dựng bối cảnh vật lý và sinh mã chuyển động.

Trong một dự án robot học khác mang tên Robo Olympics, Tae Kim, Trưởng bộ phận Kỹ thuật và Sản phẩm NVIDIA Omniverse, đã dẫn dắt Astra bằng các video thể thao thực tế cùng câu lệnh ngôn ngữ tự nhiên để thử nghiệm robot hình người Unitree G1 trong môi trường mô phỏng. Agent này đã cấu hình các bộ điều khiển được đánh giá qua các bài thử nghiệm vật lý chạy trên Newton Physics Engine, tăng tốc bằng framework mã nguồn mở NVIDIA Warp và render qua ovrtx. Trong thử nghiệm vượt rào, robot mô phỏng đã vượt qua thành công một chướng ngại vật trong 64 trên tổng số 100 lần thử, cung cấp dữ liệu động học và thời gian trực tiếp để tinh chỉnh các chính sách điều khiển robot.

Xe tự hành và bản sao kỹ thuật số điều hướng bằng cảm biến

Các frontier agent cũng đang đảm nhiệm toàn bộ quy trình mô phỏng khép kín (end-to-end) cho các phương tiện tự hành. Doyub Kim, Quản lý Công nghệ Mô phỏng tại NVIDIA, đã chỉ đạo Astra xây dựng "Zero to Alpamayo" — môi trường mô phỏng tái hiện đường Market Street tại San Francisco. Astra đã phân chia quy trình thành các giai đoạn cụ thể, kết nối khâu tạo tài nguyên, mô phỏng giao thông, dữ liệu cảm biến Omniverse RTX và các mô hình lái xe Alpamayo. Trong một thử nghiệm bổ trợ, Kim sử dụng Cosmos3-Nano để thay đổi các thông số thời tiết và ánh sáng trên các mô phỏng đã ghi hình, nhằm kiểm tra phản ứng của hệ thống tự hành trước các biến đổi môi trường.

Để thu hẹp khoảng cách giữa mô phỏng và thực tế (sim-to-real), Ashley Reid, chuyên gia kiểm chuẩn cảm biến RTX tại NVIDIA, đã triển khai các agent Astra và Claude Fable 5 để đánh giá sai lệch giữa dữ liệu cảm biến mô phỏng và dữ liệu thực tế. Trong quy trình lặp kéo dài ba ngày, các agent này đã đối chiếu dữ liệu LiDAR thô và camera ovrtx với các chỉ số vật lý ghi nhận thực tế để dựng mới hoàn toàn hai bản sao kỹ thuật số OpenUSD, đồng thời tinh chỉnh hai khung cảnh sẵn có thông qua việc bù đắp các khối hình học còn thiếu và điều chỉnh đặc tính vật liệu dựa trên các ngưỡng cảm biến định lượng.

Thiết kế công cụ, tái tạo không gian và viễn thám quỹ đạo

Khả năng kết hợp giữa AI agent và Omniverse còn mở rộng sang lĩnh vực thiết kế có sự hỗ trợ của máy tính (CAD) và tái tạo không gian:

• Tháo dỡ bằng robot: Jens Jebens, Giám đốc sản phẩm cấp cao về OpenUSD, đã giao nhiệm vụ cho Astra đánh giá quy trình tháo dỡ hệ thống treo trên một mô hình xe hơi bên trong PTC Onshape và NVIDIA Isaac Sim. Astra đã phân tích các hạn chế về mặt không gian và tự thiết kế một chiếc cờ lê chuyên dụng, giúp robot mô phỏng tiếp cận và vặn mở thành công bu-lông của hệ thống treo.
• Tái tạo không gian phòng: Chirag Majithia thuộc đội ngũ ứng dụng kỹ thuật Isaac đã hướng dẫn Astra chuyển đổi cảnh quay từ camera lập thể (stereo camera) thành môi trường OpenUSD có thể chỉnh sửa. Quy trình này tận dụng PyCuSFM, FoundationStereo và nvblox, kết hợp USD Content Agents cùng Isaac Sim để thiết lập động học va chạm và cơ chế vật lý tương tác cho cửa ra vào và các ngăn kéo.
• Viễn thám không gian qua trình duyệt: Nic Johns, Giám đốc Kỹ thuật tại NVIDIA, đã yêu cầu Astra tập hợp các tài nguyên từ NASA để dựng mô hình OpenUSD tương tác của Trạm Vũ trụ Quốc tế (ISS), hỗ trợ truyền phát trực tiếp qua trình duyệt web và đồng bộ với dữ liệu viễn thám thực tế. Johns tạo ra toàn bộ ứng dụng chỉ bằng một câu lệnh prompt duy nhất trước khi đưa ra lệnh tiếp theo để xoay góc nhìn về phía ban ngày của Trái Đất, kết hợp sử dụng Blender để xử lý tài nguyên cùng các thư viện Omniverse như ovstage, ovrtx và ovstream.

Những dự án này làm nổi bật một bước chuyển mình lớn trong sự phát triển của AI vật lý (physical AI): việc điều phối bằng ngôn ngữ tự nhiên thông qua các frontier agent đang trở thành cầu nối xóa nhòa ranh giới giữa các công cụ mô phỏng 3D, hệ thống CAD và các nền tảng vật lý chuyên biệt.