NVIDIA và Hugging Face hé lộ quy trình mô phỏng robot bằng AI Agent kết hợp tài nguyên SimReady OpenUSD

Trong bài hướng dẫn kỹ thuật mới xuất bản trên Hugging Face, các kỹ sư NVIDIA gồm Dillon Bailey, Pomi Lee và Rishabh Chadha đã phác thảo một quy trình toàn diện (end-to-end) nhằm xây dựng các mô phỏng robot vật lý sử dụng tài nguyên OpenUSD đã qua kiểm định cùng các AI Agent. Quy trình này minh họa tác vụ gắp và đặt một lon nước giải khát bên trong môi trường NVIDIA Isaac Sim 6.2, tự động lắp ráp cánh tay robot Universal Robots UR17G cùng đầu gắp Robotiq 2F-140 để thao tác với vật thể dưới sự điều khiển tự động của Agent.

Dự án nhấn mạnh vai trò của các tài nguyên SimReady — những mô hình 3D chuẩn hóa được cấu hình sẵn các thông số quan trọng cho mô phỏng như khối lượng, lưới va chạm (collision meshes), động học, khớp vật lý và bộ truyền động khớp (joint drives).

Chuẩn hóa tài nguyên mô phỏng với SimReady Foundation

Trong ngành robot, độ chính xác về mặt hình ảnh 3D không đồng nghĩa với việc mô phỏng sẽ hoạt động đúng như ngoài đời thực. Một mô hình có thể trông rất chuẩn xác khi đứng yên, nhưng lại bị xuyên qua vật thể (clip geometry), phân bổ khối lượng sai lệch hoặc bị lỗi giới hạn khớp ngay khi công cụ mô phỏng vật lý (physics engine) được kích hoạt.

Khung chuẩn SimReady Foundation giải quyết triệt để vấn đề này bằng cách định nghĩa ba cấp độ cấu trúc cho các tài nguyên OpenUSD:

• Profiles (Hồ sơ): Nhóm tính năng được tùy biến cho các trường hợp sử dụng cụ thể, chẳng hạn như toàn bộ thân robot hoặc bộ gắp (end-effector).
• Features (Tính năng): Các khả năng chức năng cụ thể, bao gồm các khớp truyền động có thể điều khiển.
• Requirements (Yêu cầu): Các bước kiểm tra cấu hình nghiêm ngặt, như cài đặt bộ truyền động khớp.

Trong bài thử nghiệm, các tài nguyên được tải về từ thư viện mở SimReady Central trên Hugging Face đều đi kèm chứng nhận kiểm định hồ sơ. Cánh tay UR17G đã vượt qua các bài kiểm tra theo hồ sơ Robot-Body 4.0.0, trong khi đầu gắp Robotiq 2F-140 đạt chuẩn hồ sơ Robot-Gripper 3.0.0. Nhật ký kiểm định của cả hai đều xác nhận đã vượt qua bài kiểm tra khớp truyền động PhysX, đảm bảo cấu hình truyền động đáp ứng đúng yêu cầu tiêu chuẩn của trình mô phỏng trước khi bắt đầu dựng cảnh.

AI Agent điều phối Isaac Sim

Thay vì phải viết kịch bản thủ công cho từng bước lắp ráp cơ khí và lập kế hoạch chuyển động của robot, nhóm nghiên cứu đã sử dụng một mô hình AI tiên phong — cụ thể là GPT-6 Sol — để tương tác trực tiếp với Isaac Sim.

Để kích hoạt khả năng tương tác, Isaac Sim được khởi chạy cùng một máy chủ Python từ xa thông qua lệnh: ./isaac-sim.sh --enable isaacsim.code_editor.python_server

Được trang bị bộ kỹ năng Isaac Sim Agent Skills, Agent AI đã thực thi các câu lệnh Python trên trình mô phỏng để kiểm tra giới hạn khớp, đồng thời lắp ráp cánh tay UR17G và đầu gắp Robotiq thành một cấu trúc liên kết khớp (articulation) duy nhất có thể điều khiển được. Trong quá trình lắp ráp, mô hình đã khai thác các kỹ năng isaac-sim-remote và usd-articulation.

Khi khung cảnh đã có đầy đủ hệ thống robot hoàn chỉnh và lon nước giải khát, Agent nhận lệnh tạo các lệnh điều khiển gắp-đặt dựa trên cơ chế gắp tiếp xúc. Trong suốt quá trình thực thi, Agent đã gọi các kỹ năng isaac-sim-remote, manipulaiton-ik và physics-simulation để tính toán động học ngược (inverse kinematics) và ra lệnh cho quỹ đạo chuyển động.

Thực thi tác vụ và các thông số mô phỏng

Chuỗi thao tác gắp-đặt yêu cầu cánh tay robot tiếp cận lon nước giải khát, thực hiện cú gắp theo chiều ngang, nâng vật thể lên, di chuyển qua không gian làm việc và thả xuống đúng điểm mốc đã định.

Các tác giả ghi nhận một số thông số được kiểm soát và giới hạn phạm vi mô phỏng bao gồm:

• Cơ chế gắp (Grasp Mechanics): Đầu gắp thực hiện cú gắp ngang với giới hạn lực truyền động được khống chế ở mức 2 N·m. Con số này được lựa chọn qua các bài thử nghiệm mô phỏng thay vì hiệu chỉnh thực tế trên đầu ngón tay của thiết bị phần cứng.
• Lập kế hoạch chuyển động (Motion Planning): Đầu gắp giữ lon nước nhờ lực tiếp xúc và ma sát khi cánh tay di chuyển theo các điểm mốc (waypoints) cố định mà không cần lập lại kế hoạch chuyển động theo thời gian thực hay dữ liệu từ thị giác máy tính.
• Giả định vật lý (Physics Assumptions): Lon nước được mô hình hóa mà bỏ qua động lực học chất lỏng bên trong cũng như độ biến dạng cấu trúc, tức là chưa tính đến chuyển động của chất lỏng thực tế hay bài kiểm tra biến dạng vật liệu.

Các nhà phát triển nhấn mạnh rằng, mặc dù việc kiểm định hồ sơ SimReady giúp tạo ra một quy chuẩn nền tảng đồng nhất cho tài nguyên vật lý, các lập trình viên vẫn cần kiểm tra lại mã nguồn do AI tạo ra và xác minh hành vi tiếp xúc thực tế. Điều này giúp đảm bảo robot không làm rơi vật thể hoặc gặp phải các lỗi va chạm bất ngờ trong những quy trình làm việc phức tạp.