NVIDIA 與 Hugging Face 詳述利用 SimReady OpenUSD 資產實現 Agent 驅動的機器人模擬流程

NVIDIA 工程師 Dillon Bailey、Pomi Lee 與 Rishabh Chadha 近日在 Hugging Face 上發表一份全新技術教學，概述如何利用通過驗證的 OpenUSD 資產與人工智慧 Agent，建立端對端的物理機器人模擬流程。該工作流程在 NVIDIA Isaac Sim 6.2 中展示了飲料罐取放（pick-and-place）任務，透過自主 Agent 控制組裝 Universal Robots UR17G 機械手臂與 Robotiq 2F-140 夾爪，以操控目標物體。

該專案突顯了 SimReady 資產的重要性——這是一套標準化 3D 模型，預先配置了質量、碰撞網格（collision meshes）、運動學（kinematics）、物理關節與關節驅動等對模擬至關重要的各項參數。

藉由 SimReady Foundation 實現模擬資產標準化

在機器人領域中，視覺上的 3D 保真度並不保證能在模擬中呈現真實世界的行為。一個模型在靜態時可能看起來很精確，但物理引擎一旦啟動，便可能發生幾何穿透（clip through）、缺乏正確的質量分佈，或是遭遇關節極限配置錯誤等問題。

SimReady Foundation 框架透過為 OpenUSD 資產定義三個結構化層級來解決這個問題：

• Profiles（設定檔）： 針對特定使用情境量身打造的功能群組，例如完整的機器人本體或末端效應器（end-effector）。

• Features（功能特徵）： 具體的功能表現，包括可控制的驅動關節。

• Requirements（需求條件）： 嚴格的配置檢查機制，例如關節驅動設定。

在本次展示中，從 Hugging Face 上的開源 SimReady Central 庫下載的資產皆附有設定檔驗證憑證。UR17G 機械手臂通過了 Robot-Body 4.0.0 設定檔的檢查，而 Robotiq 2F-140 夾爪則通過了 Robot-Gripper 3.0.0 設定檔的驗證。兩份驗證記錄皆確認通過 PhysX 驅動關節測試，確保驅動配置在場景建構開始前即符合模擬器的基本要求。

AI Agent 調度與操控 Isaac Sim

團隊並未手動編寫機器人機構組裝與運動規劃的每一個步驟，而是利用前沿人工智慧模型——特別是 GPT-6 Sol——直接與 Isaac Sim 進行對接。

為了實現此互動，Isaac Sim 透過以下指令啟動遠端 Python 伺服器：./isaac-sim.sh --enable isaacsim.code_editor.python_server

具備 Isaac Sim Agent Skills 的人工智慧 Agent 向模擬器執行 Python 指令，以檢查關節極限，並將 UR17G 手臂與 Robotiq 夾爪組裝成單一可控的關節結構（articulation）。在組裝過程中，該模型運用了 isaac-sim-remote 與 usd-articulation 等技能。

當場景中包含組裝完成的機械手臂與飲料罐後，Agent 收到提示詞，要求利用基於接觸的抓取方式產生取放控制指令。執行期間，Agent 呼叫了 isaac-sim-remote、manipulaiton-ik 和 physics-simulation 技能來計算反向運動學（IK）並下達軌跡控制指令。

任務執行與模擬參數

取放流程要求機械手臂接近飲料罐、執行水平抓取、舉起物體、橫跨工作空間進行搬運，最後將其釋放至指定的目標標記點上。

作者指出幾項受控參數與模擬邊界條件：

• 抓取機制： 夾爪採用水平抓取，並將驅動力道限制在 2 N·m 上限，此數值是透過模擬測試選定，而非參考硬體原廠的指尖校準數據。

• 運動規劃： 當手臂沿著固定路徑點（waypoints）移動時，飲料罐完全仰賴接觸力與摩擦力保持穩定，過程中未引入主動重規劃或視覺輸入。

• 物理假設： 飲料罐的建模未包含液體動力學或結構形變，因此省略了真實世界中的流體運動與材質擠壓測試。

開發團隊強調，雖然 SimReady 設定檔驗證為物理資產建立了統一的基準，但在複雜的工作流程中，開發者仍必須檢查產生的程式碼並驗證接觸行為，以確保模型不會發生掉落負載或意外碰撞等錯誤。