NVIDIA 開發者結合前沿 AI Agent 與 Omniverse，加速機器人與物理模擬應用

要將最初的模擬概念轉化為具備完整功能的應用程式，通常需要整合 3D 資產、校準物理參數、處理渲染管線，並驗證真實世界的感測器行為。NVIDIA 近日展示了開發者如何透過結合 GPT-6 Astra 與 Claude Fable 5 等前沿 AI 模型與 NVIDIA Omniverse 函式庫，藉由自然語言提示詞來建構、測試與微調物理模擬，進而大幅簡化此流程。

藉由將 AI Agent 與 GPU 加速的 Omniverse 工具相結合，工程師能夠引導應用程式碼生成、物理設定以及場景更新，同時以迭代方式持續評估模擬結果。

人形機器人：倉庫任務與跨欄測試

在實際部署硬體之前，互動式環境對於評估機器人行為至關重要。NVIDIA 的 Omniverse 產品經理 Frank DeLise 利用 Astra 將 SimReady 倉庫與人形機器人轉化為具備第一人稱與第三人稱視角的互動式模擬器。在 DeLise 的指導下，該 Agent 整合了多個 Omniverse 函式庫，包括用於物理模擬的 ovphysx、用於場景更新的 ovstage、用於渲染的 ovrtx，以及用於使用者介面的 ovui，並搭配 simready-foundation 來建構物理場景並生成動畫程式碼。

在另一個名為「Robo Olympics」的機器人專案中，NVIDIA Omniverse 工程與產品負責人 Tae Kim 透過運動賽事影片素材與自然語言提示詞引導 Astra，對模擬的 Unitree G1 人形機器人進行測試。該 Agent 配置了控制器，並透過在 Newton Physics Engine 上運行的物理測試進行評估；該引擎由開源的 NVIDIA Warp 框架加速，並透過 ovrtx 進行渲染。在其中一項跨欄實驗中，模擬的人形機器人在 100 次嘗試中有 64 次成功跨越單一欄架，提供了直接的運動學與時序數據，以進一步最佳化機器人控制策略。

自動駕駛與感測器驅動的數位雙生

前沿 Agent 也正負責管理自動駕駛的端到端模擬管線。NVIDIA 模擬技術經理 Doyub Kim 引導 Astra 建構名為「Zero to Alpamayo」的模擬環境，該環境以舊金山的市場街（Market Street）為模型。Astra 分階段規劃了工作流程，串接了資產生成、交通模擬、Omniverse RTX 感測器輸出以及 Alpamayo 駕駛模型。在另一項互補實驗中，Kim 使用 Cosmos3-Nano 調整已記錄模擬中的天氣與光照參數，測試自駕模型在多變環境條件下的反應。

為了消除模擬與現實之間的差距，NVIDIA RTX 感測器驗證專家 Ashley Reid 部署了 Astra 與 Claude Fable 5 Agent，以評估模擬感測器數據與真實世界輸入之間的差異。在為期三天的迭代工作流程中，這些 Agent 比對了原始光學雷達（LiDAR）與 ovrtx 相機數據與記錄的物理指標，從零開始建構了兩個 OpenUSD 數位雙生模型並微調了兩個現有場景，根據量化感測器閾值調整缺失的幾何形狀與材質屬性。

工具設計、空間捕捉與軌道遙測

AI Agent 與 Omniverse 的整合也進一步延伸至電腦輔助設計（CAD）與空間重建領域：

• 機器人拆卸作業： OpenUSD 資深產品經理 Jens Jebens 指示 Astra 在 PTC Onshape 與 NVIDIA Isaac Sim 中評估車輛模型的懸吊系統拆卸流程。Astra 分析了空間限制，並設計出一款客製化板手，讓模擬機器人能夠觸及並拆卸懸吊組件的螺栓。

• 空間環境重建： Isaac 工程應用團隊的 Chirag Majithia 引導 Astra 將立體相機影片素材轉換為可編輯的 OpenUSD 環境。該工作流程運用了 PyCuSFM、FoundationStereo 與 nvblox，並透過 USD Content Agents 與 Isaac Sim 為門和抽屜配置碰撞動力學與互動式物理效果。

• 瀏覽器端太空遙測： NVIDIA 工程總監 Nic Johns 指示 Astra 整合 NASA 資產，打造出與即時遙測數據串聯的國際太空站互動式 OpenUSD 模型，並可透過瀏覽器進行串流。Johns 僅憑單一提示詞就建立了該應用程式，隨後下達追加指令將場景轉向地球的白晝側；整個過程利用 Blender 進行資產準備，並結合了 Omniverse 的 ovstage、ovrtx 和 ovstream 函式庫。

這些專案彰顯了實體人工智慧（Physical AI）開發領域不斷演進的新典範——前沿 Agent 透過自然語言進行調度協作，弭平了不同 3D 模擬工具、CAD 系統與物理框架之間的鴻溝。