NVIDIA 於 CoRL 發表 GR00T 2、Isaac Lab 3.0 與代理型工具，推動精密機器人技術發展

在德州奧斯汀舉行的機器人學習大會（CoRL）上，機器人研究的重心正從基礎的移動能力轉向複雜的物理操作，例如對齊齒輪、連接電纜以及組裝精密零件。為了支援這項轉變，NVIDIA 宣布推出一套涵蓋世界動作模型、物理模擬引擎、評測基準與代理型工作流（agentic workflows）的開放技術。

在 CoRL 數千篇投稿中，有兩篇 NVIDIA 論文入圍了六項最佳論文獎決選：分別是《GRAIL》（從世界模型生成人形機器人的移動與操作）以及《RoboTTT：機器人策略的上下文擴展》，後者在不增加推論延遲的情況下，將視覺運動上下文擴展了三個數量級。

透過 GR00T 2 實現次世代自主性

為了讓機器人能夠感知環境並執行多步驟任務，NVIDIA 推出了 GR00T 2，這是一個基於 NVIDIA Cosmos 構建的開放前沿世界動作模型。該模型採用多樣化的人類與機器人數據集進行訓練，其中包括 10 萬小時的 NVIDIA 開源人類第一人稱視視角數據。

GR00T 2 展現了強大的開箱即用泛化能力，在 50 項評估任務中，有 40 項在沒有特定任務示範的情況下至少完成了一次。在每項任務僅提供一次示範的情況下，該模型的平均成功率達到 71%，若提供五次示範，成功率則攀升至 95%。它還允許在不同的機器人機型之間進行技能轉移，而無需目標機器人的示範數據。

GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 排行榜的視覺語言動作（VLA）與世界動作模型類別中名列前三。早期企業採用案例包括：

• Foxconn：將 GR00T 2 應用於伺服器製造自動化。

• Nexuni：測試該模型用於自動化衣物處理。

• Siemens：在工業自動化場景中進行評估。

• MicroAGI：利用經過強化學習後訓練的 GR00T 2 模型，在 YAM 機器人手臂上進行乙太網路線更換，並使用 Isaac Lab 3.0 與 Newton 進行環境校準。

NVIDIA 還發布了開放的「影片轉數據」（Video to Data）工作流，將人類影片素材轉換為模擬機器人訓練數據，並推出了與 Noitom Robotics 合作開發的 EgoHand 3D 運動模型，該模型在發布後的兩週內，於 Hugging Face 的下載量便突破了 4 萬次。

透過 Isaac Lab 3.0 與 Newton 實現高吞吐量模擬

在實際部署之前，大規模模擬物理互動對於安全性和吞吐量至關重要。NVIDIA 發布了開源機器人學習框架 Isaac Lab 3.0，其特點是與開源物理引擎 Newton 進行了更緊密的整合。

Newton 的整合讓 Isaac Lab 能夠精確模擬可變形材料（如布料和柔性電纜），以及多關節機器人手部等高度連動的系統。在基於視覺的靈巧操作評測中，Isaac Lab 3.0 搭配 Newton 的訓練吞吐量，最高可達 Isaac Lab 2.3 搭配 PhysX 的 2.5 倍。

多家合作夥伴宣布了基於這些模擬技術構建的整合方案：

• Skild AI：推出了 STEEL（用於體現智能學習的可擴展吞吐量優化引擎），這是一個基於 Newton 構建的剛體物理求解器，旨在加速 Isaac Lab 的訓練。

• Flexion：利用 Newton 與 Isaac Lab 訓練其 Reflect 全身操作模型。

• AlphaNIST：展示了在 NIST 組裝任務板的所有 20 項任務中訓練單一策略的高效率。透過使用由 NVIDIA 與華盛頓大學開發的成功引導採樣（Success-Guided Sampling, SGS），AlphaNIST 實現了超過 98% 的訓練成功率（相比之下，獨立任務策略的成功率為 81%），同時減少了約 39 倍的 GPU 時間消耗。

• 產業應用：FieldAI、Dyna Robotics（訓練其半人形機器人 Taku）、Walden Robotics、Dexmate（測試其 Vega 機器人）以及德州大學奧斯汀分校，正將 Isaac Sim 與 Isaac Lab 導入倉庫、製造與學術工作流中。

標準化工業評測基準與代理型工作流

在變動條件下評估機器人的可靠性，是將物理人工智慧從研究實驗室推向實際應用的關鍵。NVIDIA 預覽了 Isaac Lab-Arena 0.4 版本，這是一個開源框架，旨在透過數千個平行變體執行策略，以找出失敗案例。

基於 Isaac Lab-Arena 與 Newton，NVIDIA 詳細介紹了兩個新的開放評測基準：

• DexBench：由 RLWRLD 與 NVIDIA 共同創建，測試涵蓋零售、物流、製造與餐旅場景的 15 項靈巧任務。Genesis AI 與 mimic robotics 等合作夥伴正透過 Bifrost 的 Manifold 平台進行測試。

• VABAR：由加州大學柏克萊分校與 NVIDIA 開發的「代理型機器人變分自動化評測基準」，評估六項不同難度等級的標準化工業任務物理表現。

為了將單一機器人技能連結成可靠的多步驟程式，加州大學柏克萊分校與 NVIDIA 推出了 Graph-as-Policy (GaP) 框架。GaP 使用人工智慧代理來構建可解釋的機器人程式碼，在 Isaac 模擬環境中測試執行，並反覆修正錯誤。

「對我來說，代理型機器人技術是自 1995 年網際網路出現以來最令人興奮的技術發展，」加州大學柏克萊分校機器人學教授、VABAR 與 GaP 的首席研究員 Ken Goldberg 表示。包括 Ambi Robotics、Bosch Research 與 Siemens 在內的工業機器人公司，正積極探索將 GaP 框架用於實際部署。