NVIDIAとHugging Face、SimReady OpenUSDアセットを活用したAIエージェント主導のロボットシミュレーションを解説

NVIDIAのエンジニアであるDillon Bailey氏、Pomi Lee氏、Rishabh Chadha氏がHugging Face上で公開した新たな技術解説において、検証済みOpenUSDアセットとAIエージェントを用いて物理ロボットシミュレーションを構築するエンドツーエンドのパイプラインが概説された。このワークフローでは、NVIDIA Isaac Sim 6.2環境下でUniversal RobotsのUR17GアームとRobotiq 2F-140グリッパーを組み立て、自律型エージェントの制御によって飲料缶を操作するピック＆プレースタスクを実証している。

本プロジェクトは、質量、コリジョンメッシュ、キネマティクス、物理ジョイント、ジョイントドライブといったシミュレーションに不可欠なパラメータが設定された標準化3Dモデル「SimReady」アセットの役割に焦点を当てている。

SimReady Foundationによるシミュレーションアセットの標準化

ロボティクス分野において、3Dモデルの視覚的な忠実度は、シミュレーション上での現実世界の挙動を保証するものではない。静止状態では正確に見えるモデルであっても、物理エンジンを作動させるとジオメトリの突き抜け（クリッピング）が発生したり、適切な質量分布を欠いていたり、ジョイントの可動域制限の設定不備に悩まされたりすることがある。

SimReady Foundationフレームワークは、OpenUSDアセットに対して以下の3つの構造化されたレベルを定義することで、この問題を解決する。

• Profiles: ロボット本体やエンドエフェクターなど、特定のユースケースに合わせて調整された機能グループ。

• Features: 制御可能なドライブジョイントなど、具体的な機能。

• Requirements: ジョイントドライブ設定など、厳格な構成チェック。

今回のデモにおいて、Hugging FaceのオープンなSimReady Centralライブラリからダウンロードされたアセットには、プロファイル検証の証跡が付与されている。UR17Gアームは「Robot-Body 4.0.0」プロファイルのチェックを通過し、Robotiq 2F-140グリッパーは「Robot-Gripper 3.0.0」プロファイルに準拠していることが確認された。両者の検証ログはいずれもPhysX駆動ジョイントテストの合格を示しており、シーン構築を開始する前に、ドライブ設定がシミュレータの基準要件を満たしていることが保証されている。

Isaac SimをオーケストレーションするAIエージェント

ロボットの機械的な組み立てや動作計画の全工程を手作業でスクリプト化する代わりに、開発チームは最先端AIモデル（具体的にはGPT-6 Sol）を採用し、Isaac Simと直接連携させた。

この連携を実現するため、Isaac Simは以下のコマンドを用いてリモートPythonサーバーを有効化した状態で起動された。 ./isaac-sim.sh --enable isaacsim.code_editor.python_server

Isaac Sim Agent Skillsを備えたAIエージェントは、シミュレータに対してPythonコマンドを実行し、ジョイントの制限値を確認したうえで、UR17GアームとRobotiqグリッパーを単一の制御可能なアーティキュレーションとして組み立てた。この組み立てプロセスにおいて、モデルはisaac-sim-remoteおよびusd-articulationスキルを活用している。

シーン内に組み立て済みのマニピュレータと飲料缶が配置されると、エージェントには接触ベースの把持を用いたピック＆プレース制御を生成するプロンプトが与えられた。実行中、エージェントはisaac-sim-remote、manipulaiton-ik、physics-simulationスキルを呼び出して逆運動学（IK）を計算し、動作軌道を指示した。

タスクの実行とシミュレーションパラメータ

このピック＆プレースの一連のシーケンスでは、アームが飲料缶に接近し、水平方向から把持して持ち上げ、ワークスペースを横断して搬送し、指定されたターゲットマーカーの上へと解放する動作が求められた。

著者らは、制御パラメータおよびシミュレーションの制約条件として以下の点を挙げている。

• 把持メカニクス： グリッパーは水平把持を採用し、駆動エフォート上限は2 N·mに制限された。この値はメーカーのハードウェア指先キャリブレーションではなく、シミュレーションテストを通じて決定された。

• モーションプランニング： アームが固定のウェイポイントを追従する間、缶は接触と摩擦によって保持されており、アクティブな再計画や視覚入力は用いられていない。

• 物理的前提条件： 缶は流体力学や構造変形を考慮せずにモデル化されており、実環境における液体の流動や素材の変形・破損テストは省略されている。

開発チームは、SimReadyプロファイル検証によって物理アセットの一貫したベースラインが確立されるものの、複雑なワークフローにおいてモデルが物体を落下させたり、予期せぬ衝突エラーを起こしたりしないよう、開発者は依然として生成コードを精査し、接触挙動を検証する必要があると強調している。