NVIDIAの開発者、最先端AIエージェントとOmniverseを連携させてロボティクスおよび物理シミュレーションを加速

シミュレーションの初期コンセプトを完全に機能するアプリケーションへと具現化するには、通常、3Dアセットの収集や物理挙動の調整、レンダリングパイプラインの処理、実世界におけるセンサー挙動の検証などが求められる。NVIDIAは、GPT-6 AstraやClaude Fable 5といった最先端AIモデルをNVIDIA Omniverseの各種ライブラリと連携させ、自然言語プロンプトを通じて物理シミュレーションの構築・テスト・改善を行うことで、開発者がこのプロセスをいかに効率化しているかを実演した。

AIエージェントとGPUアクセラレーション対応のOmniverseツールを組み合わせることで、エンジニアはアプリケーションコードの生成、物理設定、シーンの更新を指示しながら、その結果を反復的に検証・評価している。

ヒューマノイドロボティクス：倉庫作業とハードル走の試行

実ハードウェアを配備する前にロボットの挙動を評価するうえで、インタラクティブな環境は不可欠である。NVIDIAのOmniverseプロダクトマネージャーであるFrank DeLise氏は、Astraを利用して、SimReady規格の倉庫およびヒューマノイドロボットを、一人称視点と三人称視点の両方を備えたインタラクティブなシミュレーターへと変換した。DeLise氏の指示のもと、エージェントは物理挙動を担うovphysx、シーン更新用のovstage、レンダリング用のovrtx、ユーザーインターフェース用のovuiといった複数のOmniverseライブラリを、物理シーンの構築とアニメーションコード生成を行うsimready-foundationとともに統合した。

また、「Robo Olympics」と名付けられた別のロボティクスプロジェクトにおいて、NVIDIA Omniverseのエンジニアリングおよび製品担当責任者であるTae Kim氏は、スポーツのビデオ映像と自然言語プロンプトを用いてAstraに指示を出し、シミュレーション上のUnitree G1ヒューマノイドロボットをテストした。エージェントはコントローラーを設定し、オープンソースのNVIDIA Warpフレームワークで高速化され、ovrtx経由でレンダリングされたNewton Physics Engine上の物理試行を通じてこれを評価した。あるハードル走の実験では、シミュレーション内のヒューマノイドが100回の試行中64回で単一のハードルをクリアすることに成功し、ロボットの制御ポリシーを改善するための直接的な運動学的データおよびタイミングデータを提供した。

自動運転とセンサー主導のデジタルツイン

最先端エージェントは、自動走行モビリティ向けのエンドツーエンドなシミュレーションパイプラインの管理にも活用されている。NVIDIAのシミュレーションテクノロジーマネージャーであるDoyub Kim氏は、Astraに指示を出し、サンフランシスコのマーケットストリートをモデルにしたシミュレーション環境「Zero to Alpamayo」を構築させた。Astraはワークフローを段階的にマッピングし、アセット生成、交通シミュレーション、Omniverse RTXセンサー出力、Alpamayoドライビングモデルを相互に接続した。さらに補完的な実験として、Kim氏はCosmos3-Nanoを使用して、記録されたシミュレーション全体の天候および照明パラメーターを変更し、変化する環境条件下で自律走行モデルがどのように反応するかをテストした。

シミュレーションと現実のギャップを埋めるため、NVIDIAのRTXセンサー検証スペシャリストであるAshley Reid氏は、AstraおよびClaude Fable 5のエージェントを配備し、シミュレートされたセンサーデータと実世界の入力との間の差異を評価した。3日間にわたる反復ワークフローの中で、エージェントは未加工のLiDARおよびovrtxカメラデータと記録された物理測定値を比較し、ゼロから2つのOpenUSDデジタルツインを構築するとともに既存の2つのシーンを改善、定量的なセンサーしきい値に基づいて不足しているジオメトリやマテリアル特性を調整した。

工具設計、室内キャプチャ、軌道テレメトリ

AIエージェントとOmniverseの統合は、コンピュータ支援設計（CAD）や空間再構成にも及んでいる。

• ロボットによる分解作業: OpenUSDのシニアプロダクトマネージャーであるJens Jebens氏は、PTC OnshapeおよびNVIDIA Isaac Sim内の車両モデルにおいて、サスペンションの分解を評価するようAstraに指示した。Astraは空間的制約を分析し、シミュレーション上のロボットがサスペンションコンポーネントのボルトに届いて取り外せるようにする特注のレンチを設計した。

• 室内の空間再構成: IsaacエンジニアリングアプリケーションチームのChirag Majithia氏は、ステレオカメラの映像を編集可能なOpenUSD環境に変換するようAstraに指示した。このパイプラインではPyCuSFM、FoundationStereo、nvbloxを活用し、USD Content AgentsとIsaac Simを用いて、ドアや引き出しの衝突ダイナミクスおよびインタラクティブな物理挙動を設定した。

• ブラウザベースの宇宙テレメトリ: NVIDIAのエンジニアリングディレクターであるNic Johns氏は、NASAのアセットを組み合わせて、ライブテレメトリとリンクした国際宇宙ステーションのインタラクティブなブラウザ配信型OpenUSDモデルを構築するようAstraに指示した。Johns氏は単一のプロンプトでアプリケーションを作成した後、シーンを地球の昼側に向かって回転させる追加コマンドを発行した。ここでは、アセット準備のためのBlenderとともに、Omniverseのovstage、ovrtx、ovstreamライブラリが利用された。

これらのプロジェクトは、フィジカルAI開発における進化するパラダイムを浮き彫りにしている。そこでは、最先端エージェントによる自然言語オーケストレーションが、独立した個別の3Dシミュレーションツール、CADシステム、物理フレームワークの間のギャップを橋渡ししている。