Runway、動画生成AIをロボット制御に応用する「Praxis-1」をオープンソース公開

Gen-4.5などの動画生成システムで知られるAI研究企業のRunwayは、ロボティクス向けモデル「Praxis-1」を一般公開した。寛容なApache 2.0ライセンスの下で提供されており、モデルの重みとソースコードは研究目的および商用利用の双方でオープンにアクセス可能となっている。

9月下旬に一部のパートナーへ先行公開されたPraxis-1は、動画生成モデルと身体的AI（Embodied AI）を架け橋とし、物理世界の視覚的理解を精密なロボット制御へと変換する取り組みを示している。

動画の理解から物理的制御へ

RunwayはPraxis-1を「世界行動モデル（World Action Model）」と位置づけている。このアーキテクチャは、ロボット制御を一から学習するのではなく、通常の動画映像で事前学習された動画モデルをベースに、物体が空間内でどのように相互作用し移動するかを理解する。その後、人間による行動の録画データや特定のロボットデータを用いてモデルをファインチューニングしている。

実際の運用において、Praxis-1はストリーミングカメラのフレーム、自然言語による指示、およびロボットの物理的な位置データを取り込む。これらの入力に基づき、モデルは環境の変化を予測して対応するモータコマンドを計算し、新しい視覚フレームが届くたびに連続的に行動を修正する。このフレームワークは、自動化システムの構築に通常必要とされる大量かつ高コストなロボット専用データの削減を目指している。

ロボティクス企業のStandard Bots、Noble Machines、Ultraは、産業用ロボットアーム、双腕倉庫システム、ヒューマノイドロボットなど、さまざまなフォームファクタでPraxis-1の検証を進めている。

ベンチマーク性能と実環境でのテスト

公開に合わせて、Runwayはシミュレーション環境および実環境における内部パフォーマンスベンチマークの詳細をまとめた研究レポートを発表した。

仕分け、把握、積み上げなど120のタスクを評価するNvidiaのシミュレーションベンチマーク「RoboLab-120」において、Praxis-1は46.2%の成功率を記録した。これにより、FLUX 3 Action（42.9%）を上回り世界行動モデル部門で首位に立ち、2つのAIエージェントおよび2つの別モデルアーキテクチャに続く全体5位にランクインした。なお、Runwayはこのベンチマーク結果について、第三者による独立した検証はまだ行われていないと付記している。

Frankaロボットアームを使用した実機試験では、10個のタスク（皿にバナナを載せる、引き出しを閉めるなど）についてタスクあたり10回の試行が行われた。Praxis-1は100回中88回を成功させ、FLUX 3 Actionの80回という成果を上回った。Praxis-1をFrankaアームに適応させるには、公開データセット「DROID」から約277時間のデモデータが必要であり、双腕構成では1,400〜2,600時間を要した。

さらにRunwayは、もともとRT-1で使用されていたGoogleのモバイルマニピュレータプラットフォームのデータを使用し、Praxis-1が未知のハードウェアにどれほど効果的に適応できるかを評価した。約95時間のデモデータでファインチューニングを行った結果、Praxis-1は缶の操作や引き出しを開ける動作を含む4つのシミュレーションタスク全体で平均80%の成功率を達成し、元のRT-1モデルの52.4%と比較して大幅な向上を示した。

ハードウェア要件と現在の課題

開発者はGitHubからモデルコードにアクセスでき、Hugging Faceを通じてモデルの重みをダウンロードできる。Hugging Faceでは、ベースモデルに加えて特定ロボット向けにあらかじめ最適化されたチェックポイントも提供されている。Praxis-1の標準バージョンを実行するには80GBのVRAMを搭載したGPUが必要となる。またRunwayは、RTX 5090のような32GBのカードに収まると推定される圧縮モデルも開発しているが、ピーク時のメモリ使用量は未検証だとしている。

高い能力を持つ一方で、Runwayは運用上のいくつかの制限事項を挙げている。このモデルは視覚的に似ている物体を混同することがあり、曖昧なプロンプトが与えられた場合に苦戦する傾向がある。また、Praxis-1はまだ長期にわたるマルチステップのタスクを単独で確実に組み立てることができないため、複雑なワークフローは個別のステップに分解する必要がある。

RunwayはPraxis-1を主に物理的動作のための高速実行エンジンと位置づけており、将来的には複雑な目標を実行可能なサブタスクへと分解する高レベルの推論モデルと連携して動作する可能性を示唆している。