Runway 開源 Praxis-1：將生成式影片 AI 引入機器人控制領域

以 Gen-4.5 等影片生成系統聞名的 AI 研究公司 Runway，今日正式公開釋出其機器人模型 Praxis-1。該模型採用寬鬆的 Apache 2.0 授權條款，其模型權重與原始碼現已完全開放，供研究與商業用途使用。

Praxis-1 於 9 月底首次向特定合作夥伴亮相，代表著將影片生成模型與具身人工智慧（Embodied AI）相結合的嘗試，旨在將對物理世界的視覺理解轉化為精準的機器人控制。

從影片理解到物理控制

Runway 將 Praxis-1 定義為「世界行動模型」（World Action Model）。該架構並非完全從零開始學習機器人控制，而是建構在經過標準影片片段訓練的影片模型之上，藉此理解物體在空間中如何互動與移動。隨後，Runway 利用人類動作的錄影資料與特定的機器人數據對該模型進行微調。

在實際應用中，Praxis-1 能接收即時攝影機畫面串流、自然語言指令以及機器人的物理位置資料。透過這些輸入，模型可預測環境變化並計算出相應的馬達控制指令，並隨著新視覺畫面的傳入持續修正動作。此架構旨在減少構建自動化系統通常需要的大量且高成本的機器人專用數據。

機器人公司 Standard Bots、Noble Machines 與 Ultra 已在多種型態的設備上評估 Praxis-1，包含工業機器人手臂、雙臂倉儲系統以及人形機器人。

基準測試表現與真實世界測試

在發布的同時，Runway 也公布了一份研究報告，詳細說明其在模擬與真實物理環境中的內部效能基準測試結果。

在 Nvidia 的 RoboLab-120 模擬基準測試（評估 120 項分類、抓取與堆疊任務）中，Praxis-1 取得了 46.2% 的成功率。這使其超越 FLUX 3 Action（42.9%），在「世界行動模型」類別中保持領先，總排名位居第五，僅次於兩個 AI Agent 與另外兩種模型架構。Runway 指出，其基準測試結果尚未經過獨立驗證。

在 Franka 機器人手臂的實體測試中，該模型接受了 10 項任務測試（例如將香蕉放在盤子上或關上抽屜），每項任務進行 10 次嘗試。Praxis-1 在 100 次嘗試中成功完成 88 次，優於 FLUX 3 Action 的 80 次成功紀錄。將 Praxis-1 適配至 Franka 手臂需要來自公開 DROID 資料集的大約 277 小時示範資料，而雙臂配置則需要 1,400 至 2,600 小時。

Runway 還評估了 Praxis-1 適應陌生硬體的效率，使用的是最初用於 RT-1 的 Google 移動式操作器平台（mobile manipulator）資料。在利用大約 95 小時的示範資料進行微調後，Praxis-1 在包含操縱汽水罐和打開抽屜在內的 4 項模擬任務中，取得了 80% 的平均成功率，相較之下，原始 RT-1 模型僅為 52.4%。

硬體需求與當前局限

開發者可透過 GitHub 取得模型程式碼，並經由 Hugging Face 下載模型權重；Runway 在該平台上提供了基礎模型以及針對特定機器人預先適配的檢查點（checkpoints）。執行標準版本的 Praxis-1 需要配備 80 GB 顯示記憶體（VRAM）的 GPU。Runway 亦開發了壓縮版本，預計可安裝在如 RTX 5090 等 32 GB 的顯卡上，不過峰值記憶體使用量仍未經驗證。

儘管功能強大，Runway 仍強調了幾項操作上的局限。該模型可能會混淆外觀相似的物體，且在面對模糊的提示詞時表現不佳。由於 Praxis-1 目前尚無法可靠地獨立協調漫長的多步驟任務，因此複雜的工作流程必須拆解為個別的獨立步驟。

Runway 將 Praxis-1 主要定位為物理動作的高速執行引擎，並建議其未來可與負責將複雜目標拆解為可執行子任務的高階推理模型協同運作。