Runway, 생성형 비디오 AI의 로봇 제어 적용 지원하는 'Praxis-1' 오픈소스 공개

Gen-4.5와 같은 비디오 생성 시스템으로 잘 알려진 AI 연구 기업 Runway가 자체 로보틱스 모델인 Praxis-1을 공개했다. 허용적인 Apache 2.0 라이선스로 제공되는 이 모델의 가중치와 소스 코드는 연구 및 상업적 용도로 누구나 자유롭게 이용할 수 있다.

지난 9월 말 일부 파트너사에 먼저 공개된 Praxis-1은 비디오 생성 모델과 체화된 AI(Embodied AI)를 결합하여 물리 세계에 대한 시각적 이해를 정밀한 로봇 제어로 전환하려는 시도를 보여준다.

비디오 이해에서 물리적 제어로

Runway는 Praxis-1을 '세계 행동 모델(World Action Model)'이라고 설명한다. 이 아키텍처는 처음부터 로봇 제어를 학습하는 대신, 일반 비디오 영상으로 사전 학습하여 물체가 공간에서 어떻게 상호작용하고 이동하는지 이해하는 비디오 모델을 기반으로 구축됐다. 이후 Runway는 인간의 행동 녹화 데이터와 특정 로봇 데이터를 사용해 모델을 미세조정(파인튜닝)했다.

실제 작동 시 Praxis-1은 스트리밍 카메라 프레임, 자연어 지시, 로봇의 물리적 위치 데이터를 입력받는다. 이러한 입력을 바탕으로 모델은 환경 변화를 예측하고 그에 해당하는 모터 명령을 계산하며, 새로운 시각적 프레임이 들어올 때마다 동작을 지속적으로 다듬는다. 이 프레임워크는 자동화 시스템 구축 시 통상적으로 요구되는 막대한 양의 고비용 로봇 전용 데이터를 절감하는 것을 목표로 한다.

로보틱스 기업인 Standard Bots, Noble Machines, Ultra는 산업용 로봇 암, 듀얼 암 창고 시스템, 휴머노이드 로봇 등 다양한 폼팩터에서 Praxis-1을 평가해 왔다.

벤치마크 성능 및 실세계 테스트

모델 출시와 함께 Runway는 시뮬레이션 환경과 물리적 환경에서의 자체 성능 벤치마크를 상세히 담은 연구 보고서를 발표했다.

120가지의 분류, 파지(잡기), 적재 작업을 평가하는 Nvidia의 RoboLab-120 시뮬레이션 벤치마크에서 Praxis-1은 46.2%의 성공률을 기록했다. 이는 FLUX 3 Action(42.9%)을 앞서며 '세계 행동 모델' 범주 1위를 차지한 기록으로, 2개 AI 에이전트와 2개 대안 모델 아키텍처에 이어 전체 5위에 해당한다. Runway는 이번 벤치마크 결과가 아직 독립적인 검증을 거치지 않았다고 덧붙였다.

Franka 로봇 암을 사용한 실제 물리적 시험에서는 10가지 작업(접시 위에 바나나 올리기, 서랍 닫기 등)을 대상으로 작업당 10회씩 테스트를 진행했다. Praxis-1은 100회 시도 중 88회를 성공하여 FLUX 3 Action의 성공 횟수(80회)를 상회했다. Praxis-1을 Franka 암에 적용하는 데는 공개 DROID 데이터셋 기반의 시연 데이터 약 277시간이 필요했으며, 듀얼 암 구성에는 1,400~2,600시간이 소요됐다.

Runway는 또한 원래 RT-1에 사용되었던 Google의 모바일 매니퓰레이터 플랫폼 데이터를 활용해 Praxis-1이 생소한 하드웨어에 얼마나 효과적으로 적응할 수 있는지 평가했다. 약 95시간의 시연 데이터를 기반으로 미세조정한 후, Praxis-1은 음료수 캔 조작 및 서랍 열기를 포함한 4가지 시뮬레이션 작업에서 평균 80%의 성공률을 달성했으며, 이는 기존 RT-1 모델의 52.4%와 대비되는 성과다.

하드웨어 요구사항 및 현재 한계

개발자는 GitHub을 통해 모델 코드에 접근할 수 있으며, Hugging Face에서 모델 가중치를 다운로드할 수 있다. Hugging Face에는 Runway의 기본 모델과 특정 로봇에 맞게 사전 적응된 체크포인트가 함께 제공된다. Praxis-1 표준 버전을 실행하려면 80 GB VRAM을 갖춘 GPU가 필요하다. Runway는 RTX 5090과 같은 32 GB 카드에 탑재될 수 있을 것으로 추정되는 압축 버전도 개발했으나, 최대 메모리 사용량은 아직 검증되지 않았다.

이러한 성능에도 불구하고 Runway는 몇 가지 운영상의 한계를 명시했다. 이 모델은 시각적으로 유사한 물체를 혼동할 수 있으며, 모호한 프롬프트가 주어지면 어려움을 겪는다. 또한 Praxis-1은 아직 장기적인 다단계 작업을 독립적으로 안정적으로 조율하지 못하므로 복잡한 워크플로는 개별 단계로 세분화해야 한다.

Runway는 Praxis-1을 주로 물리적 움직임을 위한 고속 실행 엔진으로 위치시키고 있으며, 궁극적으로 복잡한 목표를 실행 가능한 하위 작업으로 분해하는 고차원 추론 모델과 함께 작동할 수 있을 것이라고 제시했다.