Runway publica como código abierto Praxis-1 y lleva la IA generativa de video al control robótico

Runway, la compañía de investigación en IA conocida por sistemas de generación de video como Gen-4.5, ha lanzado públicamente su modelo de robótica, Praxis-1. Disponible bajo una licencia permisiva Apache 2.0, los pesos y el código fuente del modelo ya están accesibles de forma abierta tanto para investigación como para uso comercial.

Presentado por primera vez a socios selectos a finales de septiembre, Praxis-1 representa un esfuerzo por conectar los modelos de generación de video con la IA corporizada (embodied AI), transformando la comprensión visual del mundo físico en un control robótico preciso.

De la comprensión de video al control físico

Runway describe a Praxis-1 como un "Modelo de Acción del Mundo" (World Action Model). En lugar de aprender el control robótico estrictamente desde cero, la arquitectura se basa en un modelo de video entrenado con metraje de video estándar para comprender cómo interactúan y se mueven los objetos en el espacio. Luego, Runway afinó el modelo mediante grabaciones de acciones humanas y datos robóticos específicos.

En la práctica, Praxis-1 procesa fotogramas de cámara en tiempo real, instrucciones en lenguaje natural y datos de la posición física del robot. A partir de estas entradas, el modelo anticipa los cambios en el entorno y calcula los comandos motores correspondientes, perfeccionando continuamente sus acciones a medida que llegan nuevos fotogramas visuales. Este marco de trabajo busca reducir los masivos y costosos volúmenes de datos específicos de robots que suelen requerirse para construir sistemas automatizados.

Las empresas de robótica Standard Bots, Noble Machines y Ultra han estado evaluando Praxis-1 en diversos formatos, incluidos brazos robóticos industriales, sistemas de almacén de doble brazo y robots humanoides.

Rendimiento en pruebas comparativas y ensayos en el mundo real

Junto con el lanzamiento, Runway publicó un informe de investigación que detalla las pruebas de rendimiento internas tanto en entornos simulados como físicos.

En la prueba simulada RoboLab-120 de Nvidia —que evalúa 120 tareas de clasificación, agarre y apilamiento—, Praxis-1 logró una tasa de éxito del 46,2 por ciento. Esto lo sitúa por delante de FLUX 3 Action (42,9 por ciento) para liderar la categoría de Modelos de Acción del Mundo, ubicándose en el quinto lugar general detrás de dos agentes de IA y dos arquitecturas de modelos alternativas. Runway señaló que los resultados de sus pruebas aún no han sido verificados de forma independiente.

En ensayos físicos con un brazo robótico Franka, el modelo se probó en diez tareas (como colocar un plátano en un plato o cerrar un cajón), con diez intentos por tarea. Praxis-1 completó 88 de 100 intentos, superando las 80 ejecuciones exitosas de FLUX 3 Action. Adaptar Praxis-1 al brazo Franka requirió aproximadamente 277 horas de datos de demostración del conjunto de datos público DROID, mientras que las configuraciones de doble brazo requirieron entre 1.400 y 2.600 horas.

Runway también evaluó qué tan eficazmente podía adaptarse Praxis-1 a hardware no familiar utilizando datos de la plataforma manipuladora móvil de Google usada originalmente para RT-1. Tras un ajuste fino con aproximadamente 95 horas de datos de demostración, Praxis-1 alcanzó una tasa de éxito promedio del 80 por ciento en cuatro tareas simuladas —incluida la manipulación de latas de refresco y la apertura de cajones—, en comparación con el 52,4 por ciento del modelo RT-1 original.

Requisitos de hardware y limitaciones actuales

Los desarrolladores pueden acceder al código del modelo a través de GitHub y descargar los pesos mediante Hugging Face, donde Runway ofrece tanto el modelo base como puntos de control (checkpoints) preadaptados para robots específicos. Ejecutar la versión estándar de Praxis-1 requiere una GPU con 80 GB de VRAM. Runway también ha desarrollado una versión comprimida que se calcula que cabría en una tarjeta de 32 GB como la RTX 5090, aunque el uso máximo de memoria aún no se ha verificado.

A pesar de sus capacidades, Runway señaló varias limitaciones operativas. El modelo puede confundir objetos visualmente similares y tiene dificultades cuando se le entregan instrucciones (prompts) imprecisas. Debido a que Praxis-1 aún no puede coordinar de forma confiable e independiente tareas compuestas de múltiples pasos largos, los flujos de trabajo complejos deben dividirse en pasos discretos.

Runway posiciona a Praxis-1 principalmente como un motor de ejecución de alta velocidad para el movimiento físico, sugiriendo que con el tiempo podría operar junto a modelos de razonamiento de alto nivel que descompongan objetivos complejos en subtareas accionables.