Runway lança Praxis-1 em código aberto, levando IA gerativa de vídeo para o controle de robôs

A Runway, empresa de pesquisa em IA conhecida por sistemas de geração de vídeo como o Gen-4.5, lançou publicamente seu modelo de robótica, o Praxis-1. Disponível sob uma licença permissiva Apache 2.0, os pesos e o código-fonte do modelo agora estão abertos e acessíveis tanto para pesquisa quanto para uso comercial.

Apresentado pela primeira vez a parceiros selecionados no final de setembro, o Praxis-1 representa um esforço para conectar modelos de geração de vídeo à IA incorporada, transformando a compreensão visual do mundo físico em um controle robótico preciso.

Da compreensão de vídeo ao controle físico

A Runway descreve o Praxis-1 como um "World Action Model" (Modelo de Ação do Mundo). Em vez de aprender o controle robótico estritamente do zero, a arquitetura se baseia em um modelo de vídeo treinado com gravações de vídeo convencionais para entender como os objetos interagem e se movem no espaço. Em seguida, a Runway fez o ajuste fino do modelo usando gravações de ações humanas e dados robóticos específicos.

Na prática, o Praxis-1 processa quadros de vídeo em tempo real, instruções em linguagem natural e dados da posição física do robô. Usando essas entradas, o modelo antecipa mudanças no ambiente e calcula os comandos motores correspondentes, refinando continuamente suas ações à medida que novos quadros visuais chegam. Essa estrutura visa reduzir os volumes massivos de dados dispendiosos e específicos de robôs, normalmente necessários para construir sistemas automatizados.

As empresas de robótica Standard Bots, Noble Machines e Ultra vêm avaliando o Praxis-1 em diversos formatos, incluindo braços robóticos industriais, sistemas de braço duplo para armazéns e robôs humanoides.

Desempenho em benchmarks e testes no mundo real

Junto ao lançamento, a Runway publicou um relatório de pesquisa detalhando benchmarks internos de desempenho em ambientes simulados e físicos.

No benchmark simulado RoboLab-120 da Nvidia — que avalia 120 tarefas de classificação, preensão e empilhamento —, o Praxis-1 atingiu uma taxa de sucesso de 46,2%. Isso o coloca à frente do FLUX 3 Action (42,9%) na liderança da categoria World Action Model, ocupando a quinta posição geral, atrás de dois agentes de IA e duas arquiteturas de modelos alternativas. A Runway ressaltou que seus resultados de benchmark ainda não foram verificados de forma independente.

Em testes físicos com um braço robótico Franka, o modelo foi testado em dez tarefas (como colocar uma banana em um prato ou fechar uma gaveta), com dez tentativas por tarefa. O Praxis-1 concluiu 88 de 100 tentativas, superando as 80 execuções bem-sucedidas do FLUX 3 Action. A adaptação do Praxis-1 ao braço Franka exigiu aproximadamente 277 horas de dados de demonstração do conjunto de dados público DROID, enquanto configurações de braço duplo exigiram entre 1.400 e 2.600 horas.

A Runway também avaliou a eficácia do Praxis-1 em se adaptar a hardwares não familiarizados usando dados da plataforma manipuladora móvel da Google usada originalmente para o RT-1. Após o ajuste fino com cerca de 95 horas de dados de demonstração, o Praxis-1 alcançou uma taxa média de sucesso de 80% em quatro tarefas simuladas — incluindo a manipulação de latas de refrigerante e a abertura de gavetas —, em comparação com os 52,4% do modelo RT-1 original.

Requisitos de hardware e limitações atuais

Desenvolvedores podem acessar o código do modelo via GitHub e baixar os pesos através do Hugging Face, onde a Runway disponibiliza tanto o modelo base quanto checkpoints pré-adaptados para robôs específicos. Executar a versão padrão do Praxis-1 exige uma GPU com 80 GB de VRAM. A Runway também desenvolveu uma versão comprimida estimada para caber em uma placa de 32 GB, como a RTX 5090, embora o pico de uso de memória ainda não tenha sido verificado.

Apesar de suas capacidades, a Runway destacou várias limitações operacionais. O modelo pode confundir objetos visualmente semelhantes e apresenta dificuldades quando recebe prompts vagos. Como o Praxis-1 ainda não consegue orquestrar com confiabilidade tarefas longas e de várias etapas de forma independente, fluxos de trabalho complexos precisam ser divididos em etapas discretas.

A Runway posiciona o Praxis-1 principalmente como um motor de execução de alta velocidade para movimento físico, sugerindo que ele poderá eventualmente operar ao lado de modelos de raciocínio de alto nível que decompõem objetivos complexos em subtarefas acionáveis.