NVIDIA apresenta GR00T 2, Isaac Lab 3.0 e ferramentas agênticas na CoRL para impulsionar a robótica de precisão

Na Conference on Robot Learning (CoRL) em Austin, Texas, a pesquisa em robótica está mudando seu foco de locomoção básica para manipulação física complexa, como alinhar engrenagens, conectar cabos e montar componentes delicados. Para apoiar essa transição, a NVIDIA anunciou um conjunto de tecnologias abertas que englobam modelos de ação do mundo, motores de simulação física, benchmarks e fluxos de trabalho agênticos.

Dois artigos da NVIDIA foram selecionados entre os seis finalistas — de milhares de submissões — para o Best Paper Awards da CoRL: GRAIL (Generating Humanoid Loco-Manipulation from World Models) e RoboTTT: Context Scaling for Robot Policies, que escala o contexto visuomotor em três ordens de grandeza sem aumentar a latência de inferência.

Autonomia de última geração com o GR00T 2

Para permitir que os robôs percebam ambientes e executem tarefas de múltiplas etapas, a NVIDIA apresentou o GR00T 2, um modelo aberto de ação do mundo na fronteira tecnológica construído sobre o NVIDIA Cosmos. O modelo foi treinado com diversos conjuntos de dados de humanos e robôs, incluindo 100.000 horas de dados egocêntricos humanos de código aberto da NVIDIA.

O GR00T 2 demonstra fortes capacidades de generalização de forma nativa, concluindo 40 das 50 tarefas avaliadas pelo menos uma vez sem demonstrações específicas para a tarefa. Com uma única demonstração por tarefa, o modelo atingiu uma taxa média de sucesso de 71%, que subiu para 95% com cinco demonstrações. Ele também permite a transferência de habilidades entre diferentes formatos de corpo de robôs sem a necessidade de demonstrações no robô de destino.

O GR00T 2 atualmente figura entre os três principais modelos nas categorias de visão-linguagem-ação e modelos de ação do mundo nas tabelas de classificação (leaderboards) do RoboCasa365, RoboLab, RoboDojo e MolmoSpaces. A adoção empresarial inicial inclui:

• Foxconn: Aplicando o GR00T 2 na automação da fabricação de servidores.

• Nexuni: Testando o modelo para o manuseio automatizado de roupas.

• Siemens: Avaliando o modelo em cenários de automação industrial.

• MicroAGI: Utilizando um modelo GR00T 2 pós-treinado por aprendizado por reforço para a troca de cabos Ethernet em um braço robótico YAM, usando o Isaac Lab 3.0 e o Newton para calibração do ambiente.

A NVIDIA também lançou o fluxo de trabalho aberto Video to Data para transformar filmagens de vídeos humanos em dados simulados de treinamento para robôs, além do modelo de movimento EgoHand 3D — desenvolvido com dados da Noitom Robotics —, que ultrapassou 40.000 downloads no Hugging Face em duas semanas após o lançamento.

Simulação de alto rendimento via Isaac Lab 3.0 e Newton

Simular interações físicas em escala continua sendo crítico para a segurança e a produtividade antes da implantação no mundo real. A NVIDIA lançou o Isaac Lab 3.0, seu framework de aprendizado de robôs de código aberto, apresentando uma integração mais estreita com o Newton, um motor de física open-source.

A integração com o Newton permite que o Isaac Lab modele com precisão materiais deformáveis — como tecidos e cabos flexíveis —, bem como sistemas altamente articulados, como mãos robóticas com múltiplas articulações. Em benchmarks de manipulação destreza baseada em visão, o Isaac Lab 3.0 combinado com o Newton ofereceu até 2,5 vezes o rendimento de treinamento do Isaac Lab 2.3 com PhysX.

Diversos parceiros anunciaram integrações construídas sobre essas tecnologias de simulação:

• Skild AI: Apresentou o STEEL (Scalable Throughput-optimized Engine for Embodied Learning), um solucionador de física de corpos rígidos construído sobre o Newton para acelerar o treinamento do Isaac Lab.

• Flexion: Utilizou o Newton e o Isaac Lab para treinar seu modelo de manipulação de corpo inteiro Reflect.

• AlphaNIST: Demonstrou alta eficiência ao treinar uma única política em todas as 20 tarefas do NIST Assembly Task Board. Usando a amostragem guiada por sucesso (Success-Guided Sampling ou SGS) — desenvolvida pela NVIDIA e pela Universidade de Washington —, o AlphaNIST atingiu mais de 98% de sucesso no treinamento (em comparação com 81% para políticas de tarefas separadas), consumindo aproximadamente 39 vezes menos tempo de GPU.

• Aplicações industriais: FieldAI, Dyna Robotics (treinando seu robô semi-humanoide Taku), Walden Robotics, Dexmate (testando seu robô Vega) e a Universidade do Texas em Austin estão adotando o Isaac Sim e o Isaac Lab em fluxos de trabalho acadêmicos, de manufatura e de armazéns.

Benchmarks industriais padronizados e fluxos de trabalho agênticos

Avaliar a confiabilidade dos robôs sob condições variáveis é essencial para levar a IA física além dos laboratórios de pesquisa. A NVIDIA apresentou uma prévia da versão 0.4 do Isaac Lab-Arena, um framework de código aberto projetado para executar políticas em milhares de variações paralelas para isolar casos de falha.

Construídos sobre o Isaac Lab-Arena e o Newton, dois novos benchmarks abertos foram detalhados:

• DexBench: Criado pela RLWRLD e NVIDIA, o DexBench testa 15 tarefas de manipulação precisa em cenários de varejo, logística, manufatura e hospitalidade. Parceiros como Genesis AI e mimic robotics estão testando a ferramenta por meio da plataforma Manifold da Bifrost.

• VABAR: Desenvolvido pela UC Berkeley e NVIDIA, o Variational Automation Benchmark for Agentic Robotics avalia o desempenho físico em seis tarefas industriais padronizadas com diferentes níveis de dificuldade.

Para conectar habilidades robóticas individuais em programas confiáveis de múltiplas etapas, a UC Berkeley e a NVIDIA apresentaram o framework Graph-as-Policy (GaP). O GaP utiliza agentes de IA para construir código robótico interpretável, testar a execução na simulação do Isaac e resolver erros de forma iterativa.

"Para mim, a robótica agêntica é o desenvolvimento tecnológico mais empolgante desde a internet em 1995", disse Ken Goldberg, professor de robótica na UC Berkeley e um dos principais pesquisadores do VABAR e do GaP. Empresas de robótica industrial, incluindo Ambi Robotics, Bosch Research e Siemens, estão explorando ativamente o framework GaP para implantação no mundo real.