NVIDIA presenta GR00T 2, Isaac Lab 3.0 y herramientas basadas en agentes en la CoRL para impulsar la robótica de precisión

En la Conference on Robot Learning (CoRL) en Austin, Texas, la investigación en robótica está desplazando su enfoque de la locomoción básica a la manipulación física compleja, como alinear engranajes, conectar cables y ensamblar componentes delicados. Para respaldar esta transición, NVIDIA anunció un conjunto de tecnologías abiertas que abarcan modelos de acción del mundo (world action models), motores de simulación física, referentes de evaluación (benchmarks) y flujos de trabajo basados en agentes (agentic workflows).

Dos artículos académicos de NVIDIA fueron seleccionados entre seis finalistas de miles de propuestas presentadas para los premios al Mejor Artículo (Best Paper Awards) en la CoRL: GRAIL (Generating Humanoid Loco-Manipulation from World Models) y RoboTTT: Context Scaling for Robot Policies, que escala el contexto visuomotor en tres órdenes de magnitud sin aumentar la latencia de inferencia.

Autonomía de última generación con GR00T 2

Para permitir que los robots perciban entornos y ejecuten tareas de múltiples pasos, NVIDIA presentó GR00T 2, un modelo de acción del mundo de frontera abierto desarrollado sobre NVIDIA Cosmos. El modelo se entrenó con diversos conjuntos de datos humanos y robóticos, incluidas 100.000 horas de datos egocéntricos humanos de código abierto de NVIDIA.

GR00T 2 demuestra sólidas capacidades de generalización desde el primer momento, completando 40 de 50 tareas evaluadas al menos una vez sin necesidad de demostraciones específicas para la tarea. Con una sola demostración por tarea, el modelo alcanzó una tasa media de éxito del 71 %, la cual aumentó al 95 % con cinco demostraciones. También permite la transferencia de habilidades entre diferentes factores de forma de cuerpos robóticos sin necesidad de demostraciones en el robot de destino.

Actualmente, GR00T 2 se ubica entre los tres mejores modelos en las categorías de visión-lenguaje-acción y modelos de acción del mundo en las tablas de clasificación de RoboCasa365, RoboLab, RoboDojo y MolmoSpaces. La adopción empresarial temprana incluye:

• Foxconn: Aplicación de GR00T 2 a la automatización de la fabricación de servidores.

• Nexuni: Pruebas del modelo para el manejo automatizado de lavandería.

• Siemens: Evaluación del modelo en distintos escenarios de automatización industrial.

• MicroAGI: Uso de un modelo GR00T 2 posentrenado mediante aprendizaje por refuerzo para el intercambio de cables Ethernet en un brazo robótico YAM, utilizando Isaac Lab 3.0 y Newton para la calibración del entorno.

NVIDIA también lanzó el flujo de trabajo abierto Video to Data para transformar secuencias de video humanas en datos simulados de entrenamiento para robots, junto con el modelo de movimiento 3D EgoHand —desarrollado con datos de Noitom Robotics—, el cual superó las 40.000 descargas en Hugging Face a dos semanas de su lanzamiento.

Simulación de alto rendimiento a través de Isaac Lab 3.0 y Newton

Simular interacciones físicas a gran escala sigue siendo fundamental para la seguridad y la eficiencia antes del despliegue en el mundo real. NVIDIA lanzó Isaac Lab 3.0, su marco de aprendizaje robótico de código abierto, que cuenta con una integración más estrecha con Newton, un motor de física de código abierto.

La integración de Newton permite a Isaac Lab modelar con precisión materiales deformables —como tela y cables flexibles—, así como sistemas altamente articulados como manos robóticas de múltiples articulaciones. En las pruebas de rendimiento de manipulación diestra basadas en visión, Isaac Lab 3.0 combinado con Newton ofreció hasta 2,5 veces el rendimiento de entrenamiento de Isaac Lab 2.3 con PhysX.

Varios socios anunciaron integraciones creadas sobre estas tecnologías de simulación:

• Skild AI: Presentó STEEL (Scalable Throughput-optimized Engine for Embodied Learning), un resolvedor de física de cuerpos rígidos desarrollado sobre Newton para acelerar el entrenamiento en Isaac Lab.

• Flexion: Utilizó Newton e Isaac Lab para entrenar su modelo de manipulación de cuerpo entero Reflect.

• AlphaNIST: Demostró una alta eficiencia al entrenar una sola política para las 20 tareas en el panel NIST Assembly Task Board. Mediante el uso de Success-Guided Sampling (SGS) —desarrollado por NVIDIA y la Universidad de Washington—, AlphaNIST logró más del 98 % de éxito en el entrenamiento (en comparación con el 81 % obtenido con políticas de tareas separadas), al tiempo que consumió aproximadamente 39 veces menos tiempo de GPU.

• Aplicaciones industriales: FieldAI, Dyna Robotics (que entrena a su robot semihumanoide Taku), Walden Robotics, Dexmate (que prueba su robot Vega) y la Universidad de Texas en Austin están adoptando Isaac Sim e Isaac Lab en flujos de trabajo académicos, de almacén y de fabricación.

Benchmarks industriales estandarizados y flujos de trabajo basados en agentes

Evaluar la confiabilidad de los robots en condiciones cambiantes es clave para llevar la IA física fuera de los laboratorios de investigación. NVIDIA presentó un adelanto de la versión 0.4 de Isaac Lab-Arena, un marco de código abierto diseñado para ejecutar políticas a través de miles de variaciones en paralelo con el fin de aislar casos de falla.

Con base en Isaac Lab-Arena y Newton, se detallaron dos nuevos benchmarks abiertos:

• DexBench: Creado por RLWRLD y NVIDIA, DexBench evalúa 15 tareas de destreza en escenarios de comercio minorista, logística, fabricación y hostelería. Socios como Genesis AI y mimic robotics lo están probando a través de la plataforma Manifold de Bifrost.

• VABAR: Desarrollado por la Universidad de California en Berkeley y NVIDIA, el Variational Automation Benchmark for Agentic Robotics evalúa el rendimiento físico en seis tareas industriales estandarizadas con diferentes niveles de dificultad.

Para vincular las habilidades individuales de los robots en programas confiables de múltiples pasos, la UC Berkeley y NVIDIA presentaron el marco Graph-as-Policy (GaP). GaP utiliza agentes de IA para construir código robótico interpretable, probar su ejecución en la simulación de Isaac y resolver errores de forma iterativa.

"Para mí, la robótica basada en agentes es el desarrollo tecnológico más emocionante desde el internet en 1995", afirmó Ken Goldberg, profesor de robótica en la UC Berkeley e investigador principal de VABAR y GaP. Las empresas de robótica industrial, incluidas Ambi Robotics, Bosch Research y Siemens, están explorando activamente el marco GaP para su despliegue en el mundo real.