Desarrolladores de NVIDIA combinan agentes de IA de frontera con Omniverse para acelerar la robótica y la simulación física

Convertir un concepto inicial de simulación en una aplicación completamente funcional suele requerir el ensamblaje de elementos 3D, la calibración de la física, la gestión de pipelines de renderizado y la validación del comportamiento de sensores en el mundo real. NVIDIA ha demostrado cómo sus desarrolladores están agilizando este proceso al combinar modelos de IA de frontera —como GPT-6 Astra y Claude Fable 5— con las bibliotecas de NVIDIA Omniverse para construir, probar y perfeccionar simulaciones físicas mediante instrucciones en lenguaje natural.

Al combinar agentes de IA con herramientas de Omniverse aceleradas por GPU, los ingenieros guían la generación de código de aplicaciones, configuraciones físicas y actualizaciones de escenas mientras evalúan los resultados de forma iterativa.

Robótica humanoide: tareas de almacén y pruebas de vallas

Los entornos interactivos son esenciales para evaluar los comportamientos de los robots antes de implementar hardware físico. Frank DeLise, gerente de producto de Omniverse en NVIDIA, utilizó Astra para transformar un almacén SimReady y un robot humanoide en un simulador interactivo con puntos de vista en primera y tercera persona. Bajo la dirección de DeLise, el agente integró varias bibliotecas de Omniverse, incluidas ovphysx para la física, ovstage para las actualizaciones de escena, ovrtx para el renderizado y ovui para la interfaz de usuario, junto con simready-foundation para construir la escena física y generar el código de animación.

En otro proyecto de robótica denominado Robo Olympics, Tae Kim, director de ingeniería y producto de NVIDIA Omniverse, guio a Astra utilizando grabaciones de video deportivo e instrucciones en lenguaje natural para evaluar robots humanoides Unitree G1 simulados. El agente configuró controladores evaluados mediante pruebas de física ejecutadas en Newton Physics Engine, aceleradas con el framework de código abierto NVIDIA Warp y renderizadas a través de ovrtx. En un experimento de salto de vallas, el humanoide simulado superó con éxito una sola valla en 64 de 100 intentos, proporcionando datos cinemáticos y de sincronización directos para perfeccionar las políticas de control del robot.

Conducción autónoma y gemelos digitales impulsados por sensores

Los agentes de frontera también están gestionando pipelines integrales de simulación para la movilidad autónoma. Doyub Kim, gerente de tecnología de simulación en NVIDIA, dirigió a Astra para construir "Zero to Alpamayo", un entorno de simulación modelado a partir de Market Street en San Francisco. Astra estructuró el flujo de trabajo en etapas, conectando la generación de recursos, la simulación de tráfico, las salidas de sensores de Omniverse RTX y los modelos de conducción de Alpamayo. En un experimento complementario, Kim utilizó Cosmos3-Nano para modificar parámetros climáticos y de iluminación en simulaciones grabadas, evaluando cómo reaccionaba el modelo autónomo ante condiciones ambientales cambiantes.

Para acortar la brecha entre la simulación y la realidad, Ashley Reid, especialista en validación de sensores RTX en NVIDIA, implementó agentes de Astra y Claude Fable 5 para evaluar discrepancias entre los datos de sensores simulados y las entradas del mundo real. A lo largo de un flujo de trabajo iterativo de tres días, los agentes compararon datos sin procesar de LiDAR y cámaras ovrtx con métricas físicas registradas para construir dos gemelos digitales en OpenUSD desde cero y perfeccionar dos escenas existentes, ajustando la geometría faltante y las propiedades de los materiales en función de umbrales cuantitativos de los sensores.

Diseño de herramientas, captura de habitaciones y telemetría orbital

La integración entre agentes de IA y Omniverse se extiende al diseño asistido por computadora (CAD) y la reconstrucción espacial:

• Desensamblaje robótico: Jens Jebens, gerente sénior de producto para OpenUSD, instruyó a Astra para evaluar el desensamblaje de la suspensión de un modelo de vehículo dentro de PTC Onshape y NVIDIA Isaac Sim. Astra analizó las restricciones espaciales y diseñó una llave personalizada que permitió al robot simulado alcanzar y retirar el perno de un componente de la suspensión.

• Reconstrucción espacial de habitaciones: Chirag Majithia, del equipo de aplicaciones de ingeniería de Isaac, dirigió a Astra para convertir secuencias de video de cámaras estéreo en entornos editables de OpenUSD. El pipeline utilizó PyCuSFM, FoundationStereo y nvblox, recurriendo a USD Content Agents e Isaac Sim para configurar la dinámica de colisiones y la física interactiva de puertas y cajones.

• Telemetría espacial basada en navegador: Nic Johns, director de ingeniería en NVIDIA, solicitó a Astra que ensamblara recursos de la NASA en un modelo interactivo de OpenUSD de la Estación Espacial Internacional transmitido vía navegador y vinculado a telemetría en vivo. Johns creó la aplicación con una sola instrucción antes de emitir un comando adicional para rotar la escena hacia el lado diurno de la Tierra, utilizando Blender para la preparación de recursos junto con las bibliotecas ovstage, ovrtx y ovstream de Omniverse.

Estos proyectos destacan un paradigma en evolución en el desarrollo de IA física, donde la orquestación en lenguaje natural por parte de agentes de frontera cierra la brecha entre herramientas dispares de simulación 3D, sistemas CAD y frameworks de física.