NVIDIA y Hugging Face detallan simulaciones robóticas impulsadas por agentes utilizando activos OpenUSD SimReady

Una nueva guía técnica publicada en Hugging Face por los ingenieros de NVIDIA Dillon Bailey, Pomi Lee y Rishabh Chadha describe un flujo de trabajo integral para construir simulaciones físicas de robots utilizando activos OpenUSD validados y agentes de IA. El flujo de trabajo demuestra una tarea de pick-and-place (recogida y colocación) de una lata de bebida dentro de NVIDIA Isaac Sim 6.2, ensamblando un brazo Universal Robots UR17G y una pinza Robotiq 2F-140 para manipular un objeto mediante controles de agentes autónomos.

El proyecto destaca el papel de los activos SimReady: modelos 3D estandarizados configurados con parámetros críticos para la simulación, como masa, mallas de colisión, cinemática, articulaciones físicas y accionamientos de articulaciones.

Estandarización de activos de simulación con SimReady Foundation

En robótica, la fidelidad visual en 3D no garantiza un comportamiento simulado del mundo real. Un modelo puede verse preciso cuando está estático, pero solaparse con la geometría, carecer de distribuciones de masa adecuadas o sufrir por límites de articulación mal configurados una vez que los motores de física entran en acción.

El marco SimReady Foundation resuelve esto definiendo tres niveles estructurados para los activos OpenUSD:

• Profiles: Grupos de características adaptados a casos de uso específicos, como el cuerpo completo de un robot o un efector final.

• Features: Capacidades funcionales específicas, incluidas las articulaciones motrices controlables.

• Requirements: Verificaciones de configuración rigurosas, como los ajustes de accionamiento de articulaciones.

En la demostración, los activos descargados de la biblioteca abierta SimReady Central en Hugging Face cuentan con evidencia de validación de perfil. El brazo UR17G superó las comprobaciones bajo el perfil Robot-Body 4.0.0, mientras que la pinza Robotiq 2F-140 fue validada con respecto al perfil Robot-Gripper 3.0.0. Ambos registros de validación confirmaron haber superado las pruebas de articulaciones accionadas por PhysX, lo que garantiza que las configuraciones de accionamiento cumplan con los requisitos básicos del simulador antes de que comience la composición de la escena.

Agentes de IA orquestando Isaac Sim

En lugar de programar manualmente cada paso del ensamblaje mecánico y la planificación del movimiento del robot, el equipo utilizó un modelo de IA de frontera —específicamente GPT-6 Sol— que interactúa directamente con Isaac Sim.

Para habilitar la interacción, Isaac Sim se ejecutó con un servidor Python remoto activado mediante el comando: ./isaac-sim.sh --enable isaacsim.code_editor.python_server

Equipado con Isaac Sim Agent Skills, el agente de IA ejecutó comandos de Python en el simulador para inspeccionar los límites de las articulaciones y ensamblar el brazo UR17G y la pinza Robotiq en una sola articulación controlable. Para el ensamblaje, el modelo aprovechó las habilidades isaac-sim-remote y usd-articulation.

Una vez que la escena contenía el manipulador ensamblado y la lata de bebida, se le indicó al agente que generara controles de pick-and-place mediante agarre basado en contacto. Durante la ejecución, el agente recurrió a las habilidades isaac-sim-remote, manipulaiton-ik y physics-simulation para calcular la cinemática inversa y comandar la trayectoria.

Ejecución de tareas y parámetros de simulación

La secuencia de pick-and-place requirió que el brazo se aproximara a la lata de bebida, ejecutara un agarre horizontal, levantara el objeto, lo trasladara a través del espacio de trabajo y lo soltara sobre un marcador de objetivo designado.

Los autores señalaron varios parámetros controlados y límites de simulación:

• Mecánica de agarre: La pinza utilizó un agarre horizontal limitado a un esfuerzo de accionamiento de 2 N·m, seleccionado a través de pruebas de simulación en lugar de una calibración del hardware de la punta de los dedos del fabricante.

• Planificación de movimiento: El contacto y la fricción mantuvieron la lata mientras el brazo seguía puntos de ruta (waypoints) fijos sin replificación activa ni entradas de visión.

• Supuestos físicos: La lata se modeló sin dinámica de líquidos ni deformación estructural, omitiendo el movimiento de fluidos del mundo real y las pruebas de aplastamiento del material.

Los desarrolladores enfatizaron que, si bien la validación del perfil SimReady establece una base consistente para los activos físicos, los desarrolladores aún deben inspeccionar el código generado y verificar el comportamiento de contacto para garantizar que los modelos no dejen caer cargas ni encuentren errores de colisión inesperados durante flujos de trabajo complejos.