NVIDIA e Hugging Face detalham simulações de robôs guiadas por agentes usando ativos OpenUSD SimReady

Um novo tutorial técnico publicado no Hugging Face pelos engenheiros da NVIDIA Dillon Bailey, Pomi Lee e Rishabh Chadha detalha um pipeline completo (end-to-end) para construir simulações físicas de robôs usando ativos OpenUSD validados e agentes de IA. O fluxo de trabalho demonstra uma tarefa de pick-and-place de uma lata de bebida dentro do NVIDIA Isaac Sim 6.2, montando um braço Universal Robots UR17G e uma garra Robotiq 2F-140 para manipular um objeto por meio de controles autônomos por agentes.

O projeto destaca o papel dos ativos SimReady — modelos 3D padronizados e configurados com parâmetros críticos de simulação, como massa, malhas de colisão, cinemática, juntas físicas e acionadores de junta (joint drives).

Padronizando ativos de simulação com a SimReady Foundation

Na robótica, a fidelidade visual em 3D não garante um comportamento simulado do mundo real. Um modelo pode parecer preciso quando estático, mas atravessar a geometria, carecer de distribuições de massa adequadas ou sofrer com limites de juntas mal configurados assim que os motores de física entram em ação.

O framework SimReady Foundation resolve isso definindo três níveis estruturados para ativos OpenUSD:

• Profiles: Grupos de recursos adaptados a casos de uso específicos, como um corpo completo de robô ou um atuador final (end-effector).

• Features: Capacidades funcionais específicas, incluindo juntas de acionamento controláveis.

• Requirements: Verificações rigorosas de configuração, como definições de acionamento de junta.

Na demonstração, os ativos baixados da biblioteca aberta SimReady Central no Hugging Face carregam comprovações de validação de perfil. O braço UR17G passou nas verificações do perfil Robot-Body 4.0.0, enquanto a garra Robotiq 2F-140 foi validada em relação ao perfil Robot-Gripper 3.0.0. Ambos os logs de validação confirmaram testes bem-sucedidos de juntas acionadas pelo PhysX, garantindo que as configurações de acionamento atendam aos requisitos básicos do simulador antes do início da composição da cena.

Agentes de IA orquestrando o Isaac Sim

Em vez de criar scripts manuais para cada etapa da montagem mecânica e do planejamento de movimento do robô, a equipe utilizou um modelo de IA de última geração — especificamente o GPT-6 Sol — fazendo interface direta com o Isaac Sim.

Para permitir a interação, o Isaac Sim foi executado com um servidor Python remoto habilitado por meio do comando: ./isaac-sim.sh --enable isaacsim.code_editor.python_server

Equipado com o Isaac Sim Agent Skills, o agente de IA executou comandos Python no simulador para inspecionar os limites das juntas e montar o braço UR17G e a garra Robotiq em uma única articulação controlável. Para a montagem, o modelo utilizou as skills isaac-sim-remote e usd-articulation.

Assim que a cena conteve o manipulador montado e a lata de bebida, o agente recebeu instruções (prompts) para gerar controles de pick-and-place usando preensão baseada em contato. Durante a execução, o agente acionou as skills isaac-sim-remote, manipulaiton-ik e physics-simulation para calcular a cinemática inversa e comandar a trajetória.

Execução da tarefa e parâmetros de simulação

A sequência de pick-and-place exigiu que o braço se aproximasse da lata de bebida, executasse uma pegada horizontal, levantasse o objeto, o transferisse pelo espaço de trabalho e o soltasse sobre um marcador de destino designado.

Os autores destacaram diversos parâmetros controlados e limites de simulação:

• Mecânica de preensão: A garra utilizou uma pegada horizontal limitada a um esforço de acionamento de 2 N·m, selecionado por meio de testes de simulação, em vez de calibração de ponta de dedo no hardware do fabricante.

• Planejamento de movimento: O contato e o atrito seguraram a lata enquanto o braço seguia pontos de referência (waypoints) fixos sem replanejamento ativo ou entradas de visão computacional.

• Premissas de física: A lata foi modelada sem dinâmica de líquidos ou deformação estrutural, omitindo o movimento de fluidos do mundo real e testes de esmagamento de material.

Os desenvolvedores enfatizaram que, embora a validação do perfil SimReady estabeleça uma linha de base consistente para ativos de física, os desenvolvedores ainda precisam inspecionar o código gerado e verificar o comportamento de contato para garantir que os modelos não deixem cair cargas ou encontrem erros de colisão inesperados durante fluxos de trabalho complexos.