Desenvolvedores da NVIDIA combinam agentes de IA de fronteira com o Omniverse para acelerar robótica e simulação física

Transformar um conceito inicial de simulação em uma aplicação totalmente funcional normalmente exige a montagem de assets 3D, calibração da física, gerenciamento de pipelines de renderização e validação do comportamento de sensores no mundo real. A NVIDIA demonstrou como os desenvolvedores estão agora simplificando esse processo ao combinar modelos de IA de fronteira — como GPT-6 Astra e Claude Fable 5 — com bibliotecas do NVIDIA Omniverse para construir, testar e aprimorar simulações físicas por meio de prompts em linguagem natural.

Ao combinar agentes de IA com ferramentas do Omniverse aceleradas por GPU, engenheiros orientam a geração de código de aplicação, configurações de física e atualizações de cena, enquanto avaliam os resultados de forma iterativa.

Robótica humanoide: tarefas em armazéns e provas com barreiras

Ambientes interativos são essenciais para avaliar o comportamento de robôs antes da implementação em hardware físico. Frank DeLise, gerente de produto do Omniverse na NVIDIA, usou o Astra para converter um armazém SimReady e um robô humanoide em um simulador interativo com pontos de vista em primeira e terceira pessoa. Sob a direção de DeLise, o agente integrou várias bibliotecas do Omniverse, incluindo ovphysx para física, ovstage para atualizações de cena, ovrtx para renderização e ovui para interface do usuário, além do simready-foundation para construir o cenário físico e gerar o código de animação.

Em outro projeto de robótica chamado Robo Olympics, Tae Kim, líder de engenharia e produto do NVIDIA Omniverse, guiou o Astra usando gravações de vídeos esportivos e prompts em linguagem natural para testar robôs humanoides Unitree G1 simulados. O agente configurou controladores avaliados por meio de testes de física executados na Newton Physics Engine, acelerada pelo framework de código aberto NVIDIA Warp e renderizada via ovrtx. Em um experimento com barreira, o humanoide simulado superou com sucesso uma barreira individual em 64 de 100 tentativas, fornecendo dados cinemáticos e temporais diretos para refinar as políticas de controle do robô.

Direção autônoma e gêmeos digitais orientados por sensores

Agentes de fronteira também estão gerenciando pipelines de simulação de ponta a ponta para mobilidade autônoma. Doyub Kim, gerente de tecnologia de simulação da NVIDIA, orientou o Astra a construir o "Zero to Alpamayo", um ambiente de simulação modelado a partir da Market Street, em San Francisco. O Astra mapeou o fluxo de trabalho em etapas, conectando a geração de assets, simulação de tráfego, saídas de sensores Omniverse RTX e modelos de condução Alpamayo. Em um experimento complementar, Kim usou o Cosmos3-Nano para alterar parâmetros de clima e iluminação em simulações gravadas, testando como o modelo autônomo reagia sob condições ambientais variáveis.

Para reduzir a lacuna entre a simulação e a realidade, Ashley Reid, especialista em validação de sensores RTX da NVIDIA, utilizou os agentes Astra e Claude Fable 5 para avaliar discrepâncias entre dados de sensores simulados e entradas do mundo real. Ao longo de um fluxo iterativo de três dias, os agentes compararam dados brutos de LiDAR e da câmera ovrtx com métricas físicas gravadas para construir do zero dois gêmeos digitais em OpenUSD e aprimorar duas cenas existentes, ajustando geometrias ausentes e propriedades de materiais com base em limiares quantitativos dos sensores.

Design de ferramentas, captura de ambientes e telemetria orbital

A integração entre agentes de IA e o Omniverse se estende ao design auxiliado por computador (CAD) e à reconstrução espacial:

• Desmontagem robótica: Jens Jebens, gerente sênior de produto para OpenUSD, instruiu o Astra a avaliar a desmontagem da suspensão em um modelo de veículo dentro do PTC Onshape e do NVIDIA Isaac Sim. O Astra analisou restrições espaciais e projetou uma chave personalizada que permitiu ao robô simulado alcançar e remover um parafuso de um componente da suspensão.

• Reconstrução espacial de cômodos: Chirag Majithia, da equipe de aplicações de engenharia do Isaac, orientou o Astra a converter filmagens de câmeras estéreo em ambientes OpenUSD editáveis. O pipeline utilizou PyCuSFM, FoundationStereo e nvblox, usando USD Content Agents e Isaac Sim para configurar a dinâmica de colisão e a física interativa de portas e gavetas.

• Telemetria espacial no navegador: Nic Johns, diretor de engenharia da NVIDIA, solicitou ao Astra que reunisse assets da NASA em um modelo OpenUSD interativo da Estação Espacial Internacional transmitido via navegador e conectado a dados de telemetria em tempo real. Johns criou a aplicação em um único prompt antes de emitir um comando complementar para girar a cena em direção ao lado diurno da Terra, utilizando o Blender para a preparação de assets em conjunto com as bibliotecas ovstage, ovrtx e ovstream do Omniverse.

Esses projetos destacam um paradigma em evolução no desenvolvimento de IA física, no qual a orquestração em linguagem natural por agentes de fronteira conecta ferramentas díspares de simulação 3D, sistemas CAD e frameworks de física.