NVIDIA 개발진, 프론티어 AI 에이전트와 Omniverse 결합해 로보틱스 및 물리 시뮬레이션 가속화

초기 시뮬레이션 구상을 완전한 기능을 갖춘 애플리케이션으로 구현하려면 통상적으로 3D 애셋 구성, 물리 연산 보정, 렌더링 파이프라인 처리, 실제 센서 동작 검증 등의 과정이 수반된다. NVIDIA는 개발자들이 자연어 프롬프트를 통해 물리 시뮬레이션을 구축, 테스트 및 개선할 수 있도록 GPT-6 Astra, Claude Fable 5와 같은 프론티어 AI 모델과 NVIDIA Omniverse 라이브러리를 결합해 이러한 워크플로를 간소화하는 방식을 선보였다.

엔지니어들은 AI 에이전트를 GPU 가속 기반의 Omniverse 도구와 연계함으로써, 애플리케이션 코드 생성, 물리 설정, 씬(scene) 업데이트를 유도하는 동시에 결과를 반복적으로 평가 및 검증하고 있다.

휴머노이드 로보틱스: 물류창고 작업 및 허들 테스트

물리적 하드웨어를 배치하기 전 로봇의 동작을 평가하려면 상호작용이 가능한 인터랙티브 가상 환경이 필수적이다. NVIDIA의 Omniverse 프로덕트 매니저인 Frank DeLise는 Astra를 활용해 SimReady 물류창고와 휴머노이드 로봇을 1인칭 및 3인칭 시점을 모두 지원하는 인터랙티브 시뮬레이터로 전환했다. DeLise 매니저의 지시에 따라 해당 에이전트는 물리 연산을 위한 ovphysx, 씬 업데이트를 위한 ovstage, 렌더링을 위한 ovrtx, 사용자 인터페이스(UI)를 위한 ovui 등 여러 Omniverse 라이브러리와 물리적 씬 구축 및 애니메이션 코드 생성을 위한 simready-foundation을 통합했다.

'로보 올림픽(Robo Olympics)'으로 명명된 또 다른 로보틱스 프로젝트에서, NVIDIA Omniverse 엔지니어링 및 프로덕트 총괄인 Tae Kim은 스포츠 영상과 자연어 프롬프트를 활용해 시뮬레이션 환경 내 Unitree G1 휴머노이드 로봇을 테스트하도록 Astra를 유도했다. 해당 에이전트는 오픈소스 NVIDIA Warp 프레임워크로 가속화되고 Newton Physics Engine에서 구동되며 ovrtx로 렌더링되는 물리 테스트를 통해 평가받는 컨트롤러를 구성했다. 한 허들 실험에서는 시뮬레이션 속 휴머노이드가 100회 시도 중 64회 허들을 성공적으로 뛰어넘어 로봇 제어 정책을 개선할 수 있는 직접적인 운동학(kinematic) 및 타이밍 데이터를 확보했다.

자율주행 및 센서 기반 디지털 트윈

프론티어 에이전트는 자율 이동체를 위한 엔드투엔드(end-to-end) 시뮬레이션 파이프라인도 관리하고 있다. NVIDIA 시뮬레이션 기술 매니저인 Doyub Kim은 샌프란시스코 마켓 스트리트를 모델로 한 시뮬레이션 환경 'Zero to Alpamayo'를 구축하도록 Astra에 지시했다. Astra는 애셋 생성, 교통 시뮬레이션, Omniverse RTX 센서 출력, Alpamayo 주행 모델을 단계별로 연결해 워크플로를 설계했다. 연계된 추가 실험에서 Kim 매니저는 Cosmos3-Nano를 활용해 기록된 시뮬레이션 전반의 날씨 및 조명 매개변수를 변경하며, 변화하는 환경 조건에서 자율주행 모델이 어떻게 반응하는지 테스트했다.

시뮬레이션과 현실 간의 간극을 좁히기 위해, NVIDIA의 RTX 센서 검증 전문가인 Ashley Reid는 Astra와 Claude Fable 5 에이전트를 투입해 시뮬레이션 센서 데이터와 실제 입력 데이터 간의 불일치를 평가했다. 3일간의 반복적인 워크플로를 통해 에이전트들은 원시 라이다(LiDAR) 및 ovrtx 카메라 데이터를 실제 측정 지표와 비교 분석했다. 이를 바탕으로 바닥부터 2개의 OpenUSD 디지털 트윈을 새롭게 구축하고 기존 씬 2개를 개선했으며, 정량적 센서 임계값을 기반으로 누락된 지오메트리와 재질 특성을 조정했다.

공구 설계, 공간 캡처, 궤도 원격 측정

AI 에이전트와 Omniverse의 결합은 컴퓨터 지원 설계(CAD) 및 공간 재구성 영역으로도 확장되고 있다:

• 로봇 분해 작업: OpenUSD 시니어 프로덕트 매니저인 Jens Jebens는 PTC Onshape 및 NVIDIA Isaac Sim 내에서 차량 모델의 서스펜션 분해 과정을 평가하도록 Astra에 지시했다. Astra는 공간적 제약 조건을 분석한 뒤, 시뮬레이션 속 로봇이 서스펜션 부품의 볼트에 도달해 이를 분리할 수 있도록 맞춤형 렌치를 설계했다.

• 공간 룸 재구성: Isaac 엔지니어링 애플리케이션 팀의 Chirag Majithia는 스테레오 카메라 영상을 편집 가능한 OpenUSD 환경으로 변환하도록 Astra에 지시했다. 이 파이프라인은 PyCuSFM, FoundationStereo, nvblox를 활용했으며, USD Content Agents와 Isaac Sim을 사용해 문과 서랍의 충돌 역학 및 인터랙티브 물리 효과를 구성했다.

• 브라우저 기반 우주 원격 측정: NVIDIA 엔지니어링 디렉터 Nic Johns는 NASA 애셋을 조합해 실시간 원격 측정(telemetry) 데이터와 연동되는 국제우주정거장(ISS)의 브라우저 스트리밍 기반 인터랙티브 OpenUSD 모델을 구축하도록 Astra에 프롬프트를 입력했다. Johns 디렉터는 단 한 번의 프롬프트로 해당 애플리케이션을 생성한 뒤, 애셋 준비를 위한 Blender와 Omniverse의 ovstage, ovrtx, ovstream 라이브러리를 활용해 씬을 지구의 낮 방향으로 회전시키는 후속 명령을 실행했다.

이번 프로젝트들은 프론티어 에이전트의 자연어 조율을 통해 서로 다른 3D 시뮬레이션 도구, CAD 시스템, 물리 프레임워크 간의 간극을 좁히는 등 물리적 AI(Physical AI) 개발 분야의 진화하는 패러다임을 잘 보여준다.