NVIDIA와 Hugging Face, SimReady OpenUSD 에셋 활용한 AI 에이전트 기반 로봇 시뮬레이션 공개

NVIDIA 엔지니어인 Dillon Bailey, Pomi Lee, Rishabh Chadha가 검증된 OpenUSD 에셋과 AI 에이전트를 활용해 물리 기반 로봇 시뮬레이션을 구축하는 엔드투엔드 파이프라인 기술 가이드를 Hugging Face에 공개했다. 이번 워크플로우는 NVIDIA Isaac Sim 6.2 환경에서 Universal Robots UR17G 로봇 팔과 Robotiq 2F-140 그리퍼를 조립한 뒤, 자율 AI 에이전트 제어를 통해 음료 캔을 집어 옮기는 픽앤플레이스(pick-and-place) 작업을 시연한다.

이 프로젝트는 질량, 충돌 메시(collision meshes), 기구학(kinematics), 물리 조인트, 조인트 구동부 등 시뮬레이션에 필수적인 매개변수가 사전 구성된 표준화 3D 모델인 'SimReady' 에셋의 역할을 조명한다.

SimReady Foundation을 통한 시뮬레이션 에셋 표준화

로보틱스 분야에서는 시각적으로 정밀한 3D 그래픽이 시뮬레이션 상의 실제 물리 동작까지 보장하지는 않는다. 정적 상태에서는 정교해 보이는 모델이라도, 물리 엔진이 구동되면 지오메트리를 뚫고 지나가거나 적절한 질량 분포가 결여되어 있거나, 조인트 한계 설정 오류로 인해 문제가 발생할 수 있다.

SimReady Foundation 프레임워크는 OpenUSD 에셋을 위한 3단계 구조를 정의하여 이 문제를 해결한다:

• 프로필(Profiles): 로봇 본체나 엔드이펙터(end-effector) 등 특정 사용 사례에 맞춘 기능 그룹.

• 기능(Features): 제어 가능한 구동 조인트 등 구체적인 기능적 역량.

• 요구사항(Requirements): 조인트 구동 설정 등 엄격한 구성 검증 항목.

이번 시연에서 Hugging Face의 공개 라이브러리인 SimReady Central에서 다운로드한 에셋들은 프로필 검증 인증을 통과한 상태였다. UR17G 로봇 팔은 Robot-Body 4.0.0 프로필 기준 검증을 통과했으며, Robotiq 2F-140 그리퍼는 Robot-Gripper 3.0.0 프로필 검증을 완료했다. 두 에셋의 검증 로그 모두 PhysX 구동 조인트 테스트를 통과한 것으로 확인되어, 씬 구성을 시작하기 전에 구동부 설정이 시뮬레이터의 기본 요구사항을 충족함을 입증했다.

AI 에이전트를 통한 Isaac Sim 제어

연구진은 로봇의 기계적 조립과 모션 플래닝의 모든 단계를 수동으로 스크립팅하는 대신, 최첨단 AI 모델인 GPT-6 Sol을 Isaac Sim과 직접 연동해 활용했다.

이러한 상호작용을 구현하기 위해 ./isaac-sim.sh --enable isaacsim.code_editor.python_server 명령어를 실행하여 원격 파이썬 서버가 활성화된 상태로 Isaac Sim을 구동했다.

Isaac Sim Agent Skills를 탑재한 AI 에이전트는 시뮬레이터를 대상으로 파이썬 명령어를 실행해 조인트 한계를 점검하고, UR17G 로봇 팔과 Robotiq 그리퍼를 제어 가능한 단일 관절형 아티큘레이션(articulation)으로 조립했다. 조립 과정에서 모델은 isaac-sim-remote 및 usd-articulation 스킬을 활용했다.

씬 내에 조립된 매니퓰레이터와 음료 캔이 배치되자, 접촉 기반 파지를 활용한 픽앤플레이스 제어 명령을 생성하도록 에이전트에 프롬프트가 주어졌다. 실행 과정에서 에이전트는 역운동학(inverse kinematics)을 계산하고 궤적을 제어하기 위해 isaac-sim-remote, manipulaiton-ik, physics-simulation 스킬을 호출했다.

작업 실행 및 시뮬레이션 매개변수

픽앤플레이스 시퀀스는 로봇 팔이 음료 캔에 접근해 수평으로 파지한 뒤, 물체를 들어 올려 작업 공간을 가로질러 이동시킨 후 지정된 목표 마커 위에 내려놓는 단계로 진행됐다.

저자들은 몇 가지 제어 매개변수와 시뮬레이션 한계를 다음과 같이 명시했다:

• 파지 역학(Grasp Mechanics): 그리퍼는 2 N·m의 구동력 한계 내에서 수평 파지를 수행했으며, 이는 하드웨어 제조사의 핑거팁 보정이 아닌 시뮬레이션 테스트를 통해 도출된 수치다.

• 모션 플래닝(Motion Planning): 로봇 팔이 실시간 재계획이나 시각적 입력 없이 고정된 경유점(waypoint)을 추적하는 동안, 접촉력과 마찰력만으로 캔을 파지 상태로 유지했다.

• 물리적 가정(Physics Assumptions): 캔은 유체 역학이나 구조적 변형 없이 모델링되어, 실제 환경에서의 액체 움직임이나 자재 찌그러짐 등의 테스트는 생략됐다.

개발진은 SimReady 프로필 검증이 물리 에셋을 위한 일관된 기준을 마련해주지만, 복잡한 워크플로우 도중 화물을 떨어뜨리거나 예기치 않은 충돌 오류가 발생하지 않도록 개발자가 생성된 코드를 직접 검토하고 접촉 동작을 교차 검증해야 한다고 강조했다.