엔비디아, 정밀 로보틱스 혁신 위해 CoRL서 'GR00T 2'·'Isaac Lab 3.0'·에이전트 툴 공개

미국 텍사스주 오스틴에서 열린 로봇 학습 학술대회(CoRL)에서 로보틱스 연구의 중심이 기본 이동성에서 기어 맞추기, 케이블 연결, 정밀 부품 조립과 같은 복잡한 물리적 조작으로 이동하고 있다. 이러한 전환을 지원하기 위해 엔비디아(NVIDIA)는 월드 액션 모델, 물리 시뮬레이션 엔진, 벤치마크, 에이전트 워크플로를 아우르는 오픈 기술 제품군을 발표했다.

CoRL의 최고 논문상(Best Paper Awards) 후보작 수천 편 중 엔비디아의 논문 2편이 최종 6개 후보에 선정됐다. 해당 논문은 GRAIL(월드 모델 기반 휴머노이드 보행·조작 생성)과 추론 지연 시간을 늘리지 않고 시각-운동 기술 문맥을 3차수(1,000배) 확장한 RoboTTT: Context Scaling for Robot Policies다.

GR00T 2를 통한 차세대 자율성

로봇이 환경을 인식하고 다단계 작업을 수행할 수 있도록 엔비디아는 NVIDIA Cosmos를 기반으로 구축된 오픈 프론티어 월드 액션 모델인 GR00T 2를 선보였다. 이 모델은 10만 시간 분량의 엔비디아 오픈소스 인간 1인칭 시점(egocentric) 데이터를 포함한 다양한 인간 및 로봇 데이터셋으로 학습됐다.

GR00T 2는 사전 작업 시연 없이도 평가된 50개 작업 중 40개를 최소 한 번 이상 완료하며 초기 상태에서도 강력한 일반화 능력을 보여줬다. 작업당 단 한 번의 시연만으로 평균 71%의 성공률을 기록했으며, 5번의 시연을 거치면 성공률이 95%까지 상승했다. 또한 대상 로봇의 시연 없이도 서로 다른 형태(form factor)의 로봇 간에 기술을 전이할 수 있다.

GR00T 2는 현재 RoboCasa365, RoboLab, RoboDojo, MolmoSpaces 리더보드의 비전-언어-행동(vision-language-action) 및 월드 액션 모델 부문에서 상위 3개 모델 내에 이름을 올리고 있다. 초기 기업 도입 사례는 다음과 같다:

• Foxconn: 서버 제조 자동화에 GR00T 2 적용.

• Nexuni: 세탁물 자동 처리 작업에 모델 테스트 중.

• Siemens: 산업용 자동화 시나리오 전반에서 모델 평가 진행.

• MicroAGI: Isaac Lab 3.0과 Newton을 환경 캘리브레이션에 활용해 YAM 로봇 암에서 이더넷 케이블 교체 작업을 수행하도록 강화학습 후처리(post-trained)된 GR00T 2 모델 활용.

엔비디아는 인간의 영상 데이터를 시뮬레이션 기반 로봇 학습 데이터로 변환하는 오픈 Video to Data 워크플로와 함께 Noitom Robotics의 데이터를 바탕으로 개발된 EgoHand 3D 모션 모델도 출시했다. EgoHand 3D 모델은 출시 2주 만에 Hugging Face 다운로드 4만 건을 돌파했다.

Isaac Lab 3.0 및 Newton을 통한 고처리량 시뮬레이션

실제 현장에 배치하기 전 안전성과 처리량을 확보하려면 대규모 물리적 상호작용 시뮬레이션이 필수적이다. 엔비디아는 오픈소스 물리 엔진인 Newton과의 통합을 강화한 오픈소스 로봇 학습 프레임워크 Isaac Lab 3.0을 출시했다.

Newton과의 통합으로 Isaac Lab은 천이나 유연한 케이블과 같은 변형 가능한 재질은 물론, 다관절 로봇 손과 같은 복잡한 관절 시스템을 정확하게 모델링할 수 있게 됐다. 비전 기반의 정교한 조작(dexterous manipulation) 벤치마크에서 Newton과 결합된 Isaac Lab 3.0은 PhysX 기반의 Isaac Lab 2.3 대비 최대 2.5배 높은 학습 처리량을 제공했다.

여러 파트너사가 이 시뮬레이션 기술을 기반으로 구축된 통합 솔루션을 발표했다:

• Skild AI: Newton 기반으로 구축된 강체 물리 솔버 STEEL(Scalable Throughput-optimized Engine for Embodied Learning)을 도입해 Isaac Lab 학습 속도를 향상.

• Flexion: Newton과 Isaac Lab을 활용해 자사의 전신 조작 모델인 Reflect 학습 진행.

• AlphaNIST: NIST 조립 작업 보드(Assembly Task Board)의 20개 작업 전체에 단일 정책을 학습시켜 높은 효율성을 입증. 엔비디아와 워싱턴 대학교가 개발한 성과 가이드 샘플링(Success-Guided Sampling, SGS)을 사용해 AlphaNIST는 개별 작업 정책이 81%의 성공률을 기록한 것과 비교해 98% 이상의 학습 성공률을 기록하면서 GPU 소요 시간을 약 39배 단축.

• 산업 적용 사례: FieldAI, Dyna Robotics(반휴머노이드 로봇 Taku 학습), Walden Robotics, Dexmate(Vega 로봇 테스트), 텍사스 대학교 오스틴 캠퍼스가 물류창고, 제조 및 학술 워크플로 전반에 Isaac Sim과 Isaac Lab을 도입 중.

표준화된 산업용 벤치마크 및 에이전트 워크플로

변동하는 조건에서 로봇의 신뢰성을 평가하는 것은 피지컬 AI(Physical AI)를 연구실 밖 현실 세계로 적용하기 위한 핵심 과제다. 엔비디아는 수천 개의 병렬 변형 환경에서 정책을 실행해 실패 사례를 격리·분석할 수 있도록 설계된 오픈소스 프레임워크인 Isaac Lab-Arena 0.4 버전을 선공개했다.

Isaac Lab-Arena 및 Newton을 기반으로 구축된 2가지 새로운 오픈 벤치마크의 상세 내용도 공개됐다:

• DexBench: RLWRLD와 엔비디아가 함께 개발한 DexBench는 소매, 물류, 제조, 서비스업 환경에서 15가지 정교한 조작 작업을 테스트한다. Genesis AI, mimic robotics 등의 파트너가 Bifrost의 Manifold 플랫폼을 통해 테스트를 진행하고 있다.

• VABAR: UC 버클리와 엔비디아가 개발한 VABAR(Variational Automation Benchmark for Agentic Robotics)는 난이도 단계가 다양한 6개의 표준화된 산업 작업 전반에서 물리적 성능을 평가한다.

개별 로봇 기술을 신뢰할 수 있는 다단계 프로그램으로 연결하기 위해 UC 버클리와 엔비디아는 GaP(Graph-as-Policy) 프레임워크를 선보였다. GaP는 AI 에이전트를 활용해 해석 가능한 로봇 코드를 생성하고, Isaac 시뮬레이션에서 실행을 테스트하며, 반복적으로 오류를 수정한다.

VABAR 및 GaP의 수석 연구원이자 UC 버클리의 로보틱스 교수인 켄 골드버그(Ken Goldberg)는 "나에게 에이전트 로보틱스는 1995년 인터넷 등장 이후 가장 흥미로운 기술적 발전"이라고 말했다. Ambi Robotics, Bosch Research, Siemens를 포함한 산업용 로보틱스 기업들이 실제 현장 도입을 위해 GaP 프레임워크를 적극 검토하고 있다.