NVIDIA, 월드 모델 학습·평가·배포 지원하는 신규 도구로 Cosmos 플랫폼 확장

NVIDIA가 월드 모델의 생성, 평가, 배포를 가속화하도록 설계된 개발자 도구 툴킷, 시뮬레이션 체크포인트, 클라우드 네이티브 블루프린트를 선보이며 Cosmos 플랫폼의 대대적인 확장을 발표했습니다. 피지컬 AI(Physical AI) 시스템이 현실 세계 환경을 이해하고 시뮬레이션할 수 있도록 구축된 이 플랫폼은 현재 6개의 서로 다른 오픈 모델 리더보드에서 상위 5위 내에 이름을 올리고 있습니다.

이번 업데이트를 통해 개발자는 멀티모달 학습 데이터셋을 확장하고, 모델을 파인튜닝 및 증류(distill)하며, 실제 환경에 배포하기 전에 로봇 및 자율주행 정책을 시뮬레이션할 수 있는 도구를 확보하게 되었습니다.

데이터 준비를 위한 클라우드 네이티브 블루프린트

월드 모델은 풍부한 다중 감각(multisensory) 데이터에 크게 의존합니다. 데이터 부족 문제와 큐레이션 병목 현상을 해결하기 위해 NVIDIA는 GPU 가속 비디오 큐레이션 엔진인 Cosmos Curator를 업그레이드하여 멀티모달 및 다중 감각 입력을 지원하도록 했습니다.

NVIDIA는 Curator와 함께 GitHub, Microsoft Azure, Nebius, CoreWeave를 통해 액세스할 수 있는 5가지 클라우드 네이티브 Cosmos Data Factory 블루프린트를 출시했습니다.

• 자율주행 차량 데이터셋 생성(Autonomous Vehicle Dataset Generation): 실제 주행 데이터를 큐레이션 및 라벨링하는 동시에 희귀한 엣지 케이스(edge case)를 합성합니다.

• 이미지 속성 증강(Image Attribute Augmentation): 시각 검색 시스템을 개선하기 위해 객체 속성을 변경합니다.

• 이벤트 비디오 생성(Event Video Generation): 정지 이미지를 희귀하거나 위험한 시나리오를 묘사하는 합성 비디오 시퀀스로 변환합니다.

• 결함 이미지 생성(Defect Image Generation): 산업용 품질 검사를 위해 인쇄회로기판(PCB), 유리, 금속의 결함 이미지를 합성합니다.

• 비디오 데이터 증강(Video Data Augmentation): 장면의 기하학적 구조를 유지하면서 기존 비디오 피드의 조명 및 기상 조건을 조절합니다.

산업 및 완성차 파트너사들은 이미 이러한 블루프린트를 도입하고 있습니다. Porsche는 Microsoft Azure 기반 Voxel51을 통해 Cosmos Data Factory를 활용, Volkswagen Group 브랜드 전반에 걸친 공유 자율주행 차량 데이터 플라이휠을 개발 중입니다. 이를 통해 반복적인 물리적 주행 시험을 최대 90% 줄이고 개발 주기를 최대 85% 단축하는 것을 목표로 하고 있습니다. 산업용 로봇 제조업체 ANYbotics는 점검 로봇이 액체 누출을 식별하도록 학습시키기 위해 Cosmos 블루프린트와 Encord를 사용해 1,500개 이상의 합성 비디오 클립을 생성했으며, 컴퓨터 비전 기업 Ultralytics는 위치 추적 및 재현율 향상을 위해 YOLO 모델을 재학습시키는 데 합성 결함 생성을 활용했습니다.

학습, 적응 및 모델 증류

GTC Berlin에서 발표된 확장된 Cosmos Framework는 Cosmos 3 및 호환되는 오픈 모델 전반에서 학습 및 최적화 워크플로우를 에이전틱 스킬(agentic skills)로 개방합니다. 개발자는 이제 GR00T, Alpamayo, QWEN, Pi0.5 및 기타 Hugging Face 아키텍처를 포함한 모델에 파인튜닝과 강화학습을 적용할 수 있습니다.

이 프레임워크는 양자화(quantization) 및 증류(distillation)와 같은 모델 최적화 기술을 지원합니다. 한 구현 사례로, 로보틱스 연구소 MicroAGI는 에고센트릭(자신의 시점) 조작 영상으로 Cosmos 3를 사후 학습(post-training)시킨 뒤, 정확도 손실 없이 320억 개(32B) 파라미터의 추론 모델을 80억 개(8B) 파라미터의 Nano 모델로 증류했습니다. 또한 개발자는 Roboflow를 사용하여 데이터를 라벨링하고 Cosmos 3를 사후 학습시킨 후, 그 결과 모델을 물류창고 및 공장의 엣지 GPU에 직접 배포할 수 있습니다.

폐루프 시뮬레이션 및 실시간 추론

평가 프로세스를 간소화하기 위해 NVIDIA는 대화형 시뮬레이션에 맞춤화된 새로운 Cosmos 3 Nano 모델 체크포인트를 선보였습니다. 개발자는 이러한 변형 모델을 통해 실제 배포 전 반복 가능하고 다중 뷰(multiview)를 제공하는 시나리오에서 자율주행 차량 및 양손 조작 로봇의 폐루프(closed-loop) 정책을 평가할 수 있습니다.

프로덕션 워크로드의 경우, 업데이트된 Cosmos 3 NIM 마이크로서비스가 출력 품질 하락 없이 최대 2배 빠른 추론 성능을 제공하여 연속 비디오 분석에 대한 1초 미만 단위의 알림을 구현합니다.

NVIDIA는 또한 비디오 검색 및 요약(VSS) 3.3을 위한 Metropolis Blueprint를 출시했습니다. Cosmos NIM 마이크로서비스 기반으로 구동되는 이 블루프린트를 사용하면 동일한 GPU 하드웨어에서 40% 더 많은 카메라 스트림을 모니터링할 수 있습니다. 에너지 그룹 ADNOC은 이미 Fogsphere의 MistIQ 플랫폼을 통해 이 아키텍처를 통합하여 65개 운영 현장의 안전 위험 요소를 실시간으로 모니터링하고 있으며, 실제 현장에서 위험 시나리오를 연출할 필요 없이 Cosmos Data Factory의 합성 데이터를 활용하고 있습니다.