구글 딥마인드, 상호작용형 생성 세계에서 로봇 테스트 고도화하는 Genie 4 공개

구글 딥마인드(Google DeepMind)가 인공지능(AI) 및 로봇 시스템 테스트를 위해 물리적 환경을 시뮬레이션하는 상호작용형 세계 모델인 Genie 4를 제한적 연구용 프리뷰로 공개했다.

10월 27일 발표된 Genie 4는 이전 모델인 Genie 3를 기반으로 네이티브 오디오 및 대화 기능, 더욱 사실적인 물리 효과, 그리고 더 매끄러운 인간의 움직임을 구현했다. 텍스트로부터 정적인 영상 클립을 생성하는 기존 비디오 생성기와 달리, Genie 4는 프레임 단위로 상호작용이 가능한 동적 환경을 구축하여 사용자나 자율 시스템이 장면 전개에 따라 주변 환경을 지속적으로 변경할 수 있도록 한다.

실시간 환경 조작

Genie 4를 통해 사용자는 자연어 프롬프트를 사용하여 시뮬레이션 환경을 즉석에서 조정할 수 있다. 운영자는 실시간으로 기상 조건을 변경하거나 객체 또는 캐릭터를 삽입하고 카메라 시점을 조정할 수 있다.

연구원들은 이러한 기능을 활용해 돌발적인 홍수나 산불과 같은 시뮬레이션 이벤트가 동적으로 전개되는 과정을 관찰할 수 있다. 또한 이 플랫폼은 자율주행 차량, 드론 및 기타 이동형 로봇 플랫폼이 급격한 날씨 변화와 복잡한 시각적 지형에 어떻게 적응하는지 테스트할 수 있는 가상 시험장을 제공한다.

Gemini Robotics와 연계된 실제 시연에서 구글은 Genie 4를 Gemini 모델과 결합했다. 이 모델은 작업을 순차적 단계로 분해하고 시뮬레이션 장면을 모니터링하며 조건이 바뀔 때 실행 계획을 수정할 수 있다. 한 예로, 연구팀은 Genie 4를 사용해 Apptronik의 Apollo 휴머노이드 로봇 시뮬레이션 버전이 체커(checkers) 게임을 하는 상호작용형 세트를 생성했다.

AI 전략 기업 디퍼런셜 팩터(Differential Factor)의 설립자이자 CEO인 크리스 셀랜드(Chris Selland)는 사용자나 에이전트의 행동에 직접 반응하는 상호작용형 공간을 생성하는 능력이 일반적인 비디오 생성 도구와 차별화되는 핵심 요소라고 설명했다. 이 기술은 기업들이 값비싼 물리적 테스트베드를 구축하지 않고도 운영 시나리오를 연습하고 평가할 수 있는 메커니즘을 제공한다.

로봇 공학의 '현실 간극' 해결

확장된 기능에도 불구하고 구글은 현재 실험용 빌드에서 몇 가지 기술적 한계가 있음을 인정했다. 사용자가 생성된 장면을 탐색하거나 복잡한 프롬프트 수정을 요청할 때 시각적 세부 사항과 객체의 속성이 변하는 현상이 발생할 수 있다. 또한 장기적인 시각적 일관성, 정밀한 공간 정확도, 선명한 텍스트 렌더링, 정확한 오디오 합성 및 복잡한 물리적 상호작용 측면에서도 어려움을 겪고 있다.

이러한 시각적, 물리적 불일치는 로봇 공학계의 고질적인 과제인 '현실 간극(reality gap)'을 시사한다. 이는 가상 시뮬레이션과 실제 환경 조건 사이의 차이로 인해 훈련된 소프트웨어가 가상 환경 밖에서 안정적으로 작동하지 못하는 현상을 말한다.

셀랜드는 Genie 4의 기초 물리 엔진이 여전히 근사치에 불과하고 세션이 진행됨에 따라 오차가 발생할 수 있기 때문에, 현재의 프리뷰 버전은 높은 정밀도를 요구하는 엔지니어링 애플리케이션에는 아직 적합하지 않다고 지적했다. 마찬가지로 스트래티직 호라이즌 리서치(Strategic Horizon Research)의 설립자이자 CEO인 매니시 제인(Manish Jain)은 기업들이 핵심적인 물리적 작업을 검증하기 위해 세계 모델을 사용하기 전에, 생성된 결과가 실제 물리 역학과 일치한다는 명확한 증거가 필요할 것이라고 강조했다.

액세스 계획 및 업계 경쟁 상황

구글은 Google AI Ultra 구독자가 이용할 수 있는 Project Genie를 통해 일반 테스터들에게 Genie 4를 배포할 계획이며, Gemini API와 Google AI Studio를 통해 얼리 액세스 기업 파트너들에게도 제공할 예정이다. 구체적인 출시 일정과 기업용 요금제는 아직 발표되지 않았다.

이번 출시는 세계 모델과 물리적 AI를 둘러싼 업계의 모멘텀이 커지는 가운데 이루어졌다. AI 스타트업 Runway는 지난 9월 상호작용형 오디오 기능을 갖춘 플레이 가능한 세계 모델 GWM Worlds 2를 출시했으며, 페이페이 리(Fei-Fei Li)의 World Labs 또한 공간 및 물리적 추론에 특화된 모델을 활발히 구축하고 있다.