엔비디아, 엔터프라이즈 AI 에이전트 위한 120B 오픈 멀티모달 모델 ‘Nemotron 3.5 Super VL’ 공개

엔비디아가 지속적으로 백그라운드에서 구동되는 엔터프라이즈 AI 에이전트를 지원하도록 설계된 1,200억(120B) 파라미터 규모의 멀티모달 모델 Nemotron 3.5 Super VL을 출시하며 오픈 모델 라인업을 확장했다. 엔비디아는 이 플래그십 모델과 함께 PC 및 엣지 디바이스에 로컬 AI 기능을 제공하도록 설계된 소형 Bolt 변형 모델 2종도 선보였다.

Mistral AI, Thinking Machines Lab, Perplexity, Black Forest Labs 등이 참여한 'Nemotron Coalition'과의 협업으로 개발된 Super VL은 전문가 혼합(MoE) 아키텍처를 기반으로 구축됐다. 총 1,200억 개 파라미터 중 토큰당 활성화되는 파라미터는 120억(12B) 개에 불과하다.

복잡한 워크플로우 및 문서 분석에 최적화

엔비디아는 다단계 비즈니스 프로세스를 실행하고 복잡한 명령어를 따르며, 도구를 호출하고 텍스트, 이미지, 문서, 동영상을 처리할 수 있는 특화 에이전트를 구현하기 위해 Super VL을 설계했다.

이 모델은 별도의 비전 모델 없이도 표, 차트, PDF를 자체적으로 파싱한다. 엔비디아에 따르면 Super VL은 CharXiv 벤치마크에서 80.8%를 기록했으며(Python 코드 실행과 결합 시 84%까지 상승), OCRBench v2에서 최고 수준의 오픈 모델 중 하나로 평가받았다.

성능 측면에서 엔비디아는 대규모 추론 모델인 Nemotron 3 Ultra로부터 Super VL을 증류(distillation)했다. Super VL은 Ultra 파라미터의 5분의 1만 사용하면서도 동일한 정확도를 제공한다. 단일 GPU 환경에서는 동급 오픈 모델 대비 최대 5배 높은 처리량을 지원한다.

로컬 하드웨어를 위한 소형 Bolt 변형 모델

로컬 환경에서의 실행을 지원하기 위해 엔비디아는 두 가지 소형 모델을 선보였다.

• Nemotron 3.5 Bolt 74B-A9B 24GB: 적극적인 2비트 가중치 양자화로 최적화된 하이브리드 MoE 모델이다(총 740억 개 파라미터 중 90억 개 활성화). RTX Spark 및 DGX Spark와 같은 고성능 워크스테이션 및 로컬 시스템용으로 설계됐으며, 최소 24GB 이상의 메모리를 갖춘 하이엔드 하드웨어가 필요하다.

• Bolt E4B 4GB: 이달 말 출시 예정인 초소형 모델로, GeForce RTX 그래픽 카드 및 Jetson 모듈에서 구동되는 빠른 음성 비서, 인터랙티브 캐릭터, 엣지 디바이스를 겨냥했다.

엔터프라이즈 도입 및 최적화

초기 도입 기업들은 문서 중심 및 데이터 보안이 중요한 워크로드에 Super VL을 활용하고 있다. Scale AI는 Skydance의 공급업체 외상매입금(vendor credit) 처리를 위해 이 모델을 커스텀했으며, Ramp는 영수증 사진을 정형 데이터로 변환하는 데, EY는 인수합병 실사 작업에 이를 도입했다. Alice, Dream, CrowdStrike와 같은 사이버 보안 기업들도 취약점 분석과 위협 탐지를 위해 해당 모델을 미세조정(파인튜닝)하고 있다.

컴퓨팅 오버헤드를 최소화하기 위해 엔비디아는 4비트 NVFP4 포맷으로 Super VL을 압축하고 Dynamo 추론 소프트웨어를 통합했다. 이를 통해 컨텍스트 캐싱과 투기적 초안 작성(speculative drafting) 기법으로 첫 토큰 생성 시간(TTFT)을 85% 단축하는 동시에 최대 8배 많은 동시 접속자를 처리할 수 있게 됐다.

오픈 가중치 접근성

기존 업계 관행에서 벗어나 엔비디아는 모델 가중치(Hugging Face에서 기본, 사후 학습, 4비트 압축 버전 제공)뿐만 아니라 학습 레시피, 강화학습 환경, 방대한 사전 학습 및 사후 학습 데이터셋까지 함께 공개한다. 여기에는 인도공과대학교 마드라스(IIT Madras) 및 AI4Bharat과 협력하여 구축한 22개 인도 언어 기반 2조 8,300억(2.83T) 토큰 규모의 인도 언어 데이터셋도 포함된다.