엔비디아, 한국 주요 오픈 AI 모델 성능 높이는 'Dynamo 레시피' 공개

엔비디아(NVIDIA)가 한국의 주요 오픈 AI 모델을 위해 자사의 NVIDIA Dynamo 프레임워크를 활용한 최적화 배포 레시피를 공개했다. 이번 배포는 데이터센터 규모의 추론에서 설치 즉시 최대 2배의 성능을 제공함으로써 프로덕션 환경으로의 배포를 간소화하는 것을 목표로 한다.

멀티 GPU 배포 병목 현상 극복

최신 AI 모델이 단일 GPU의 메모리와 연산 용량을 넘어서 확장됨에 따라, 개발자들은 모델을 여러 GPU에 분할 배치해야 한다. 이러한 멀티 노드 환경에서 모델을 배포할 때는 성능 저하를 막기 위해 요청 라우팅과 GPU 간 통신을 복잡하게 조율해야 한다.

NVIDIA Dynamo는 데이터센터 규모의 멀티 노드 배포를 관리하기 위해 전용으로 구축된 오픈소스 분산 추론 서빙 프레임워크다. 요청 라우팅과 통신 관리를 자동화하여 모델 추론 효율성을 극대화한다.

대상 오픈 모델 및 성능 향상

이번에 새로 공개된 배포 레시피는 한국의 4개 주요 오픈 모델에 맞춤형으로 제공된다.

• SK Telecom의 A.X K2

• LG AI Research의 K-EXAONE 2.0

• Upstage의 Solar Open 2

• Motif Technologies의 Motif-3

NVIDIA B200 GPU에 최적화된 이 사전 설정 레시피는 추론 설정 과정에서의 불확실성을 없애준다. 배포 즉시 최대 2배의 성능 향상을 지원함으로써, 엔비디아는 기업 개발자들이 한국의 오픈 모델을 프로덕션 단계의 "모두를 위한 AI(AI for All)" 서비스로 더욱 빠르게 구현할 수 있도록 돕는다.