NVIDIA、韓国の主要オープンAIモデルを高速化する「Dynamo」レシピを公開

NVIDIAは、韓国の主要なオープンAIモデル向けに、同社のNVIDIA Dynamoフレームワークを活用した最適化済みデプロイメントレシピを公開した。このリリースは本番環境への導入を効率化することを目的としており、データセンター規模の推論において、導入直後から最大2倍のパフォーマンスを提供する。

マルチGPUデプロイメントのボトルネックを解消

現代のAIモデルは単一GPUのメモリおよび計算能力を超えて拡大しているため、開発者はモデルを複数のGPUに分割して配置する必要がある。こうしたマルチノード環境でモデルをデプロイする際、パフォーマンスの低下を防ぐにはリクエストルーティングやGPU間通信の複雑な制御が必要となる。

NVIDIA Dynamoは、データセンター規模におけるマルチノードデプロイメントの管理に特化して構築された、オープンソースの分散推論サービングフレームワークである。リクエストルーティングと通信管理を自動化することで、モデルの推論効率を最大化する。

対象となるオープンモデルとパフォーマンスの向上

新しいデプロイメントレシピは、韓国の著名な4つのオープンモデルに合わせてカスタマイズされている。

• SK TelecomのA.X K2

• LG AI ResearchのK-EXAONE 2.0

• UpstageのSolar Open 2

• Motif TechnologiesのMotif-3

NVIDIA B200 GPUに最適化されたこれらの事前設定済みレシピにより、推論セットアップにおける試行錯誤が不要になる。デプロイ直後に最大2倍のパフォーマンス向上を実現することで、NVIDIAはエンタープライズ開発者が韓国のオープンモデルを本番運用可能な「AI for All」サービスへと迅速に移行できるよう支援することを目指している。