NVIDIA 推出 Dynamo 部署配方，加速南韓開源 AI 模型效能

NVIDIA 針對南韓領先的開源 AI 模型，發布了基於其 NVIDIA Dynamo 架構的優化部署配方。此次發布旨在簡化正式生產環境的部署流程，為資料中心規模的推論（inference）提供高達 2 倍的即開即用（out-of-the-box）效能。

克服多 GPU 部署瓶頸

隨著現代 AI 模型的規模超越單一 GPU 的記憶體與運算能力，開發人員必須將模型分割並部署至多顆 GPU 上。要在這類多節點環境中部署模型，需要對請求路由（request routing）與 GPU 間的通訊進行複雜的協調，以避免效能下降。

NVIDIA Dynamo 是一款專為管理資料中心規模的多節點部署所打造的開源分散式推論服務架構。它能自動化處理請求路由與通訊管理，進而大幅提升模型推論的效率。

支援的開源模型與效能提升

全新的部署配方專為四款南韓知名開源模型量身打造：

• 來自 SK Telecom 的 A.X K2

• 來自 LG AI Research 的 K-EXAONE 2.0

• 來自 Upstage 的 Solar Open 2

• 來自 Motif Technologies 的 Motif-3

這些預先設定好的配方針對 NVIDIA B200 GPU 進行了優化，能省去推論設定時的反覆調整與摸索。藉由在部署後立即帶來高達 2 倍的效能提升，NVIDIA 旨在協助企業開發人員更快將南韓的開源模型轉化為可投入正式營運的「全民 AI」（AI for All）服務。