NVIDIA lança receitas do Dynamo para impulsionar modelos de IA abertos da Coreia do Sul

A NVIDIA disponibilizou receitas de implantação otimizadas usando seu framework NVIDIA Dynamo para os principais modelos de IA abertos da Coreia do Sul. O lançamento visa agilizar a implantação em produção, oferecendo até o dobro de desempenho imediato para inferência em escala de data center.

Superando gargalos de implantação em multi-GPUs

À medida que os modelos de IA modernos se expandem além da capacidade de memória e computação de uma única GPU, os desenvolvedores precisam particioná-los em várias GPUs. A implantação de modelos nesses ambientes multinó exige uma coordenação complexa de roteamento de solicitações e comunicação entre GPUs para evitar a degradação do desempenho.

O NVIDIA Dynamo é um framework de código aberto para fornecimento de inferência distribuída, construído especificamente para gerenciar essas implantações multinó em escala de data center. Ele automatiza o roteamento de solicitações e o gerenciamento de comunicação para maximizar a eficiência da inferência dos modelos.

Modelos abertos contemplados e melhorias de desempenho

As novas receitas de implantação são adaptadas para quatro renomados modelos abertos da Coreia do Sul:

• A.X K2 da SK Telecom

• K-EXAONE 2.0 da LG AI Research

• Solar Open 2 da Upstage

• Motif-3 da Motif Technologies

Otimizadas para GPUs NVIDIA B200, essas receitas pré-configuradas eliminam incertezas na configuração da inferência. Ao permitir ganhos de desempenho de até 2x imediatamente após a implantação, a NVIDIA busca ajudar desenvolvedores corporativos a transformar os modelos abertos da Coreia do Sul em serviços de "IA para Todos" prontos para produção de forma mais rápida.