NVIDIA Expande Plataforma Cosmos com Novas Ferramentas para Treinar, Avaliar e Implantar Modelos de Mundo

A NVIDIA anunciou uma grande expansão de sua plataforma Cosmos, introduzindo um conjunto de ferramentas de desenvolvedor, checkpoints de simulação e blueprints nativos em nuvem projetados para acelerar a criação, avaliação e implantação de modelos de mundo. Construída para ajudar sistemas de IA física a entender e simular ambientes do mundo real, a plataforma atualmente ocupa o top cinco em seis diferentes rankings de modelos abertos.

A atualização fornece aos desenvolvedores ferramentas para escalar conjuntos de dados de treinamento multimodais, ajustar e destilar modelos, e simular políticas robóticas e autônomas antes de implantá-las em ambientes físicos.

Blueprints Nativos em Nuvem para Preparação de Dados

Modelos de mundo dependem fortemente de dados multissensoriais ricos. Para lidar com a escassez de dados e gargalos de curadoria, a NVIDIA atualizou o Cosmos Curator — seu mecanismo de curadoria de vídeo acelerado por GPU — para suportar entradas multimodais e multissensoriais.

Ao lado do Curator, a NVIDIA lançou cinco blueprints nativos em nuvem do Cosmos Data Factory, acessíveis via GitHub, Microsoft Azure, Nebius e CoreWeave:

• Geração de Conjuntos de Dados para Veículos Autônomos: Faz a curadoria e rotulagem de dados reais de direção enquanto sintetiza casos extremos (edge cases) raros.

• Aumento de Atributos de Imagem: Altera atributos de objetos para refinar sistemas de busca visual.

• Geração de Vídeo de Eventos: Transforma imagens estáticas em sequências de vídeo sintéticas que retratam cenários raros ou perigosos.

• Geração de Imagens de Defeitos: Sintetiza imagens de defeitos em placas de circuito impresso, vidro e metal para inspeção de qualidade industrial.

• Aumento de Dados de Vídeo: Ajusta condições de iluminação e clima em feeds de vídeo existentes, mantendo a geometria da cena.

Parceiros industriais e automotivos já estão adotando esses blueprints. A Porsche está desenvolvendo um "flywheel" de dados compartilhados para veículos autônomos entre as marcas do Volkswagen Group usando o Cosmos Data Factory através da Voxel51 no Microsoft Azure, visando reduzir os testes de direção físicos repetidos em até 90% e os ciclos de desenvolvimento em até 85%. A fabricante de robótica industrial ANYbotics produziu mais de 1.500 clipes de vídeo sintéticos usando blueprints do Cosmos e a Encord para treinar robôs de inspeção a identificar derramamentos de líquidos, enquanto a empresa de visão computacional Ultralytics usou a geração sintética de defeitos para retreinar seu modelo YOLO para localização e recall aprimorados.

Treinamento, Adaptação e Destilação de Modelos

Anunciado no GTC Berlin, o Cosmos Framework expandido abre fluxos de trabalho de treinamento e otimização como habilidades de agentes no Cosmos 3 e modelos abertos compatíveis. Os desenvolvedores agora podem realizar o ajuste fino (fine-tuning) e aplicar aprendizado por reforço a modelos incluindo GR00T, Alpamayo, QWEN, Pi0.5 e outras arquiteturas do Hugging Face.

O framework suporta técnicas de otimização de modelos, como quantização e destilação. Em uma implementação, o laboratório de robótica MicroAGI realizou o pós-treinamento do Cosmos 3 em filmagens de manipulação egocêntrica e destilou seu modelo de raciocínio de 32 bilhões de parâmetros em um modelo Nano de 8 bilhões de parâmetros sem sacrificar a precisão. Os desenvolvedores também podem rotular dados e pós-treinar o Cosmos 3 usando o Roboflow, implantando os modelos resultantes diretamente em GPUs de borda (edge) em armazéns e fábricas.

Simulação em Malha Fechada e Inferência em Tempo Real

Para agilizar a avaliação, a NVIDIA lançou novos checkpoints do modelo Cosmos 3 Nano adaptados para simulação interativa. Essas variantes permitem que os desenvolvedores avaliem políticas de malha fechada para veículos autônomos e robôs de manipulação bimanual em cenários repetíveis e de múltiplas visualizações antes da implantação no mundo real.

Para cargas de trabalho de produção, os microsserviços Cosmos 3 NIM atualizados oferecem um desempenho de inferência até 2x mais rápido sem perda na qualidade da saída, permitindo alertas em menos de um segundo para análise contínua de vídeo.

NVIDIA também lançou o Metropolis Blueprint para busca e sumarização de vídeo (VSS) 3.3. Alimentado pelos microsserviços Cosmos NIM, o blueprint permite que as equipes monitorem 40% mais transmissões de câmeras no mesmo hardware de GPU. O grupo de energia ADNOC já integrou essa arquitetura por meio da plataforma MistIQ da Fogsphere para monitorar riscos de segurança em tempo real em 65 locais operacionais, utilizando dados sintéticos do Cosmos Data Factory para cobrir cenários perigosos sem encená-los na vida real.