NVIDIA amplía la plataforma Cosmos con nuevas herramientas para entrenar, evaluar y desplegar modelos de mundo

NVIDIA anunció una importante ampliación de su plataforma Cosmos, presentando un conjunto de herramientas de desarrollo, checkpoints de simulación y blueprints nativos de la nube diseñados para acelerar la creación, evaluación y despliegue de modelos de mundo. Desarrollada para ayudar a que los sistemas de IA física entiendan y simulen entornos del mundo real, la plataforma actualmente se ubica entre las cinco mejores en seis clasificaciones distintas de modelos abiertos.

La actualización proporciona a los desarrolladores herramientas para escalar conjuntos de datos de entrenamiento multimodal, ajustar y destilar modelos, y simular políticas robóticas y autónomas antes de desplegarlas en entornos físicos.

Blueprints nativos de la nube para la preparación de datos

Los modelos de mundo dependen en gran medida de datos multisensoriales y ricos. Para hacer frente a la escasez de datos y los cuellos de botella en la curaduría, NVIDIA actualizó Cosmos Curator —su motor de curaduría de video acelerado por GPU— para admitir entradas multimodales y multisensoriales.

Junto con Curator, NVIDIA lanzó cinco blueprints nativos de la nube para Cosmos Data Factory, accesibles a través de GitHub, Microsoft Azure, Nebius y CoreWeave:

• Generación de datasets para vehículos autónomos: Cura y etiqueta datos reales de conducción mientras sintetiza casos límite (edge cases) poco comunes.

• Aumento de atributos de imagen: Altera los atributos de los objetos para perfeccionar los sistemas de búsqueda visual.

• Generación de video de eventos: Transforma imágenes estáticas en secuencias de video sintéticas que representan escenarios raros o peligrosos.

• Generación de imágenes de defectos: Sintetiza imágenes de defectos en placas de circuito impreso, vidrio y metal para la inspección de calidad industrial.

• Aumento de datos de video: Ajusta las condiciones de iluminación y clima en transmisiones de video existentes manteniendo la geometría de la escena.

Socios industriales y automotrices ya están adoptando estos blueprints. Porsche está desarrollando un volante de inercia (flywheel) de datos compartidos para vehículos autónomos entre las marcas de Volkswagen Group utilizando Cosmos Data Factory a través de Voxel51 en Microsoft Azure, con el objetivo de reducir las pruebas de manejo físicas repetitivas hasta en un 90 % y recortar los ciclos de desarrollo hasta en un 85 %. El fabricante de robótica industrial ANYbotics produjo más de 1.500 clips de video sintéticos utilizando los blueprints de Cosmos y Encord para entrenar robots de inspección en la identificación de derrames de líquidos, mientras que la empresa de visión por computadora Ultralytics utilizó la generación sintética de defectos para reentrenar su modelo YOLO y mejorar la localización y el nivel de recuperación (recall).

Entrenamiento, adaptación y destilación de modelos

Anunciado en la GTC Berlin, el marco ampliado de Cosmos (Cosmos Framework) habilita los flujos de trabajo de entrenamiento y optimización como habilidades agénticas en Cosmos 3 y modelos abiertos compatibles. Ahora, los desarrolladores pueden hacer ajuste fino (fine-tuning) y aplicar aprendizaje por refuerzo a modelos como GR00T, Alpamayo, QWEN, Pi0.5 y otras arquitecturas de Hugging Face.

El marco admite técnicas de optimización de modelos como la cuantización y la destilación. En una implementación, el laboratorio de robótica MicroAGI realizó un postentrenamiento de Cosmos 3 con tomas de manipulación egocéntrica y destiló su modelo de razonamiento de 32.000 millones de parámetros en un modelo Nano de 8.000 millones de parámetros sin sacrificar precisión. Los desarrolladores también pueden etiquetar datos y realizar postentrenamiento en Cosmos 3 utilizando Roboflow, desplegando los modelos resultantes directamente en GPU edge en almacenes y fábricas.

Simulación en bucle cerrado e inferencia en tiempo real

Para agilizar la evaluación, NVIDIA lanzó nuevos checkpoints del modelo Cosmos 3 Nano adaptados para la simulación interactiva. Estas variantes permiten a los desarrolladores evaluar políticas de bucle cerrado para vehículos autónomos y robots de manipulación bimanual en escenarios repetibles y de vistas múltiples antes de su despliegue en el mundo real.

Para cargas de trabajo en producción, los microservicios actualizados de Cosmos 3 NIM ofrecen un rendimiento de inferencia hasta 2 veces más rápido sin pérdida en la calidad de los resultados, lo que permite alertas en menos de un segundo para el análisis continuo de video.

NVIDIA también lanzó Metropolis Blueprint para búsqueda y resumen de video (VSS) 3.3. Impulsado por los microservicios Cosmos NIM, este blueprint permite a los equipos monitorear un 40 % más de transmisiones de cámaras en el mismo hardware de GPU. El grupo energético ADNOC ya integró esta arquitectura a través de la plataforma MistIQ de Fogsphere para monitorear riesgos de seguridad en tiempo real en 65 sitios operativos, utilizando datos sintéticos de Cosmos Data Factory para cubrir escenarios peligrosos sin necesidad de escenificarlos en la vida real.