NVIDIA 擴充 Cosmos 平台，推出用於訓練、評估與部署世界模型的新工具

NVIDIA 宣布重大擴充旗下的 Cosmos 平台，推出一系列開發者工具、模擬檢查點以及雲端原生藍圖，旨在加速世界模型的建立、評估與部署。該平台專為協助實體人工智慧系統理解與模擬真實世界環境而打造，目前在六個不同的開放模型排行榜中均名列前五名。

此更新為開發者提供各種工具，使其能擴充多模態訓練資料集、微調與蒸餾模型，並在將機器人與自動駕駛策略部署至實體環境之前進行模擬。

用於資料準備的雲端原生藍圖

世界模型極度依賴豐富的多感測器（multisensory）資料。為了平復資料匱乏與資料清理（curation）瓶頸，NVIDIA 升級了旗下 GPU 加速影片清理引擎 Cosmos Curator，以支援多模態與多感測器輸入。

除了 Curator 之外，NVIDIA 還推出了五款可透過 GitHub、Microsoft Azure、Nebius 與 CoreWeave 存取的雲端原生 Cosmos Data Factory 藍圖：

• 自動駕駛車資料集生成： 清理並標註真實駕駛資料，同時合成罕見的極端狀況（edge cases）。

• 影像屬性擴增： 更改物件屬性以精進視覺搜尋系統。

• 事件影片生成： 將靜態影像轉換為描繪罕見或危險場景的合成影片序列。

• 瑕疵影像生成： 合成印刷電路板、玻璃與金屬上的瑕疵影像，用於工業品質檢驗。

• 影片資料擴增： 在保留場景幾何形狀的同時，調整現有影片串流中的光照與天氣條件。

工業與汽車合作夥伴已開始採用這些藍圖。保時捷（Porsche）正透過 Microsoft Azure 上的 Voxel51 使用 Cosmos Data Factory，開發跨福斯集團（Volkswagen Group）品牌的共享自動駕駛車資料飛輪，目標是將重複的實體路測減少高達 90%，並將開發週期縮短高達 85%。工業機器人製造商 ANYbotics 使用 Cosmos 藍圖與 Encord 製作了 1,500 多個合成影片片段，用來訓練巡檢機器人辨識液體溢漏；電腦視覺公司 Ultralytics 則利用合成瑕疵生成技術重新訓練其 YOLO 模型，以提升定位與召回率（recall）。

訓練、調適與模型蒸餾

在 GTC 柏林大會上宣布擴充的 Cosmos 架構，將訓練與最佳化工作流程作為代理技能（agentic skills）開放給 Cosmos 3 與相容的開放模型。開發者現在可以對包括 GR00T、Alpamayo、QWEN、Pi0.5 及其他 Hugging Face 架構在內的模型進行微調並套用強化學習。

該架構支援量化（quantization）與蒸餾（distillation）等模型最佳化技術。在一個實作案例中，機器人實驗室 MicroAGI 在第一人稱視角（egocentric）的操作影片上對 Cosmos 3 進行後訓練（post-training），並將其 320 億參數的推理模型蒸餾為 80 億參數的 Nano 模型，且未犧牲精準度。開發者還可以利用 Roboflow 標註資料並對 Cosmos 3 進行後訓練，將產生的模型直接部署至倉庫與工廠的邊緣 GPU 上。

閉環模擬與即時推論

為簡化評估流程，NVIDIA 推出了專為互動式模擬量身打造的新 Cosmos 3 Nano 模型檢查點。這些變體讓開發者能在實際部署前，於可重複的多視角場景中評估自動駕駛車與雙手操作機器人的閉環（closed-loop）策略。

對於正式上線（production）的工作負載，更新後的 Cosmos 3 NIM 微服務可在不損失輸出品質的前提下提供高達 2 倍的推論效能速度，實現連續影片分析的亞秒級（sub-second）警報。

NVIDIA 還發布了用於影片搜尋與摘要（VSS）3.3 的 Metropolis 藍圖。在 Cosmos NIM 微服務的驅動下，該藍圖允許團隊在相同的 GPU 硬體上多監控 40% 的攝影機串流。能源集團 ADNOC 已透過 Fogsphere 的 MistIQ 平台整合此架構，以即時監控 65 個營運據點的安全隱患，並利用來自 Cosmos Data Factory 的合成資料涵蓋危險場景，無須在現實生活中演出這些風險狀況。