NVIDIA、超大規模AIファクトリー向けAIOps可観測性プラットフォーム「Minerva」を発表

NVIDIAは、毎時数十億件のテレメトリデータを分析してハードウェア障害を特定し、ダウンタイムの削減とAIファクトリーの歩留まり向上を実現するAIOpsプラットフォーム「Minerva」を発表した。

NVIDIAは、大規模なAIインフラストラクチャにエンドツーエンドの可観測性（オブザーバビリティ）を提供する専用のAIOpsプラットフォーム「Minerva」を発表した。最大で数十万基のGPUを収容する現代の「AIファクトリー」を対象としており、物理ハードウェアのテレメトリと稼働中のAIワークロードを直接結びつけることで、ボトルネックを特定し、クラスターをピーク性能で稼働させ続ける。

現代のAIトレーニングや推論ワークロードは、相互接続されたプロセッサで構成される巨大なクラスターに依存している。こうした環境では、単一のGPUが通常より高温で稼働していたり、重い読み書き負荷によってNVMeドライブの性能が低下していたりといったわずかな障害が、ジョブ全体のパフォーマンスを密かに低下させる可能性がある。Minervaは、運用を事後対応のトラブルシューティングからプロアクティブ（予防的）な修復へと移行させることで、この課題に対処する。

クラスターのトポロジーとAIワークロードを統合

従来のデータセンター監視ツールは運用を個別のサイロに分断しがちであり、機械学習、コンピュート、ネットワーキング、SRE（サイト信頼性エンジニアリング）の各チームに断片的な可視性しか提供できていなかった。Minervaは、NVIDIA GPU、SuperNIC、スイッチ、ケーブル、ストレージシステム、スケジューラ、ワークロードにまたがるシグナルを収集することで、これらの境界を橋渡しする。

このテレメトリを活用し、Minervaは物理ハードウェアとクラスター上で稼働する特定のタスクをマッピングした動的ナレッジグラフを構築する。同プラットフォームは、教師ありおよび教師なし機械学習アルゴリズムを用いて毎時数十億件のデータポイントを処理する。ベースラインの挙動を学習し、未知の異常を検出し、クラスターのトポロジーと照らし合わせて関連イベントを相互に関連付けることで、Minervaはノイズの多い「イベントストーム」を、根本原因が特定された単一のインシデントへと集約できる。

また、Minervaには外部のエージェント型AIシステムと連携可能なネイティブAIアシスタントも統合されている。オペレーターは自然言語を使ってクラスターの健全性を問い合わせたりインフラを調査したりでき、ライブテレメトリに基づいたコンテキストに応じた修復アドバイスを受け取ることが可能だ。運用チームは提案を手動で確認することも、API経由でMinervaをインフラ自動化システムに直接接続することもできる。

AIファクトリーの歩留まりを最大化

同プラットフォームは、クラスターの稼働時間、GPU時間、実効スループット（グッドプット）、トークン生成量を包括する測定指標である「AIファクトリーの歩留まり（イールド）」を向上させることを中心に設計されている。NVIDIAは、運用上の主要なメリットとして以下の3点を挙げている。

ジョブ中断間隔の長期化： 障害の予測検知により、ジョブが停止する前に問題を解決する。

修復時間の短縮： 根本原因をピンポイントで特定することで、ハードウェア障害の診断に費やす時間を大幅に削減する。

実効性のあるインサイト： 機械学習モデルが膨大なデータストリームを選別し、優先度の高いアラートのみを提示する。

データセンター事業者IRENの最高技術責任者（CTO）であるDenis Skrinnikoff氏は、「AIファクトリーを拡張するにあたり、顧客に最高のサービスを提供するための鍵となるのはGPUの生産性を最大化することだ」と述べている。「NVIDIA Minervaにより、当社の運用チームはネットワーク、GPU、そしてそれらで実行されているジョブを単一のビューで把握できるようになり、トラブルシューティングよりも予防保守に集中できるようになる」