エヌビディアDGX

ディージーエックス

5台のDGX-1スーパーコンピュータを搭載したラック
メーカー	エヌビディア
発売日	2016 (2016)

Nvidia DGX (Deep GPU Xceleration) は、 Nvidiaが設計したサーバーおよびワークステーションのシリーズであり、主にグラフィックス プロセッシング ユニット (GPGPU) での汎用コンピューティングを使用してディープラーニングアプリケーションを強化することを目的としています。これらのシステムは通常、マザーボードに 高性能のx86サーバー CPUを搭載したラックマウント形式で提供されます。

DGX システムの中心的な特徴は、独立したシステム ボードに搭載された4 ～ 8 個のNvidia Tesla GPU モジュールを搭載していることです。これらの GPU は、 SXMソケットのバージョンまたはPCIe x16 スロットのいずれかを介して接続できるため、システム アーキテクチャ内での柔軟な統合が容易になります。大量の熱出力を管理するために、DGX ユニットには、最適な動作温度を維持するように設計されたヒートシンクとファンが装備されています。

このフレームワークにより、DGX ユニットは人工知能や機械学習モデルに関連する計算タスクに適したものになります。^{[誰によると? ]}

DGX-1サーバーは、合計128GBのHBM2メモリを備えたPascalまたはVoltaドーターカード^[1]に基づく8つのGPUを備え、 NVLinkメッシュネットワークで接続されています。^[2] DGX-1は2016年4月6日に発表されました。 ^[3]すべてのモデルは、Intel Xeon E5 CPUのデュアルソケット構成に基づいており、次の機能を備えています。

• 512 GB DDR4-2133
• デュアル 10 Gb ネットワーク
• 4 x 1.92 TB SSD
• 合計3200Wの電源供給能力
• 3U ラックマウントシャーシ

この製品ラインは、ディープラーニングワークロード向けの特定の機能を使用して、 GPUとAIアクセラレータ間のギャップを埋めることを目的としています。 ^[4] 初期のPascalベースのDGX-1は170テラフロップスの半精度処理を実現し、^{[5] Voltaベースのアップグレードではこれが960}テラフロップスに増加しました。^[6]

DGX-1は当初、第1世代のSXMソケットを搭載したPascalベースの構成のみで提供されていました。DGX-1のその後の改訂版では、SXM-2ソケットを介して第1世代のVoltaカードのサポートが提供されました。Nvidiaは、PascalベースのDGX-1を使用しているユーザーがVoltaベースのDGX-1にアップグレードできるようにするアップグレードキットを提供しました。^{[7] [8]}

• PascalベースのDGX-1には2つのバリエーションがあり、1つは16コアのIntel Xeon E5-2698 V3を搭載し、もう1つは20コアのE5-2698 V4を搭載している。E5-2698 V4を搭載したバリエーションの価格は不明だが、E5-2698 V3を搭載したPascalベースのDGX-1の発売時の価格は129,000ドルだった^[9]。
• VoltaベースのDGX-1はE5-2698 V4を搭載しており、発売時の価格は149,000ドルでした。[ ^9]

DGX Station は、ターンキーデスクサイド AI スーパーコンピューターとして設計されており、冷却、冗長電源、 19 インチ ラックなどの一般的なデータセンター インフラストラクチャなしで完全に独立して機能できるタワーコンピューターです。

DGXステーションは、当初以下の仕様で提供されました。^[10]

• VoltaベースのTesla V100アクセラレータ4基（それぞれ16GBのHBM2メモリを搭載）
• 480 TFLOPS FP16
• シングルIntel Xeon E5-2698 v4 ^[11]
• 256GB DDR4
• 4x 1.92 TB SSD
• デュアル 10 Gb イーサネット

DGXステーションは水冷式で、システムコンポーネント全体の約1500Wの熱をより適切に管理し、負荷がかかった状態でも騒音範囲を35dB未満に抑えることができます。^[12]これは、他の機能の中でも特に、騒音が大きく、大量の熱を放出し、大きなスペースを占める可能性のあるラックマウントDGXシステムを稼働させるインフラストラクチャを持たない顧客にとって、このシステムを魅力的な購入品にしました。これは、高性能コンピューティングをデスクサイドに持ち込むというNvidiaの最初の試みであり、それ以来、Nvidiaの主要なマーケティング戦略であり続けています。^[13]

Nvidia DGX-1の後継機はNvidia DGX-2で、16枚のVoltaベースのV100 32 GB（第2世代）カードを1つのユニットに搭載しています。2018年3月27日に発表されました。^[14] DGX-2は、大規模なデータセットを処理するために512 GBの共有メモリで2ペタフロップスを実現し、高帯域幅の内部通信にNVSwitchを使用しています。DGX-2には合計512 GBのHBM2メモリ、合計1.5 TBのDDR4があります。また、8枚の100 Gb/秒InfiniBandカードと30.72 TBのSSDストレージがあり、^[15]すべて巨大な10Uラックマウントシャーシに収められており、最大負荷時に最大10kWを消費します。^[16] DGX-2の初期価格は399,000ドルでした。^[17]

DGX-2は、それぞれ8つのGPUを搭載した2つの独立したGPUドーターボードを備えている点で、他のDGXモデルと異なります。これらのボードはNVSwitchシステムによって接続されており、ボード間の遅延を増やすことなく、システム内のすべてのGPU間でフル帯域幅の通信が可能です。^[16]

DGX-2のより高性能な派生型であるDGX-2Hも提供された。DGX-2Hは、DGX-2のデュアルIntel Xeon Platinum 8168をアップグレードされたデュアルIntel Xeon Platinum 8174に置き換えた。このアップグレードでは、両方のCPUが24コアであるため、システムあたりのコア数は増加せず、システムの新機能も有効にならないが、CPUの基本周波数が2.7GHzから3.1GHzに増加する。^{[18] [19] [20]}

2020年5月14日に発表およびリリースされました。DGX A100は、8つのAmpereベースのA100アクセラレータを含む第3世代のDGXサーバーでした。^[21]また、15TBのPCIe Gen 4 NVMeストレージ、^[22] 1TBのRAM、および8つのMellanox搭載200GB/s HDR InfiniBand ConnectX-6 NICも含まれています。DGX A100は、前身のDGX-2よりもはるかに小さな筐体で、わずか6ラックユニットしか占有しません。^[23]

DGX A100も64コアのAMD EPYC 7742 CPUに移行し、 Intel Xeon CPUを搭載しない最初のDGXサーバーとなった。DGX A100サーバーの初期価格は199,000ドルだった。^[21]

オリジナルのDGX Stationの後継機であるDGX Station A100は、機械学習を利用したい小規模な企業や個人が購入、リース、またはレンタルできる、静かで効率的なターンキーのクラスターインアボックスソリューションとして、DGX Stationと同じニッチを埋めることを目指しています。タワー型、シングルソケットCPUメインボード、新しい冷媒ベースの冷却システム、同世代の対応するラックマウントDGX A100と比較してアクセラレータの数が少ないなど、オリジナルのDGX Stationの設計上の選択の多くを踏襲しています。^[13] DGX Station A100 320Gの価格は149,000ドル、160Gモデルは99,000ドルです。Nvidiaは、米国（rentacomputer.com）とヨーロッパ（iRent IT Systems）のパートナーを通じて、月額約9,000ドルでStationのレンタルも提供しており、これらのシステムを小規模に実装するコストの削減に役立てています。^{[24] [25]}

DGX Station A100 には、組み込み A100 の 2 つの異なる構成が付属しています。

• 4 つのAmpereベースの A100 アクセラレータは 40 GB (HBM) または 80 GB (HBM2e) のメモリで構成され、
  合計 160 GB または 320 GB となり、DGX Station A100 バリアント 160G または 320G になります。
• 2.5 PFLOPS FP16
• シングル 64 コアAMD EPYC 7742
• 512GB DDR4
• 1 x 1.92 TB NVMe OS ドライブ
• 1 x 7.68 TB U.2 NVMe ドライブ
• デュアルポート 10 Gb イーサネット
• シングルポート 1 Gb BMC ポート

2022年3月22日に発表され^[26]、2022年第3四半期にリリースが予定されている^[27] DGX H100は、8つのHopperベースのH100アクセラレータを搭載し、合計32PFLOPSのFP8 AIコンピューティングと640GBのHBM3メモリを搭載した第4世代のDGXサーバーです。これは、DGX A100の640GB HBM2メモリからのアップグレードです。このアップグレードにより、VRAM帯域幅も3TB/sに増加します。^{[28] DGX H100は、各H100 SXMカードの700W TDPに対応するために、}ラックマウントサイズを8Uに拡大します。DGX H100には、オペレーティングシステムストレージ用の1.92TBのSSDが2つと、アプリケーションデータ用の30.72TBのソリッドステートストレージもあります。

もう1つの注目すべき追加機能は、 2つのNvidia Bluefield 3 DPU ^[29]と、 Mellanox ConnectX-7 NICによる400 Gb/s InfiniBandへのアップグレードで、DGX A100の帯域幅が2倍になります。DGX H100は、新しい「Cedar Fever」カードを使用しており、各カードには4つのConnectX-7 400 GB/sコントローラーが搭載されており、システムごとに2枚のカードがあります。これにより、DGX H100はInfiniband全体で3.2 Tb/sのファブリック帯域幅を実現します。^[30]

DGX H100には、2つのXeon Platinum 8480CスケーラブルCPU（コードネームSapphire Rapids）^[31]と2テラバイトのシステムメモリが搭載されています。^[32]

DGX H100の発売時の価格は379,000ポンド（約482,000ドル）でした。^[33]

2023年5月に発表されたDGX GH200は、32個のNvidia Hopper Superchipsを単一のスーパーチップに接続し、合計256個のH100 GPU、32個のGrace Neoverse V2 72コアCPU、400 Gb/s InfiniBandを備えた32個のOSFTシングルポートConnectX-7 VPI、200 Gb /s Mellanoxを備えた16個のデュアルポートBlueField-3 VPIで構成されています[1] [2]。Nvidia DGX GH200は、大規模なレコメンデーションシステム、生成AI、グラフ分析用のテラバイトクラスのモデルを処理するように設計されており、巨大なAIモデル向けに線形スケーラビリティを備えた19.5 TBの共有メモリを提供します。^[34]

2023 年 5 月に発表された DGX Helios スーパーコンピューターには、4 つの DGX GH200 システムが搭載されています。各システムは Nvidia Quantum-2 InfiniBandネットワークと相互接続されており、大規模な AI モデルのトレーニングに必要なデータ スループットを大幅に向上させます。Helios には 1,024 個の H100 GPU が搭載されています。

2024年3月に発表されたGB200 NVL72は、ラックスケール設計で36個のGrace Neoverse V2 72コアCPUと72個のB100 GPUを接続します。GB200 NVL72は、単一の巨大なGPUとして機能する72個のGPU NVLinkドメインを誇る、液冷式のラックスケールソリューションです[3]。Nvidia DGX GB200は、巨大なAIモデル向けに線形スケーラビリティを備えた13.5 TB HBM3eの共有メモリを提供しますが、これは前身のDGX GH200よりも小さいです。

DGXスーパーポッドは、DGXハードウェアを使用してNvidiaが提供する高性能なターンキースーパーコンピュータソリューションです。 ^[35]このシステムは、DGXコンピューティングノードを高速ストレージと高帯域幅ネットワークと組み合わせて、需要の高い機械学習ワークロードに対するソリューションを提供します。アルゴンヌ国立研究所のSeleneスーパーコンピュータは、DGXスーパーポッドベースのシステムの一例です。

280 個の DGX A100 ノードから構築された Selene は、完成時に最も強力なスーパーコンピューターのTop500リストで 5 位にランクされ、高いパフォーマンスを維持し続けています。この同じ統合は、最小限の労力でどの顧客でも利用できます。新しいHopperベースの SuperPod は、32 個の DGX H100 ノード、合計 256 個の H100 GPU と 64 個のx86 CPU に拡張できます。これにより、完全な SuperPod には 20 TB の HBM3 メモリ、70.4 TB/s の二分帯域幅、最大 1 ExaFLOPのFP8 AI コンピューティングが提供されます。^[36]これらの SuperPod をさらに結合して、より大きなスーパーコンピューターを作成できます。

Nvidiaによって設計、構築、運用されているEosスーパーコンピュータ^{[37] [38] [39]}は、18個のH100ベースのSuperPod、合計576個のDGX H100システム、500個のQuantum-2 InfiniBandスイッチ、360個のNVLinkスイッチで構成されており、Eosは18 EFLOPsのFP8コンピューティングと9 EFLOPsのFP16コンピューティングを実現し、TOP500（2023年11月版）によると、Eosは世界で5番目に速いAIスーパーコンピュータとなっています。

Nvidiaはストレージデバイスやシステムを製造していないため、Nvidia SuperPodsは高性能ストレージの提供をパートナーに依存しています。Nvidia Superpodsの現在のストレージパートナーは、Dell EMC、DDN、HPE、IBM、NetApp、Pavilion Data、VAST Dataです。^[40]

DGXで使用されるアクセラレータの比較: ^{[41] [42] [43]}

• ディープラーニングスーパーサンプリング
• エヌビディア テスラ
• スーパーコンピュータ
• コンピュータノードごとに 4 台および 8 台の A100 を搭載した高性能コンピューティングに関するページ。スイッチ トポロジ ダンプも表示されています。