ホッパー（マイクロアーキテクチャ）

Hopper は、Nvidiaが開発したグラフィックス プロセッシング ユニット(GPU)マイクロアーキテクチャです。データセンター向けに設計されており、 Lovelaceマイクロアーキテクチャと併用されます。これは、以前はNvidia Teslaとしてブランド化されていた製品ラインの最新世代であり、現在は Nvidia Data Centre GPU となっています。

コンピューター科学者でアメリカ海軍 少将のグレース・ ホッパーにちなんで名付けられたホッパーアーキテクチャは、2019年11月にリークされ、2022年3月に正式に公開されました。これは、新しいストリーミングマルチプロセッサ、より高速なメモリサブシステム、トランスフォーマーアクセラレーションエンジンを 特徴とする、前身のTuringおよびAmpereマイクロアーキテクチャを改良したものです。

Nvidia Hopper H100 GPUは、 800億個のトランジスタを搭載したTSMC N4プロセスを使用して実装されています。最大144個のストリーミングマルチプロセッサで構成されています。^[1] SXM5ソケットによってメモリ帯域幅が拡大したため、Nvidia Hopper H100は、一般的なPCIeソケットよりもSXM5構成で使用した場合の方がパフォーマンスが向上します。^[2]

Hopper のストリーミング マルチプロセッサはTuringおよびAmpereマイクロアーキテクチャを改良したものですが、ストリーミング マルチプロセッサ (SM) あたりの同時ワープの最大数は Ampere アーキテクチャと Hopper アーキテクチャ間で同じ 64 のままです。^[3] Hopper アーキテクチャは、共有メモリとグローバル メモリ間の双方向非同期メモリ転送をサポートする Tensor Memory Accelerator (TMA) を提供します。^[4] TMA では、アプリケーションは最大 5D テンソルを転送できます。共有メモリからグローバル メモリに書き込むときは、要素単位の削減とビット単位の演算子を使用できるため、レジスタと SM 命令を回避しながら、ユーザーがワープに特化したコードを記述できます。TMA は を通じて公開されますcuda::memcpy_async。^[5]

アプリケーションを並列化する場合、開発者はスレッド ブロッククラスターを使用できます。スレッド ブロックは、クラスター内の他のスレッド ブロックの共有メモリ (分散共有メモリとも呼ばれます) でアトミック操作を実行できます。分散共有メモリは、SM によってL2 キャッシュと同時に使用される場合があります。SM 間でデータを通信するcudaFuncAttributeNonPortableClusterSizeAllowedために使用すると、分散共有メモリと L2 を組み合わせた帯域幅を利用できます。ポータブル クラスターの最大サイズは 8 ですが、Nvidia Hopper H100 はこの機能を使用して 16 のクラスター サイズをサポートできますが、アクティブ ブロックの数が減少する可能性があります。 ^{[6] L2 マルチキャストと分散共有メモリを使用すると、}動的ランダム アクセス メモリの読み取りと書き込みに必要な帯域幅が削減されます。^[7]

Hopper は単精度浮動小数点形式(FP32) のスループットが向上し、前世代の SM に比べて 1 サイクルあたりの FP32 演算数が 2 倍になっています。さらに、Hopper アーキテクチャでは、Smith–Waterman アルゴリズムなどの新しい命令のサポートが追加されています。^[6] Ampere と同様に、TensorFloat-32 (TF-32) 演算がサポートされています。両方のアーキテクチャのマッピング パターンは同じです。^[8]

Nvidia Hopper H100は、最大80GBのHBM3およびHBM2eメモリをサポートします。HBM3メモリシステムは3TB/秒をサポートします。これは、Nvidia Ampere A100の2TB/秒より50%の増加です。アーキテクチャ全体で、L2キャッシュ容量と帯域幅が増加しました。^[9]

Hopper は、CUDA 計算カーネルが個々のメモリ割り当てを含む自動インライン圧縮を利用できるようにし、より高い帯域幅でメモリにアクセスできるようにします。この機能は、データ (およびその圧縮率) がいつでも変更される可能性があるため、アプリケーションで使用できるメモリの量を増加させません。圧縮器は、いくつかの圧縮アルゴリズムの中から自動的に選択します。^[9]

Nvidia Hopper H100 は、L1 キャッシュ、テクスチャ キャッシュ、共有メモリの合計容量を 256 KB に増加しました。前モデルと同様に、L1 キャッシュとテクスチャ キャッシュを統合キャッシュに統合し、合体バッファとして設計されています。属性をcudaFuncAttributePreferredSharedMemoryCarveout使用して、L1 キャッシュの切り出しを定義できます。Hopper は、全体的な通信帯域幅が高速な新世代を通じて、NVLinkの機能強化を導入しています。 ^[10]

一部のCUDAアプリケーションでは、メモリの順序付けにより、フェンスやフラッシュ操作の実行時に干渉が発生する場合があります。GPUはどの書き込みが保証されているか、どの書き込みが偶然のタイミングで見えるかを知ることができないため、不要なメモリ操作を待機し、フェンスやフラッシュ操作が遅くなる可能性があります。たとえば、カーネルがGPUメモリで計算を実行し、並列カーネルがピアと通信する場合、ローカルカーネルは書き込みをフラッシュするため、NVLinkまたはPCIeの書き込みが遅くなります。Hopperアーキテクチャでは、GPUはフェンス操作を通じてネットキャストを減らすことができます。^[11]

Hopper アーキテクチャの数学アプリケーション プログラミング インターフェイス__viaddmin_s16x2_relu(API) は、ハーフワード ごとに を実行するなどの SM の関数を公開します。Smith–Waterman アルゴリズムでは、3 方向の最小値または最大値の後にゼロへのクランプを使用できます。^{[12]同様に、Hopper は}Needleman–Wunsch アルゴリズムの実装を高速化します。^[13]${\displaystyle 最大値(最小値(a+b,c),0)}$__vimax3_s16x2_relu

ホッパーアーキテクチャは、トランスフォーマーエンジンを実装した最初のNvidiaアーキテクチャでした。^[14]トランスフォーマーエンジンは、精度の低下が許容できると判断された場合、高い数値精度（FP16など）からより高速に実行できる低い精度（FP8など）に動的に削減することで計算を高速化します。^[14]トランスフォーマーエンジンは、実行時に選択された精度のビットを仮数または指数に動的に割り当てて、精度を最大化することもできます。^[5]

SXM5フォームファクタH100の熱設計電力（TDP）は700ワットです。非同期性に関しては、ホッパーアーキテクチャは高い利用率を達成し、ワットあたりのパフォーマンスが向上する可能性があります。^[15]

GH200は、HopperベースのH100 GPUとGraceベースの72コアCPUを1つのモジュールに統合しています。モジュールの総消費電力は最大1000Wです。CPUとGPUはNVLinkを介して接続されており、CPUとGPUメモリ間のメモリ一貫性を実現します。^[16]

2019年11月、有名なTwitterアカウントがツイートを投稿し、Ampereの次のアーキテクチャはHopperと呼ばれることを明らかにし、これはハーバードマークIの最初のプログラマーの一人であるコンピューター科学者でアメリカ海軍少将のグレース・ホッパーにちなんで名付けられた。同アカウントは、Hopperはマルチチップモジュール設計に基づいており、無駄が少なく歩留まりが向上すると述べている。^[17]

2022年のNvidia GTCで、NvidiaはHopperを公式に発表した。^{[18] 2023年の}AIブームの時期には、H100の需要が高まった。オラクル社のラリー・エリソン氏はその年、NvidiaのCEOジェンスン・フアン氏との夕食会で、テスラ社とxAIのイーロン・マスク氏とともにH100を「懇願していた」と述べ、「1時間寿司を食べながら懇願していた」と語った。^[19]

2024年1月、レイモンド・ジェームズ・ファイナンシャルのアナリストは、NvidiaがH100 GPUを1台あたり25,000～30,000ドルの価格で販売している一方、eBayではH100が1台40,000ドル以上で販売されていると推定した。^[20] 2024年2月時点で、NvidiaはH100 GPUを装甲車でデータセンターに出荷していると報じられている。^[21]

DGXで使用されるアクセラレータの比較: ^{[22] [23] [24]}

• Elster, Anne; Haugdahl, Tor (2022 年 3 月). 「Nvidia Hopper GPU と Grace CPU のハイライト」. Computing in Science & Engineering . 24 (2): 95– 100. Bibcode :2022CSE....24b..95E. doi :10.1109/MCSE.2022.3163817. hdl : 11250/3051840 . S2CID  249474974. 2023 年5 月 29 日閲覧。
• 藤田 康平；山口拓真；菊池優馬;市村剛；堀宗夫マデゲダラ、ラリス（2023年4月）。 「NVIDIA の Ampere および Hopper GPU 上の TensorFloat-32 Tensor コア操作によって高速化された相互相関関数の計算」。計算科学ジャーナル。68．土井：10.1016/j.jocs.2023.101986。
• CUDA C++ プログラミング ガイド(PDF) . Nvidia . 2023 年 4 月 17 日。
• ホッパー チューニング ガイド(PDF) . Nvidia . 2023 年 4 月 13 日。
• NVIDIA H100 Tensor コア GPU アーキテクチャ(PDF) . Nvidia . 2022.^{[永久リンク切れ‍ ]}

• Choquette, Jack (2023 年 5 月). 「NVIDIA Hopper H100 GPU: パフォーマンスのスケーリング」. IEEE Micro . 43 (3): 9– 17. doi :10.1109/MM.2023.3256796. S2CID  257544490. 2023 年5 月 29 日閲覧。
• ムーア、サミュエル（2022年4月8日）。「Nvidiaの次世代GPUは、トランスフォーマーがAIを変革していることを示しています」。IEEE Spectrum 。 2023年5月29日閲覧。
• Morgan, Timothy (2022 年 3 月 31 日)。「Nvidia の「Hopper」GPU アーキテクチャの詳細」。The Next Platform。2023年5 月 29 日閲覧。