高帯域幅メモリ

高帯域幅メモリ（HBM）は、当初はSamsung、AMD、SK Hynixが開発した3Dスタック同期ダイナミックランダムアクセスメモリ（SDRAM）用のコンピュータメモリインターフェイスです。高性能グラフィックアクセラレータ、ネットワークデバイス、高性能データセンターAI ASICと組み合わせて、 CPUのオンパッケージキャッシュ^[1]、次世代CPUのオンパッケージRAM、FPGA 、一部のスーパーコンピュータ（ NEC SX-Aurora TSUBASAやFujitsu A64FXなど）に使用されています。^[2]最初のHBMメモリチップは2013年にSK Hynixによって製造され、^[3] HBMを使用した最初のデバイスは2015年のAMD Fiji GPUでした。^{[4] [5]}

HBMは2013年10月にJEDECによって業界標準として採用されました。^[6]第2世代のHBM2は2016年1月にJEDECによって承認されました。^[7] JEDECは2022年1月27日にHBM3標準を正式に発表しました。 ^[8]

HBMは、DDR4やGDDR5よりも高い帯域幅を、より少ない電力で、大幅に小型のフォームファクタで実現します。^[9]これは、最大8個のDRAMダイと、バッファ回路やテストロジックを含めることができるオプションのベースダイを積み重ねることで実現されます。^[10]スタックは、多くの場合、シリコンインターポーザなどの基板を介してGPUまたはCPU上のメモリコントローラに接続されます。^{[11] [12]}あるいは、メモリダイをCPUまたはGPUチップ上に直接積み重ねることもできます。スタック内では、ダイはシリコン貫通ビア（TSV）とマイクロバンプによって垂直に相互接続されます。HBMテクノロジーは原理的には似ていますが、Micron Technologyが開発したハイブリッドメモリキューブ（HMC）インターフェースとは互換性がありません。^[13]

HBMメモリバスは、DDR4やGDDR5などの他のDRAMメモリと比較して非常に広いです。4つのDRAMダイ（4-Hi）のHBMスタックには、ダイごとに2つの128ビットチャネルがあり、合計8チャネル、合計幅は1024ビットです。したがって、4つの4-Hi HBMスタックを備えたグラフィックスカード/GPUは、幅4096ビットのメモリバスを持つことになります。比較すると、GDDRメモリのバス幅は32ビットで、512ビットのメモリインターフェイスを備えたグラフィックスカードの場合は16チャネルです。^[14] HBMはパッケージあたり最大4 GBをサポートします。

DDR4やGDDR5に比べてメモリへの接続数が多いため、HBMメモリをGPU（または他のプロセッサ）に接続する新しい方法が必要でした。^{[15] AMDとNvidiaはどちらも、メモリとGPUを接続するために}インターポーザと呼ばれる専用のシリコンチップを使用しています。このインターポーザには、メモリとプロセッサを物理的に近づける必要があるため、メモリパスが減少するという利点もあります。ただし、半導体デバイスの製造はプリント基板の製造よりも大幅にコストがかかるため、最終製品のコストが増加します。

• 
  HBM DRAMダイ
• 
  HBMコントローラダイ
• 
  AMD Radeon R9 Nanoグラフィックス カードの GPU パッケージ上の HBM メモリ

HBM DRAM は、分散インターフェイスを使用してホスト コンピューティング ダイに緊密に結合されています。インターフェイスは独立したチャネルに分割されています。チャネルは互いに完全に独立しており、必ずしも同期しているわけではありません。HBM DRAM は、高速で低電力の動作を実現するために、ワイド インターフェイス アーキテクチャを使用しています。HBM DRAM は、500 MHz の差動クロック CK_t / CK_c を使用します (サフィックス "_t" は差動ペアの "真の" または "正の" コンポーネントを示し、"_c" は "相補的な" コンポーネントを表します)。コマンドは、CK_t、CK_c の立ち上がりエッジで登​​録されます。各チャネル インターフェイスは、ダブル データ レート (DDR) で動作する 128 ビットのデータ バスを維持します。HBM は、ピンあたり 1  GT/s (1 ビットを転送) の転送速度をサポートし、パッケージ全体の帯域幅は 128 GB/s になります。^[16]

第2世代の高帯域幅メモリであるHBM2も、スタックあたり最大8個のダイを指定し、ピン転送速度を最大2GT  /sまで倍増します。1024ビット幅のアクセスを維持しながら、HBM2はパッケージあたり256GB/sのメモリ帯域幅を実現できます。HBM2の仕様では、パッケージあたり最大8GBまで可能です。HBM2は、仮想現実などのパフォーマンスに敏感な消費者向けアプリケーションに特に役立つと予測されています。^[17]

2016年1月19日、サムスンはHBM2の早期量産を発表し、スタックあたり最大8GBの容量を実現した。^{[18] [19]} SKハイニックスも2016年8月に4GBスタックの提供を発表した。^[20]

• 
  HBM2 DRAMダイ
• 
  HBM2コントローラダイ
• 
  Radeon RX Vega 64 GPUの HBM2 インターポーザー。HBM ダイが取り外されているが、GPU はまだ取り付けられている。

2018年後半、JEDECはHBM2仕様のアップデートを発表し、帯域幅と容量の増大を実現しました。^[21]公式仕様ではスタックあたり最大307GB/秒（実効データレート2.5Tbit/秒）がサポートされるようになりましたが、この速度で動作する製品はすでに提供されていました。さらに、アップデートにより12-Hiスタック（12ダイ）のサポートが追加され、スタックあたり最大24GBの容量が可能になりました。

2019年3月20日、サムスンはスタックあたり8個のダイを搭載し、転送速度3.2GT  /s、合計16GB、スタックあたり410GB/sを実現するFlashbolt HBM2Eを発表しました。^[22]

2019年8月12日、SK HynixはHBM2Eを発表しました。これはスタックあたり8つのダイを備え、転送速度は3.6GT  /sで、合計16GB、スタックあたり460GB/sを提供します。^{[23] [24]} 2020年7月2日、SK Hynixは量産を開始したことを発表しました。^[25]

2019年10月、サムスンは12層のHBM2Eを発表しました。^[26]

2020 年後半、Micron はHBM2E 規格が更新されることを発表し、それと同時に HBMnext (後に HBM3 に改名) として知られる次の規格を発表しました。これは HBM2 からの大きな世代の飛躍であり、HBM2E の代替となるはずでした。この新しいVRAM は2022 年第 4 四半期に市場に登場する予定でした。名前が示すように、これは新しいアーキテクチャを導入する可能性が高いでしょう。

アーキテクチャは全面的に見直される可能性があるが、リーク情報によると、パフォーマンスは更新されたHBM2E規格と同等になるとのことだ。このRAMは主にデータセンターのGPUで使用される可能性が高い。^{[27] [28] [29] [30]}

2021年半ば、SKハイニックスはHBM3規格の一部仕様を発表した。パッケージあたり5.2Gbit/sのI/O速度と665GB/sの帯域幅、および最大16階層の2.5Dおよび3Dソリューションを備えている。^{[31] [32]}

2021年10月20日、HBM3のJEDEC規格が確定する前に、SK HynixはHBM3メモリデバイスの開発を完了したと発表した最初のメモリベンダーでした。SK Hynixによると、メモリは最大6.4Gbit/s/ピンで動作し、正式には3.2Gbit/s/ピンであるJEDEC規格HBM2Eの2倍のデータレート、つまりSK Hynix独自の3.6Gbit/s/ピンHBM2Eよりも78％高速です。デバイスは6.4Gbit/sのデータ転送速度をサポートしているため、単一のHBM3スタックは最大819GB/sの帯域幅を提供できます。HBM3の基本バス幅は変更されておらず、メモリの単一のスタックは1024ビット幅です。 SK Hynixは、16GBと24GBの2つの容量のメモリを、それぞれ8-Hiと12-Hiスタックで提供します。スタックは、それぞれ厚さ30μmでシリコン貫通ビア（TSV）を使用して相互接続された8個または12個の16Gb DRAMで構成されています。^{[33] [34] [35]}

AnandTechのライアン・スミス氏によると、SK Hynixの第一世代HBM3メモリは最新世代のHBM2Eメモリと同じ密度であるため、次世代部品の総メモリ容量を増やしたいデバイスベンダーは、それまで一般的に使用していた8層スタックから12ダイ/レイヤーのメモリを使用する必要があるという。^[33] Tom's Hardware のアントン・シロフ氏によると、高性能コンピューティングGPUやFPGAは通常4つまたは6つのHBMスタックを使用するため、SK HynixのHBM3 24GBスタックでは、それに応じて3.2TB/秒または4.9TB/秒のメモリ帯域幅が得られるという。彼はまた、SK HynixのHBM3チップはHBM2やHBM2Eチップのような長方形ではなく、正方形であると指摘した。^[34] The Registerのクリス・メラー氏によると、JEDECがまだHBM3標準を開発していないため、SKハイニックスは設計を将来のより高速な設計に改造する必要があるかもしれないとのことだ。^[35]

JEDECは2022年1月27日にHBM3規格を正式に発表した。^[8]メモリチャネル数はHBM2eの128ビット8チャネルからHBM3の64ビット16チャネルに倍増した。したがって、インターフェースのデータピンの総数は依然として1024である。^[36]

2022年6月、SK Hynixは、2022年第3四半期に出荷予定のNvidiaのH100 GPUで使用される業界初のHBM3メモリの量産を開始したと発表しました。このメモリは、H100に「最大819GB/秒」のメモリ帯域幅を提供します。^[37]

2022年8月、Nvidiaは「Hopper」H100 GPUが、80GBのRAMと3TB/秒のメモリ帯域幅（サイトあたり16GBと600GB/秒）を提供する5つのアクティブHBM3サイト（オンボードの6つのうち）を搭載して出荷されると発表した。^[38]

SK Hynixは2023年5月30日、8Gbit/s/ピンのデータ処理速度（HBM3より25％高速）を備えたHBM3Eメモリを発表し、2024年上半期に生産に入る予定である。^[39] 1024ビットバスで8GT/sでは、スタックあたりの帯域幅がHBM3の819.2GB/sから1TB/sに増加している。

2023年7月26日、Micronは9.6Gbit/s/ピンのデータ処理速度（HBM3より50％高速）を備えたHBM3Eメモリを発表しました。^[40] Micron HBM3Eメモリは、1β DRAMプロセス技術と高度なパッケージングを採用し、業界最高の性能、容量、電力効率を実現した高性能HBMです。8ハイキューブあたり24GBを保存でき、1.2TB/sでのデータ転送が可能です。2024年には、36GBの容量を持つ12ハイキューブが登場する予定です。

2023年8月、Nvidiaは、6144ビットバスを介して141GB（144GiB物理）のHBM3eを活用し、HBM3バージョンと比較して50％高いメモリ帯域幅と75％高いメモリ容量を提供するGH200 Grace Hopperスーパーチップの新バージョンを発表しました。^[41]

2023年5月、サムスンは最大7.2Gbit/sのHBM3Pを発表し、2024年に生産を開始する予定である。^[42]

2023年10月20日、サムスンは最大9.8Gbit/sのメモリを搭載したHBM3E「Shinebolt」を発表しました。^[43]

2024年2月26日、マイクロンはマイクロンのHBM3Eメモリの量産を発表した。^[44]

2024年3月18日、NvidiaはHBM3Eメモリを使用したBlackwellシリーズのGPUを発表しました^[45]

2024年3月19日、SK HynixはSK HynixのHBM3Eメモリの量産を発表した。^[46]

SKハイニックスは2024年9月に12層HBM3Eメモリの量産を発表し^[47]、11月には16層バージョンの量産を発表した。^[48]

2021年2月、サムスンはメモリ内処理（PIM）を備えたHBMの開発を発表しました。この新しいメモリは、メモリ内にAIコンピューティング機能をもたらし、大規模なデータ処理を向上させます。DRAMに最適化されたAIエンジンが各メモリバンク内に配置され、並列処理を可能にし、データの移動を最小限に抑えます。サムスンは、これによりシステムパフォーマンスが2倍になり、エネルギー消費が70％以上削減されると主張していますが、システムの残りの部分にハードウェアやソフトウェアの変更は必要ありません。^[49]

2024年7月、JEDECは将来のHBM4の予備仕様を発表しました。^[50]ピンあたりのデータレートは6.4Gbit/s/ピン（HBM3のレベル）に戻されましたが、スタックあたり2048ビットのインターフェースを採用しているため（前世代の2倍）、スタックあたりのデータレートはHBM3Eよりも高く（1.6TB/s）なっています。さらに、4GBのレイヤー（16レイヤー構成で64GB）が可能になります。

ダイスタックメモリは、フラッシュメモリ業界で最初に商品化されました。東芝は2007年4月に8つのダイをスタックしたNANDフラッシュメモリチップを発表しました^[51]。続いて、Hynix Semiconductorは2007年9月に24のダイをスタックしたNANDフラッシュチップを発表しました^[52]。

シリコン貫通ビア（TSV）技術を使用した3D積層ランダムアクセスメモリ（RAM）は、エルピーダメモリによって商品化され、同社は2009年9月に最初の8GB DRAMチップ（4つのDDR3 SDRAMダイを積層）を開発し、2011年6月にリリースしました。 2011年には、SK HynixがTSV技術を使用した16GB DDR3メモリ（40nmクラス）を発表しました。 ^[3]サムスン電子は9月にTSVをベースにした3D積層32GB DDR3（30nmクラス）を発表し、その後サムスンとマイクロンテクノロジーは10月にTSVベースのハイブリッドメモリキューブ（HMC）技術を発表しました。 ^[53]       

JEDECは数年にわたる作業を経て、2011年12月に、シングルデータレートクロッキングを備えた4つの128ビットチャネルを備えたHBMの前身であるWide IOメモリ用のJESD229規格^[54]を初めてリリースしました。最初のHBM規格JESD235は2013年10月に続きました。

AMDでは、増え続けるコンピュータメモリの電力使用量とフォームファクタの問題を解決するために、2008年に高帯域幅メモリの開発が開始されました。その後数年間、AMDはシニアAMDフェローのブライアン・ブラックが率いるチームと協力して、ダイスタッキングの問題を解決するための手順を開発しました。^[55] AMDがHBMのビジョンを実現できるように、メモリ業界のパートナー、特に3Dスタックメモリの経験がある韓国のSK Hynix [ ^55]や、インターポーザ業界（台湾のUMC）やパッケージング業界（Amkor TechnologyとASE）のパートナーの協力を得ました。[ 55 ^]

HBMの開発は、SK Hynixが最初のHBMメモリチップを製造した2013年に完了しました。^[3] HBMは、2010年にAMDとSK Hynixによって提案され、2013年10月にJEDECによって業界標準JESD235として採用されました。 ^[6]大量生産は、 2015年に韓国の利川にあるHynix施設で開始されました。

HBMを採用した最初のGPUは、2015年6月にリリースされたAMD Fijiで、AMD Radeon R9 Fury Xを搭載していました。^{[4] [56] [57]}

2016年1月、サムスン電子はHBM2の早期量産を開始しました。^{[18] [19]}同月、HBM2はJEDECによって標準JESD235aとして承認されました。^[7] HBM2を採用した最初のGPUチップは、2016年4月に正式に発表されたNvidia Tesla P100です。 ^{[58] [59]}

2016年6月、インテルはHCDRAMを8スタック搭載したXeon Phiプロセッサー・ファミリーをリリースした。これはマイクロンのHBMバージョンである。2016年8月のHot Chipsでは、サムスンとハイニックスの両社が新世代のHBMメモリー技術を発表した。^{[60] [61]}両社は、密度、帯域幅、消費電力の低減が見込まれる高性能製品を発表した。サムスンはまた、マスマーケットをターゲットとしたHBMの低コスト版を開発中であることも発表した。バッファーダイを削除し、TSVの数を減らすことでコストは下がるが、全体的な帯域幅（200 GB/s）は減少する。

Nvidiaは2022年3月22日にHBM3を採用した世界初のGPUであるNvidia Hopper H100 GPUを発表しました。^[62]

• スタック型DRAM
• 電子DRAM
• チップスタックマルチチップモジュール
• ハイブリッド メモリ キューブ(HMC): Micron Technologyのスタック メモリ規格(2011)

• 高帯域幅メモリ (HBM) DRAM (JESD235)、JEDEC、2013 年 10 月
• Lee, Dong Uk、Kim, Kyung Whan、Kim, Kwan Weon、Kim, Hongjung、Kim, Ju Young、他 (2014 年 2 月 9 ～ 13 日)。「25.2 a 1.2V 8 Gb 8 チャネル 128 GB/S 高帯域幅メモリ (HBM) スタック DRAM と 29nm プロセスおよび TSV を使用した効果的なマイクロバンプ I/O テスト方法」。2014 IEEE国際固体回路会議技術論文ダイジェスト (ISSCC)。IEEE (2014 年 3 月 6 日発行)。pp.  432 ～ 433。doi :10.1109/ ISSCC.2014.6757501。ISBN 978-1-4799-0920-9. S2CID  40185587。
• HBM vs HBM2 vs GDDR5 vs GDDR5X メモリの比較