非均一メモリアクセス

非均一メモリアクセス( NUMA ) は、マルチプロセッシングで使用されるコンピュータメモリ設計であり、メモリアクセス時間はプロセッサに対するメモリの位置に依存します。NUMA では、プロセッサは非ローカルメモリ (別のプロセッサのローカルメモリまたはプロセッサ間で共有されるメモリ) よりも高速に自分のローカルメモリにアクセスできます。 ^{[1] NUMA は、メモリ}参照の局所性が高くロック競合が少ないワークロードに適しています。これは、プロセッサが自分のキャッシュノード内のメモリのサブセットをほとんどまたは完全に操作できるため、メモリバス上のトラフィックが削減されるためです。^[2]

NUMA アーキテクチャは、論理的には対称型マルチプロセッシング(SMP) アーキテクチャの拡張を踏襲しています。これらは、1990 年代にUnisys、Convex Computer (後のHewlett-Packard )、Honeywell Information Systems Italy (HISI) (後のGroupe Bull )、Silicon Graphics (後のSilicon Graphics International )、Sequent Computer Systems (後のIBM )、Data General (後のEMC、現Dell Technologies )、Digital (後のCompaq、その後HP、現HPE )、およびICLによって商業的に開発されました。これらの企業によって開発された技術は、後にさまざまなUnix 系 オペレーティング システムで採用され、ある程度はWindows NTでも採用されました。

NUMA ベースの Unix システムの最初の商用実装は^{[どこで? ] [いつ? ] 、}Honeywell Information Systems Italy 向けに VAST Corporation の Dan Gielan が設計した Symmetrical Multi Processing XPS-100 ファミリーのサーバーでした。

現代の CPU は、使用するメイン メモリよりもかなり高速に動作します。コンピューティングとデータ処理の初期の頃は、CPU の動作速度は一般に自身のメモリよりも遅かったです。プロセッサとメモリのパフォーマンスの境界線は、1960 年代に最初のスーパーコンピュータの出現とともに交差しました。それ以来、CPU はますます「データ不足」になり、メモリからデータが到着するのを待つ間に停止するようになりました (たとえば、フォン ノイマン アーキテクチャ ベースのコンピュータについては、フォン ノイマン ボトルネックを参照してください)。1980 年代と 1990 年代の多くのスーパーコンピュータの設計は、より高速なプロセッサではなく、高速メモリ アクセスを提供することに重点を置いており、他のシステムでは実現できない速度でコンピュータが大規模なデータ セットを処理できるようにしました。

メモリアクセス回数を制限することが、現代のコンピュータから高いパフォーマンスを引き出す鍵となった。コモディティプロセッサの場合、これは、ますます増加する高速キャッシュメモリをインストールし、キャッシュミスを回避するためにますます洗練されたアルゴリズムを使用することを意味した。しかし、オペレーティングシステムとそれらで実行されるアプリケーションのサイズの劇的な増加は、一般的にこれらのキャッシュ処理の改善を圧倒している。NUMAのないマルチプロセッサシステムでは、問題がかなり悪化する。現在、システムは同時に複数のプロセッサを飢餓状態にすることができる。これは、一度に1つのプロセッサしかコンピュータのメモリにアクセスできないためである。^[3]

NUMA は、各プロセッサに個別のメモリを提供することでこの問題に対処し、複数のプロセッサが同じメモリにアクセスしようとしたときにパフォーマンスが低下するのを回避します。分散データ (サーバーや同様のアプリケーションで一般的) に関する問題の場合、NUMA は単一の共有メモリよりもプロセッサ数 (または個別のメモリバンク) の数にほぼ比例してパフォーマンスを向上させることができます。^[4]この問題に対処するもう 1 つのアプローチは、マルチチャネル メモリ アーキテクチャです。このアーキテクチャでは、メモリ チャネルの数を線形に増やすと、メモリ アクセスの同時実行性が線形に増加します。^[5]

もちろん、すべてのデータが単一のタスクに限定されるわけではなく、複数のプロセッサが同じデータを必要とする場合があります。これらのケースに対処するために、NUMA システムには、メモリ バンク間でデータを移動するための追加のハードウェアまたはソフトウェアが含まれています。この操作により、それらのバンクに接続されたプロセッサの速度が低下するため、NUMA による全体的な速度の向上は、実行中のタスクの性質に大きく依存します。^[4]

AMDは、HyperTransportを使用して、 Opteronプロセッサ（2003）でNUMAを実装しました。Intelは、 2007年後半にNehalemおよびTukwila CPUでx86およびItaniumサーバーのNUMA互換性を発表しました。^[6]両方のIntel CPUファミリは共通のチップセットを共有しています。相互接続はIntel QuickPath Interconnect （QPI）と呼ばれ、非常に高い帯域幅を提供してオンボードの高スケーラビリティを実現しますが、 Skylake（2017）のリリースでIntel UltraPath Interconnectと呼ばれる新しいバージョンに置き換えられました。 ^[7]

ほぼすべてのCPUアーキテクチャは、メモリアクセスの参照の局所性を活用するために、キャッシュと呼ばれる少量の非常に高速な非共有メモリを使用しています。NUMAでは、共有メモリ全体でキャッシュの一貫性を維持するには大きなオーバーヘッドがかかります。設計と構築は簡単ですが、キャッシュ一貫性のないNUMAシステムは、標準的なフォンノイマンアーキテクチャプログラミングモデルでプログラムするのが非常に複雑になります。^[8]

通常、ccNUMA は、複数のキャッシュが同じメモリ位置を格納する場合に、キャッシュ コントローラ間のプロセッサ間通信を使用してメモリ イメージの一貫性を保ちます。このため、複数のプロセッサが同じメモリ領域に連続してアクセスしようとすると、ccNUMA のパフォーマンスが低下する可能性があります。オペレーティング システムでの NUMA サポートは、プロセッサとメモリを NUMA に適した方法で割り当て、NUMA に適さないアクセスを必要とするスケジュールとロックのアルゴリズムを回避することで、この種のアクセスの頻度を減らすように試みます。^[9]

あるいは、 MESIFプロトコルなどのキャッシュコヒーレンスプロトコルは、キャッシュコヒーレンスを維持するために必要な通信を削減しようとします。スケーラブルコヒーレントインターフェイス（SCI）は、以前のマルチプロセッサシステムに見られるスケーラビリティの制限を回避するために、ディレクトリベースのキャッシュコヒーレンスプロトコルを定義するIEEE標準です。たとえば、SCIはNumaConnectテクノロジーの基礎として使用されています。^{[10] [11]}

NUMA は、密結合されたクラスタ コンピューティングの形態と見ることができます。クラスタ アーキテクチャに仮想メモリページングを追加することで、NUMA を完全にソフトウェアで実装できるようになります。ただし、ソフトウェア ベースの NUMA のノード間レイテンシは、ハードウェア ベースの NUMA よりも数桁大きい (遅い) ままです。^[2]

NUMA はメモリ アクセス パフォーマンスに大きく影響するため、スレッドとプロセスをメモリ内データの近くでスケジュールできるようにするには、特定のソフトウェア最適化が必要です。

• Microsoft Windows 7およびWindows Server 2008 R2では、64論理コアを超えるNUMAアーキテクチャのサポートが追加されました。^[12]
• Java 7ではNUMA対応のメモリアロケータとガベージコレクタのサポートが追加されました。^[13]
• Linuxカーネル:
  • バージョン2.5では基本的なNUMAサポートが提供され^[14]、その後のカーネルリリースでさらに改善されました。
  • Linuxカーネルのバージョン3.8では、新しいNUMA基盤が導入され、以降のカーネルリリースでより効率的なNUMAポリシーの開発が可能になりました。^{[15] [16]}
  • Linuxカーネルのバージョン3.13では、プロセスをメモリの近くに配置することを目的とした多数のポリシーが導入され、プロセス間でメモリページを共有する場合や透過的な巨大ページを使用する場合の処理​​も導入されました。新しいsysctl設定により、NUMAバランシングを有効または無効にしたり、さまざまなNUMAメモリバランシングパラメータを設定したりできるようになりました。^{[17] [18] [19]}
• OpenSolaris はlgroup を使用して NUMA アーキテクチャをモデル化します。
• FreeBSDはバージョン9.0でNUMAアーキテクチャのサポートを追加しました。^[20]
• Silicon Graphics IRIX (2021 年現在廃止) は、Origin サーバー シリーズで 1240 CPU 以上の ccNUMA アーキテクチャをサポートします。

2011 年現在、ccNUMA システムは、外部ロジックなしで実装できるAMD Opteronプロセッサと、チップセットが NUMA をサポートすることを必要とするIntel Itanium プロセッサに基づくマルチプロセッサ システムです。ccNUMA 対応チップセットの例としては、SGI Shub (スーパー ハブ)、Intel E8870、 HP sx2000 (Integrity サーバーおよび Superdome サーバーで使用)、および NEC Itanium ベースのシステムに搭載されているチップセットがあります。Silicon Graphicsなどの初期の ccNUMA システムは、MIPSプロセッサとDEC Alpha 21364 (EV7) プロセッサ に基づいていました。