CPUキャッシュ

CPUキャッシュは、コンピュータの中央処理装置（CPU）がメインメモリからデータにアクセスするための平均コスト（時間またはエネルギー）を削減するために使用するハードウェアキャッシュです。^{[1]キャッシュは、}プロセッサコアの近くにある、より小型で高速なメモリであり、頻繁に使用されるメインメモリの場所からデータのコピーを保存します。ほとんどのCPUには、レベル1に異なる命令固有のキャッシュとデータ固有のキャッシュを備えた複数のキャッシュレベル（L1、L2、多くの場合L3、まれにL4）の階層があります。^[2]キャッシュメモリは通常、静的ランダムアクセスメモリ（SRAM）を使用して実装され、最近のCPUではチップ面積で圧倒的に大部分を占めていますが、SRAMは常にすべてのレベル（IキャッシュまたはDキャッシュ）で使用されるわけではなく、どのレベルでも使用されるわけではなく、後者の一部またはすべてのレベルがeDRAMを使用して実装されることもあります。

他の種類のキャッシュも存在します (上記の最も重要なキャッシュの「キャッシュ サイズ」にはカウントされません)。たとえば、ほとんどの CPU が備えているメモリ管理ユニット(MMU)の一部である変換ルックアサイド バッファ(TLB) などです。

メイン メモリ内の場所から読み取りまたは書き込みを行おうとすると、プロセッサはその場所のデータがすでにキャッシュ内にあるかどうかを確認します。存在する場合、プロセッサははるかに遅いメイン メモリではなく、キャッシュから読み取りまたは書き込みを行います。

最近のデスクトップ、サーバー、産業用 CPU の多くには、少なくとも 3 つの独立したキャッシュ レベル (L1、L2、L3) と、さまざまな種類のキャッシュがあります。

変換ルックアサイド バッファ(TLB)

実行可能命令とデータの両方の仮想アドレスから物理アドレスへの変換を高速化するために使用されます。命令とデータの両方にアクセスするために単一の TLB を提供することも、命令 TLB (ITLB) とデータ TLB (DTLB) を別々に提供することもできます。ただし、TLB キャッシュはメモリ管理ユニット(MMU) の一部であり、CPU キャッシュとは直接関係ありません。

命令キャッシュ

マイクロオペレーションキャッシュ

分岐ターゲットバッファ

命令キャッシュ（Iキャッシュ）

実行可能命令のフェッチを高速化するために使用される

データキャッシュ

データキャッシュ（Dキャッシュ）

データの取得と保存を高速化するために使用されます。データ キャッシュは通常、複数のキャッシュ レベル (L1、L2 など。以下のマルチレベル キャッシュも参照) の階層として構成されます。

CPUキャッシュの初期の例としては、 1960年代のAtlas 2 ^[3]やIBM System/360 Model 85 ^{[4] [5]}が挙げられます。キャッシュを使用した最初のCPUには1レベルのキャッシュしかありませんでした。後のレベル1キャッシュとは異なり、L1d (データ用) とL1i (命令用) に分割されていませんでした。分割されたL1キャッシュは1976年にIBM 801 CPUで始まり、^{[6] [7]} 1980年代後半に主流となり、1997年にはARMv5TEで組み込みCPU市場に参入しました。2015年には、1ドル未満のSoCでもL1キャッシュが分割されています。また、L2キャッシュもあり、大規模なプロセッサではL3キャッシュもあります。L2キャッシュは通常は分割されておらず、既に分割されているL1キャッシュの共通リポジトリとして機能します。マルチコアプロセッサのすべてのコアには専用のL1キャッシュがあり、通常コア間で共有されることはありません。 L2 キャッシュと上位レベルのキャッシュは、コア間で共有できます。L4 キャッシュは現在一般的ではなく、通常は静的ランダム アクセス メモリ(SRAM) ではなく、別のダイまたはチップ上の動的ランダム アクセス メモリ(DRAM) です。例外は、 L1 までのすべてのレベルのキャッシュにeDRAMが使用される場合です。歴史的には L1 も別のダイ上にありましたが、ダイ サイズが大きくなったため、最後のレベルを除いて、L1 と他のキャッシュ レベルの統合が可能になりました。各追加レベルのキャッシュは、サイズが大きくなり、最適化方法も異なります。

キャッシュ（歴史的には RAM など）は、一般的に 2、4、8、16 KiBなどの累乗でサイズが決まっていました。MiB のサイズになると（つまり、より大きな非 L1 の場合）、非常に早い段階でこのパターンが崩れ、サイズを 2 倍にするパラダイムに強制されることなく、より大きなキャッシュを使用できるようになりました。たとえば、2008 年 4 月のIntel Core 2 Duoでは、3 MiB の L2 キャッシュが搭載されました。L1 キャッシュの場合、サイズが一般的にまだ少数の KiB であるため、これはかなり後になってから発生しました。ただし、2012 年のIBM zEC12 は^例外で、当時としては異例の大きさの 96 KiB の L1 データ キャッシュを搭載しています。 2020年には、一部のIntel Atom CPU（最大24コア）のキャッシュサイズは4.5MiBと15MiB（の倍数）となっている。^{[9] [10]}

データは、キャッシュ ラインまたはキャッシュ ブロックと呼ばれる固定サイズのブロック単位でメモリとキャッシュ間で転送されます。キャッシュ ラインがメモリからキャッシュにコピーされると、キャッシュ エントリが作成されます。キャッシュ エントリには、コピーされたデータと要求されたメモリ位置 (タグと呼ばれる) が含まれます。

プロセッサがメモリ内の位置を読み取ったり書き込んだりする必要がある場合、プロセッサはまずキャッシュ内の対応するエントリをチェックします。キャッシュは、そのアドレスを含む可能性のあるキャッシュ ラインで、要求されたメモリ位置の内容をチェックします。プロセッサがメモリ位置がキャッシュ内にあることを検出した場合、キャッシュヒットが発生しています。ただし、プロセッサがキャッシュ内にメモリ位置を見つけられなかった場合、キャッシュ ミスが発生しています。キャッシュ ヒットの場合、プロセッサは直ちにキャッシュ ラインのデータを読み取ったり書き込んだりします。キャッシュ ミスの場合、キャッシュは新しいエントリを割り当て、メイン メモリからデータをコピーし、キャッシュの内容から要求を満たします。

キャッシュ ミス時に新しいエントリのためのスペースを確保するために、キャッシュは既存のエントリの 1 つを削除しなければならない場合があります。削除するエントリを選択するためにキャッシュが使用するヒューリスティックは、置換ポリシーと呼ばれます。置換ポリシーの基本的な問題は、既存のキャッシュ エントリのうち、将来使用される可能性が最も低いものを予測する必要があることです。将来を予測することは難しいため、利用可能なさまざまな置換ポリシーの中から最適なものを選択する方法はありません。一般的な置換ポリシーの 1 つであるLRU ( Least Recently Used ) は、最もアクセス頻度の低いエントリを置き換えます。

一部のメモリ範囲をキャッシュ不可としてマークすると、めったに再アクセスされないメモリ領域のキャッシュを回避することで、パフォーマンスを向上させることができます。これにより、再利用せずに何かをキャッシュにロードするオーバーヘッドを回避できます。キャッシュ エントリは、コンテキストに応じて無効にしたりロックしたりすることもできます。

データがキャッシュに書き込まれると、ある時点でメイン メモリにも書き込まれる必要があります。この書き込みのタイミングは書き込みポリシーと呼ばれます。ライトスルーキャッシュでは、キャッシュへのすべての書き込みによってメイン メモリへの書き込みが発生します。一方、ライトバックキャッシュまたはコピーバック キャッシュでは、書き込みはすぐにメイン メモリにミラーリングされず、代わりにキャッシュはどの場所が上書きされたかを追跡し、それらをダーティとしてマークします。これらの場所のデータは、そのデータがキャッシュから追い出された場合にのみメイン メモリに書き戻されます。このため、ライトバック キャッシュでの読み取りミスでは、サービスに 2 回のメモリ アクセスが必要になる場合があります。1 回はダーティな場所をメイン メモリに書き込み、もう 1 回はメモリから新しい場所を読み取るためです。また、ライトバック キャッシュにまだマップされていないメイン メモリの場所への書き込みによって、すでにダーティな場所が追い出され、そのキャッシュ領域が新しいメモリの場所用に解放される場合があります。

中間のポリシーもあります。キャッシュはライトスルーですが、書き込みは一時的にストア データ キューに保持されることがあります。これは通常、複数のストアをまとめて処理できるようにするためです (これにより、バスのターンアラウンドが短縮され、バスの使用率が向上します)。

メイン メモリからキャッシュされたデータは、他のエンティティ (たとえば、ダイレクト メモリ アクセス(DMA) を使用する周辺機器やマルチコア プロセッサの別のコア) によって変更される可能性があり、その場合、キャッシュ内のコピーは古くなるか、古くなる可能性があります。また、マルチプロセッサシステムの CPU がキャッシュ内のデータを更新すると、他の CPU に関連付けられたキャッシュ内のデータのコピーは古くなります。データの一貫性を保つキャッシュ マネージャ間の通信プロトコルは、キャッシュ コヒーレンスプロトコルと呼ばれます。

メモリ パフォーマンスとプロセッサ パフォーマンスの速度差が急激に拡大している昨今、キャッシュ パフォーマンスの測定が重要になっています。キャッシュは、この速度差を縮めるために導入されました。したがって、特に高性能システムでは、キャッシュがプロセッサとメモリの速度差をどれだけ埋められるかを知ることが重要になります。キャッシュ ヒット率とキャッシュ ミス率は、このパフォーマンスを決定する上で重要な役割を果たします。キャッシュ パフォーマンスを改善するには、ミス率を下げることが、他のステップの中でも必要なステップの 1 つになります。キャッシュへのアクセス時間を短縮すると、パフォーマンスも向上し、最適化にも役立ちます。

メモリから 1 つのキャッシュ ラインをフェッチするのにかかる時間 (キャッシュ ミスによる読み取り待ち時間) は、キャッシュ ラインを待っている間に CPU が作業不足になるため重要です。CPU がこの状態に達すると、ストールと呼ばれます。CPU がメイン メモリに比べて高速になるにつれて、キャッシュ ミスによるストールによって、より多くの潜在的な計算が置き換えられます。最新の CPU は、メイン メモリから 1 つのキャッシュ ラインをフェッチするのにかかる時間で、数百の命令を実行できます。

この間 CPU をビジー状態に維持するために、キャッシュ ミス データを待っている命令の後に CPU が独立した命令を実行しようとするアウトオブオーダー実行など、さまざまな技術が採用されています。多くのプロセッサで使用されている別の技術は、同時マルチスレッド(SMT) です。これにより、最初のスレッドが必要な CPU リソースが使用可能になるまで待機している間に、別のスレッドが CPU コアを使用できるようになります。

配置ポリシーは、メインメモリの特定のエントリのコピーがキャッシュのどこに保存されるかを決定します。配置ポリシーがキャッシュ内の任意のエントリをコピーの保存先として自由に選択できる場合、そのキャッシュは完全連想型と呼ばれます。反対に、メインメモリの各エントリがキャッシュ内の 1 つの場所にしか保存できない場合、そのキャッシュはダイレクトマップ型と呼ばれます。多くのキャッシュは、メインメモリの各エントリがキャッシュ内の N 個の場所のいずれかに保存できるという妥協案を実装しており、N ウェイ セット アソシエティブ と呼ばれます。^[11]たとえば、AMD Athlonのレベル 1 データ キャッシュは 2 ウェイ セット アソシエティブです。つまり、メインメモリ内の任意の特定の場所を、レベル 1 データ キャッシュ内の 2 つの場所のいずれかにキャッシュできます。

適切な連想度の値を選択するにはトレードオフが伴う。配置ポリシーによってメモリ位置をマップできる場所が 10 個ある場合、その場所がキャッシュ内にあるかどうかを確認するには、10 個のキャッシュ エントリを検索する必要がある。より多くの場所をチェックすると、より多くの電力とチップ領域が必要になり、時間がかかる可能性がある。一方、連想度が高いキャッシュではミスが少なくなるため (競合ミスを参照)、CPU が低速のメイン メモリから読み取る時間を節約できる。一般的なガイドラインでは、連想度を 2 倍にすると (直接マップから 2 ウェイに、または 2 ウェイから 4 ウェイに)、ヒット率の向上にはキャッシュ サイズを 2 倍にした場合とほぼ同じ効果がある。ただし、連想度を 4 より大きくしてもヒット率はそれほど向上せず^[12]、通常は他の理由で行われる (仮想エイリアシングを参照)。一部の CPU では、低電力状態でキャッシュの連想度を動的に下げることができ、これが省電力対策として機能する。^[13]

悪いが単純なものから良いが複雑なものの順に並べると、

• ダイレクトマップキャッシュ – 最善の場合の時間は良好だが、最悪の場合は予測できない
• 2ウェイセットアソシエイティブキャッシュ
• 双方向スキュー連想キャッシュ^[14]
• 4ウェイセットアソシエイティブキャッシュ
• 8ウェイセットアソシエイティブキャッシュ。後の実装では一般的な選択肢です。
• 12ウェイセットアソシエイティブキャッシュ（8ウェイセットアソシエイティブキャッシュに類似）
• 完全連想キャッシュ – ミス率は最高ですが、エントリ数が少ない場合にのみ実用的です。

このキャッシュ構成では、メイン メモリ内の各位置は、キャッシュ内の 1 つのエントリにのみ格納されます。したがって、ダイレクト マップ キャッシュは、「一方向セット アソシエイティブ」キャッシュとも呼ばれます。どのキャッシュ エントリの内容を削除するか選択できないため、配置ポリシーはありません。つまり、2 つの位置が同じエントリにマップされている場合、それらは継続的に互いを排除する可能性があります。ダイレクト マップ キャッシュはより単純ですが、同等のパフォーマンスを実現するには、アソシエイティブ キャッシュよりもはるかに大きくする必要があり、予測が困難です。xをキャッシュ内のブロック番号、y をメモリのブロック番号、n をキャッシュ内のブロック数とすると、マッピングはx = y mod nという式を使用して行われます。

メイン メモリ内の各位置をキャッシュ内の 2 つの位置のいずれかにキャッシュできる場合、論理的に次の疑問が生じます。2 つのうちどちらにキャッシュするか。最も単純で一般的に使用されている方式は、上図の右側に示すように、メモリ位置のインデックスの最下位ビットをキャッシュ メモリのインデックスとして使用し、各インデックスに 2 つのエントリを用意することです。この方式の利点の 1 つは、キャッシュに格納されるタグに、キャッシュ メモリのインデックスによって暗示されるメイン メモリ アドレスの部分を含める必要がないことです。キャッシュ タグのビット数が少ないため、必要なトランジスタ数が少なく、プロセッサ回路基板またはマイクロプロセッサ チップ上の占有スペースが少なくなり、読み取りと比較が高速になります。また、LRUアルゴリズムは、各ペアに格納する必要があるビットが 1 つだけなので、特に単純です。

ダイレクトマップ キャッシュの利点の 1 つは、単純かつ高速な推測が可能なことです。アドレスが計算されると、メモリ内のその場所のコピーを持つ可能性のある 1 つのキャッシュ インデックスがわかります。そのキャッシュ エントリは読み取ることができ、プロセッサはタグが要求されたアドレスと実際に一致するかどうかの確認が完了するまで、そのデータを使用して作業を続けることができます。

タグの一致が完了する前にプロセッサにキャッシュされたデータを使用させるというアイデアは、連想キャッシュにも適用できます。ヒントと呼ばれるタグのサブセットを使用して、要求されたアドレスにマッピングされる可能性のあるキャッシュ エントリの 1 つだけを選択できます。ヒントによって選択されたエントリは、完全なタグのチェックと並行して使用できます。ヒント手法は、以下で説明するように、アドレス変換のコンテキストで使用すると最も効果的です。

他にも、スキュード キャッシュ^[14]などの方式が提案されています。この方式では、ウェイ 0 のインデックスは上記のように直接ですが、ウェイ 1 のインデックスはハッシュ関数で形成されます。優れたハッシュ関数は、直接マッピングと競合するアドレスがハッシュ関数でマッピングされたときに競合しない傾向があるという特性があり、そのため、異常なアクセス パターンが原因でプログラムが予想外に多くの競合ミスに悩まされる可能性が低くなります。欠点は、ハッシュ関数の計算による余分な遅延です。^[15]さらに、新しいラインをロードして古いラインを追い出すときに、新しいラインが各ウェイの異なるインデックスのデータと競合するため、どの既存のラインが最も最近使用されていないかを判断するのが難しい場合があります。スキュードでないキャッシュのLRU追跡は通常、セットごとに行われます。それでも、スキュード アソシアティブ キャッシュは、従来のセット アソシアティブ キャッシュに比べて大きな利点があります。^[16]

真のセット連想キャッシュは、コンテンツ アドレス可能メモリのようなものを使い、すべての可能な方法を同時にテストします。疑似連想キャッシュは、可能な方法を 1 つずつテストします。ハッシュ再ハッシュ キャッシュと列連想キャッシュは、疑似連想キャッシュの例です。

最初にテストした方法でヒットを見つける一般的なケースでは、疑似連想キャッシュは直接マップされたキャッシュと同じくらい高速ですが、競合ミス率は直接マップされたキャッシュよりもはるかに低く、完全連想キャッシュのミス率に近くなります。^[15]

ダイレクトマップキャッシュと比較すると、セットアソシエイティブキャッシュは、複数のウェイまたはブロックが残るキャッシュセットにマップするキャッシュセットインデックスのビット数が少なくなっています。たとえば、2ウェイセットアソシエイティブキャッシュの場合は2ブロック、4ウェイセットアソシエイティブキャッシュの場合は4ブロックです。ダイレクトマップキャッシュと比較すると、未使用のキャッシュインデックスビットはタグビットの一部になります。たとえば、2ウェイセットアソシエイティブキャッシュはタグに1ビットを提供し、4ウェイセットアソシエイティブキャッシュはタグに2ビットを提供します。マルチカラムキャッシュ^[17]の基本的な考え方は、従来のセットアソシエイティブキャッシュと同様にセットインデックスを使用してキャッシュセットにマップし、追加されたタグビットを使用してセット内のウェイをインデックスすることです。たとえば、4ウェイセットアソシエイティブキャッシュでは、2ビットがそれぞれウェイ00、ウェイ01、ウェイ10、ウェイ11のインデックスに使用されます。この二重キャッシュインデックスは「主要ロケーションマッピング」と呼ばれ、そのレイテンシはダイレクトマップアクセスと同等です。マルチカラムキャッシュ設計に関する広範な実験^[17]では、主要ロケーションへのヒット率が 90% にも達することが示されています。キャッシュマッピングが主要ロケーションのキャッシュブロックと競合する場合、既存のキャッシュブロックは同じセット内の別のキャッシュウェイ (「選択されたロケーション」と呼ばれます) に移動されます。新しくインデックスされたキャッシュブロックは最近使用された (MRU) ブロックであるため、時間的局所性を考慮してマルチカラムキャッシュの主要ロケーションに配置されます。マルチカラムキャッシュは高連想性キャッシュ用に設計されているため、各セットのウェイ数が多く、セット内の選択されたロケーションを簡単に見つけることができます。キャッシュブロック内の主要ロケーションには、追加のハードウェアによる選択されたロケーションインデックスが維持されます。^{[引用が必要]}

マルチカラムキャッシュは、高い連想性によりヒット率が高く、主要な位置でのヒット率が高いため、ダイレクトマップキャッシュと同等の低レイテンシを実現しています。マルチカラムキャッシュにおける主要な位置と選択された位置の概念は、ARM Cortex Rチップのいくつかのキャッシュ設計、^[18] Intelのウェイ予測キャッシュメモリ、^[19] IBMの再構成可能なマルチウェイ連想キャッシュメモリ^[20]およびOracleのアドレスタブビットに基づく動的キャッシュ置換ウェイ選択で使用されています。^[21]

キャッシュ行エントリは通常、次の構造を持ちます。

データ ブロック(キャッシュ ライン) には、メイン メモリからフェッチされた実際のデータが含まれます。タグには、メイン メモリからフェッチされた実際のデータのアドレス (の一部) が含まれます。フラグ ビットについては、以下で説明します。

キャッシュの「サイズ」とは、キャッシュが保持できるメインメモリデータの量です。このサイズは、各データブロックに格納されているバイト数とキャッシュに格納されているブロック数を掛けて計算できます。(タグ、フラグ、エラー訂正コードビットはサイズに含まれませんが、^[22]キャッシュの物理領域に影響します。)

キャッシュライン（メモリブロック）に沿った有効なメモリアドレスは、タグ、インデックス、ブロックオフセットに分割されます（ MSBからLSB ）。 ^{[23] [24]}

インデックスは、データがどのキャッシュ セットに格納されているかを示します。インデックスの長さは、sキャッシュ セット ごとにビットです。${\displaystyle \lceil \log _{2}(s)\rceil }$

ブロック オフセットは、キャッシュ行内の保存されたデータ ブロック内の目的のデータを指定します。通常、有効アドレスはバイト単位なので、ブロック オフセットの長さはビットです。ここで、b はデータ ブロックあたりのバイト数です。タグにはアドレスの最上位ビットが含まれており、現在のセット (セットはインデックスによって取得されています) 内のすべての行に対してチェックされ、このセットに要求されたアドレスが含まれているかどうかが確認されます。含まれている場合は、キャッシュ ヒットが発生します。タグの長さ (ビット単位) は次のとおりです。 ${\displaystyle \lceil \log _{2}(b)\rceil }$

tag_length = address_length - index_length - block_offset_length

一部の著者はブロックオフセットを単に「オフセット」^[25]または「変位」[26]と呼ぶ。^{[27 ]}

オリジナルのPentium 4プロセッサには、64 バイトのキャッシュ ブロックを持つ、サイズが 8 KiBの 4 ウェイ セット アソシエイティブ L1 データ キャッシュがあり ました。したがって、8 KiB / 64 = 128 個のキャッシュ ブロックがあります。セットの数は、キャッシュ ブロックの数を連想方法の数で割った数に等しく、128 / 4 = 32 セットとなり、したがって 2 ^{5 = 32 個の異なるインデックスになります。オフセットは 2 6} = 64 個 あります 。CPU アドレスは 32 ビット幅なので、タグ フィールドは 32 − 5 − 6 = 21 ビットになります。

オリジナルのPentium 4プロセッサには、8ウェイセットアソシエイティブL2統合キャッシュ（256KiB）があり、128バイトのキャッシュブロックを持っていました。これは、タグフィールドに32 − 8 − 7 = 17ビットを意味します。^[25]

命令キャッシュでは、キャッシュ行エントリごとに 1 つのフラグ ビット (有効ビット) のみが必要です。有効ビットは、キャッシュ ブロックに有効なデータがロードされているかどうかを示します。

電源投入時に、ハードウェアはすべてのキャッシュのすべての有効ビットを「無効」に設定します。一部のシステムでは、あるプロセッサのキャッシュ内のマルチマスターバス スヌーピングハードウェアが他のプロセッサからアドレス ブロードキャストを受信し、ローカル キャッシュ内の特定のデータ ブロックが古くなって無効としてマークする必要があることを認識した場合など、他のタイミングでも有効ビットを「無効」に設定します。

データ キャッシュには通常、キャッシュ ラインごとに 2 つのフラグ ビット (有効ビットとダーティ ビット) が必要です。ダーティ ビットが設定されているということは、関連するキャッシュ ラインがメイン メモリから読み取られて以来変更されている ("ダーティ") ことを示します。つまり、プロセッサがそのラインにデータを書き込み、新しい値がメイン メモリに完全には伝わっていないことを意味します。

キャッシュ ミスは、キャッシュ内のデータの読み取りまたは書き込みの試行が失敗することであり、その結果、メイン メモリへのアクセスの待ち時間が大幅に長くなります。キャッシュ ミスには、命令読み取りミス、データ読み取りミス、およびデータ書き込みミスの 3 種類があります。

命令キャッシュからのキャッシュ読み取りミスは、通常、最大の遅延を引き起こします。これは、プロセッサ、または少なくとも実行スレッドが、命令がメイン メモリからフェッチされるまで待機 (ストール) する必要があるためです。データキャッシュからのキャッシュ読み取りミスは、通常、より小さな遅延を引き起こします。これは、キャッシュ読み取りに依存しない命令を発行して、メイン メモリからデータが返されるまで実行を継続でき、依存する命令は実行を再開できるためです。データキャッシュへのキャッシュ書き込みミスは、通常、最も短い遅延を引き起こします。これは、書き込みをキューに入れることができ、後続の命令の実行にほとんど制限がなく、プロセッサはキューがいっぱいになるまで実行を継続できるためです。ミスの種類の詳細な説明については、「キャッシュ パフォーマンスの測定とメトリック」を参照してください。

汎用 CPU のほとんどは、何らかの形の仮想メモリを実装しています。要約すると、マシンで実行されている各プログラムが、そのプログラム専用のコードとデータを含む独自の簡略化されたアドレス空間を参照するか、すべてのプログラムが共通の仮想アドレス空間で実行されるかのどちらかです。プログラムは、物理アドレス空間のアドレスではなく、仮想アドレス空間のアドレスに対して計算、比較、読み取り、書き込みを行うことで実行されるため、プログラムが単純化され、記述が容易になります。

仮想メモリでは、プロセッサがプログラムによって生成された仮想アドレスをメイン メモリの物理アドレスに変換する必要があります。この変換を行うプロセッサの部分は、メモリ管理ユニット(MMU) と呼ばれます。MMU を介した高速パスは、オペレーティング システムのページ テーブル、セグメント テーブル、またはその両方からのマッピングのキャッシュである変換ルックアサイド バッファ(TLB) に格納されている変換を実行できます。

ここでの議論の目的上、アドレス変換には 3 つの重要な特徴があります。

• レイテンシ:仮想アドレスがアドレス ジェネレータから使用可能になってから、数サイクルほど経ってから、物理アドレスが MMU から使用可能になります。
• エイリアシング:複数の仮想アドレスを 1 つの物理アドレスにマップできます。ほとんどのプロセッサは、その 1 つの物理アドレスに対するすべての更新がプログラム順に行われることを保証します。この保証を実現するには、プロセッサは、特定の時点でキャッシュ内に物理アドレスのコピーが 1 つだけ存在するようにする必要があります。
• 粒度:仮想アドレス空間はページに分割されます。たとえば、4  GiB の仮想アドレス空間は 4 KiB サイズの 1,048,576 ページに分割され、各ページは個別にマップできます。複数のページ サイズがサポートされる場合があります。詳細については、仮想メモリを参照してください。

初期の仮想記憶システムの1つであるIBM M44/44Xでは、プログラムされたメインメモリへのアクセスの前に、コアメモリに保持されているマッピングテーブルにアクセスする必要がありました。 ^{[28] [NB 1]}キャッシュがなく、マッピングテーブルメモリがメインメモリと同じ速度で動作していたため、メモリアクセスの速度が実質的に半分に削減されました。マッピングにメインメモリ内のページテーブルを使用していた初期の2つのマシン、 IBM System/360 Model 67とGE 645は、どちらもメモリ内ページテーブルへのアクセス用キャッシュとして小さな連想メモリを備えていました。どちらのマシンも、メインメモリにキャッシュを備えた最初のマシンであるIBM System/360 Model 85よりも前のものであるため、コンピュータシステムで使用された最初のハードウェアキャッシュはデータキャッシュや命令キャッシュではなく、TLBでした。

キャッシュは、インデックスまたはタグが物理アドレスまたは仮想アドレスに対応するかどうかに基づいて、次の 4 つのタイプに分類できます。

• 物理的にインデックス付けされ、物理的にタグ付けされた(PIPT) キャッシュは、インデックスとタグの両方に物理アドレスを使用します。これは単純でエイリアシングの問題を回避できますが、キャッシュでそのアドレスを検索する前に物理アドレスを検索する必要があるため (TLB ミスやメイン メモリへのアクセスが必要になる場合があります)、速度も遅くなります。
• 仮想インデックス、仮想タグ(VIVT) キャッシュは、インデックスとタグの両方に仮想アドレスを使用します。このキャッシュ方式では、特定の仮想アドレスの物理アドレスを決定するために最初に MMU を参照する必要がないため、検索が大幅に高速化されます。ただし、VIVT ではエイリアシング問題が発生します。エイリアシングの問題では、複数の異なる仮想アドレスが同じ物理アドレスを参照する場合があります。その結果、このようなアドレスは同じメモリを参照しているにもかかわらず個別にキャッシュされ、一貫性の問題が発生します。この問題の解決策は存在しますが^[31]、標準的な一貫性プロトコルでは機能しません。もう 1 つの問題は同音異義語で、同じ仮想アドレスが複数の異なる物理アドレスにマップされます。仮想インデックス自体を見るだけではこれらのマッピングを区別することはできませんが、考えられる解決策としては、コンテキスト スイッチ後にキャッシュをフラッシュする、アドレス空間を重複しないようにする、仮想アドレスにアドレス空間 ID (ASID) をタグ付けするなどがあります。さらに、仮想から物理へのマッピングが変更される可能性があるという問題があり、VA が有効でなくなるため、キャッシュ ラインをフラッシュする必要があります。タグが物理アドレス (VIPT) を使用する場合、これらすべての問題は発生しません。
• 仮想インデックス、物理的にタグ付けされた(VIPT) キャッシュは、インデックスに仮想アドレスを使用し、タグに物理アドレスを使用します。PIPT に対する利点は、キャッシュ ラインを TLB 変換と並行して検索できるため、レイテンシが低いことです。ただし、物理アドレスが使用可能になるまでタグを比較することはできません。VIVT に対する利点は、タグに物理アドレスがあるため、キャッシュが同音異義語を検出できることです。理論的には、VIPT では、一部のインデックス ビットが仮想アドレスと物理アドレスで異なる可能性があり (たとえば、4 KiB ページの場合はビット 12 以上)、仮想インデックスと物理タグの両方に含める必要があるため、より多くのタグ ビットが必要になります。実際には、これは問題ではありません。一貫性の問題を回避するために、VIPT キャッシュはそのようなインデックス ビットを持たないように設計されているからです (たとえば、4 KiB ページの場合はインデックスとブロック オフセットの合計ビット数を 12 に制限するなど)。これにより、VIPT キャッシュのサイズは、ページ サイズとキャッシュの連想性の積に制限されます。
• 物理的にインデックス付けされ、仮想的にタグ付けされた(PIVT) キャッシュは、文献では役に立たず存在しないとよく主張されています。^[32]しかし、MIPS R6000 は、このキャッシュ タイプを唯一の既知の実装として使用しています。^{[33] R6000 は、}エミッタ結合ロジックで実装されていますが、これは非常に高速なテクノロジであり、 TLBなどの大容量メモリには適していません。R6000 は、TLB メモリを、チップ上に小さな高速 TLB「スライス」を持つ第 2 レベル キャッシュの予約部分に配置することでこの問題を解決しています。キャッシュは、TLB スライスから取得された物理アドレスによってインデックス付けされます。ただし、TLB スライスはキャッシュのインデックス付けに必要な仮想アドレス ビットのみを変換し、タグを使用しないため、誤ったキャッシュ ヒットが発生する可能性があります。これは、仮想アドレスでタグ付けすることで解決されます。

この繰り返しの速度 (ロード待ち時間) は CPU パフォーマンスにとって非常に重要であるため、最新のレベル 1 キャッシュのほとんどは仮想的にインデックス化されており、少なくとも MMU の TLB ルックアップはキャッシュ RAM からデータを取得するのと並行して実行できます。

しかし、仮想インデックスはすべてのキャッシュ レベルにとって最適な選択肢ではありません。仮想エイリアスの処理コストはキャッシュ サイズとともに増大するため、レベル 2 以上のキャッシュのほとんどは物理的にインデックス化されます。

キャッシュはこれまでキャッシュ タグに仮想アドレスと物理アドレスの両方を使用してきましたが、仮想タグ付けは現在では一般的ではありません。TLB ルックアップがキャッシュ RAM ルックアップの前に終了できる場合、物理アドレスはタグ比較に間に合うため、仮想タグ付けは必要ありません。したがって、大きなキャッシュは物理的にタグ付けされる傾向があり、小さくて非常に低レイテンシのキャッシュのみが仮想タグ付けされます。最近の汎用 CPU では、以下で説明するように、仮想タグ付けは vhints に置き換えられています。

仮想インデックスとタグ付けに依存するキャッシュは、同じ仮想アドレスが異なる物理アドレスにマッピングされると（同義語）、一貫性がなくなります。これは、タグ付けに物理アドレスを使用するか、アドレス空間識別子をキャッシュラインに格納することで解決できます。ただし、後者のアプローチは、複数のキャッシュラインが同じ物理アドレスのデータを格納することになる同義語問題には役立ちません。このような場所に書き込むと、キャッシュ内の1つの場所のみが更新され、他の場所には一貫性のないデータが残る可能性があります。この問題は、異なるアドレス空間に重複しないメモリレイアウトを使用することで解決できます。そうでない場合は、マッピングが変更されたときにキャッシュ（またはその一部）をフラッシュする必要があります。^[34]

仮想タグの大きな利点は、連想キャッシュの場合、仮想から物理への変換が行われる前にタグの一致を続行できることです。ただし、コヒーレンス プローブとエビクションでは、アクションのために物理アドレスが提示されます。ハードウェアには、物理​​アドレスをキャッシュ インデックスに変換する何らかの手段が必要です。通常は、物理タグと仮想タグの両方を保存します。比較すると、物理的にタグ付けされたキャッシュは仮想タグを保持する必要がないため、よりシンプルです。仮想から物理へのマッピングが TLB から削除されると、それらの仮想アドレスを持つキャッシュ エントリを何らかの方法でフラッシュする必要があります。または、TLB によってマップされていないページでキャッシュ エントリが許可されている場合は、ページ テーブルでそれらのページのアクセス権が変更されたときに、それらのエントリをフラッシュする必要があります。

オペレーティング システムでは、キャッシュ内に同時に仮想エイリアスが存在しないことを確認することもできます。オペレーティング システムは、以下で説明するページ カラーリングを実施することでこの保証を行います。初期の RISC プロセッサ (SPARC、RS/6000) の一部ではこのアプローチを採用していました。仮想エイリアスの検出と削除にかかるハードウェア コストが低下し、完全なページ カラーリングによるソフトウェアの複雑さとパフォーマンスの低下が増したため、このアプローチは最近は使用されていません。

連想キャッシュ内のタグの 2 つの機能を区別すると便利です。タグは、エントリ セットのどの方向を選択するかを決定するために使用され、キャッシュがヒットしたかミスしたかを決定するために使用されます。2 番目の機能は常に正確である必要がありますが、最初の機能が推測して、時々間違った答えを得ることは許容されます。

一部のプロセッサ (初期の SPARC など) には、仮想タグと物理タグの両方を備えたキャッシュがあります。仮想タグはウェイの選択に使用され、物理タグはヒットまたはミスの判定に使用されます。この種類のキャッシュは、仮想タグ付きキャッシュのレイテンシの利点と、物理タグ付きキャッシュのシンプルなソフトウェア インターフェイスを利用できます。ただし、タグが重複するという追加コストがかかります。また、ミス処理中は、インデックス付けされたキャッシュ ラインの代替ウェイをプローブして仮想エイリアスを探し、一致するものがあれば削除する必要があります。

余分な領域 (およびいくらかのレイテンシ) は、仮想タグの代わりに各キャッシュ エントリに仮想ヒントを保持することで軽減できます。これらのヒントは仮想タグのサブセットまたはハッシュであり、データと物理タグを取得するキャッシュの方法を選択するために使用されます。仮想タグ付きキャッシュと同様に、仮想ヒントは一致しても物理タグが一致しない場合があります。その場合、一致するヒントを持つキャッシュ エントリを削除して、このアドレスでのキャッシュ フィル後のキャッシュ アクセスでヒントが 1 つだけ一致するようにする必要があります。仮想ヒントは仮想タグよりも互いに区別するビット数が少ないため、仮想ヒント付きキャッシュでは仮想タグ付きキャッシュよりも競合ミスが多く発生します。

おそらく、仮想ヒントの究極の削減は、Pentium 4 (Willamette および Northwood コア) で実現できます。これらのプロセッサでは、仮想ヒントは実質的に 2 ビットで、キャッシュは 4 ウェイ セット アソシエティブです。実質的に、ハードウェアは仮想アドレスからキャッシュ インデックスへの単純な順列を維持するため、フェッチされた 4 つのウェイから正しいものを選択するために コンテンツ アドレス可能メモリ(CAM) は必要ありません。

物理的にインデックス付けされた大規模なキャッシュ (通常はセカンダリ キャッシュ) では、アプリケーションではなくオペレーティング システムがキャッシュ内のどのページが互いに衝突するかを制御するという問題が発生します。プログラムの実行ごとにページ割り当てが異なると、キャッシュ衝突パターンが異なり、プログラムのパフォーマンスに大きな違いが生じる可能性があります。これらの違いにより、ベンチマーク実行の一貫性のある繰り返し可能なタイミングを得ることが非常に困難になる可能性があります。

この問題を理解するには、1 MiB の物理的にインデックス付けされた直接マップされたレベル 2 キャッシュと 4 KiB の仮想メモリ ページを持つ CPU を考えてみましょう。連続した物理ページは、256 ページを超えるとパターンが折り返されるまで、キャッシュ内の連続した場所にマップされます。各物理ページに 0 ～ 255 の色でラベルを付けて、キャッシュ内のどこに配置できるかを示すことができます。異なる色の物理ページ内の場所は、キャッシュ内で競合することはできません。

キャッシュを最大限に活用しようとするプログラマーは、プログラムのアクセス パターンを調整して、一度に 1 MiB のデータのみをキャッシュすればよく、容量ミスを回避することができます。ただし、アクセス パターンに競合ミスがないようにすることも必要です。この問題を考える方法の 1 つは、プログラムが使用する仮想ページを分割し、物理ページに物理色を割り当てたのと同じ方法で仮想色を割り当てることです。その後、プログラマーは、同じ仮想色のページが同時に使用されないように、コードのアクセス パターンを調整できます。このような最適化 (ループ ネストの最適化など) に関する幅広い文献があり、その多くは高性能コンピューティング (HPC)コミュニティから発信されています。

問題は、ある時点で使用中のすべてのページが異なる仮想色を持つ可能性がある一方で、一部のページは同じ物理色を持つ可能性があることです。実際、オペレーティング システムが物理ページを仮想ページにランダムかつ均一に割り当てると、一部のページが同じ物理色を持つ可能性が非常に高くなり、それらのページの位置がキャッシュ内で衝突します (これが誕生日のパラドックスです)。

解決策は、オペレーティング システムに異なる物理カラー ページを異なる仮想カラーに割り当てるようにさせることです。これは、ページ カラーリングと呼ばれる手法です。仮想カラーから物理カラーへの実際のマッピングはシステム パフォーマンスとは無関係ですが、奇妙なマッピングは追跡が難しく、メリットもほとんどないため、ページ カラーリングのほとんどのアプローチでは、物理ページ カラーと仮想ページ カラーを同じに保つようにしています。

オペレーティング システムが各物理ページが 1 つの仮想色のみにマップされることを保証できる場合、仮想エイリアスは存在せず、プロセッサはミス処理中に追加の仮想エイリアス プローブを必要とせずに仮想インデックス キャッシュを使用できます。または、OS は、ページが 1 つの仮想色から別の仮想色に変更されるたびに、キャッシュからページをフラッシュできます。前述のように、このアプローチは初期の SPARC および RS/6000 設計の一部で使用されていました。

ソフトウェアページカラーリング技術は、マルチコアプロセッサの共有ラストレベルキャッシュ（LLC）を効果的に分割するために使用されています。^[35]このオペレーティングシステムベースのマルチコアプロセッサのLLC管理は、Intelによって採用されています。^[36]

現代のプロセッサには、相互作用する複数のオンチップキャッシュが搭載されています。特定のキャッシュの動作は、キャッシュサイズ、キャッシュブロックサイズ、セット内のブロック数、キャッシュセットの置き換えポリシー、およびキャッシュ書き込みポリシー（ライトスルーまたはライトバック）によって完全に指定できます。^[25]

特定のキャッシュ内のすべてのキャッシュ ブロックは同じサイズで、同じ連想性を持ちますが、通常、「下位レベル」のキャッシュ (レベル 1 キャッシュと呼ばれる) は、ブロックの数が少なく、ブロック サイズが小さく、セット内のブロック数も少ないですが、アクセス時間は非常に短くなります。「上位レベル」のキャッシュ (つまり、レベル 2 以上) は、ブロックの数が多くなり、ブロック サイズも大きくなり、セット内のブロック数が増え、アクセス時間が比較的長くなりますが、それでもメイン メモリよりはるかに高速です。

キャッシュ エントリの置換ポリシーは、プロセッサ設計者が実装するように選択した キャッシュ アルゴリズムによって決定されます。場合によっては、異なる種類の作業負荷に対して複数のアルゴリズムが提供されます。

パイプライン化された CPU は、命令フェッチ、仮想アドレスから物理アドレスへの変換、およびデータ フェッチ (従来の RISC パイプラインを参照) など、パイプラインの複数のポイントからメモリにアクセスします。自然な設計では、これらのポイントごとに異なる物理キャッシュを使用するため、パイプラインの 2 つのポイントを処理するために 1 つの物理リソースをスケジュールする必要はありません。したがって、パイプラインには、それぞれ特定の役割に特化した少なくとも 3 つの個別のキャッシュ (命令、TLB、およびデータ) が自然に存在します。

犠牲キャッシュは、 CPUキャッシュの置き換え時に追い出されたブロックを保持するために使用されるキャッシュです。犠牲キャッシュはメイン キャッシュとその補充パスの間にあり、メイン キャッシュから追い出されたデータ ブロックのみを保持します。犠牲キャッシュは通常、完全な連想性を持ち、競合ミスの数を減らすことを目的としています。一般的に使用される多くのプログラムでは、すべてのアクセスに対して連想マッピングは必要ありません。実際、プログラムのメモリ アクセスのごく一部だけが高連想性を必要とします。犠牲キャッシュは、これらのアクセスに対してのみ高連想性を提供することでこの特性を活用します。これは、1990 年に DEC のNorman Jouppiによって導入されました。 ^[37]

IntelのHaswellプロセッサの派生版であるCrystalwell ^[38]では、プロセッサのレベル3キャッシュの犠牲キャッシュとして機能するオンパッケージ128MiB eDRAMレベル4キャッシュが導入されました。 ^[39] Skylakeマイクロアーキテクチャでは、レベル4キャッシュは犠牲キャッシュとして機能しなくなりました。^[40]

キャッシュ特化のより極端な例の1つは、Intel Pentium 4マイクロプロセッサに搭載されているトレースキャッシュ（実行トレースキャッシュとも呼ばれる）です。トレースキャッシュは、すでにフェッチされデコードされた命令のトレースを保存することで、命令フェッチ帯域幅を増やし、消費電力を削減するメカニズムです（Pentium 4の場合）。^[41]

トレース キャッシュは、命令がデコードされた後、または命令がリタイアされた後に命令を保存します。通常、命令は、個々の基本ブロックまたは動的命令トレースを表すグループでトレース キャッシュに追加されます。Pentium 4 のトレース キャッシュは、 x86 命令のデコードから得られるマイクロ操作を保存し、マイクロ操作キャッシュの機能も提供します。これにより、次に命令が必要になったときに、マイクロ操作に再度デコードする必要がなくなります。^{[42] : 63–68}

書き込み結合キャッシュ^[43]は、 AMDのBulldozerマイクロアーキテクチャのL2キャッシュの一部である特別なキャッシュです。モジュール内の両方のL1DキャッシュからのストアはWCCを通過し、そこでバッファリングされ結合されます。WCCの役割は、L2キャッシュへの書き込み回数を減らすことです。

マイクロオペレーションキャッシュ（μopキャッシュ、uopキャッシュまたはUC）^[44]は、命令デコーダまたは命令キャッシュから直接受信したデコードされた命令のマイクロオペレーションを格納する特殊なキャッシュです。命令をデコードする必要がある場合、μopキャッシュでデコードされた形式がチェックされ、キャッシュされている場合は再利用されます。利用できない場合は、命令をデコードしてからキャッシュします。

Intel P6プロセッサフ​​ァミリの代替フロントエンドとしてμopキャッシュを説明した初期の研究の1つは、2001年の論文「マイクロオペレーションキャッシュ：可変命令長ISAの電力を考慮したフロントエンド」です。^[45]その後、IntelはSandy Bridgeプロセッサと、 Ivy BridgeやHaswellなどの後続のマイクロアーキテクチャにμopキャッシュを搭載しました。^{[42] ：121–123  [46] AMDは}Zenマイクロアーキテクチャにμopキャッシュを実装しました。^[47]

完全なデコード済み命令をフェッチすることで、可変長の複雑な命令を、より単純な固定長のマイクロオペレーションに繰り返しデコードする必要がなくなり、フェッチされた命令の予測、フェッチ、回転、および整列のプロセスが簡素化されます。μop キャッシュは、フェッチおよびデコード ハードウェアの負荷を効果的に軽減するため、消費電力が削減され、デコードされたマイクロオペレーションのフロントエンドへの供給が改善されます。μop キャッシュは、デコードされたマイクロオペレーションをより一貫してバックエンドに提供し、CPU のフェッチおよびデコード ロジックのさまざまなボトルネックを排除することで、パフォーマンスも向上します。^{[45] [46]}

μopキャッシュはトレースキャッシュと多くの類似点がありますが、μopキャッシュははるかに単純であるため、電力効率が優れており、バッテリー駆動のデバイスでの実装に適しています。トレースキャッシュの主な欠点は、キャッシュの決定と動的に作成された命令トレースの再利用に必要なハードウェアの複雑さであり、電力効率が悪いことです。 [ ^48]

分岐ターゲットキャッシュまたは分岐ターゲット命令キャッシュは、 ARMマイクロプロセッサで使用される名前であり、^[49]分岐実行後の分岐先の最初の数命令を保持する特殊なキャッシュです。これは、メモリシステムが命令をキャッシュなしでもCPUを満足させるほど高速に配信できるため、通常の命令キャッシュを必要としない低電力プロセッサで使用されます。ただし、これは連続する命令にのみ適用されます。新しいアドレスで命令フェッチを再開するには、依然として数サイクルのレイテンシが必要であり、制御転送後に数サイクルのパイプラインバブルが発生します。分岐ターゲットキャッシュは、ほとんどの分岐実行後の遅延を回避するために、それらの数サイクル分の命令を提供します。

これにより、従来のフルタイム命令キャッシュよりもはるかに小さいキャッシュでフルスピード動作が可能になります。

スマート キャッシュは、 Intelが開発した、複数の実行コア向けのレベル 2 またはレベル 3 のキャッシュ方式です。

スマートキャッシュは、マルチコアプロセッサのコア間で実際のキャッシュメモリを共有します。コアごとに専用のキャッシュと比較すると、コアがキャッシュスペースの均等な部分を必要としない場合、全体的なキャッシュミス率が低下します。その結果、他のコアが非アクティブである間、1つのコアがレベル2またはレベル3のキャッシュ全体を使用することができます。^[50]さらに、共有キャッシュにより、異なる実行コア間でのメモリの共有が高速化されます。^[51]

もう 1 つの問題は、キャッシュのレイテンシとヒット率の基本的なトレードオフです。キャッシュが大きいほどヒット率は高くなりますが、レイテンシは長くなります。このトレードオフに対処するために、多くのコンピューターでは、小さくて高速なキャッシュを、大きくて低速なキャッシュでバックアップする、複数レベルのキャッシュを使用しています。通常、マルチレベル キャッシュは、最初に最も高速なキャッシュであるレベル 1 ( L1 ) をチェックして動作します。ヒットすると、プロセッサは高速で処理を進めます。その小さなキャッシュがヒットしない場合は、次に高速なキャッシュであるレベル 2 ( L2 ) をチェックし、その後外部メモリにアクセスします。

メインメモリと最速のキャッシュ間のレイテンシの差が大きくなるにつれて、一部のプロセッサでは3レベルものオンチップキャッシュが利用されるようになりました。価格重視の設計ではこれを利用してキャッシュ階層全体をオンチップにしていましたが、2010年代までには最高性能の設計の一部で大規模なオフチップキャッシュ（多くの場合eDRAMに実装され、マルチチップモジュールに搭載され、4番目のキャッシュレベルとして使用される）を使用するようになりました。メインフレームCPUのIBM z15 （2019）などのまれなケースでは、L1までのすべてのレベルがeDRAMによって実装され、SRAMが完全に置き換えられています（キャッシュの場合、レジスタには引き続きSRAMが使用されています）。ARMベースの Apple M1には、4つの高性能コアそれぞれに192KiBのL1キャッシュがあり、これは異常に大きいですが、4つの高効率コアには128KiBしかありません。

L3 および L4 キャッシュの利点は、アプリケーションのアクセス パターンによって異なります。L3 および L4 キャッシュを組み込んだ製品の例は次のとおりです。

• Alpha 21164 (1995) には、1 ～ 64 MiB のオフチップ L3 キャッシュがありました。
• AMD K6-III (1999) にはマザーボードベースの L3 キャッシュがありました。
• IBM POWER4 (2001) には、プロセッサあたり 32 MiB のオフチップ L3 キャッシュがあり、複数のプロセッサ間で共有されていました。
• Itanium 2 (2003) には、6 MiB の統合レベル 3 (L3) キャッシュがオンダイに搭載されていました。Itanium 2 (2003) MX 2 モジュールには、Madison プロセッサとピン互換のマルチチップ モジュール上に 2 つの Itanium 2 プロセッサと共有 64 MiB L4 キャッシュが組み込まれていました。
• Intel のコードネーム「Tulsa」(2006) のXeon MP 製品には、2 つのプロセッサ コア間で共有される 16 MiB のオンダイ L3 キャッシュが搭載されています。
• 2 MiB の L3 キャッシュを備えたAMD Phenom (2007)。
• AMD Phenom II (2008) には、最大 6 MiB のオンダイ統合 L3 キャッシュが搭載されています。
• Intel Core i7 (2008) には、すべてのコアで共有される 8 MiB のオンダイ統合 L3 キャッシュがあります。
• Intel Iris Proグラフィックスを統合したIntel Haswell CPUには、基本的にL4キャッシュとして機能する128MiBのeDRAMが搭載されています。^[52]

最後に、メモリ階層のもう一方の端にある CPUレジスタ ファイル自体は、システム内で最小かつ最速のキャッシュと見なすことができます。このキャッシュは、ソフトウェアでスケジュールされるという特別な特徴があります。通常はコンパイラによってスケジュールされ、ループ ネストの最適化などのためにメイン メモリから取得した値を保持するためのレジスタを割り当てます。ただし、レジスタ名の変更により、ほとんどのコンパイラ レジスタ割り当ては実行時にハードウェアによってレジスタ バンクに動的に再割り当てされるため、CPU は誤ったデータ依存関係を解消でき、パイプライン ハザードが軽減されます。

レジスタ ファイルにも階層構造がある場合があります。Cray -1 (1976 年頃) には、一般的に使用可能な 8 つのアドレス "A" レジスタと 8 つのスカラー データ "S" レジスタがありました。また、アクセスに時間がかかるもののメイン メモリより高速な、64 個のアドレス "B" レジスタと 64 個のスカラー データ "T" レジスタのセットもありました。Cray-1 にはデータ キャッシュがなかったため、"B" レジスタと "T" レジスタが提供されました (ただし、Cray-1 には命令キャッシュがありました)。

複数のコアを持つチップを検討する場合、キャッシュを共有するか、各コアにローカルにするかという問題があります。共有キャッシュを実装すると、必然的に配線が増えて複雑になります。しかし、コアではなくチップごとに 1 つのキャッシュを持つことで、必要なスペースの量が大幅に削減され、より大きなキャッシュを含めることができます。

通常、L1 キャッシュの共有は望ましくありません。レイテンシが増加すると、各コアの動作がシングルコア チップよりも大幅に遅くなるためです。ただし、メモリにアクセスする前に最後に呼び出される最高レベルのキャッシュの場合、グローバル キャッシュを使用することが望ましい理由はいくつかあります。たとえば、1 つのコアでキャッシュ全体を使用できること、異なるプロセスまたはスレッドでキャッシュされたデータを共有できるようにすることでデータの冗長性を削減できること、使用されるキャッシュ コヒーレンス プロトコルの複雑さを軽減できることなどです。^[53]たとえば、3 つのレベルを持つ 8 コア チップには、コアごとに L1 キャッシュ、コアのペアごとに 1 つの中間 L2 キャッシュ、およびすべてのコアで共有される 1 つの L3 キャッシュが含まれます。

メモリにアクセスする前に呼び出される共有の最上位キャッシュは、通常、ラストレベルキャッシュ（LLC）と呼ばれます。LLCが複数のコア間で共有される場合、並列処理のレベルを上げるために、特定の範囲のメモリアドレスをアドレス指定し、独立してアクセスできる複数の部分にLLCをスライスするなどの追加のテクニックが使用されます。^[54]

分離キャッシュ構造では、命令とデータは別々にキャッシュされます。つまり、キャッシュラインは命令またはデータのいずれかをキャッシュするために使用されますが、両方をキャッシュするわけではありません。データと命令の変換ルックアサイドバッファを別々にすることで、さまざまな利点が実証されています。^[55]統合構造ではこの制約は存在せず、キャッシュラインを使用して命令とデータの両方をキャッシュできます。

マルチレベル キャッシュは、新しい設計上の決定をもたらします。たとえば、一部のプロセッサでは、L1 キャッシュ内のすべてのデータが L2 キャッシュのどこかに存在しなければなりません。これらのキャッシュは、厳密に包括的と呼ばれます。他のプロセッサ ( AMD Athlonなど)には排他的キャッシュがあり、データは L1 キャッシュと L2 キャッシュのどちらか一方に存在することが保証され、両方に存在することはありません。さらに他のプロセッサ (Intel Pentium II、III、4など) では、L1 キャッシュのデータが L2 キャッシュにも存在する必要がありませんが、多くの場合そうなります。この中間ポリシーには、一般的に受け入れられている名前はありません。^{[56] [57]}一般的な名前は、「非排他的」と「部分的に包括的」の 2 つです。

排他キャッシュの利点は、より多くのデータを保存できることです。この利点は、排他 L1 キャッシュが L2 キャッシュと同等である場合に大きくなり、L2 キャッシュが L1 キャッシュの何倍も大きい場合は小さくなります。アクセスで L1 がミスし、L2 がヒットした場合、ヒットした L2 のキャッシュ ラインが L1 のラインと交換されます。この交換は、インクルーシブ キャッシュが行うように、L2 から L1 にラインをコピーするだけよりもかなり手間がかかります。^[57]

厳密にインクルーシブなキャッシュの利点の 1 つは、外部デバイスやマルチプロセッサ システム内の他のプロセッサがプロセッサからキャッシュ ラインを削除したい場合、プロセッサに L2 キャッシュをチェックさせるだけでよいことです。インクルーシブを強制しないキャッシュ階層では、L1 キャッシュもチェックする必要があります。欠点として、L1 キャッシュと L2 キャッシュの連想性には相関関係があります。L2 キャッシュのウェイ数が L1 キャッシュの合計数以上でない場合、L1 キャッシュの有効な連想性は制限されます。インクルーシブ キャッシュのもう 1 つの欠点は、L2 キャッシュで退避が発生するたびに、インクルーシブ性を維持するために、L1 の (おそらく) 対応するラインも退避する必要があることです。これはかなりの作業であり、L1 ミス率が高くなることになります。^[57]

包括的キャッシュのもう 1 つの利点は、キャッシュが大きいほどキャッシュ ラインを大きくできるため、2 次キャッシュ タグのサイズが小さくなることです。(排他的キャッシュでは、両方のキャッシュ ラインのサイズが同じである必要があります。これにより、L1 ミス、L2 ヒット時にキャッシュ ラインを交換できます。) 2 次キャッシュが 1 次キャッシュよりも 1 桁大きく、キャッシュ データがキャッシュ タグよりも 1 桁大きい場合、節約されるタグ領域は、L1 キャッシュ データを L2 に格納するために必要な増分領域に匹敵する可能性があります。^[58]

スクラッチパッド メモリ(SPM) は、コンピュータ用語ではスクラッチパッド、スクラッチパッド RAM、またはローカル ストアとも呼ばれ、計算、データ、およびその他の進行中の作業を一時的に保存するために使用される高速内部メモリです。

特殊化とマルチレベルキャッシュの両方を説明するために、AMD Athlon 64 CPUのK8コアのキャッシュ階層を示します。^[59]

K8 には、命令キャッシュ、命令TLB、データ TLB、データ キャッシュの 4 つの特殊なキャッシュがあります。これらのキャッシュはそれぞれ、次のような特殊化が行われています。

• 命令キャッシュは、64 バイトのメモリ ラインのコピーを保持し、サイクルごとに 16 バイトをフェッチします。このキャッシュ内の各バイトは、8 ビットではなく 10 ビットで保存され、追加のビットが命令の境界を示します (これはプリデコードの例です)。キャッシュにはECCではなくパリティ保護のみがあります。これは、パリティの方が小さく、破損したデータはメモリからフェッチした新しいデータ (常に最新の命令のコピーがある) で置き換えることができるためです。
• 命令 TLB はページ テーブル エントリ (PTE) のコピーを保持します。各サイクルの命令フェッチでは、この TLB を介して仮想アドレスが物理アドレスに変換されます。各エントリはメモリ内で 4 バイトまたは 8 バイトです。K8 のページ サイズは可変であるため、各 TLB は 2 つのセクションに分割され、1 つは 4 KiB ページをマップする PTE を保持し、もう 1 つは 4 MiB または 2 MiB ページをマップする PTE を保持します。この分割により、各セクションの完全連想一致回路が簡素化されます。オペレーティング システムは、異なるサイズの PTE を使用して仮想アドレス空間の異なるセクションをマップします。
• データ TLB には、同一のエントリを保持する 2 つのコピーがあります。2 つのコピーにより、サイクルごとに 2 回のデータ アクセスが可能になり、仮想アドレスを物理アドレスに変換できます。命令 TLB と同様に、この TLB は 2 種類のエントリに分割されます。
• データ キャッシュは、64 バイトのメモリ ラインのコピーを保持します。8 つのバンク (それぞれ 8 KiB のデータを格納) に分割されており、データが異なるバンクにある限り、サイクルごとに 2 つの 8 バイト データを取得できます。各 64 バイト ラインは 8 つのバンクすべてに分散されているため、タグのコピーは 2 つあります。各タグ コピーは、サイクルごとに 2 つのアクセスのうち 1 つを処理します。

K8 には、複数レベルのキャッシュもあります。第 2 レベルの命令 TLB とデータ TLB があり、4 KiB をマッピングする PTE のみが格納されます。命令キャッシュとデータ キャッシュの両方、およびさまざまな TLB は、大規模な統合L2 キャッシュから埋めることができます。このキャッシュは、L1 命令キャッシュとデータ キャッシュの両方に排他的であるため、8 バイト ラインは、L1 命令キャッシュ、L1 データ キャッシュ、または L2 キャッシュのいずれかにのみ配置できます。ただし、データ キャッシュのラインに、TLB のいずれかにもある PTE が存在する可能性があります。オペレーティング システムは、メモリ内のページ テーブルが更新されたときに TLB の一部をフラッシュして、TLB の一貫性を維持する責任があります。

K8 は、メモリに保存されることのない情報、つまり予測情報もキャッシュします。これらのキャッシュは、上の図には示されていません。このクラスの CPU ではよくあることですが、K8 には非常に複雑な 分岐予測機能があり、分岐が行われるかどうかを予測するのに役立つテーブルや、分岐やジャンプのターゲットを予測するテーブルがあります。この情報の一部は、レベル 1 命令キャッシュと統合セカンダリ キャッシュの両方で命令に関連付けられています。

K8 は、興味深いトリックを使用して、予測情報を命令とともに二次キャッシュに保存します。二次キャッシュの行は、行がデータ一次キャッシュから削除されたか命令一次キャッシュから削除されたかに応じて、 ECCまたはパリティによって偶発的なデータ破損 (アルファ粒子の衝突など)から保護されます。パリティ コードは ECC コードよりもビット数が少ないため、命令キャッシュの行にはいくつかの予備ビットがあります。これらのビットは、それらの命令に関連付けられた分岐予測情報をキャッシュするために使用されます。最終的な結果として、分岐予測器の有効な履歴テーブルは大きくなり、精度が向上します。

他のプロセッサには他の種類の予測子 (たとえば、 DEC Alpha 21264のストアからロードへのバイパス予測子) があり、将来のプロセッサではさまざまな特殊な予測子が普及する可能性があります。

これらの予測子は、計算コストのかかる情報を保存するという点でキャッシュです。予測子について説明するときに使用される用語の一部はキャッシュの場合と同じです (分岐予測子のヒットについて話す) が、予測子は一般にキャッシュ階層の一部とは考えられていません。

K8 は、命令キャッシュとデータ キャッシュの一貫性をハードウェアで維持します。つまり、ストア命令の直後の命令へのストアは、後続の命令を変更します。Alpha や MIPS ファミリなどの他のプロセッサは、命令キャッシュの一貫性をソフトウェアで維持しています。プログラムがオペレーティング システム機能を呼び出して一貫性を確保するまで、ストアは命令ストリームに表示されるとは限りません。

コンピュータ工学では、タグRAMはCPUキャッシュに現在格納されている可能性のあるメモリ位置を指定するために使用されます。^{[60] [61]}単純な直接マップ設計では、高速SRAMを使用できます。より高位の連想キャッシュでは通常、コンテンツアドレス可能メモリが使用されます。

キャッシュ読み取りは、 1 サイクル以上かかる最も一般的な CPU 操作です。プログラム実行時間は、レベル 1 データ キャッシュ ヒットの待ち時間に非常に左右される傾向があります。キャッシュを可能な限り高速化するために、多大な設計努力、多くの場合、電力とシリコン領域が費やされます。

最も単純なキャッシュは、仮想インデックス付きダイレクトマップ キャッシュです。仮想アドレスは加算器で計算され、アドレスの関連部分が抽出されて SRAM のインデックスに使用され、ロードされたデータが返されます。データはバイト シフタでバイト アラインされ、そこから次の操作にバイパスされます。内部ループでタグをチェックする必要はありません。実際、タグを読み取る必要すらありません。パイプラインの後半で、ロード命令がリタイアされる前に、ロードされたデータのタグを読み取り、仮想アドレスと照合してキャッシュ ヒットがあったことを確認する必要があります。ミスがあった場合、キャッシュは要求されたキャッシュ ラインで更新され、パイプラインが再開されます。

連想キャッシュは、キャッシュのどのエントリを選択するかを決定するために何らかの形式のタグを読み取る必要があるため、より複雑です。N ウェイ セット連想レベル 1 キャッシュは通常、N 個の可能なタグと N 個のデータを並列に読み取り、一致するタグに関連付けられたデータを選択します。レベル 2 キャッシュは、最初にタグを読み取ることで電力を節約し、データ SRAM から 1 つのデータ要素のみが読み取られるようになります。

隣の図は、アドレスのさまざまなフィールドの使用方法を明確にすることを目的としています。アドレス ビット 31 が最も重要で、ビット 0 が最も重要ではありません。この図は、64 バイト (B) ライン、32 ビットの読み取り幅、32 ビットの仮想アドレスを持つ、4 KiB、2 ウェイ セット アソシエイティブ、仮想インデックスおよび仮想タグ付きキャッシュの SRAM、インデックス 、および多重化を示しています。

キャッシュは 4 KiB で 64 の B ラインがあるため、キャッシュには 64 ラインしかなく、32 行 (各行に 21 ビットのタグのペア) を持つタグ SRAM から一度に 2 つ読み取ります。仮想アドレス ビット 31 から 6 の任意の関数を使用してタグとデータ SRAM をインデックスできますが、最下位ビットを使用するのが最も簡単です。

同様に、キャッシュは 4 KiB で、4 B の読み取りパスがあり、アクセスごとに 2 通りの読み取りが行われるため、データ SRAM は 512 行 x 8 バイト幅になります。

より新しいキャッシュは、16 KiB、4 ウェイ セット アソシエイティブ、仮想インデックス、仮想ヒント、物理タグ、32 B ライン、32 ビット読み取り幅、36 ビット物理アドレスです。このようなキャッシュの読み取りパスの繰り返しは、上記のパスと非常によく似ています。タグの代わりに、vhint が読み取られ、仮想アドレスのサブセットと照合されます。パイプラインの後半で、仮想アドレスは TLB によって物理アドレスに変換され、物理タグが読み取られます (vhint はキャッシュのどのウェイを読み取るかを指定するため、1 つだけ)。最後に、物理アドレスが物理タグと比較され、ヒットが発生したかどうかが判断されます。

一部の SPARC 設計では、仮想アドレス加算器を SRAM デコーダに統合することで、L1 キャッシュの速度を数ゲート遅延だけ向上させています。「合計アドレス デコーダ」を参照してください。

キャッシュ技術の初期の歴史は、仮想メモリの発明と使用と密接に結びついています。^[要出典] 半導体メモリの不足とコストのため、1960 年代の初期のメインフレーム コンピュータでは、プログラムが使用するフラットな仮想メモリ空​​間にマッピングされた複雑な物理メモリ階層が使用されていました。メモリ技術は、半導体、磁気コア、ドラム、ディスクに及びます。プログラムが認識して使用する仮想メモリはフラットで、キャッシュはプロセッサ アクセスの前にデータと命令を最速のメモリにフェッチするために使用されます。キャッシュ サイズを最適化するために広範な研究が行われました。最適な値は使用するプログラミング言語に大きく依存し、Algol では最小のキャッシュ サイズが必要で、Fortran と Cobol では最大のキャッシュ サイズが必要であることがわかりました。^{[異論あり–議論]}

マイクロコンピュータ技術の初期の頃は、メモリアクセスはレジスタアクセスよりわずかに遅い程度でした。しかし、1980年代以降^[62]、プロセッサとメモリの性能差は拡大しています。マイクロプロセッサは、特に動作周波数の点でメモリよりもはるかに速く進歩したため、メモリが性能のボトルネックになりました。すべてのメインメモリをCPUと同じ速度にすることは技術的には可能でしたが、より経済的に実行可能な方法が取られました。低速メモリを大量に使用し、性能差を緩和するために小さな高速キャッシュメモリも導入するという方法です。これにより、同じ価格で桁違いの容量が得られ、総合的な性能はわずかに低下しただけです。

TLBが初めて文書化されたのはGE 645 ^[63]とIBM 360/67 ^[64]であり、どちらもTLBとして連想メモリを使用していました。

命令キャッシュが初めて文書化されたのはCDC 6600であった。^[65]

データキャッシュが初めて文書化されたのはIBM System/360 Model 85でした。 ^[66]

1982 年にリリースされた68010には、「ループ モード」があります。これは、2 つの命令のみで構成されるループを高速化する、非常に小さな特殊な命令キャッシュと考えることができます。1984年にリリースされた68020では、これが 256 バイトの一般的な命令キャッシュに置き換えられ、真のオンチップ キャッシュ メモリを備えた最初の 68k シリーズ プロセッサとなりました。

1987 年にリリースされた68030は、基本的には 68020 コアに 256 バイトのデータ キャッシュ、オンチップメモリ管理ユニット(MMU)、プロセス シュリンク、およびキャッシュ用のバースト モードが追加されています。

1990 年にリリースされた68040には、それぞれ 4 キロバイトの分割された命令キャッシュとデータ キャッシュが搭載されています。

1994 年にリリースされた68060には、8 KiB データ キャッシュ (4 ウェイ アソシエティブ)、8 KiB 命令キャッシュ (4 ウェイ アソシエティブ)、96 バイト FIFO 命令バッファ、256 エントリの分岐キャッシュ、および 64 エントリのアドレス変換キャッシュ MMU バッファ (4 ウェイ アソシエティブ) が搭載されています。

x86マイクロプロセッサが386でクロック速度 20 MHz 以上に達すると、パフォーマンス向上のため、少量の高速キャッシュ メモリがシステムに搭載されるようになりました。これは、メイン メモリに使用されるDRAM のレイテンシが最大 120 ns と大きく、リフレッシュ サイクルも長かったためです。キャッシュは、当時レイテンシが約 10～25 ns だった、より高価ですが大幅に高速なSRAM メモリ セルで構成されていました。初期のキャッシュはプロセッサの外部にあり、通常はマザーボード上のソケットに 8 個または 9 個のDIPデバイスの形で配置され、キャッシュをオプションの追加機能またはアップグレード機能として有効にしていました。

Intel 386 プロセッサの一部のバージョンでは、16 ～ 256 KiB の外部キャッシュをサポートできます。

486プロセッサでは、8KiBのキャッシュがCPUダイに直接統合されました。このキャッシュは、より遅いオンマザーボード、つまりレベル2（L2）キャッシュと区別するために、レベル1またはL1キャッシュと呼ばれていました。これらのオンマザーボードキャッシュははるかに大きく、最も一般的なサイズは256KiBでした。64または128KBのキャッシュメモリを持つIntel 485Turbocacheドーターカード用のソケットを備えたシステムボードもありました。 ^{[67] [68]}オンマザーボードキャッシュの人気はPentium MMX時代まで続きましたが、 SDRAMの導入とバスクロックレートとCPUクロックレートの差が拡大したために廃れてしまいました。このため、オンマザーボードキャッシュはメインメモリよりわずかに速いだけでした。

x86 マイクロプロセッサのキャッシュ実装における次の開発は、Pentium Proから始まりました。Pentium Pro では、二次キャッシュがマイクロプロセッサと同じパッケージに搭載され、マイクロプロセッサと同じ周波数でクロックされるようになりました。

オンマザーボード キャッシュは、 Intel がオンマザーボード キャッシュで以前使用していたSocket 7をまだ使用していたAMD K6-2およびAMD K6-IIIプロセッサのおかげで、長期間人気を博しました。K6-III には 256 KiB のオンダイ L2 キャッシュが含まれており、オンボード キャッシュを L3 と呼ばれる第 3 レベル キャッシュとして利用していました (最大 2 MiB のオンボード キャッシュを備えたマザーボードが製造されました)。Socket 7 が廃止された後、オンマザーボード キャッシュは x86 システムから姿を消しました。

3レベルキャッシュは、複数のプロセッサコアが導入され、CPUダイにL3キャッシュが追加されたときに初めて再び使用されました。新しい世代のプロセッサでは、キャッシュの合計サイズがますます大きくなるのが一般的になり、最近では（2011年現在）、レベル3キャッシュのサイズが数十メガバイトになることも珍しくありません。^[69]

IntelはHaswell マイクロアーキテクチャでレベル4オンパッケージキャッシュを導入した。Intelの統合型Iris ProグラフィックスのGT3eバリアントを搭載したCrystalwell ^[38] Haswell CPUは、実質的に同じパッケージに128MiBの組み込みDRAM（eDRAM）を搭載している。このL4キャッシュはオンダイGPUとCPU間で動的に共有され、CPUのL3キャッシュの犠牲キャッシュとして機能する。 ^[39]

Apple M1 CPU には、コアの種類に応じて、コアごとに 128 または 192 KiB の命令 L1 キャッシュがあります (レイテンシ/シングルスレッド パフォーマンスに重要)。これは、あらゆる CPU タイプ (ラップトップに限らない) にとって異常に大きい L1 キャッシュです。ラップトップの場合、キャッシュ メモリの合計サイズは異常に大きくありません (スループットには合計の方が重要です)。IBM のメインフレームでは、さらに大きな合計サイズ (L3 または L4 など) が利用可能です。

初期のキャッシュ設計は、キャッシュとRAMの直接的なコストと平均実行速度にのみ焦点を当てていました。最近のキャッシュ設計では、エネルギー効率、フォールトトレランス、その他の目標も考慮されています。^{[70] [71]}

コンピュータアーキテクトがキャッシュサイクルタイム、エネルギー、面積のトレードオフを検討するのに役立つツールはいくつかあります。CACTIキャッシュシミュレータ^[72]とSimpleScalar命令セットシミュレータは、オープンソースの2つのオプションです。

A multi-ported cache is a cache which can serve more than one request at a time. When accessing a traditional cache we normally use a single memory address, whereas in a multi-ported cache we may request N addresses at a time – where N is the number of ports that connected through the processor and the cache. The benefit of this is that a pipelined processor may access memory from different phases in its pipeline. Another benefit is that it allows the concept of super-scalar processors through different cache levels.

• メモリパート2: CPUキャッシュ – lwn.netのUlrich DrepperによるCPUキャッシュの詳細記事
• CPUキャッシュの連想性の評価 - ヒルとスミス (1989) - 容量、競合、強制分類を導入
• SPEC CPU2000 ベンチマークのキャッシュ パフォーマンス - Hill および Cantin (2003) - この参考資料は、数回更新されています。かなり広範囲のベンチマークとキャッシュ構成のシミュレーション結果が、詳細かつわかりやすく提示されています。
• キャッシュベースシステムにおけるメモリ階層 Archived 2009-09-15 at the Wayback Machine – Ruud van der Pas、2002、Sun Microsystems – CPU メモリ キャッシュの入門記事
• キャッシュ入門 - Paul Genua、PE、2004年、Freescale Semiconductor、もう一つの入門記事
• 8ウェイセットアソシエイティブキャッシュ – VHDLで記述
• CPU キャッシュとパフォーマンスを理解する – Ars Technica の Jon Stokes による記事
• IBM POWER4 プロセッサーのレビュー – ixbtlabs の Pavel Danilov による記事
• キャッシュメモリとその種類とは？
• メモリキャッシング – プリンストン大学の講義