レイテンシ重視のプロセッサアーキテクチャ

今日のほとんどのアーキテクチャは、ロード/ストアアーキテクチャのように、より短く単純な命令を使用しており、命令パイプラインを最適化して実行速度を向上させています。命令は通常すべて同じサイズであるため、命令フェッチロジックの最適化にも役立ちます。このようなISAはRISCアーキテクチャと呼ばれます。^{[ 6 ]}

パイプライン処理は、同じ実行スレッドからの複数の命令の実行をオーバーラップさせることで、クロック周波数を上げたり、単位時間あたりに完了する命令数を増やしたりすることで、スレッドの全体的な実行時間を短縮します。単一の命令がすべての実行段階を完了するのを待つのではなく、複数の命令がパイプライン内のそれぞれの段階で同時に処理されます。^{[ a ]}

この手法は、プログラマにISAで指定されているよりも効果的にレジスタファイルの合計サイズを増やし、誤った依存関係を排除するために使用されます。同じレジスタを参照する2つの連続した命令があるとします。最初の命令はレジスタを読み取り、2番目の命令はレジスタに書き込みます。プログラムの正しさを維持するには、最初の命令が元の値を読み取る前に2番目の命令がレジスタに書き込まないようにすることが不可欠です。これは、書き込み後読み出し（WAR）依存関係の一例です。この依存関係を排除するために、パイプラインは命令を内部レジスタに割り当てることで、内部的に命令の名前を変更します。そのため、命令は実行され、プログラムが意図した実際の宛先レジスタには後で書き込まれるにもかかわらず、その結果は後続のすべての命令ですぐに利用できるようになります。同様に、両方の命令が同じレジスタに書き込み後書き込み（WAW）することだけを意図している場合、パイプラインは命令の名前を変更し、実行を直列化する必要なく、その結果が後続の命令で利用できるようにします。^{[ b ]}

キャッシュ、メインメモリ、ハードディスクなどの不揮発性ストレージ（プログラム命令とデータが格納される場所）を含むさまざまなレベルのメモリは、空間的局所性と時間的局所性を活用して、メモリへのアクセス時間の合計を短縮するように設計されています。プロセッサがメモリからデータがフェッチされるのを待つ時間が短いほど、何もせずに待機している間にパイプラインリソースを消費する命令の数が少なくなります。命令パイプラインは、内部バッファ（例えば予約ステーション）がすべてそれぞれの容量でいっぱいになると完全に停止します。したがって、命令がパイプライン内でアイドルサイクルを消費する時間が少なければ少ないほど、フェッチロジックが単位時間あたりにキャッシュ/メモリからより多くの命令を取り込むことができるため、命令レベル並列性（ILP）を活用する可能性が高くなります。^{[ c ]}

パイプラインの停止の主な原因は、制御フローの依存関係、つまり分岐命令の結果が事前にわからない場合（通常はそうなる）です。今日の多くのアーキテクチャでは、分岐予測コンポーネントを使用して分岐の結果を推測します。実行はプログラムの予測パスに沿って継続されますが、命令は投機的としてタグ付けされます。推測が正しければ、命令は正常に完了し、結果をレジスタファイル/メモリに更新できます。推測が間違っていた場合は、すべての投機的命令がパイプラインからフラッシュされ、実行はプログラムの実際の正しいパスに沿って（再）開始されます。高い予測精度を維持することで、パイプラインは実行スレッドのスループットを大幅に向上させることができます。^{[ d ]}

スレッド内のすべての命令の実行時間は同じではありません。スーパースカラパイプラインでは、現在の状態と命令の種類に応じて、命令の実行パスが複数存在するのが一般的です。そのため、1サイクルあたりの命令数（IPC）を増やすために、パイプラインは命令を順不同で実行できるようにし、プログラムの後半にある命令が、完了に時間がかかる命令によって停止しないようにします。すべての命令は、パイプラインによってフェッチされたときに再順序バッファに登録され、元のプログラムの順序で実行（つまり、結果を書き戻す）できるようにすることで、正確性を維持します。^{[ e ]}

スーパースカラ命令パイプラインは、単純なスカラパイプラインとは異なり、クロックサイクルごとに複数の命令を取り込みます。これにより、データフローまたは制御フローの依存関係によってパイプラインが停止しない限り、各サイクルでフェッチされる命令の数だけ命令レベルの並列性が向上します。スーパースカラパイプラインのリタイア率は通常フェッチ率よりも低いですが、単位時間あたりに実行される命令の総数（> 1）は、一般的にスカラパイプラインよりも多くなります。^{[ f ]}