単一命令、複数スレッド

単一命令複数スレッド( SIMT ) は、単一命令複数データ (SIMD) とマルチスレッドを組み合わせた並列コンピューティングで使用される実行モデルです。すべての「スレッド」のすべての命令がロックステップで実行されるという点でSPMDとは異なります。SIMT 実行モデルはいくつかのGPUに実装されており、グラフィックス プロセッシング ユニット (GPGPU) での汎用コンピューティングに関連しています。たとえば、一部のスーパーコンピューターでは CPU と GPU が組み合わされています。

プロセッサ（たとえばp個）は、 p個よりはるかに多くのタスクを実行するようです。これは、各プロセッサが複数の「スレッド」（または「作業項目」または「SIMDレーン操作のシーケンス」）を持ち、ロックステップで実行することで実現され、SIMDレーンに類似しています。^[1]

SIMT を理解する最も簡単な方法は、各コアが独自のレジスタ ファイル、独自のALU (SIMD とスカラーの両方)、独自のデータ キャッシュを持つマルチコア システムを想像することです。ただし、複数の独立した命令キャッシュとデコーダー、および複数の独立したプログラム カウンター レジスタを持つ標準のマルチコア システムとは異なり、命令は、単一の命令キャッシュと、単一のプログラム カウンターを使用して命令を読み取る単一の命令デコーダーを持つ単一のユニットから、すべての SIMT コアに同期的にブロードキャストされます。

SIMT レーンとSIMD レーンの主な違いは、SIMT コアはそれぞれ完全に異なるスタック ポインターを持つことができる (したがって、完全に異なるデータ セットに対して計算を実行する) のに対し、SIMD レーンはメモリ自体について何も知らない ALU の一部にすぎないことです。

SIMTは、NvidiaによってG80チップを搭載したTesla GPUマイクロアーキテクチャに導入されました。^{[2] [3]} ATI Technologies（現在のAMD）は、2007年5月14日に競合製品であるTeraScale 1ベースの「R600」 GPUチップをリリースしました。

広く普及しているすべてのRAMタイプ (例: DDR SDRAM、GDDR SDRAM、XDR DRAMなど)のアクセス時間はまだ比較的長いため、エンジニアは各メモリ アクセスで必然的に発生するレイテンシを隠すというアイデアを思いつきました。厳密に言えば、レイテンシを隠すことは、最新の GPU によって実装されているゼロ オーバーヘッド スケジューリングの機能です。これは、「SIMT」自体の特性であると見なされる場合とそうでない場合があります。

SIMTは、命令フェッチのオーバーヘッド^[4]、つまりメモリアクセスに伴うレイテンシを制限することを目的としており、最新のGPU（ NvidiaやAMDなど）では、「レイテンシ隠蔽」と組み合わせて使用​​され、メモリアクセス操作でかなりのレイテンシがあっても高性能な実行を可能にしています。これは、プロセッサが計算タスクでオーバーサブスクライブされ、そうでなければメモリを待たなければならない場合にタスク間をすばやく切り替えることができる場合です。この戦略は、CPUのマルチスレッドに相当します（マルチコアと混同しないでください）。^[5] SIMDと同様に、もう1つの大きな利点は、制御ロジックを多くのデータレーンで共有することで、計算密度が向上することです。制御ロジックをN回複製するのではなく、1つの制御ロジックブロックでNデータレーンを管理できます。

SIMT 実行の欠点は、スレッド固有の制御フローが「マスキング」を使用して実行されるため、プロセッサのスレッドが異なる制御フロー パスに従う場合に使用率が低下することです。たとえば、プロセッサのさまざまなスレッドが異なるパスを実行するIF - ELSEブロックを処理するには、すべてのスレッドが実際に両方のパスを処理する必要があります (プロセッサのすべてのスレッドは常にロック ステップで実行されるため)。ただし、マスキングは、さまざまなスレッドを適切に無効または有効にするために使用されます。プロセッサのスレッドの制御フローが一貫している場合、つまり、すべてのスレッドが同じ実行パスに従う場合は、マスキングは回避されます。マスキング戦略は、SIMT を通常の SIMD と区別するものであり、プロセッサのスレッド間の同期を安価に行えるという利点があります。^[6]

• グラフィックス プロセッシング ユニット(GPGPU)上の汎用コンピューティング