大規模並列処理とは、多数のコンピュータプロセッサ(または複数のコンピュータ)を用いて、一連の協調的な計算を同時に並列実行することを指します。GPUは、数万ものスレッドを備えた大規模並列アーキテクチャです。
一つのアプローチはグリッドコンピューティングであり、分散した多様な管理ドメインにある多数のコンピュータの処理能力が、コンピュータが利用可能なときに機会的に利用される。[ 1 ]一例として、ボランティアベースの機会的グリッドシステムであるBOINCがあり、グリッドはベストエフォート方式でのみ電力を提供する。[ 2 ]
別のアプローチとしては、コンピュータクラスタのように、多数のプロセッサを互いに近接してグループ化する方法がある。このような集中型システムでは、相互接続の速度と柔軟性が非常に重要になり、現代のスーパーコンピュータは、拡張InfiniBandシステムから3次元トーラス相互接続まで、さまざまなアプローチを採用している。[ 3 ]
この用語は、数百または数千個の中央処理装置(CPU)とランダムアクセスメモリ(RAM)バンクをアレイ状に配置した集積回路の一種である、大規模並列プロセッサアレイ(MPPA)にも適用されます。これらのプロセッサは、再構成可能なチャネル相互接続を介して互いに処理を渡します。多数のプロセッサを並列に動作させることで、MPPAチップは従来のチップよりも要求の厳しいタスクを実行できます。MPPAは、高性能組み込みシステムアプリケーションを開発するためのソフトウェア並列プログラミングモデルに基づいています。
Goodyear MPPは、大規模並列コンピュータアーキテクチャの初期の実装例でした。MPPアーキテクチャは、2013年11月現在、クラスタに次いで2番目に一般的なスーパーコンピュータの実装例です。 [ 4 ]
Teradata、Netezza、MicrosoftのPDWなどのデータウェアハウスアプライアンスは、非常に大量のデータを並列処理するために、一般的にMPPアーキテクチャを採用しています。
{{cite web}}: CS1 maint: archived copy as title (link)