並列コンピューティング

理想的には、並列化による高速化は線形であるべきです。つまり、処理要素数を2倍にすれば実行時間は半分になり、さらに2倍にすれば再び半分になるはずです。しかし、最適な高速化を実現する並列アルゴリズムはごくわずかです。ほとんどのアルゴリズムは、処理要素数が少ない場合はほぼ線形の高速化を示しますが、処理要素数が多くなると一定値に収束します。

システム全体の最大潜在的高速化は、アムダールの法則によって計算できます。^{[ 14 ]}アムダールの法則は、タスクの並列化可能なコンポーネントと並列化不可能なコンポーネントの両方の強化のバランスを取ることで、最適なパフォーマンスの向上が達成されることを示しています。さらに、プロセッサ数を増やすと収穫逓減が生じ、ある一定の点を超えると高速化の利得は無視できるほど小さくなることを明らかにしました。^{[ 15 ] [ 16 ]}

アムダールの法則には、固定ワークロードの仮定、プロセス間通信と同期オーバーヘッドの無視、主に計算面に焦点を当て、データ永続性、I/O操作、メモリアクセスオーバーヘッドなどの外的要因を無視するなど、限界がある。^{[ 17 ] [ 18 ] [ 19 ]}

グスタフソンの法則とユニバーサルスケーラビリティ法則は、並列性能のより現実的な評価を与える。^{[ 20 ] [ 21 ]}

並列アルゴリズムを実装する上で、データの依存関係を理解することは不可欠です。依存関係のある計算の最も長い連鎖（クリティカルパスと呼ばれる）よりも速く実行できるプログラムはありません。なぜなら、連鎖内の先行する計算に依存する計算は、順番に実行されなければならないからです。しかし、ほとんどのアルゴリズムは、単に長い依存関係のある計算の連鎖だけで構成されているわけではありません。通常、独立した計算を並列実行できる機会が存在します。

P _iとP _{j を}2 つのプログラムセグメントとする。バーンスタインの条件[ ^{22 ]は}_、この 2 つのセグメントが独立しており、並列実行できる場合を記述する。P i については、すべての入力変数をI _i 、出力変数をO _iとし、 P _jについても同様とする。P _iとP _{j は}、以下の条件を満たす場合に独立している。

${\displaystyle I_{j}\cap O_{i}=\varnothing ,}$

${\displaystyle I_{i}\cap O_{j}=\varnothing ,}$

${\displaystyle O_{i}\cap O_{j}=\varnothing .}$

最初の条件に違反すると、フロー依存性が生じ、最初のセグメントが2番目のセグメントで使用される結果を生成します。2番目の条件は、2番目のセグメントが最初のセグメントに必要な変数を生成する場合、反依存性を表します。3番目で最後の条件は出力依存性を表します。2つのセグメントが同じ場所に書き込む場合、結果は論理的に最後に実行されたセグメントから得られます。^{[ 23 ]}

以下の関数は、いくつかの種類の依存関係を示しています。

1: 関数 Dep(a, b) 2: c := a * b 3: d := 3 * c 4: 関数終了

この例では、命令3は命令2の結果を使用するため、命令3は命令2より前に（あるいは並行して）実行することはできません。これは条件1に違反し、フロー依存性を引き起こします。

1: 関数 NoDep(a, b) 2: c := a * b 3: d := 3 * b 4: e := a + b 5: 関数終了

この例では、命令間に依存関係がないため、すべて並列実行できます。

バーンスタインの条件では、異なるプロセス間でメモリを共有することは認められていません。そのため、セマフォ、バリア、またはその他の同期方法など、アクセス間の順序を強制する何らかの手段が必要となります。

並列プログラムのサブタスクは、しばしばスレッドと呼ばれます。一部の並列コンピュータアーキテクチャでは、ファイバーと呼ばれるより小さく軽量なバージョンのスレッドを使用し、他のアーキテクチャでは、プロセスと呼ばれるより大きなバージョンを使用します。ただし、「スレッド」は一般的にサブタスクの総称として受け入れられています。^{[ 24 ]}スレッドは、オブジェクトやその他のリソースへの同期アクセスを必要とすることがよくあります。たとえば、スレッド間で共有されている変数を更新する必要がある場合などです。同期がない場合、2 つのスレッド間の命令は任意の順序でインターリーブされる可能性があります。たとえば、次のプログラムを考えてみましょう。

命令1Bが1Aと3Aの間で実行される場合、または命令1Aが1Bと3Bの間で実行される場合、プログラムは誤ったデータを生成します。これは競合状態として知られています。プログラマは相互排他を実現するためにロックを使用する必要があります。ロックとは、あるスレッドが変数を制御し、その変数がロック解除されるまで他のスレッドがその変数を読み書きできないようにするプログラミング言語の構成要素です。ロックを保持しているスレッドは、クリティカルセクション（特定の変数への排他的アクセスを必要とするプログラムのセクション）を自由に実行でき、実行が完了したらデータをロック解除できます。したがって、プログラムの正しい実行を保証するために、上記のプログラムはロックを使用するように書き換えることができます。

一方のスレッドは変数 V を正常にロックしますが、もう一方のスレッドはロックアウトされ、 V が再​​びロック解除されるまで処理を進めることができません。これにより、プログラムの正しい実行が保証されます。スレッドがリソースへのアクセスを直列化する必要がある場合、プログラムの正しい実行を保証するためにロックが必要になることがありますが、ロックを使用するとプログラムの実行速度が大幅に低下し、信頼性に影響を与える可能性があります。^{[ 25 ]}

非アトミックロックを使用して複数の変数をロックすると、プログラムのデッドロックが発生する可能性があります。アトミックロックは、複数の変数を一度にロックします。すべてをロックできない場合は、どの変数もロックしません。2 つのスレッドがそれぞれ同じ 2 つの変数を非アトミックロックを使用してロックする必要がある場合、一方のスレッドが一方の変数をロックし、もう一方のスレッドがもう一方の変数をロックする可能性があります。このような場合、どちらのスレッドも完了できず、デッドロックが発生します。^{[ 26 ]}

多くの並列プログラムでは、サブタスクが同期して動作する必要があります。そのためにはバリアの使用が必要です。バリアは通常、ロックまたはセマフォを使用して実装されます。^{[ 27 ]}ロックフリーおよび待機フリーアルゴリズムとして知られるアルゴリズムのクラスでは、ロックとバリアの使用を完全に回避します。ただし、このアプローチは一般的に実装が難しく、適切に設計されたデータ構造が必要です。^{[ 28 ]}

すべての並列化が高速化につながるわけではありません。一般的に、タスクがより多くのスレッドに分割されるにつれて、それらのスレッドは、互いに通信したり、リソースへのアクセスを互いに待ったりすることに費やす時間の割合がますます大きくなります。^{[ 29 ] [ 30 ]}リソースの競合や通信によるオーバーヘッドが他の計算に費やす時間の大部分を占めるようになると、さらなる並列化（つまり、ワークロードをさらに多くのスレッドに分割すること）は、完了に必要な時間を減少させるのではなく増加させます。この問題は、並列スローダウンとして知られており、^{[ 31 ]}ソフトウェアの分析と再設計によって改善できる場合があります。^{[ 32 ]}

アプリケーションは、サブタスク間の同期や通信の頻度に基づいて分類されることが多い。サブタスクが1秒間に何度も通信する必要がある場合、そのアプリケーションはきめ細かい並列性を示す。1秒間に何度も通信しない場合は粗い並列性を示し、通信がほとんど、あるいは全く必要ない場合は、並列性が低すぎる（シャッフルパラレル）ことを示す。並列性が低すぎるアプリケーションは、並列化が最も容易であると考えられている。

マイケル・J・フリンは、並列（および逐次）コンピュータとプログラムのための初期の分類システムの一つを考案しました。これは現在、フリンの分類法として知られています。フリンは、プログラムとコンピュータが単一の命令セットを使用しているか、複数の命令セットを使用しているか、また、それらの命令が単一のデータセットを使用しているか、複数のデータセットを使用しているかによって分類しました。

単一命令単一データ (SISD) 分類は、完全に逐次的なプログラムに相当します。単一命令複数データ (SIMD) 分類は、大規模なデータセットに対して同じ操作を繰り返し実行することに類似しています。これは、信号処理アプリケーションでよく行われます。複数命令単一データ (MISD) は、あまり使用されない分類です。これに対処するためのコンピュータアーキテクチャ (シストリックアレイなど) が考案されましたが、このクラスに該当するアプリケーションはほとんど実現しませんでした。複数命令複数データ (MIMD) プログラムは、並列プログラムの中で最も一般的なタイプです。

デイビッド・A・パターソンとジョン・L・ヘネシーによれば、「もちろん、これらのカテゴリのハイブリッドである機械もあるが、この古典的なモデルは、シンプルで理解しやすく、良い第一近似を与えるため生き残ってきた。また、おそらく理解しやすさのため、最も広く使用されている方式でもある。」^{[ 34 ]}

1970年代の超大規模集積回路（VLSI）コンピュータチップ製造技術の出現から1986年頃まで、コンピュータアーキテクチャの高速化は、プロセッサが1サイクルあたりに処理できる情報量であるコンピュータワードサイズを2倍にすることによって推進されました。 ^{[ 38 ]}ワードサイズを大きくすると、ワードの長さよりも大きいサイズの変数に対して演算を実行するためにプロセッサが実行しなければならない命令の数が減少します。たとえば、8ビットプロセッサが2つの16ビット整数を加算する必要がある場合、プロセッサはまず 標準加算命令を使用して各整数の下位8ビットを加算し、次に キャリー付き加算命令と下位加算からのキャリービットを使用して上位8ビットを加算する必要があります。したがって、8ビットプロセッサは1つの演算を完了するために2つの命令を必要としますが、16ビットプロセッサは1つの命令で演算を完了できます。

歴史的に見ると、4ビットマイクロプロセッサは8ビット、16ビット、そして32ビットのマイクロプロセッサへと置き換えられてきました。この流れは、汎用コンピューティングの標準として20年間君臨してきた32ビットプロセッサの登場によって概ね終焉を迎えました。64ビットプロセッサが普及したのは、2000年代初頭にx86-64アーキテクチャが登場してからのことです。

コンピュータプログラムは、本質的にはプロセッサによって実行される命令のストリームです。命令レベルの並列処理がない場合、プロセッサはクロックサイクルごとに 1 未満の命令しか発行できません( IPC < 1 )。このようなプロセッサはサブスカラプロセッサとして知られています。これらの命令は、プログラムの結果を変えることなく、グループに並べ替えたり結合したりして並列に実行できます。これは命令レベルの並列処理として知られています。命令レベルの並列処理の進歩は、1980 年代半ばから 1990 年代半ばまでコンピュータ アーキテクチャを支配しました。^{[ 39 ]}

現代のプロセッサはすべて、マルチステージ命令パイプラインを備えています。パイプラインの各ステージは、そのステージの命令に対してプロセッサが実行する異なるアクションに対応しています。N ステージのパイプラインを持つプロセッサは、完了の異なるステージで最大N 個の異なる命令を持つことができ、クロック サイクルごとに 1 つの命令を発行できます ( IPC = 1 )。これらのプロセッサは、スカラープロセッサとして知られています。パイプライン プロセッサの典型的な例はRISCプロセッサで、命令フェッチ (IF)、命令デコード (ID)、実行 (EX)、メモリ アクセス (MEM)、レジスタ ライトバック (WB) の 5 つのステージがあります。Pentium 4プロセッサは 35 ステージのパイプラインを持っていました。^{[ 40 ]}

最新のプロセッサのほとんどは、複数の実行ユニットを備えています。通常、この機能はパイプライン処理と組み合わされ、クロックサイクルごとに複数の命令を発行できます ( IPC > 1 )。これらのプロセッサはスーパースカラプロセッサとして知られています。スーパースカラプロセッサは、複数の実行ユニットが完全なプロセッサ (つまり処理ユニット) ではないという点で、マルチコアプロセッサとは異なります。命令は、それらの間にデータ依存性がない場合にのみグループ化できます。スコアボードとトマスロアルゴリズム(スコアボードに似ていますが、レジスタリネーミングを使用します) は、アウトオブオーダー実行と命令レベル並列処理を実装するための最も一般的な手法の 2 つです。

タスク並列性とは、並列プログラムの特徴の一つで、「全く異なる計算を同じデータセットまたは異なるデータセットに対して実行できる」という点である。^{[ 41 ]}これは、同じ計算を同じデータセットまたは異なるデータセットに対して実行するデータ並列性とは対照的である。タスク並列性では、タスクをサブタスクに分解し、各サブタスクをプロセッサに割り当てて実行する。プロセッサはこれらのサブタスクを並行して、多くの場合協調して実行する。タスク並列性は通常、問題のサイズに応じてスケーリングしない。^{[ 42 ]}

スーパーワードレベルの並列処理は、ループ展開と基本ブロックベクトル化に基づくベクトル化手法です。ループベクトル化アルゴリズムとは異なり、座標、カラーチャネルの操作、手動で展開されたループなど、インラインコードの並列性を利用できます。^{[ 43 ]}

並列コンピュータのメインメモリは、共有メモリ（単一のアドレス空間内のすべての処理要素間で共有される）か、分散メモリ（各処理要素が独自のローカルアドレス空間を持つ）のいずれかです。^{[ 44 ]}分散メモリとは、メモリが論理的に分散されていることを意味しますが、多くの場合、物理的にも分散されていることを意味します。分散共有メモリとメモリ仮想化は、処理要素が独自のローカルメモリを持ち、非ローカルプロセッサ上のメモリにアクセスできるという、2 つのアプローチを組み合わせたものです。ローカルメモリへのアクセスは、通常、非ローカルメモリへのアクセスよりも高速です。スーパーコンピュータでは、分散共有メモリ空間は、 PGASなどのプログラミングモデルを使用して実装できます。このモデルにより、1 つの計算ノード上のプロセスが、別の計算ノードのリモートメモリに透過的にアクセスできます。すべての計算ノードは、 Infinibandなどの高速インターコネクトを介して外部共有メモリシステムにも接続されています。この外部共有メモリシステムはバーストバッファとして知られており、通常は複数の I/O ノードに物理的に分散された不揮発性メモリのアレイから構築されます。

メインメモリの各要素に等しいレイテンシと帯域幅でアクセスできるコンピュータアーキテクチャは、均一メモリアクセス（UMA）システムと呼ばれます。通常、これはメモリが物理的に分散されていない共有メモリシステムでのみ実現可能です。この特性を持たないシステムは、非均一メモリアクセス（NUMA）アーキテクチャと呼ばれます。分散メモリシステムは、非均一メモリアクセスとなります。

コンピュータシステム（ GroqのLPUを除く）はキャッシュを利用します。キャッシュとは、プロセッサの近くに配置された小型で高速なメモリで、メモリ値の一時的なコピーを格納します（物理的にも論理的にも近い）。並列コンピュータシステムでは、同じ値が複数の場所に格納される可能性のあるキャッシュに問題があり、プログラムの実行が誤る可能性があります。これらのコンピュータには、キャッシュされた値を追跡し、戦略的にそれらを消去することで、プログラムの正しい実行を保証するキャッシュコヒーレンシーシステムが必要です。バススヌーピングは、どの値がアクセスされているか（したがって消去する必要があるか）を追跡するための最も一般的な方法の1つです。大規模で高性能なキャッシュコヒーレンシーシステムを設計することは、コンピュータアーキテクチャにおいて非常に難しい問題です。その結果、共有メモリコンピュータアーキテクチャはスケーラブルではなく、分散メモリシステムはスケーラブルになります。^{[ 44 ]}

プロセッサ間およびプロセッサとメモリ間の通信は、共有メモリ（マルチポートまたは多重化）、クロスバースイッチ、共有バス、またはスター、リング、ツリー、ハイパーキューブ、ファットハイパーキューブ（ノードに複数のプロセッサを持つハイパーキューブ）、n次元メッシュなど、無数のトポロジーの相互接続ネットワークを介して、ハードウェアでいくつかの方法で実装できます。

相互接続されたネットワークに基づく並列コンピュータでは、直接接続されていないノード間でメッセージをやり取りできるように、何らかのルーティング機構が必要となる。大規模なマルチプロセッサマシンでは、プロセッサ間の通信に使用される媒体は階層構造になっていることが多い。

並列コンピュータは、ハードウェアが並列処理をサポートするレベルに応じて大まかに分類できる。この分類は、基本的な計算ノード間の距離とほぼ一致する。これらは相互に排他的なものではなく、例えば、対称型マルチプロセッサのクラスタは比較的よく見られる。

分散コンピューティング

分散コンピュータ（分散メモリマルチプロセッサとも呼ばれる）は、処理要素がネットワークで接続されている分散メモリコンピュータシステムです。分散コンピュータは高いスケーラビリティを備えています。「同時コンピューティング」、「並列コンピューティング」、「分散コンピューティング」という用語は重複が多く、明確な区別はありません。^{[ 47 ] [ 48 ]}同じシステムが「並列」と「分散」の両方として特徴付けられる場合があり、典型的な分散システムのプロセッサは並列に同時実行されます。^{[ 49 ] [ 50 ]}

クラスタコンピューティング

クラスタとは、密接に連携して動作する疎結合コンピュータのグループであり、ある意味では単一のコンピュータとみなすことができます。^{[ 51 ]}クラスタは、ネットワークで接続された複数のスタンドアロンマシンで構成されています。クラスタ内のマシンは対称である必要はありませんが、対称でない場合は負荷分散が難しくなります。最も一般的なタイプのクラスタはBeowulfクラスタで、これはTCP/IP Ethernetローカルエリアネットワークで接続された複数の同一の市販コンピュータ上に実装されたクラスタです。^{[ 52 ]} Beowulfテクノロジーは、もともとThomas SterlingとDonald Beckerによって開発されました。Top500スーパーコンピュータの87%はクラスタです。^{[ 53 ]}残りは、後述する大規模並列プロセッサです。

グリッドコンピューティングシステム（後述）は、並列処理が容易な問題を容易に処理できるため、現代のクラスタは通常、より困難な問題、つまりノード間で中間結果をより頻繁に共有する必要がある問題を処理するように設計されています。これには、高い帯域幅と、より重要なことに、低遅延の相互接続ネットワークが必要です。多くの歴史的および現在のスーパーコンピュータは、Cray Gemini ネットワークなど、クラスタコンピューティング用に特別に設計されたカスタマイズされた高性能ネットワークハードウェアを使用しています。^{[ 54 ]} 2014 年現在、現在のほとんどのスーパーコンピュータは、 Myrinet、InfiniBand、またはGigabit Ethernetなどの市販の標準ネットワークハードウェアを使用しています。

大規模並列コンピューティング

大規模並列プロセッサ (MPP) は、多数のプロセッサがネットワークで接続された単一のコンピュータです。MPP はクラスタと多くの点で同じ特徴を持っていますが、MPP は専用の相互接続ネットワークを備えています (クラスタはネットワークに汎用ハードウェアを使用します)。また、MPP はクラスタよりも規模が大きく、通常 100 個をはるかに超える プロセッサを備えています。^{[ 55 ]} MPP では、「各 CPU は独自のメモリとオペレーティングシステムおよびアプリケーションのコピーを保持しています。各サブシステムは高速相互接続を介して他のサブシステムと通信します。」^{[ 56 ]}

IBMのBlue Gene/Lは、2009年6月のTOP500ランキングによると世界で5番目に速いスーパーコンピュータであり、MPPである。

グリッドコンピューティング

グリッドコンピューティングは、並列コンピューティングの中で最も分散型の形態です。インターネットを介して通信するコンピュータ群を利用して、特定の問題に取り組みます。インターネットの帯域幅が狭く、レイテンシが非常に高いため、分散コンピューティングは通常、並列処理が容易な問題のみを扱います。

ほとんどのグリッドコンピューティングアプリケーションはミドルウェア（オペレーティングシステムとアプリケーションの間にあるソフトウェアで、ネットワークリソースを管理し、ソフトウェアインターフェースを標準化する）を使用します。最も一般的なグリッドコンピューティングミドルウェアは、Berkeley Open Infrastructure for Network Computing （BOINC）です。ボランティアコンピューティングソフトウェアは、コンピュータがアイドル状態のときに計算を実行する「余剰サイクル」を利用することがよくあります。 ^{[ 57 ]}

クラウドコンピューティング

インターネットと高帯域幅ネットワークの普及により、クラウドコンピューティングが実現しました。これは、大規模並列処理リソースをサービスとして提供するモデルです。このパラダイムは基盤となるハードウェアを抽象化し、ユーザーは物理インフラストラクチャを管理することなく、拡張可能なワークロードに対応する仮想化クラスタにアクセスできるようになります。

分散型台帳技術

最新の分散型台帳プロトコルは、並列コンピューティングの原理を適用して、従来のブロックチェーンの逐次的なボトルネックを克服します。状態空間をシャーディングすることで、新しいコンセンサスアーキテクチャは「大規模並列トランザクション処理」を可能にします。Cerberusなどのプロトコルで使用されているこのモデルでは、独立したトランザクションは、単一のグローバルブロックで逐次的に処理されるのではなく、異なるノードで同時に実行できる並列タスクとして扱われます。^{[ 58 ]}

専用並列コンピュータ

並列コンピューティングの分野には、ニッチな関心領域にとどまっている特殊な並列デバイスが存在する。これらは特定の分野に特化しているわけではないが、適用できる並列問題の種類は限られている傾向がある。

フィールドプログラマブルゲートアレイを用いた再構成可能なコンピューティング

再構成可能コンピューティングとは、汎用コンピュータのコプロセッサとしてフィールドプログラマブルゲートアレイ（FPGA）を使用する技術である。FPGAは、本質的には、特定のタスクに合わせて回路構成を再構成できるコンピュータチップである。

FPGAは、 VHDL ^{[ 59 ]}やVerilog ^{[ 60 ]}などのハードウェア記述言語でプログラムできます。いくつかのベンダーは、ほとんどのプログラマーが慣れ親しんでいるCプログラミング言語の構文と意味をエミュレートしようとするC to HDL言語を作成しました。最もよく知られているC to HDL言語は、Mitrion-C、Impulse C、およびHandel-Cです。C ++に基づくSystemCの特定のサブセットもこの目的で使用できます。

AMDがHyperTransportテクノロジーをサードパーティベンダーに開放するという決定は、高性能再構成可能コンピューティングを実現する技術となった。^{[ 61 ]} DRC Computer Corporationの最高執行責任者であるMichael R. D'Amour氏によると、「私たちが初めてAMDに入社したとき、彼らは私たちのことを『ソケット泥棒』と呼んだ。今では彼らは私たちのことをパートナーと呼んでいる。」^{[ 61 ]}

グラフィックス処理ユニット（GPGPU）による汎用コンピューティング

グラフィックス処理ユニット（GPGPU）による汎用コンピューティングは、コンピュータ工学研究における比較的新しいトレンドです。GPUは、コンピュータグラフィックス処理のために高度に最適化されたコプロセッサです。^{[ 62 ]}コンピュータグラフィックス処理は、データ並列処理、特に線形代数行列演算が主流の分野です。

初期の頃、GPGPU プログラムは通常のグラフィックス API を使用してプログラムを実行していました。しかし、GPU 上で汎用計算を行うための新しいプログラミング言語とプラットフォームがいくつか開発され、NvidiaとAMD はそれぞれCUDAとStream SDKを備えたプログラミング環境をリリースしました。その他の GPU プログラミング言語には、BrookGPU、PeakStream、RapidMindなどがあります。Nvidia はTesla シリーズで計算専用の製品もリリースしています。テクノロジー コンソーシアム Khronos Group は、 CPU と GPU で構成されるプラットフォーム間で実行されるプログラムを作成するためのフレームワークであるOpenCL仕様をリリースしました。AMD 、Apple、Intel、NvidiaなどがOpenCLをサポートしています。

特定用途向け集積回路

並列アプリケーションに対応するために、いくつかの特定用途向け集積回路（ASIC）アプローチが考案されている。^{[ 63 ] [ 64 ] [ 65 ]}

ASICは（定義上）特定のアプリケーションに特化しているため、そのアプリケーションに合わせて完全に最適化できます。その結果、特定のアプリケーションでは、ASICは汎用コンピュータよりも優れた性能を発揮する傾向があります。しかし、ASICはUVフォトリソグラフィによって製造されます。このプロセスにはマスクセットが必要であり、これは非常に高価になる可能性があります。マスクセットの費用は100万米ドルを超える場合があります。^{[ 66 ]}（チップに必要なトランジスタが小さいほど、マスクは高価になります。）一方、汎用コンピューティングの性能は時間の経過とともに向上し（ムーアの法則で説明されているように）、わずか1、2世代のチップでこれらの向上分を相殺する傾向があります。^{[ 61 ]}初期費用が高く、ムーアの法則に牽引される汎用コンピューティングに追い抜かれる傾向があるため、ASICはほとんどの並列コンピューティングアプリケーションには実用的ではありません。しかし、いくつかは構築されています。1つの例は、分子動力学シミュレーションにカスタムASICを使用するPFLOPSのRIKEN MDGRAPE-3マシンです。

ベクトルプロセッサ

ベクトルプロセッサは、大量のデータに対して同じ命令を実行できるCPUまたはコンピュータシステムです。ベクトルプロセッサは、数値またはベクトルの線形配列に対して動作する高レベルの演算を備えています。ベクトル演算の例はA = B × Cで、A、B、Cはそれぞれ64ビット浮動小数点数の64要素ベクトルです。^{[ 67 ]}これらはFlynnのSIMD分類と密接に関連しています。^{[ 67 ]}

クレイ社は1970年代から1980年代にかけて、ベクトル処理コンピュータで有名になりました。しかし、CPUとしてもコンピュータシステム全体としても、ベクトルプロセッサは概して姿を消しました。現代のプロセッサの命令セットには、フリースケール・セミコンダクター社のAltiVecやインテル社のStreaming SIMD Extensions （SSE）など、ベクトル処理命令がいくつか含まれています。

並列コンピュータをプログラミングするために、並行プログラミング言語、ライブラリ、API、および並列プログラミングモデル（アルゴリズムスケルトンなど）が作成されてきました。これらは一般的に、基盤となるメモリアーキテクチャ（共有メモリ、分散メモリ、または共有分散メモリ）に関する仮定に基づいてクラスに分類できます。共有メモリプログラミング言語は、共有メモリ変数を操作することによって通信します。分散メモリはメッセージパッシングを使用します。POSIXスレッドとOpenMP は、最も広く使用されている共有メモリ API の 2 つであり、メッセージパッシングインターフェース(MPI) は、最も広く使用されているメッセージパッシングシステム API です。^{[ 68 ]}並列プログラムのプログラミングで使用される概念の 1 つは未来の概念であり、プログラムのある部分が、将来のある時点でプログラムの別の部分に必要なデータを提供すると約束します。

並列プログラミングの標準化に向けた取り組みの一つとして、ハイブリッドマルチコア並列プログラミングのためのオープンスタンダードであるOpenHMPPが挙げられます。OpenHMPPのディレクティブベースのプログラミングモデルは、ハードウェアアクセラレータへの計算処理の効率的なオフロードと、リモートプロシージャコールを用いたハードウェアメモリとの間のデータ転送の最適化を実現する構文を提供します。

コンシューマー向けGPUの普及に伴い、グラフィックスAPI（コンピュートシェーダーと呼ばれる）、専用API（ OpenCLなど）、またはその他の言語拡張機能において、コンピュートカーネルのサポートが実現するようになった。

コンパイラによる逐次プログラムの自動並列化は、特に前述のプロセッサ周波数の制限がある中で、並列コンピューティングの「聖杯」である。コンパイラ研究者による数十年にわたる研究にもかかわらず、自動並列化は限られた成功しか収めていない。^{[ 69 ]}

主流の並列プログラミング言語は、明示的に並列化されているか、（せいぜい）部分的に暗黙的であり、プログラマがコンパイラに並列化の指示を与えるかのいずれかである。完全に暗黙的な並列プログラミング言語はいくつか存在し、SISAL、Parallel Haskell、SequenceL、SystemC（FPGA用）、Mitrion-C、VHDL、Verilogなどが挙げられる。

コンピュータシステムが複雑化するにつれて、障害発生間隔の平均時間は通常短くなります。アプリケーションチェックポイントは、コンピュータシステムがアプリケーションの「スナップショット」（現在のすべてのリソース割り当てと変数状態の記録、コアダンプに類似）を取得する技術です。この情報は、コンピュータが故障した場合にプログラムを復元するために使用できます。アプリケーションチェックポイントとは、プログラムが最初からではなく、最後のチェックポイントからのみ再開すればよいことを意味します。チェックポイントはさまざまな状況で利点をもたらしますが、特に高性能コンピューティングで使用される多数のプロセッサを備えた高度に並列化されたシステムで役立ちます。^{[ 70 ]}