Loading article…

並列処理のスローダウンは、並列アルゴリズムをある一定のレベルを超えて並列化すると、プログラムの実行速度が低下する(完了までに時間がかかる)という並列コンピューティングにおける現象です。 [ 1 ]
並列処理の速度低下は、一般的に通信ボトルネックが原因で発生します。プロセッサノードが増えるにつれて、各処理ノードは処理に費やす時間よりも通信に費やす時間の方が徐々に多くなります。ある時点で、処理ノードを追加することによって生じる通信オーバーヘッドが、そのノードが提供する処理能力の向上を上回り、並列処理の速度低下が発生します。
並列処理の速度低下は、アルゴリズムが特に中間結果のやり取りなど、大量の通信を必要とする場合に発生します。一方、並列処理が容易な問題(いわゆる「並列処理が容易な問題」)の中には、そのような通信を必要としないものもあり、そのため速度低下の影響を受けません。