メッセージパッシングインターフェース

メッセージ パッシング インターフェース( MPI )は、並列コンピューティングアーキテクチャで機能するように設計された、標準化された移植可能なメッセージ パッシング標準です。^[1] MPI 標準は、 C、C++、およびFortranで移植可能なメッセージ パッシング プログラムを作成する幅広いユーザーに役立つライブラリ ルーチンの構文とセマンティクスを定義します。複数のオープン ソースMPI実装があり、並列ソフトウェア業界の発展を促進し、移植可能でスケーラブルな大規模並列アプリケーションの開発を促進しました。

メッセージ パッシング インターフェースの取り組みは、1991 年の夏、オーストリアの山荘で研究者の小グループが議論を始めたことから始まりました。その議論から、1992 年 4 月 29 日から 30 日にかけてバージニア州ウィリアムズバーグで開催された「分散メモリ環境におけるメッセージ パッシングの標準に関するワークショップ」が生まれました。^[2]ウィリアムズバーグの参加者は、標準のメッセージ パッシング インターフェースに不可欠な基本機能について議論し、標準化プロセスを継続するためのワーキング グループを設立しました。ジャック ドンガラ、トニー ヘイ、およびデビッド W. ウォーカーは、1992 年 11 月に予備的な草案「MPI1」を提出しました。1992 年 11 月、MPI ワーキング グループの会議がミネアポリスで開催され、標準化プロセスをより正式なものにすることを決定しました。 MPIワーキンググループは、1993年の最初の9か月間、6週間ごとに会合を開きました。MPI標準の草案は、1993年11月のSupercomputing '93カンファレンスで発表されました。^[3]パブリックコメント期間を経て、MPIにいくつかの変更が加えられ、1994年6月にMPIバージョン1.0がリリースされました。これらの会合と電子メールによる議論によってMPIフォーラムが構成され、そのメンバーシップは高性能コンピューティングコミュニティのすべてのメンバーに開放されています。

MPI の取り組みには、主に米国とヨーロッパの 40 の組織から約 80 人が参加しました。並行コンピュータの主要ベンダーのほとんどが MPI の取り組みに参加し、大学、政府研究所、産業界の研究者と協力しました。

MPI は、並列ハードウェア ベンダーに、効率的に実装できる明確に定義された基本ルーチン セットを提供します。その結果、ハードウェア ベンダーは、この標準の低レベルルーチンのコレクションを基にして、並列マシンに付属する分散メモリ通信環境用の高レベルルーチンを作成できます。MPI は、基本的なユーザー向けに使いやすいポータブル インターフェイスを提供しますが、プログラマーが高度なマシンで使用できる高性能なメッセージ パッシング操作を使用できるほど強力です。

メッセージ パッシングの普遍的な標準を作成するために、研究者は単一のシステムをベースにするのではなく、IBM、Intel、nCUBE、PVM、Express、P4、PARMACS によって設計されたシステムを含む、複数のシステムの最も便利な機能を組み込みました。メッセージ パッシング パラダイムは、幅広い移植性があるため魅力的であり、分散メモリと共有メモリのマルチプロセッサ、ワークステーションのネットワーク、およびこれらの要素の組み合わせの通信に使用できます。このパラダイムは、ネットワーク速度やメモリ アーキテクチャに関係なく、複数の設定に適用できます。

MPI 会議への支援は、 DARPAおよび米国国立科学財団(NSF) の助成金 ASC-9310330、NSF 科学技術センター協力協定番号 CCR-8809615、および欧州委員会のEsprit プロジェクト P6643 を通じて一部提供されました。テネシー大学も MPI フォーラムに資金援助を行いました。

MPIは並列コンピュータをプログラミングするための通信プロトコルです^[4] 。ポイントツーポイント通信と集団通信の両方がサポートされています。MPIは「メッセージパッシングアプリケーションプログラマインターフェイスであり、その機能が実装でどのように動作する必要があるかを示すプロトコルとセマンティック仕様です。」^[5] MPIの目標は、高性能、スケーラビリティ、移植性です。MPIは今日でも高性能コンピューティングで使用される主要なモデルです。^[6]

MPI は主要な標準化団体によって認可されていませんが、分散メモリシステムで実行される並列プログラムをモデル化するプロセス間の通信の事実上の標準となっています。コンピュータ クラスターなどの実際の分散メモリ スーパーコンピュータでは、このようなプログラムが実行されることがよくあります 。

主要な MPI-1 モデルには共有メモリの概念がなく、MPI-2 には限られた分散共有メモリの概念しかありません。それでも、MPI プログラムは共有メモリ コンピュータで定期的に実行され、MPICHとOpen MPI はどちらも、利用可能な場合はメッセージ転送に共有メモリを使用できます。^{[7] [8]} MPI モデルを中心にプログラムを設計すると (明示的な共有メモリモデルとは対照的に)、MPI はメモリの局所性を促進するため、NUMAアーキテクチャで実行するときに利点があります。明示的な共有メモリ プログラミングは MPI-3 で導入されました。^{[9] [10] [11]}

MPI はOSI 参照モデルの第 5 層以上に属しますが、実装はほとんどの層をカバーし、ソケットと伝送制御プロトコル(TCP) はトランスポート層で使用されます。

ほとんどの MPI 実装は、 C、C++、Fortran (つまり API) およびC#、Java、Pythonなどのライブラリとインターフェイスできる任意の言語から直接呼び出すことができる特定のルーチン セットで構成されています。古いメッセージ パッシング ライブラリと比較した MPI の利点は、移植性 (MPI はほぼすべての分散メモリ アーキテクチャ用に実装されているため) と速度 (各実装は原則として実行されるハードウェア用に最適化されているため) です。

MPI は、呼び出しと言語バインディングに言語非依存仕様(LIS) を使用します。最初の MPI 標準では、LIS とともにANSI Cと Fortran-77 バインディングが指定されました。ドラフトは Supercomputing 1994 (1994 年 11 月) ^[12]で発表され 、その後すぐに最終決定されました。約 128 の関数で構成される MPI-1.3 標準は、2008 年に MPI-1 シリーズの最終版としてリリースされました^。[13]

現在、この標準にはいくつかのバージョンがあります。バージョン 1.3 (一般にMPI-1と略されます) はメッセージ パッシングを重視し、静的なランタイム環境を備えています。MPI-2.2 (MPI-2) には並列 I/O、動的プロセス管理、リモート メモリ操作などの新機能が含まれています。^[14] MPI-3.1 (MPI-3) には、非ブロッキング バージョンによる集合操作の拡張と片側操作の拡張が含まれています。^{[15] MPI-2 の LIS は 500 を超える関数を指定し、 ISO} C、 ISO C++、およびFortran 90 の言語バインディングを提供します。オブジェクトの相互運用性も追加されたため、混合言語のメッセージ パッシング プログラミングが容易になりました。1996 年に完了した MPI-2 の標準化の副作用として、MPI-1 標準が明確化され、MPI-1.2 が作成されました。

MPI-2は主に MPI-1 のスーパーセットですが、一部の関数は廃止されています。MPI-1.3 プログラムは、MPI-2 標準に準拠した MPI 実装でも引き続き動作します。

MPI-3.0 では、集合操作の非ブロッキング バージョン、片側操作の強化、Fortran 2008 バインディングなど、MPI 標準に重要な更新が導入されています。非推奨の C++ バインディングと、さまざまな古いルーチンやオブジェクトが削除されます。重要な点は、削除された要素を回避する有効な MPI-2.2 プログラムはすべて、MPI-3.0 でも有効であるということです。

MPI-3.1は、特に Fortran バインディングの修正と明確化に重点を置いたマイナー アップデートです。MPI_Aint 値を操作するための新しい関数、非ブロッキング集合 I/O ルーチン、および MPI_T パフォーマンス変数の名前によるインデックス値を取得する方法が導入されています。さらに、一般的なインデックスが追加されました。有効な MPI-3.0 プログラムはすべて MPI-3.1 でも有効です。

MPI-4.0は、多数のルーチンの大規模バージョン、永続的な集合操作、パーティション化された通信、および新しい MPI 初期化メソッドを導入するメジャー アップデートです。また、アプリケーション情報アサーションの追加、エラー処理定義の改善、およびさまざまな小さな機能強化も行われています。有効な MPI-3.1 プログラムはすべて MPI-4.0 と互換性があります。

MPI-4.1 は、MPI-4.0 標準の修正と明確化に重点を置いたマイナー アップデートです。いくつかのルーチン、MPI_HOST 属性キー、および mpif.h Fortran インクルード ファイルが廃止されました。MPI プログラムを実行しているハードウェアを照会するための新しいルーチンが追加されました。有効な MPI-4.0 プログラムは、MPI-4.1 でも引き続き有効です。

MPI は、1989 年に開発された人気の高い分散環境およびメッセージ パッシング システムである並列仮想マシン(PVM) とよく比較されます。PVM は、標準的な並列メッセージ パッシングの必要性を生み出したシステムの 1 つです。スレッド共有メモリ プログラミング モデル ( PthreadsやOpenMPなど) とメッセージ パッシング プログラミング (MPI/PVM) は補完的であると考えられており、たとえば複数の大規模な共有メモリ ノードを持つサーバーで一緒に使用されることがあります。

MPI インターフェイスは、言語に依存しない方法で、言語固有の構文 (バインディング) といくつかの言語固有の機能を使用して、一連のプロセス (ノード/サーバー/コンピューター インスタンスにマップ済み) 間の重要な仮想トポロジ、同期、および通信機能を提供することを目的としています。MPI プログラムは常にプロセスで動作しますが、プログラマーは一般にプロセスをプロセッサと呼びます。通常、パフォーマンスを最大化するために、各CPU (またはマルチコア マシンのコア) には 1 つのプロセスのみが割り当てられます。この割り当ては、通常 mpirun または mpiexec と呼ばれる MPI プログラムを起動するエージェントを通じて実行時に行われます。

MPI ライブラリ関数には、ポイントツーポイントのランデブー型送受信操作、デカルトまたはグラフのような論理プロセス トポロジの選択、プロセス ペア間でのデータ交換 (送受信操作)、計算の部分結果の結合 (収集操作と削減操作)、ノードの同期 (バリア操作)、およびコンピューティング セッション内のプロセス数、プロセスがマップされている現在のプロセッサ ID、論理トポロジでアクセス可能な隣接プロセスなどのネットワーク関連情報の取得などが含まれますが、これらに限定されません。ポイントツーポイント操作には、同期、非同期、バッファリング、および準備完了の形式があり、ランデブー送信の同期の側面に対して比較的強いセマンティクスと弱いセマンティクスの両方を許可します。ほとんどの実装では、多くの優れた^{[説明が必要]}操作が非同期モードで可能です。

MPI-1 と MPI-2 はどちらも通信と計算を重複する実装を可能にしますが、実践と理論は異なります。MPI はスレッド セーフインターフェイスも規定しており、インターフェイス内の隠れた状態を回避するのに役立つ凝集性と結合戦略を備えています。マルチスレッドのポイントツーポイント MPI コードを記述するのは比較的簡単で、一部の実装ではそのようなコードがサポートされています。マルチスレッドの集合通信は、以下で説明するように、コミュニケータの複数のコピーを使用して行うのが最適です。

MPI はいくつかの機能を提供します。次の概念は、これらすべての機能のコンテキストを提供し、プログラマがアプリケーション プログラムで使用する機能を決定するのに役立ちます。MPI の 8 つの基本概念のうち 4 つは MPI-2 に固有のものです。

コミュニケータ オブジェクトは、MPI セッション内のプロセス グループを接続します。各コミュニケータは、含まれる各プロセスに独立した識別子を付与し、含まれるプロセスを順序付けられたトポロジに配置します。MPI には明示的なグループもありますが、これらは主に、別のコミュニケータが作成される前にプロセス グループを編成および再編成する場合に適しています。MPI は、単一グループ内コミュニケータ操作と双方向コミュニケータ間通信を理解します。MPI-1 では、単一グループ操作が最も一般的です。双方向操作は、集合通信と動的プロセス内管理を含む MPI-2 で主に使用されます。

コミュニケータは、いくつかの MPI コマンドを使用して分割できます。これらのコマンドには が含まれます。MPI_COMM_SPLITここで、各プロセスは、その色を持つことを宣言することで、複数の色付きサブコミュニケータの 1 つに参加します。

重要な MPI 関数の多くは、2 つの特定のプロセス間の通信を伴います。一般的な例としてはMPI_Send、指定された 1 つのプロセスが 2 番目の指定されたプロセスにメッセージを送信できるようにする があります。ポイントツーポイント操作と呼ばれるこれらの操作は、パターン化された通信や不規則な通信で特に役立ちます。たとえば、各プロセッサが計算ステップ間で特定の他のプロセッサとデータ領域を定期的に交換するデータ並列アーキテクチャや、前のタスクが完了するたびにマスターが新しいタスク データをスレーブに送信する マスター スレーブアーキテクチャなどです。

MPI-1 は、ブロッキングと非ブロッキングの両方のポイントツーポイント通信メカニズムのメカニズムと、一致する受信要求がすでに行われている場合にのみ送信要求を行うことができる、いわゆる「ready-send」メカニズムを指定します。

集合関数は、プロセス グループ (プロセス プール全体またはプログラム定義のサブセット) 内のすべてのプロセス間の通信を伴います。 一般的な関数は、呼び出し(「ブロードキャストMPI_Bcast」の略) です。 この関数は、1 つのノードからデータを取得し、それをプロセス グループ内のすべてのプロセスに送信します。 逆の操作は呼び出しで、グループ内のすべてのプロセスからデータを取得し、操作 (合計など) を実行し、結果を 1 つのノードに格納します。は、各プロセッサがデータの一部を操作し、それを組み合わせて結果を生成する、大規模な分散計算の開始時または終了時によく役立ちます。 MPI_ReduceMPI_Reduce

その他の操作は、 n番目のノードが各ノードからn番目のデータ項目を取得するようにnMPI_Alltoall個のデータ項目を再配置するなど、より高度なタスクを実行します。

多くの MPI 関数では、プロセス間で送信されるデータの型を指定する必要があります。これは、異なるノードで型が異なる方法で表現される可能性がある異種環境^{[16] (たとえば、異なる}エンディアンを持つ異なる CPU アーキテクチャを実行している場合) をサポートすることを目的としているためです。この場合、MPI 実装はデータ変換 を実行できます。^[16] C 言語では型自体をパラメーターとして渡すことができないため、MPI では、、、などに対応する定数、、を 事前MPI_INTにMPI_CHAR定義しています。MPI_DOUBLEintchardouble

これは、すべてのプロセスから の配列を 1 つのプロセスに渡す C の例ですint。受信側のプロセスは「ルート」プロセスと呼ばれ、任意の指定されたプロセスにすることができますが、通常はプロセス 0 になります。すべてのプロセスは でルートに配列を送信するように要求しますMPI_Gather。これは、各プロセス (ルート自体を含む) が を呼び出しMPI_Send、ルートが対応する数の順序付けられたMPI_Recv呼び出しを行って、これらの配列すべてを 1 つの大きな配列に組み立てることと同じです。^[17]

int send_array [ 100 ]; int root = 0 ; /* または何でも */ int num_procs , * recv_array ; MPI_Comm_size ( comm , & num_procs ); recv_array = malloc ( num_procs * sizeof ( send_array )); MPI_Gather ( send_array , sizeof ( send_array ) / sizeof ( * send_array ), MPI_INT , recv_array , sizeof ( send_array ) / sizeof ( * send_array ), MPI_INT , root , comm ); 
    
  
 
    
    
               
            

ただし、データを 100 秒ではなく 1 つのブロックとして送信したい場合もありますint。これを行うには、「連続ブロック」派生データ型を定義します。

MPI_Datatype newtype ; MPI_Type_contiguous ( 100 、MPI_INT 、& newtype ); MPI_Type_commit ( & newtype ); MPI_Gather ( array 、1 、newtype 、receive_array 、1 、newtype 、root 、comm ); 
  

       

クラスまたはデータ構造を渡すには、次のようにデータ型MPI_Type_create_structから MPI 派生データ型を作成しますMPI_predefined。

int MPI_Type_create_struct ( int count 、int * blocklen 、MPI_Aint * disp 、MPI_Datatype * type 、MPI_Datatype * newtype )  
                            
                            
                            
                            

どこ：

• countはブロックの数であり、配列blocklen、、の長さ（要素数disp）を指定しますtype。
• blocklen各ブロックには要素の数が含まれます。
• disp各ブロックのバイト変位を含み、
• type各ブロックには要素の種類が含まれます。
• newtype（出力）には、この関数によって作成された新しい派生型が含まれます。

（変位）配列は、データ構造のアラインメントdispに必要です。これは、コンパイラがクラスまたはデータ構造内の変数を埋め込む可能性があるためです。異なるフィールド間の距離を見つける最も安全な方法は、メモリ内のアドレスを取得することです。これは で行われます。これは通常、Cの演算子と同じですが、メモリセグメンテーションを扱う場合は当てはまらない場合があります。^[18]MPI_Get_address&

データ構造を1つのブロックとして渡すと、一度に1つの項目を渡すよりも大幅に高速になります。特に操作を繰り返す場合はその傾向が顕著です。これは、固定サイズのブロックでは転送中にシリアル化が必要ないためです。^[19]

次のデータ構造があるとします。

構造体A { int f ; short p ; };  
     
     


構造体B {構造体A a ; int pp , vp ; };  
      
      

MPI 派生データ型を構築するための C コードは次のとおりです。

static const int blocklen [] = { 1 , 1 , 1 , 1 }; static const MPI_Aint disp [] = { offsetof ( struct B , a ) + offsetof ( struct A , f ), offsetof ( struct B , a ) + offsetof ( struct A , p ), offsetof ( struct B , pp ), offsetof ( struct B , vp ) }; static MPI_Datatype type [] = { MPI_INT , MPI_SHORT , MPI_INT , MPI_INT }; MPI_Datatype newtype ; MPI_Type_create_struct ( sizeof ( type ) / sizeof ( * type ), blocklen , disp , type , & newtype ); MPI_Type_commit ( & newtype );        
     
          
          
      
      

       
 
      

MPI-2 は、3 つの片側通信操作、、、を定義しています。MPI_Putこれらはそれぞれ、リモート メモリへの書き込み、リモート メモリからの読み取り、および複数のタスクにわたる同じメモリに対するリダクション操作です。また、仕様では同期ポイントまでこれらの操作が実行されていることが保証されていないため、この通信を同期するための 3 つの異なる方法 (グローバル ロック、ペアワイズ ロック、およびリモート ロック) も定義されています。 MPI_GetMPI_Accumulate

これらのタイプの呼び出しは、同期が不便なアルゴリズム (分散行列乗算など) や、他のプロセッサがデータを処理している間にタスクの負荷を分散できることが望ましい場合に役立ちます。

重要な点は、「MPI プロセスが新しい MPI プロセスの作成に参加したり、別々に開始された MPI プロセスとの通信を確立したりする能力」です。MPI-2 仕様では、MPI プロセスが動的に通信を確立できる 3 つの主要なインターフェイス、、/、について説明していますMPI_Comm_spawn。MPI_Comm_acceptインターフェイスMPI_Comm_connectによりMPI_Comm_join、MPI_Comm_spawnMPI プロセスは指定された MPI プロセスのインスタンスを多数生成できます。新しく生成された MPI プロセスのセットは、新しいMPI_COMM_WORLD内部コミュニケータを形成しますが、関数が返す親および内部コミュニケータと通信できます。は、生成さMPI_Comm_spawn_multipleれた異なるインスタンスが異なる引数を持つ異なるバイナリになることを可能にする代替インターフェイスです。^[20]

並列I/O機能はMPI-IO ^[21]と呼ばれることもあり、分散システム上のI/O管理をMPIに抽象化し、既存の派生データ型機能を使用してパターン化された方法でファイルに簡単にアクセスできるように設計された一連の関数を指します。

この機能に関して行われたわずかな研究は、MPI-IOを使用して高いパフォーマンスの向上を得るのは簡単ではないことを示しています。たとえば、MPI I/Oライブラリを使用したスパース行列ベクトル乗算の実装では、パフォーマンスがわずかに向上するという一般的な動作が示されていますが、これらの結果は決定的ではありません。^{[22] MPI-IOが広く採用され始めたのは、集合I/O [23]}のアイデアがMPI-IOに実装されてからでした。集合I/Oは、プロセスが小さく連続していないI/O操作を集合的に大きく連続したものに変換することでアプリケーションのI/O帯域幅を大幅に向上させ、ロックとディスクシークのオーバーヘッドを削減します。パフォーマンス上のメリットが非常に大きいため、MPI-IOは、 HDF5やParallel NetCDFなどの多くの最先端のI/Oライブラリの基盤となるI/Oレイヤーにもなりました。その人気により、レイアウトを考慮したI/O ^[24]やファイル間集約などの集合I/O最適化の研究も促進されました。 ^{[25] [26]}

• MPI 1.x 標準の最初の実装は、アルゴンヌ国立研究所(ANL) とミシシッピ州立大学によるMPICHでした。IBMも初期の実装者であり、90 年代初期のスーパーコンピュータ企業のほとんどが MPICH を商品化するか、独自の実装を構築しました。オハイオ スーパーコンピュータ センターのLAM/MPI も初期のオープン実装の 1 つです。ANL は 10 年以上にわたって MPICH の開発を続け、現在は MPI-3.1 標準を実装した MPICH-3.2 を提供しています。
• Open MPI ( OpenMPと混同しないでください) は、FT-MPI、LA-MPI、LAM/MPI、および PACX-MPI を統合して形成され、多くのTOP-500 スーパーコンピュータに搭載されています。

他の多くの取り組みは、MPICH、LAM、およびその他の成果から派生したものであり、 HPE、Intel、Microsoft、NECによる商用実装が含まれますが、これに限定されません。

仕様では C と Fortran のインターフェースが必須ですが、MPI の実装に使用される言語は、実行時にサポートする言語と一致するように制限されていません。ほとんどの実装は C、C++、アセンブリ言語を組み合わせ、C、C++、Fortran プログラマーを対象としています。Perl、Python、R、Ruby、Java、CLなど、他の多くの言語のバインディングが利用可能です(「#言語バインディング」を参照)。

MPI実装のABIはMPICHとOpen MPI派生に大まかに分かれており、あるファミリーのライブラリは同じファミリーのライブラリのドロップイン置換として機能しますが、ファミリー間で直接置換することは不可能です。フランスのCEAは、このような切り替えを容易にするためのラッパーインターフェースを維持しています。^[27]

MPI ハードウェア研究は、プロセッサインメモリなどを介してハードウェアに直接 MPI を実装し、各ノードのRAMチップのマイクロ回路に MPI 操作を組み込むことに重点を置いています。つまり、このアプローチは言語、オペレーティング システム、CPU に依存しませんが、簡単に更新または削除することはできません。

もう 1 つのアプローチは、MPI キューのハードウェア処理や、CPU や OS カーネルの介入なしにメモリとネットワーク インターフェイス コントローラー間でデータを直接転送するためにRDMA を使用するなど、操作の 1 つ以上の部分にハードウェア アクセラレーションを追加することです。

mpicc（同様にmpic++、mpif90など）は、既存のコンパイラをラップして、MPIを使用するコードをコンパイルするときに必要なコマンドラインフラグを設定するプログラムです。通常、コードをMPIライブラリに対してコンパイルおよびリンクできるようにするいくつかのフラグを追加します。^[28]

バインディングは、 MPICH や Open MPI などの既存の MPI 実装をラップすることで、MPI サポートを他の言語に拡張するライブラリです。

マネージドCommon Language Infrastructure .NET実装には、Pure Mpi.NET ^[29]とMPI.NET ^[30]の2つがあり、インディアナ大学の研究成果でBSDスタイルのライセンスで提供されています。Monoと互換性があり、基盤となる低遅延のMPIネットワークファブリックを最大限に活用できます。

Javaには公式のMPIバインディングはありませんが、いくつかのグループが両者の橋渡しを試みており、成功度や互換性はさまざまです。最初の試みの1つは、Bryan CarpenterのmpiJava ^{[31]です。これは基本的に、ローカルC MPIライブラリへの}Java Native Interface （JNI）ラッパーのセットであり、移植性が限られたハイブリッド実装になっています。また、使用する特定のMPIライブラリに合わせてコンパイルする必要があります。

しかし、この最初のプロジェクトでは、他の後続のJava MPIプロジェクトが採用したmpiJava API ^[32]（ Javaの事実上のMPI APIであり、同等のC++バインディングに厳密に従った）も定義されました。あまり使用されていないAPIの1つはMPJ APIで、よりオブジェクト指向的で、 Sun Microsystemsのコーディング規約に近いように設計されています。^[33] API以外にも、Java MPIライブラリはローカルMPIライブラリに依存するか、Javaでメッセージパッシング機能を実装することができます。一方、P2P-MPIなどの一部はピアツーピア機能も提供し、混合プラットフォーム操作を可能にします。

Java/MPI の最も難しい部分のいくつかは、明示的なポインタの欠如やオブジェクトの線形メモリアドレス空間などの Java の特性から生じており、多次元配列や複雑なオブジェクトの転送が非効率的です。回避策としては通常、一度に 1 行ずつ転送したり、送信側と受信側の両方で明示的なデシリアライズとキャストを実行したり、1 次元配列を使用して C または Fortran のような配列をシミュレートしたり、単一要素配列を使用してプリミティブ型へのポインタをシミュレートしたりしますが、その結果、Java の慣例からかなり離れたプログラミング スタイルになります。

もう1つのJavaメッセージパッシングシステムはMPJ Expressです。^[34]最近のバージョンは、クラスター構成とマルチコア構成で実行できます。クラスター構成では、クラスターとクラウド上で並列Javaアプリケーションを実行できます。ここでは、JavaソケットまたはMyrinetなどの特殊なI/OインターコネクトがMPJ Expressプロセス間のメッセージングをサポートできます。ネイティブデバイスを使用して、MPIのネイティブC実装を利用することもできます。マルチコア構成では、並列Javaアプリケーションがマルチコアプロセッサ上で実行されます。このモードでは、MPJ ExpressプロセスはJavaスレッドによって表されます。

MPI用のJulia言語ラッパーがある。 ^[35]

MATLABを使用した MPI の学術的な実装はいくつかあります。MATLAB には、 MPI とPVM を使用して実装された独自の並列拡張ライブラリがあります。

OCamlMPIモジュール^[36]は、MPI関数の大規模なサブセットを実装しており、科学計算で積極的に使用されています。11,000行のOCamlプログラムは、このモジュールを使用して「MPI化」され、500行のコードを追加し、わずかに再構築することで、スーパーコンピュータの最大170ノードで優れた結果で実行されました。^[37]

PARI/GPは、 MPIをマルチスレッドエンジンとして使用するように構築することができ^[38]、MPIクラスター上でPARIおよびGPプログラムを並列に実行することができます。

Python用の活発にメンテナンスされているMPIラッパーには、mpi4py、^[39]、 numba-mpi ^{[40] 、numba-jax [41]}などがあります。

中止された開発には、pyMPI、pypar、^[42] MYMPI ^{[43] 、} ScientificPythonのMPIサブモジュールが含まれます。

MPIのRバインディングにはRmpi ^[44]とpbdMPI ^[45]があり、 Rmpiはマネージャーワーカー並列処理に重点を置いているのに対し、pbdMPIはSPMD並列処理に重点を置いています。どちらの実装もOpen MPIまたはMPICH2を完全にサポートしています。

以下は、C で記述された MPI の「Hello, World!」プログラムです。この例では、各プロセッサに「hello」メッセージを送信し、それを簡単に操作し、結果をメイン プロセスに返して、メッセージを出力します。

/* 
  "Hello World" MPI テスト プログラム
*/ 
#include <assert.h> #include <stdio.h> #include <string.h> #include <mpi.h> 
 
 
 

int main ( int argc , char ** argv ) { char buf [ 256 ]; int my_rank , num_procs ;    

     
      

    /* 通信に必要なインフラストラクチャを初期化します */ 
MPI_Init ( & argc , & argv );     

    /* このプロセスを識別します */ 
MPI_Comm_rank ( MPI_COMM_WORLD , & my_rank );     

    /* アクティブなプロセスの合計数を確認します */ 
MPI_Comm_size ( MPI_COMM_WORLD , & num_procs );     

    /* ここまでは、すべてのプログラムがまったく同じことを行っていました。
       ここでは、プログラムの役割を区別するためにランクをチェックします */ 
if ( my_rank == 0 ) { int other_rank ; printf ( "We have %i processes. \n " , num_procs );        
         
         

        /* 他のすべてのプロセスにメッセージを送信します */ 
for ( other_rank = 1 ; other_rank < num_procs ; other_rank ++ ) { sprintf ( buf , "Hello %i!" , other_rank ); MPI_Send ( buf , 256 , MPI_CHAR , other_rank , 0 , MPI_COMM_WORLD ); }               
        
              
               
                      
        

        /* 他のすべてのプロセスからメッセージを受信します */ 
for ( other_rank = 1 ; other_rank < num_procs ; other_rank ++ ) { MPI_Recv ( buf , 256 , MPI_CHAR , other_rank , 0 , MPI_COMM_WORLD , MPI_STATUS_IGNORE ); printf ( "%s \n " , buf ); }               
        
               
                       
             
        

    }それ以外{  

        /* プロセス #0 からメッセージを受信 */ 
MPI_Recv ( buf , 256 , MPI_CHAR , 0 , 0 , MPI_COMM_WORLD , MPI_STATUS_IGNORE ); assert ( memcmp ( buf , "Hello " , 6 ) == 0 );           
                   
            

        /* プロセス #0 にメッセージを送信します */ 
sprintf ( buf , "プロセス %i が任務を報告しています。" , my_rank ); MPI_Send ( buf , 256 , MPI_CHAR , 0 , 0 , MPI_COMM_WORLD );          
           
                  

    }

    /* 通信インフラストラクチャを破棄します */ 
MPI_Finalize (); return 0 ; }    
     

4つのプロセスで実行すると、次の出力が生成されます。^[46]

$ mpicc example.c && mpiexec -n 4 ./a.out
プロセスは4つあります。
プロセス1、勤務報告。
プロセス2、勤務報告。
プロセス3 勤務報告。

ここで、 は、4 つのプロセスmpiexecでサンプル プログラムを実行するために使用されるコマンドです。各プロセスは実行時にプログラムの独立したインスタンスであり、ランク (数値 ID) 0、1、2、3 が割り当てられます。 という名前はMPI 標準で推奨されていますが、実装によっては という名前で同様のコマンドが提供されています。 は、すべてのプロセスで構成されるコミュニケータです。 mpiexecmpirunMPI_COMM_WORLD

これにより、単一プログラム複数データ ( SPMD ) プログラミング モデルが容易になりますが、必須ではありません。多くの MPI 実装では、複数の異なる実行可能ファイルを同じ MPI ジョブで開始できます。各プロセスには、独自のランク、ワールド内のプロセスの合計数、ポイントツーポイント (送信/受信) 通信またはグループ間の集合通信のいずれかを使用してプロセス間で通信する機能があります。MPI では、MPI_COMM_WORLD、独自のランク、およびワールドのサイズを持つ SPMD スタイルのプログラムを提供すれば、アルゴリズムが何をすべきかを決定できるようになります。より現実的な状況では、I/O はこの例よりも慎重に管理されます。MPI では、特定のシステムで標準 I/O (stdin、stdout、stderr) がどのように機能するかは規定されていません。通常、ランク 0 プロセスでは期待どおりに機能し、実装によっては他のプロセスからの出力をキャプチャしてファネリングするものもあります。

MPI では、プロセッサではなくプロセスという概念が使用されます。プログラムのコピーは、MPIランタイムによってプロセッサにマップされます。その意味では、並列マシンは 1 つの物理プロセッサ、またはN 個のプロセッサ ( Nは使用可能なプロセッサの数)、あるいはその中間の数にマップできます。並列処理の速度を最大限に高めるには、より多くの物理プロセッサを使用します。この例では、ワールドNのサイズに合わせて動作を調整しているため、サイズの変化ごとにコンパイルせずにランタイム構成に合わせてスケーリングしようとします。ただし、ランタイムの決定は、使用可能な同時実行の絶対量によって異なる場合があります。

MPI-1.2 は、特にクラスター コンピューティングでは広く採用されていますが、MPI-2.1 の受け入れは限定的です。問題は次のとおりです。

1. MPI-2 の実装には I/O と動的プロセス管理が含まれており、ミドルウェアのサイズは大幅に大きくなります。バッチ スケジューリング システムを使用するほとんどのサイトでは、動的プロセス管理をサポートできません。MPI-2 の並列 I/O は広く受け入れられています。^{[引用が必要]}
2. 多くの MPI-1.2 プログラムは MPI-2 より前に開発されました。移植性に関する懸念から当初は採用が遅れましたが、サポートが広まったことでこの傾向は緩和されました。
3. 多くの MPI-1.2 アプリケーションでは、その標準のサブセット (16 ～ 25 個の関数) のみを使用し、MPI-2 の機能は実際には必要ありません。

MPIの将来については、いくつかの側面は堅実であるように見えますが、他の側面はそうではありません。MPIフォーラムは2007年に再招集され、MPI-2の問題のいくつかを明らかにし、MPI-3の可能性に向けた開発を検討しました。その結果、バージョンMPI-3.0（2012年9月）^[47]とMPI-3.1（2015年6月）^[48]が生まれました。開発は継続され、2021年6月9日にMPI-4.0が承認され[ ^49]、最近では2023年11月2日にMPI-4.1が承認されました。^[50]

アーキテクチャは変化しており、内部の同時実行性の向上 (マルチコア)、よりきめ細かい同時実行制御 (スレッド、アフィニティ)、メモリ階層のレベルの増加がみられます。マルチスレッドプログラムは、シングル スレッド アプリケーションよりも簡単にこれらの進歩を活用できます。これにより、対称型マルチプロセッシングの個別の補完的な標準、つまりOpenMP がすでに生まれています。MPI-2 は、標準に準拠した実装がマルチスレッドの問題に対処する方法を定義しますが、実装がマルチスレッドであることや、スレッドセーフであることさえ要求していません。MPI-3 では、ノード内で共有メモリ並列処理を使用する機能が追加されています。Adaptive MPI、Hybrid MPI、Fine-Grained MPI、MPC などの MPI 実装は、MPI のさまざまな課題に対処する MPI 標準の拡張機能を提供します。

天体物理学者のジョナサン・ダーシは、チャペル言語、Unified Parallel C、Hadoop、Spark、Flinkなどの新しい技術を指摘し、MPIは時代遅れであると主張する意見記事を書きました。^[51]同時に、エクサスケールコンピューティングプロジェクトのほぼすべてのプロジェクトは、明示的にMPI上に構築されています。MPIは2020年代初頭の時点で最大のマシンに拡張できることが示されており、今後も長い間関連性を維持すると広く考えられています。

Wikibooksには、メッセージパッシングインターフェースに関する書籍があります。

• 公式サイト
• 公式 MPI-3.1 標準 (非公式 HTML バージョン)
• MPI のチュートリアル: メッセージ パッシング インターフェイス
• MPI ユーザーガイド
• チュートリアル: MPI 入門 (自分のペースで学習、セルフテストと演習を含む)