並列仮想ファイルシステム

並列仮想ファイル システム( PVFS ) は、オープン ソースの 並列ファイル システムです。並列ファイル システムとは、ファイル データを複数のサーバーに分散し、並列アプリケーションの複数のタスクによる同時アクセスを可能にする、分散ファイル システムの一種です。PVFS は、大規模クラスター コンピューティングで使用するために設計されました。PVFS は、大規模なデータ セットへの高パフォーマンス アクセスに重点を置いています。これは、完全にユーザー レベルのコードで記述されたサーバー プロセスとクライアント ライブラリで構成されています。Linuxカーネル モジュールと pvfs-client プロセスにより、ファイル システムをマウントして標準ユーティリティで使用できます。クライアント ライブラリは、メッセージ パッシング インターフェイス( MPI) を介した高パフォーマンス アクセスを提供します。PVFS は、クレムソン大学の並列アーキテクチャ研究室、アルゴンヌ国立研究所の数学およびコンピューター サイエンス部門、およびオハイオ スーパーコンピューター センターが共同で開発しています。 PVFS の開発は、NASAゴダード宇宙飛行センター、米国エネルギー省科学局の高度科学計算研究プログラム、NSF PACI および HECURA プログラム、およびその他の政府機関や民間機関によって資金提供を受けています。PVFS は現在、最新の開発ブランチでは OrangeFSとして知られています。

PVFS は、1993 年に Walt Ligon と Eric Blumer によって、並列プログラムの I/O パターンを研究するための NASA 助成金の一環として、並列仮想マシン(PVM) ^{[1]用の並列ファイルシステムとして最初に開発されました。PVFS バージョン 0 は、IBM} TJ Watson Research Centerで開発された並列ファイルシステム Vesta に基づいていました。^[2] 1994 年から、Rob Ross は PVFS を書き直してTCP/IP を使用するようにし、元の Vesta の設計ポイントの多くから逸脱しました。PVFS バージョン 1 は、スイッチFDDI を使用してネットワーク化されたDEC Alpha ワークステーションのクラスターを対象としていました。Vesta と同様に、PVFS は複数のサーバーにわたってデータをストライプ化し、ストライド アクセス パターンを記述したファイル ビューに基づいて I/O 要求を許可しました。Vesta とは異なり、ストライプ化とビューは共通レコード サイズに依存しませんでした。Ross の研究は、複数のクライアントが同じファイルにアクセスしている場合のディスク I/O のスケジューリングに焦点を当てていまし た。^[3]ロスは、これはネットワークの相対速度やファイルビューの詳細など、いくつかの要因に依存することを示しました。場合によっては、ネットワークトラフィックに基づいたスケジュールが望ましいため、動的に適応可能なスケジュールが全体的に最高のパフォーマンスを提供しました。^[4]

1994年後半、リゴンはゴダード宇宙飛行センター（GSFC）でトーマス・スターリングとジョン・ドーバンドと会い、最初のベオウルフコンピュータを構築する計画について話し合った。^[5] PVFSをLinuxに移植し、新しいマシンに搭載することが合意された。その後数年間、リゴンとロスはドナルド・ベッカー、ダン・リッジ、エリック・ヘンドリックスを含むGSFCグループと協力した。1997年、カリフォルニア州パサデナでのクラスター会議で、スターリングはPVFSをオープンソースパッケージとしてリリースするよう求めた。^[6]

1999年にLigonはPVFSの新バージョンの開発を提案し、当初はPVFS2000、後にPVFS2と呼ばれた。この設計は当初Ligon、Ross、Phil Carnsによって開発された。Rossは2000年に博士号を取得してアルゴンヌ国立研究所に移り、設計と実装はクレムソン大学のLigon、Carns、Dale Witchurch、Harish Ramachandran、アルゴンヌ国立研究所のRoss、Neil Miller、Rob Latham 、オハイオスーパーコンピュータセンターのPete Wyckoffによって実行された。^[7]新しいファイルシステムは2003年にリリースされた。新しい設計は、オブジェクトサーバー、分散メタデータ、MPIに基づくビュー、複数のネットワークタイプのサポート、および実験と拡張を容易にするソフトウェアアーキテクチャを特徴としていた。

PVFSバージョン1は2005年に廃止されました。PVFSバージョン2は、現在でもクレムソンとアルゴンヌでサポートされています。Carnsは2006年に博士号を取得し、Axicom, Inc.に入社しました。そこでは、PVFSがデータマイニングのために数千のノードに導入されていました。2008年にCarnsはアルゴンヌに移り、Ross、Latham、Sam LangとともにPVFSの作業を続けています。Brad Settlemyerはクレムソンでミラーリングサブシステムを開発し、後に新しい開発の研究に使用されるPVFSの詳細なシミュレーションを開発しました。Settlemyerは現在、オークリッジ国立研究所にいます。2007年にアルゴンヌは、IBM Blue Gene /Pで使用するためにPVFSの移植を開始しました。^[8] 2008年にクレムソンは、小さなファイルの大きなディレクトリ、セキュリティ強化、および冗長機能をサポートするための拡張機能の開発を開始しました。これらの目標の多くは Blue Gene の開発と矛盾していたため、CVS ソース ツリーの 2 番目のブランチが作成され、「Orange」と名付けられ、元のブランチは「Blue」と名付けられました。PVFS とOrangeFS は互いに非常に密接に追跡しますが、ユーザー要件の 2 つの異なるグループを表します。ほとんどのパッチとアップグレードは両方のブランチに適用されます。2011 年現在、OrangeFS が主要な開発ラインです。

PVFS を使用するクラスターでは、ノードはクライアント、データ サーバー、メタデータ サーバーのいずれか 1 つ以上として指定されます。データ サーバーはファイル データを保持します。メタデータ サーバーは、統計情報、属性、データファイル ハンドル、およびディレクトリ エントリを含むメタデータを保持します。クライアントは、ネットワーク経由でサーバーに要求を送信することにより、ファイル システムを利用するアプリケーションを実行します。

PVFS はオブジェクト ベースの設計になっています。つまり、すべての PVFS サーバー要求には、データスペースと呼ばれるオブジェクトが関係しています。データスペースは、ファイル データ、ファイル メタデータ、ディレクトリ メタデータ、ディレクトリ エントリ、またはシンボリック リンクを保持するために使用できます。ファイル システム内のすべてのデータスペースには、一意のハンドルがあります。どのクライアントまたはサーバーも、ハンドルに基づいて、どのサーバーがデータスペースを保持しているかを調べることができます。データスペースには、バイト ストリームとキー/値のペアのセットという 2 つのコンポーネントがあります。バイト ストリームは、順序付けられたバイトのシーケンスで、通常はファイル データを保持するために使用され、キー/値のペアは通常、メタデータを保持するために使用されます。オブジェクト ベースの設計は、Lustre、Panasas、pNFSなど、多くの分散ファイル システムで標準となっています。

PVFS は、クライアントがメタデータのために一度サーバーにアクセスし、その後はメタデータ サーバーとやり取りすることなくデータ サーバーにアクセスできるように設計されています。これにより、システムから重大なボトルネックが取り除かれ、パフォーマンスが大幅に向上します。

クライアント プログラムが PVFS からデータを要求すると、MPI_Datatypes に基づいたデータの説明を提供できます。この機能により、ファイル システムで MPI ファイル ビューを直接実装できます。MPI_Datatypes は、データの複雑で非連続なパターンを記述できます。PVFS サーバーとデータ コードは、複数のサーバーとクライアント間でデータを効率的に転送するデータ フローを実装します。

PVFSは、ファイルシステム専用に設計された非ブロッキングメッセージインターフェースを提供するBMIというネットワーク層を使用します。BMIには、TCP/IP、Myrinet、Infiniband、Portalsなど、高性能コンピューティングで使用されるさまざまなネットワーク用の複数の実装モジュールがあります。^[9]

PVFS サーバーは、サーバー同士またはクライアントと状態を共有しないように設計されています。サーバーがクラッシュした場合、別のサーバーを簡単に再起動できます。更新はロックを使用せずに実行されます。

PVFS クライアントとサーバーはユーザー レベルで実行されます。カーネルの変更は必要ありません。オプションのカーネル モジュールがあり、PVFS ファイル システムを他のファイル システムと同様にマウントしたり、プログラムをMPI-IOやPosixのようなインターフェイスなどのユーザー インターフェイスに直接リンクしたりできます。この機能により、PVFS のインストールが容易になり、システム クラッシュが発生する可能性が低くなります。

PVFS インターフェースはシステムレベルで統合するように設計されています。Linux VFSとの類似点があり、マウント可能なファイルシステムとして実装しやすいだけでなく、MPI-IOやPosixのようなインターフェースなどのユーザーレベルのインターフェースにも同様に適応できます。基盤となるファイルシステムの多くの機能を公開しているため、必要に応じてインターフェースでそれらの機能を利用できます。^{[10] [11]}

PVFS は、4 つの主要コンポーネントと多数のユーティリティ プログラムで構成されています。コンポーネントは、PVFS2 サーバー、pvfslib、PVFS クライアント コア、および PVFS カーネル モジュールです。ユーティリティには、karma 管理ツール、カーネル モジュールを使用せずにファイル システムで直接操作するユーティリティ (pvfs-ping、pvfs-ls、pvfs-cp など) が含まれます (主にメンテナンスとテスト用)。もう 1 つの重要な設計ポイントは、クライアントとサーバーの間で渡されるメッセージを記述する PVFS プロトコルですが、これは厳密にはコンポーネントではありません。

PVFS サーバーは、I/O ノードとして指定されたノード上のプロセスとして実行されます。I/O ノードは専用ノードであることが多いですが、アプリケーション タスクも実行する通常のノードにすることもできます。PVFS サーバーは通常はルートとして実行されますが、必要に応じてユーザーとして実行することもできます。各サーバーは複数の異なるファイル システムを管理でき、メタデータ サーバー、データ サーバー、またはその両方として実行されるように指定されます。すべての構成はコマンド ラインで指定された構成ファイルによって制御され、特定のファイル システムを管理するすべてのサーバーは同じ構成ファイルを使用します。サーバーはネットワーク経由で要求を受け取り、ディスク I/O を伴う可能性のある要求を実行し、元の要求元に応答します。要求は通常、アプリケーション タスクを実行しているクライアント ノードから送信されますが、他のサーバーから送信されることもあります。サーバーは、要求プロセッサ、ジョブ レイヤー、Trove、BMI、およびフロー レイヤーで構成されます。

リクエスト プロセッサは、サーバー プロセスのメイン ループと多数のステート マシンで構成されます。ステート マシンは、サーバーとクライアント内の同時実行を管理する PVFS 用に開発された単純な言語に基づいています。ステート マシンは多数のステートで構成され、各ステートは C ステート アクション関数を実行するか、ネストされた (サブルーチン) ステート マシンを呼び出します。いずれの場合も、戻りコードによって次に進むステートが選択されます。ステート アクション関数は通常、ジョブ レイヤーを介してジョブを送信し、ジョブ レイヤーは Trove または BMI を介して何らかの I/O を実行します。ジョブは非ブロッキングであるため、ジョブが発行されると、ステート マシンの実行は延期され、別のステート マシンが別のリクエストを処理できるようになります。ジョブが完了すると、メイン ループによって関連するステート マシンが再起動されます。リクエスト プロセッサには、PVFS リクエスト プロトコルで定義されているさまざまなリクエスト タイプごとにステート マシンがあり、さらに内部で使用される多数のネストされたステート マシンがあります。ステート マシン アーキテクチャにより、機能を追加したり特定の状況に合わせて最適化したりするために、比較的簡単にサーバーに新しいリクエストを追加できます。

ジョブ レイヤーは、Trove、BMI、フロー ジョブを送信し、それらの完了を報告するための共通インターフェイスを提供します。また、どのオブジェクトに対してどのような種類のリクエストが進行中かを記録し、同じファイル データに対する同時操作による一貫性エラーを防ぐ、非ブロッキング ジョブとしてリクエスト スケジューラを実装します。

Trove は、ローカル サーバーに保存されているオブジェクトへの I/O を管理します。Trove は、データ スペースのコレクションに対して動作します。コレクションには独自の独立したハンドル スペースがあり、個別の PVFS ファイル システムを実装するために使用されます。データ スペースは PVFS オブジェクトであり、独自の一意の (コレクション内の) ハンドルがあり、1 つのサーバーに保存されます。ハンドルは、構成ファイル内のテーブルを通じてサーバーにマップされます。データ スペースは、バイト ストリームとキー/値のペアのセットの 2 つの部分で構成されます。バイト ストリームは、長さが不確定なバイトのシーケンスであり、通常はローカル ファイル システム上のファイルにファイル データを保存するために使用されます。キー/値のペアは、メタデータ、属性、およびディレクトリ エントリを保存するために使用されます。Trove には明確に定義されたインターフェイスがあり、さまざまな方法で実装できます。現在までの唯一の実装は、バイト ストリームをファイルに保存し、キー/値のペアをBerkeley DBデータベースに保存する Trove-dbfs 実装です。^[12] Troveの操作は非ブロッキングであり、APIはさまざまなコンポーネントを読み書きするためのポスト関数と、完了を確認または待機するための関数を提供します。

• ファイルシステムのリスト、分散並列ファイルシステムセクション

• 公式サイト
• オレンジファイルシステム - 並列仮想ファイルシステムのブランチ
• 次世代並列ファイルシステムのアーキテクチャ
• ビデオアーカイブ 2016-03-28 にWayback Machineでアーカイブされました