オレンジFS

原作者	クレムソン大学、アルゴンヌ国立研究所、その他コミュニティ内。
開発者	オムニボンド、クレムソン大学、アルゴンヌ国立研究所、コミュニティメンバー
初回リリース	2011
安定版リリース	OrangeFS 2.10.0 / 2023年4月4日Linuxカーネル5.13+ ;
リポジトリ	github.com/waltligon/orangefs
書かれた	Ｃ
オペレーティング·システム	リナックス
ライセンス	LGPL
Webサイト	オレンジ

OrangeFSはオープンソースの並列ファイルシステムであり、次世代の並列仮想ファイルシステム(PVFS)です。並列ファイルシステムは、ファイルデータを複数のサーバーに分散し、並列アプリケーションの複数のタスクによる同時アクセスを可能にする分散ファイルシステムの一種です。OrangeFS は大規模クラスターコンピューティング用に設計されており、世界中の企業、大学、国立研究所などで使用されています。^[1]^[2]^[3]^[4]

バージョンと機能

2.8.5

サーバー間通信インフラストラクチャ
分散メタデータの保存用 SSD オプション
完全なネイティブWindowsクライアントサポート
不変ファイルのレプリケーション

2.8.6

アプリケーションへの直接インターフェース
マルチプロセス単一システムコヒーレンスを備えた直接インターフェースのクライアントキャッシュ
Apacheモジュール経由でWebDAVとS3をサポートするwebpackの最初のリリース^[5]

2.8.7

アップデート、修正、パフォーマンスの改善

2.8.8

アップデート、修正、パフォーマンスの改善、JNI shimによるネイティブHadoopサポート、新しいLinux カーネルのサポート

2.9

ディレクトリエントリの分散メタデータ^[6]
3つのモードにおける能力ベースのセキュリティ
- 標準セキュリティ
- キーベースのセキュリティ
- LDAPインターフェースをサポートする証明書ベースのセキュリティ
拡張ドキュメント

2.10

最近のディストリビューションをサポートするためのバグ修正とビルドの変更。
Linux アップストリームカーネルクライアントは Linux の主なアクセス方法であり、ツリー外のカーネルモジュールは非推奨です。
OrangeFS Windowsクライアントがリフレッシュされました

歴史

OrangeFS は PVFS2 の開発ブランチとして登場したため、その歴史の多くは PVFS の歴史と共通しています。20 年にわたる OrangeFS の長い歴史は、以下のタイムラインにまとめられています。

開発ブランチは、開発における新しい方向性です。OrangeFS ブランチは、PVFS2 ユーザーコミュニティのリーダーが次のことを決定した 2007 年に開始されました。

多くの人がPVFS2の設計目標に満足しており、将来の安定性のために比較的変更せずに維持することを望んでいた。
他の人々は、PVFS2 を将来のより高度なアプリケーションのためのまったく新しい一連の設計目標を構築するための基盤として構想しました。

このため、OrangeFS は PVFS2 の次世代としてよく説明されます。

1993: 並列仮想ファイルシステム (PVFS) は、並列プログラムの I/O パターンを研究するために、NASA の助成金を受けて Walt Ligon と Eric Blumer によって開発されました。PVFS バージョン 0 は、IBM のThomas J. Watson 研究センターで開発された Vesta 並列ファイルシステムに基づいており、その名前は並列仮想マシン (PVM) 上で動作するように開発されたことに由来しています。
1994: Rob Ross は、元の Vesta 設計から大幅に逸脱して、TCP/IP を使用するように PVFS を書き直しました。PVFS バージョン 1 は、Fast Ethernet ネットワークの前身である FDDI 上の DEC Alpha ワークステーションのクラスターを対象としていました。PVFS は、複数のクライアントが共通ファイルにアクセスする際のディスク I/O のスケジュール設定の領域で Vesta を大幅に上回りました。
1994年後半: ゴダード宇宙飛行センターは、最初の Beowulf (並列で実行される Linux ベースのコモディティコンピュータの初期の実装) のファイルシステムとして PVFS を選択しました。Ligon と Ross は、その後数年間、Thomas Sterling、Donald Becker、Dan Ridge、Eric Hendricks などの GSFC の主要開発者と協力しました。
1997: PVFSがオープンソースパッケージとしてリリースされました
1999: Ligon は新しい PVFS バージョンの開発を提案しました。当初はクレムソン大学で開発されましたが、その設計はクレムソン大学、アルゴンヌ国立研究所、オハイオスーパーコンピュータセンターの協力者による共同作業で完成しました。これにはクレムソン大学の博士課程の学生である Phil Carns 氏による大きな貢献も含まれています。
2003: PVFS2 がリリースされました。オブジェクトサーバー、分散メタデータ、複数のメタデータサーバーの収容、複数のネットワークタイプに対応する MPI (Message Passing Interface、高性能コンピューティング用に最適化されたプロトコル) に基づくファイルビュー、および実験と拡張が容易な柔軟なアーキテクチャを備えています。PVFS2 は、世界中の多くの大学や企業からの貢献により、「オープンコミュニティ」プロジェクトになりました。
2005: PVFS バージョン 1 は廃止されました。PVFS2 は、Clemson と Argonne によって引き続きサポートされています。近年、さまざまな貢献者 (その多くはチャーターの設計者と開発者) が PVFS のパフォーマンスの改善に取り組んでいます。
2007: アルゴンヌ国立研究所は、米国エネルギー省が後援するスーパーコンピュータである IBM Blue Gene/P に PVFS2 を選択しました。
2008: Ligon 氏と Clemson の他の研究者は、ビジネスセクターにおける主流のクラスタコンピューティングの増大するニーズを含むロードマップで、次世代の PVFS の可能性を模索し始めました。小さなファイルの大きなディレクトリ、セキュリティ強化、冗長性機能をサポートするための拡張機能の開発を開始したとき、これらの目標の多くは Blue Gene の開発と衝突しました。優先順位が分かれたため、PVFS ソースコードは 2 つのブランチに分割されました。新しいロードマップのブランチは Clemson のスクールカラーにちなんで「Orange」になり、レガシーシステムのブランチは Argonne での先駆的な顧客インストールにちなんで「Blue」と名付けられました。OrangeFS は、セキュリティ、冗長性、および幅広いアプリケーションに重点を置いたこの次世代の仮想ファイルシステムを表す新しいオープンシステムブランドになりました。
2010年秋: OrangeFS は PVFS のメインブランチとなり、Omnibond は OrangeFS/PVFS の商用サポートの提供を開始し、有料サポートのお客様からの新機能のリクエストが最優先で開発されるようになりました。OrangeFS の最初の製品リリースが導入されました。
2011年春: OrangeFS 2.8.4 リリース
2011年9月: OrangeFS が Windows クライアントを追加
2012年2月: OrangeFS 2.8.5 リリース
2012年6月: OrangeFS 2.8.6 がリリースされ、パフォーマンス、Web クライアント、およびダイレクトインターフェイスライブラリが改善されました。新しい OrangeFS Web パックは、WebDAV と S3 の統合サポートを提供します。
2013年1月: OrangeFS 2.8.7 リリース
2013年5月: OrangeFS はAmazon Web Servicesマーケットプレイスで入手可能です。OrangeFS 2.9 ベータバージョンが利用可能になり、2 つの新しいセキュリティモードが追加され、複数のデータサーバー間でディレクトリエントリを分散できるようになりました。
2014年4月: OrangeFS 2.8.8 がリリースされ、共有mmapサポート、HDFS の直接置き換えをサポートする Hadoop エコシステムアプリケーションの JNI サポートが追加されました。
2014年11月: OrangeFS 2.9.0 がリリースされ、giga+ をモデルにした拡張ハッシュアルゴリズム、複数のモードをサポートする POSIX 下位互換性のある機能ベースのセキュリティを使用して、ディレクトリエントリの分散メタデータのサポートが追加されました。
2015年1月: OrangeFS 2.9.1 リリース
2015年3月: OrangeFS 2.9.2 リリース
2015年6月: OrangeFS 2.9.3 リリース
2015年11月: OrangeFS が AWS の CloudyCluster 1.0 リリースに含まれます
2016年5月: OrangeFSはLinuxカーネル4.6でサポートされている^[7]^[8]^[9]^[10]
2017年10月: 2.9.6 リリース
2018年1月: 2.9.7がリリースされ、OrangeFS rpmがFedoraディストリビューションに含まれるようになりました^[11]
2019年2月: OrangeFS を搭載した CloudyCluster v2 が AWS マーケットプレイスでリリースされました
2019年6月: OrangeFS を搭載した CloudyCluster v2 が GCP でリリースされました
2019年7月: OreangeFSはLinuxカーネル5.2のLinuxページキャッシュに統合されている^[12]
2020年1月: OrangeFS の未解決の書き込み問題に対する暫定的な修正が Linux カーネル 5.5 に統合されました。
2020年8月: 非標準のブロックサイズの問題を修正するカーネルパッチを 5.4lts に戻します。
2020年9月: 2.9.8 リリース
2021年6月: Linux 5.13カーネル: LinuxカーネルのOrangeFS readaheadは、新しいxarrayとreadahead_expandロジックを活用するように作り直されました。これにより、読み取りパフォーマンスが大幅に向上しました。^[13]
2021年7月: df 結果のバグ - OrangeFS 上の df は実際よりも小さすぎる値を報告し、インストーラーの問題 (および混乱した人間) を引き起こしていました。^[14] これは、最新のカーネルに取り込まれただけでなく、以前のカーネルにもバックポートされています。^[15]
2022年10月: (カーネル) orangefs_dir_operations の .iterate を .iterate_shared に変更します。iterate は非推奨のコールアウトであるためです。

2022年11月: (カーネル) コアカーネルの ACL が作り直され、OrangeFS モードの処理も変更を反映して更新されました。

2022年12月: (カーネル) OrangeFS sysfs および debufs コードの終了時のメモリリークを修正しました。

2023年2月: (カーネル) bvec_set_page および bvec_set_folio ヘルパーを使用して bvec を初期化します。さらに、OrangeFS ページキャッシュコードで folio を使用するように更新されました。「folio ページ」は、複合ページに関連するページキャッシュページの新しいコアカーネルタイプです。コア開発者から多数の folio 関連のパッチが送信されました。

2023年4月: OrangeFS 2.10.0 がリリースされ、最新のディストリビューションをサポートするための多くのバグ修正と更新、および更新された Windows クライアントが提供されています。

参考文献

^ Andrew Savchenhk (2013 年 2 月 16 日)。「分散ファイルシステムの紹介、OrangeFS の経験」(PDF)。
^ Jeff Darcy (2011年2月24日). 「競合をチェックする」. 2012年9月30日時点のオリジナルよりアーカイブ。
^ 「並列ファイルシステム OrangeFS が支持を集め始める」 HPCwire. 2011 年 11 月 18 日。
^ Erick Slack (2012年6月29日). 「オープンソースの高性能ファイルシステムの代替」。2017年5月21日時点のオリジナルよりアーカイブ。2013年9月10日閲覧。
^ マイケル・ムーア、デビッド・ボニー、ウォルト・ライゴン、ニコラス・ミルズ、シュアンヤン・ヤン、ベッキー・ライゴン、マイク・マーシャル、エレイン・クォールズ、サム・サンプソン、ボイド・ウィルソン (2011)。OrangeFS: PVFS の進化(PDF)。FAST 2011。
^ Shuangyang Yang. Walter B. Ligon III. Elaine C. Quarles Clemson University (2011)、「Orange File System でのスケーラブルな分散ディレクトリ実装」、SNAPI 2011。
^ 「Linuxカーネルアーカイブ: Linux 4.6-rc1」。
^ 「Linux カーネル 4.6 が正式リリース、OrangeFS と USB 3.1 SSP サポートを導入」2016 年 5 月 15 日。
^ Becky Ligon (2016 年 10 月 27 日)。「OrangeFS 2.9.6 のリリースを発表」。
^ Mike Marshall (2016 年 9 月 18 日). 「OrangeFS カーネル Readme」.
^ 「Fedora パッケージの発表 — Fedora 27 アップデート: Orangefs-2.9.7-1.fc27」。
^ Mike Marshall (2019 年 5 月 10 日)。「OrangeFS カーネル 5.2 コミット」。
^ 「Kernel/Git/Torvalds/Linux.git - Linuxカーネルソースツリー」。
^ 「[PATCH 5.12 153/292] orangefs: orangefs df 出力を修正しました。 - Greg Kroah-Hartman」。
^ 「パッチ「orangefs: OrangeFS df 出力を修正」が 4.19-stable ツリーに追加されました — Linux Stable Commits」。

外部リンク

Orange File System - 次世代の並列仮想ファイルシステム
次世代並列ファイルシステムのアーキテクチャ 2015-01-11 にWayback Machineにアーカイブ(ビデオアーカイブ 2016-03-28 にWayback Machineにアーカイブ)
Orange File System 上のスケーラブルな分散ディレクトリ実装^{[ permanent dead link ‍ ]}
OrangeFS を使用した Elasticluster
AWS マーケットプレイスの OrangeFS

[1] Andrew Savchenhk (2013 年 2 月 16 日)。「分散ファイルシステムの紹介、OrangeFS の経験」(PDF)。

[2] Jeff Darcy (2011年2月24日). 「競合をチェックする」. 2012年9月30日時点のオリジナルよりアーカイブ。

[3] 「並列ファイルシステム OrangeFS が支持を集め始める」 HPCwire. 2011 年 11 月 18 日。

[4] Erick Slack (2012年6月29日). 「オープンソースの高性能ファイルシステムの代替」。2017年5月21日時点のオリジナルよりアーカイブ。2013年9月10日閲覧。

[5] マイケル・ムーア、デビッド・ボニー、ウォルト・ライゴン、ニコラス・ミルズ、シュアンヤン・ヤン、ベッキー・ライゴン、マイク・マーシャル、エレイン・クォールズ、サム・サンプソン、ボイド・ウィルソン (2011)。OrangeFS: PVFS の進化(PDF)。FAST 2011。

[6] Shuangyang Yang. Walter B. Ligon III. Elaine C. Quarles Clemson University (2011)、「Orange File System でのスケーラブルな分散ディレクトリ実装」、SNAPI 2011。

[7] 「Linuxカーネルアーカイブ: Linux 4.6-rc1」。

[8] 「Linux カーネル 4.6 が正式リリース、OrangeFS と USB 3.1 SSP サポートを導入」2016 年 5 月 15 日。

[9] Becky Ligon (2016 年 10 月 27 日)。「OrangeFS 2.9.6 のリリースを発表」。

[10] Mike Marshall (2016 年 9 月 18 日). 「OrangeFS カーネル Readme」.

[11] 「Fedora パッケージの発表 — Fedora 27 アップデート: Orangefs-2.9.7-1.fc27」。

[12] Mike Marshall (2019 年 5 月 10 日)。「OrangeFS カーネル 5.2 コミット」。

[13] 「Kernel/Git/Torvalds/Linux.git - Linuxカーネルソースツリー」。

[14] 「[PATCH 5.12 153/292] orangefs: orangefs df 出力を修正しました。 - Greg Kroah-Hartman」。

[15] 「パッチ「orangefs: OrangeFS df 出力を修正」が 4.19-stable ツリーに追加されました — Linux Stable Commits」。