Loading article…
 | |
| 初回リリース | 2003年12月16日[1] |
|---|---|
| 安定リリース | 2.16.1（最新のメジャーリリース）、[2]
2.15.5（最新のメンテナンスリリース）、[3] / 2024年11月15日 |
| プレビューリリース | 2.16.50 / 2024-11-10 |
| リポジトリ |
|
| 書かれた | Ｃ |
| オペレーティング·システム | Linuxカーネル |
| 利用可能 | 英語 |
| タイプ | 分散ファイルシステム |
| ライセンス | GPL v2、LGPL |
| Webサイト | 詳しくはこちら |
| 設立 | 2010 |
|---|---|
| タイプ | 501(c)(6) |
| 位置 | |
| Webサイト | 詳しくはこちら |
 | |
| 会社種別 | プライベート |
|---|---|
| 設立 | 2001 |
| 創設者 | ピーター・J・ブラーム |
| 廃止 | 2007 |
| 後継 | サン・マイクロシステムズ |
| 本部 | 、 |
主要人物 | アンドレアス・ディルガー、エリック・バートン（HPC）、フィル・シュワン |
| 製品 | Lustre ファイルシステム |
| 開発者 | Whamcloud/DDN、HPE、ORNL、AWS、CEA、その他 |
|---|---|
| バリエーション | EXAScaler、ClusterStor、FEFS、FSX for Lustre |
| 紹介された | 2003年12月、Linux |
| 構造 | |
| ディレクトリの内容 | ハッシュ、インターリーブ ハッシュ (2.7 以降では DNE を使用) |
| ファイルタイプ | ファイル、ディレクトリ、ハードリンク、シンボリックリンク、ブロック特殊、文字特殊、ソケット、FIFO |
| 起動可能 | いいえ |
| 制限 | |
| 最小ボリュームサイズ | 32MB |
| 最大ボリュームサイズ | 700 PB（生産量）、[4] 16 EB以上（理論値） |
| 最大ファイルサイズ | 32 PB (ext4)、16 EB (ZFS) |
| ファイルサイズの粒度 | 4KB |
| 最大ファイル数 | メタデータターゲット（MDT）あたり：40億ファイル（ldiskfsバックエンド）、256兆ファイル（ZFSバックエンド）、[5]ファイルシステムあたり最大128MDT |
| ファイル名の最大長 | 255 バイト |
| dirname の最大長 | 255 バイト |
| 最大ディレクトリ深度 | 4096 バイト |
| ファイル名に使用できる 文字 | NUL ('\0') と '/' および特殊ファイル名 "." と ".." を除くすべてのバイト |
| 特徴 | |
| 記録された日付 | 変更 (mtime)、属性変更 (ctime)、アクセス (atime)、削除 (dtime)、作成 (crtime) |
| 日付範囲 | 2^34 ビット (ext4)、2^64 ビット (ZFS) |
| 日付解決 | 1秒 |
| フォーク | いいえ |
| 属性 | 32bitapi、acl、チェックサム、flock、lazystatfs、localflock、lruresize、noacl、nochecksum、noflock、nolazystatfs、nolruresize、nouser_fid2path、nouser_xattr、user_fid2path、user_xattr |
| ファイルシステムの 権限 | POSIX、POSIX.1e ACL、SELinux |
| 透過的な 圧縮 | はい（ZFSのみ） |
| 透過的な 暗号化 | はい (ネットワーク、ZFS 0.8 以降のストレージ、Lustre 2.14.0 以降の fscrypt) |
| データ重複排除 | はい（ZFSのみ） |
| コピーオンライト | はい（ZFSのみ） |
| 他の | |
| サポートされている オペレーティングシステム | Linuxカーネル |
Lustreは並列分散ファイルシステムの一種で、一般に大規模クラスターコンピューティングに使用されます。Lustreという名前は、Linuxとclusterを組み合わせた造語です。[6] Lustreファイルシステムソフトウェアは、GNU General Public License（バージョン2のみ）の下で利用可能で、小規模なワークグループクラスターから大規模なマルチサイトシステムまで、さまざまな規模のコンピュータークラスターに高性能ファイルシステムを提供します。2005年6月以来、Lustreは、世界最速のスーパーコンピューターのトップ10のうち少なくとも半数、トップ100のうち60以上で一貫して使用されており、 [7] [8] [9]これには、 2022年11月に 世界第1位のTOP500スーパーコンピューターであるFrontier [4]や、以前のトップスーパーコンピューターであるFugaku [ 10] [ 11] Titan [12]、Sequoia [13]が含まれます。
Lustreファイルシステムはスケーラブルで、数万のクライアントノード、数百台のサーバー上の数百ペタバイト（PB）のストレージ、および数十テラバイト/秒（TB/s）の総I/O スループットを備えた複数のコンピュータクラスターの一部になることができます。[14] [15]このため、Lustreファイルシステムは、気象学、[16] [17] シミュレーション、人工知能と機械学習、[18] [19]石油とガス、[20] ライフサイエンス、[21] [22] リッチメディア、金融などの業界を含む大規模なデータセンターを持つ企業に人気があります。[23] LustreのI/Oパフォーマンスはこれらのアプリケーションに広範囲に影響を与え、幅広い注目を集めています。[24] [25] [26]
歴史
Lustreファイルシステムアーキテクチャは、1999年に当時カーネギーメロン大学（CMU）のスタッフであったピーターJ.ブラームによる研究プロジェクトとして開始されました。ブラームは2001年に自身の会社であるCluster File Systemsを設立し、 [27] CMUのCodaプロジェクトのInterMezzoファイルシステムの作業を開始しました。[28] Lustreは、米国エネルギー省が資金提供したAccelerated Strategic Computing Initiative Path Forwardプロジェクト の下で開発され、ヒューレット・パッカードとインテルも参加していました。[29] 2007年9月、サン・マイクロシステムズはCluster File Systems Inc.の資産を「知的財産」も含めて買収しました。[30] [31] サンは、Lustreを自社の高性能コンピューティングハードウェア製品に組み込み、LustreテクノロジーをサンのZFSファイルシステムとSolarisオペレーティングシステムに導入することを意図していました。 2008 年 11 月、Braam 氏は Sun Microsystems を離れ、Eric Barton 氏と Andreas Dilger 氏がプロジェクトの管理を引き継ぎました。2010 年にOracle Corporation はSun 社を買収し、Lustre の管理とリリースを開始しました。
2010年12月、OracleはLustre 2.xの開発を中止し、Lustre 1.8をメンテナンスのみのサポートにすると発表し、ファイルシステムの将来の開発に不確実性が生じました。[32] この発表に続いて、Whamcloud、[33] Open Scalable File Systems, Inc. (OpenSFS)、EUROPEAN Open File Systems (EOFS)など、オープンコミュニティ開発モデルでサポートと開発を提供する新しい組織がいくつか設立されました。2010年末までに、ほとんどのLustre開発者はOracleを離れました。Braamと数人の仲間は、ハードウェア指向のXyratexがClusterStorの資産を買収したときに同社に加わりました。[34] [35] 一方、Barton、DilgerらはソフトウェアスタートアップのWhamcloudを設立し、そこでLustreの開発を続けました。[36]
2011年8月、OpenSFSはWhamcloudにLustre機能開発の契約を授与した。[37]この契約には、Lustreが多数コアのメタデータサーバーをより有効に活用できるようにするシングルサーバーメタデータパフォーマンススケーリングの改善、ファイルシステムがマウントされ使用中にデータサーバーとメタデータサーバー間の分散ファイルシステムの状態を検証できるオンラインLustre分散ファイルシステムチェック（LFSCK）、およびLustreメタデータを複数のサーバーに分散できるようにする分散名前空間環境（DNE）（旧クラスターメタデータ（CMD））などの機能の完成が含まれていた。ローレンスリバモア国立研究所では、 ZFSベースのバックエンドオブジェクトストレージの開発も継続された。[13]これらの機能は、Lustre 2.2から2.4のコミュニティリリースロードマップに含まれていた。[38] 2011年11月、新しい機能が開発されている間にLustreコードが十分にテストされバグ修正されるように、WhamcloudにLustre 2.xソースコードのメンテナンスに関する別の契約が授与された。[39]
2012年7月、WhamcloudはIntelに買収されました。[ 40] [41] WhamcloudはFastForward DOE契約を獲得し、2018年までにエクサスケールコンピューティングシステムでLustreを使用できるように準備しました。 [42]その後、 OpenSFSはLustre開発の契約をIntelに移行しました。
2013年2月、Xyratex Ltd.は、 OracleからオリジナルのLustreの商標、ロゴ、ウェブサイト、および関連する知的財産を取得したと発表しました。 [34] 2013年6月、IntelはHadoop内など、従来のHPCを超えてLustreの使用を拡大し始めました。[43] 2013年全体で、OpenSFSはLustre機能の開発、並列ファイルシステムツール、Lustreの技術的負債への対処、および並列ファイルシステムインキュベーターをカバーする提案依頼（RFP）を発表しました。[44] OpenSFSはまた、Lustreオープンソースコミュニティをサポートするための参照とガイダンスのために、情報とドキュメントを1つの領域に集めた技術サイトであるLustreコミュニティポータルを設立しました。 2014年4月8日、Ken Claffeyは、Xyratex/Seagateがlustre.orgドメインをユーザーコミュニティに寄贈すると発表しました。[45]これは2015年3月に完了しました。
2018年6月、 DDNはIntelからLustreチームと資産を買収した。DDNは新たな買収を独立した部門として組織し、新部門にWhamcloudという名前を復活させた。[46]
2019年11月、OpenSFSとEOFSはSC19 Lustre BOFで、Lustre商標がSeagateから共同で譲渡されたことを発表しました。[47]
リリース履歴
Lustreファイルシステムは、2003年3月にローレンス・リバモア国立研究所のMCR Linux Clusterに初めて導入されました。[48]当時、Top500リストで3番目に大きいスーパーコンピュータでした。[49]
Lustre 1.0.0は2003年12月にリリースされ[1]、サーバーのフェイルオーバーやリカバリなどの基本的なLustreファイルシステム機能を提供しました。
2004 年 3 月にリリースされた Lustre 1.2.0 は、Linux カーネル2.6 で動作し、書き込み中のファイルのロック取り消しを回避するための「サイズ グリンプス」機能と、クライアント側のデータ ライトバック キャッシュ アカウンティング (許可) を備えていました。
2004 年 11 月にリリースされた Lustre 1.4.0 では、バージョン間のプロトコル互換性が提供され、InfiniBandネットワークを使用でき、ldiskfsオンディスク ファイル システムのエクステント/mballoc を活用できました。
2007 年 4 月にリリースされた Lustre 1.6.0 では、マウント構成 (「mountconf」) が可能になり、サーバーを「mkfs」および「mount」で構成できるようになり、オブジェクト ストレージ ターゲット(OST) の動的な追加が可能になり、対称型マルチプロセッシング(SMP) サーバー上で Lustre 分散ロック マネージャー (LDLM) のスケーラビリティが有効になり、オブジェクト割り当ての空き領域管理が可能になりました。
2009年5月にリリースされたLustre 1.8.0では、OSS読み取りキャッシュが提供され、複数の障害が発生した場合の回復が改善され、OSTプールによる基本的な異種ストレージ管理、適応型ネットワークタイムアウト、バージョンベースの回復が追加されました。これは移行リリースであり、Lustre 1.6とLustre 2.0の両方と相互運用可能でした。[50]
2010 年 8 月にリリースされた Lustre 2.0 は、主要なアーキテクチャの進歩に備えて、内部的に大幅に再構築されたコードに基づいています。Lustre 2.xクライアントは、1.8 以前のサーバーと相互運用できません。ただし、Lustre 1.8.6 以降のクライアントは、Lustre 2.0 以降のサーバーと相互運用できます。1.8 のメタデータ ターゲット (MDT) および OST オンディスク フォーマットは、ファイル システムを再フォーマットすることなく、2.0 以降にアップグレードできます。
2011年9月にリリースされたLustre 2.1は、OracleがLustre 2.xリリースの開発を中止したことを受けて、コミュニティ全体で取り組んだものだった。[51] Red Hat Linux 6でサーバーを実行する機能が追加され、ext4ベースのOSTの最大サイズが24TBから128TBに増加したほか、[52]パフォーマンスと安定性が多数改善された。Lustre 2.1サーバーは、1.8.6以降のクライアントと相互運用可能であった。
2012年3月にリリースされたLustre 2.2は、メタデータのパフォーマンス向上と新機能の提供に重点を置いていました。[53]複数のクライアントが1つの大きなディレクトリを同時に走査および変更できるようにする並列ディレクトリ操作、サーバー障害からの高速回復、単一ファイルのストライプ数の増加（最大2000 OST）、および単一クライアントのディレクトリ走査パフォーマンスの向上が追加されました。
2012 年 10 月にリリースされた Lustre 2.3 では、メタデータ サーバー コードが引き続き改善され、多数の CPU コア (16 個以上) を持つノードで内部ロックのボトルネックが解消されました。オブジェクト ストアには、バックアップ ファイル システムとしてZFS を使用する予備的な機能が追加されました。Lustre ファイル システム チェック (LFSCK) 機能では、ファイル システムの使用中、ファイル レベルのバックアップ/復元後、または MDS が破損した場合に、MDS オブジェクト インデックス (OI) を検証および修復できます。サーバー側の IO 統計が強化され、SLURMなどのバッチ ジョブ スケジューラと統合してジョブごとの統計を追跡できるようになりました。クライアント側のソフトウェアは、Linux カーネル バージョン 3.0 までで動作するように更新されました。
2013 年 5 月にリリースされた Lustre 2.4 では、かなり多くの主要機能が追加されましたが、その多くはOpenSFSから直接資金提供を受けています。分散名前空間環境 (DNE) により、単一の名前空間のサブディレクトリ ツリーを別の MDT に配置できるようになり、2.4 クライアントの水平メタデータ容量とパフォーマンスのスケーリングが可能になります。ZFSは、MDT と OST ストレージの両方のバッキング ファイル システムとして使用できるようになりました。LFSCK 機能により、MDT FID および LinkEA 属性の内部一貫性をスキャンして検証する機能が追加されました。ネットワーク要求スケジューラ[54] [55] (NRS) は、ディスクの順序付けや公平性のためにクライアント要求処理を最適化するポリシーを追加します。クライアントはオプションで最大 4 MB のバルク RPC を送信できます。クライアント側ソフトウェアは Linux カーネル バージョン 3.6 まで対応するように更新され、1.8 クライアントとの相互運用性も維持されています。
2013年10月にリリースされたLustre 2.5では、待望の機能である階層型ストレージ管理（HSM）が追加されました。エンタープライズ環境のコア要件であるHSMにより、顧客は運用環境に階層型ストレージソリューションを簡単に実装できます。このリリースは、Lustreの現在のOpenSFS指定メンテナンスリリースブランチです。[56] [57] [58] [59]最新のメンテナンスバージョンは2.5.3で、2014年9月にリリースされました。[60]
2014年7月にリリースされたLustre 2.6 [61] は機能的にはより控えめなリリースで、OSTのローカル整合性チェックとMDTとOSTオブジェクト間の整合性チェックを行うLFSCK機能が追加されました。NRSトークンバケットフィルター[62] (TBF) ポリシーが追加されました。シングルクライアントIOパフォーマンスは以前のリリースよりも向上しました。[63]このリリースでは、DNEストライプディレクトリのプレビューも追加され、単一の大きなディレクトリを複数のMDTに格納してパフォーマンスとスケーラビリティを向上させることができました。
2015年3月にリリースされたLustre 2.7 [64]では、複数のMDT間のリモートディレクトリとストライプディレクトリのDNE一貫性を検証するためのLFSCK機能が追加されました。Dynamic LNet Configは、実行時にLNetネットワークインターフェイス、ルート、ルーターを構成および変更する機能を追加します。異なる管理ドメインを持つクライアントのUID / GIDマッピングの新しい評価機能が追加され、DNEストライプディレクトリ機能も改善されました。
2016年3月にリリースされたLustre 2.8 [65]では、 MDT間のディレクトリの移行、MDT間のハードリンクと名前変更のサポートを含むDNEストライプディレクトリ機能が完成しました。また、クライアント上のSecurity-Enhanced Linux（SELinux ）のサポートの改善、ネットワーク経由のKerberos認証とRPC暗号化、LFSCKのパフォーマンス向上も含まれています。
Lustre 2.9は2016年12月にリリースされ[66]
、セキュリティとパフォーマンスに関連する多くの機能が含まれていました。共有秘密キーセキュリティフレーバーは、Kerberosと同じGSSAPIメカニズムを使用して、クライアントとサーバーのノード認証、およびRPCメッセージの整合性とセキュリティ（暗号化）を提供します。Nodemap機能を使用すると、クライアントノードをグループに分類し、それらのクライアントのUID / GIDをマッピングできるため、リモート管理されたクライアントは、すべてのクライアントノードに対して単一のUID / GIDセットを持たなくても、共有ファイルシステムを透過的に使用できます。サブディレクトリマウント機能を使用すると、クライアントはMDSからファイルシステム名前空間のサブセットをマウントできます。このリリースでは、ディスクへのより効率的なI/O送信のために最大16 MiBのRPCのサポートも追加され、ladviseクライアントがサーバーにI/Oヒントを提供してファイルデータをサーバーキャッシュにプリフェッチしたり、ファイルデータをサーバーキャッシュからフラッシュしたりできるようにするインターフェイスが追加されました。ファイルシステム全体のデフォルトの OST プールを指定するためのサポートが改善され、他のファイル レイアウト パラメータと組み合わせた OST プールの継承が改善されました。
Lustre 2.10は2017年7月にリリースされ[67] 、多くの重要な改善が加えられています。LNet Multi-Rail（LMR）機能により、クライアントとサーバー上の複数のネットワークインターフェース（InfiniBand、Omni-Path、Ethernet）を結合して、総I/O帯域幅を増やすことができます。個々のファイルは、ファイルオフセットに基づくファイル領域である複数のコンポーネントで構成される複合ファイルレイアウトを使用できます。これにより、ストライプ数、OSTプール/ストレージタイプなどの異なるレイアウトパラメータを使用できます。プログレッシブファイルレイアウト（PFL）は複合レイアウトを使用する最初の機能ですが、実装は柔軟で、ミラーリングや消失訂正符号などの他のファイルレイアウトでも使用できます。NRSトークンバケットフィルター（TBF）サーバー側スケジューラは、RPCタイプのスケジューリングや、ルールマッチング用のJobIDやNIDなどの複数のパラメータを指定する機能など、新しいルールタイプを実装しました。 Lustre ファイルシステムの ZFS スナップショットを管理するためのツールが追加され、MDT および OST ZFS スナップショットを個別の Lustreマウントポイントとして作成、マウント、管理することが簡素化されました。
Lustre 2.11は2018年4月にリリースされ[68] 、2つの重要な新機能といくつかの小さな機能が含まれています。ファイルレベルの冗長性（FLR）機能は2.10 PFL実装を拡張し、ミラーリングされたファイルレイアウトを指定する機能を追加して、ストレージまたはサーバー障害時の可用性を向上させたり、高度な同時読み取りでパフォーマンスを向上させたりします。データオンMDT（DoM）機能を使用すると、小さな（数MiB）ファイルをMDTに保存して、OSTで使用される一般的なHDD RAID-6ストレージの代わりに、一般的なフラッシュベースのRAID-10ストレージを活用して、レイテンシを短縮し、IO競合を減らすことができます。また、LNetダイナミックディスカバリ機能を使用すると、LNetネットワークを共有するピア間でLNetマルチレールを自動構成できます。 LDLM ロック アヘッド機能により、適切に変更されたアプリケーションとライブラリは、ファイル エクステントが近い将来に変更されることをアプリケーションが認識 (または予測) している場合、ファイルの OST から DLM エクステント ロックをプリフェッチできるため、同じファイルに書き込む複数のクライアントの ロック競合を軽減できます。
Lustre 2.12は2018年12月21日にリリースされ[69]、Lustreの使いやすさと安定性の向上に重点が置かれ、Lustre 2.11で追加されたFLRとDoM機能のパフォーマンスと機能の向上、およびNRS TBF、HSM、JobStatsへの小さな変更が行われました。LNet Network Health Archived 2019-02-12 at the Wayback Machineが追加され、ノードに複数のネットワークインターフェイスがある場合に、Lustre 2.10のLNet Multi-Rail機能がネットワーク障害をより適切に処理できるようになりました。Lazy Size on MDT [70] (LSOM)機能を使用すると、ファイルサイズの推定値をMDTに保存して、ポリシーエンジン、ファイルシステムスキャナー、その他の管理ツールで使用できるようになります。これらのツールは、OSTにこの情報を照会することなく、完全に正確なファイルサイズやブロック数がなくても、より効率的にファイルに関する決定を下すことができます。このリリースでは、既存のディレクトリを複数のMDTに手動で再ストライプする機能も追加され、多数のファイルを含むディレクトリを移行して、複数のMDSノードの容量とパフォーマンスを活用できるようになりました。Lustre RPCデータチェックサムは、クライアントからカーネルブロック層、SCSIホストアダプタ、およびT10対応ハードドライブにSCSI T10-PI統合データチェックサム[71]を追加しました。
Lustre 2.13は2019年12月5日にリリースされ[72]、新しいパフォーマンス関連の機能であるPersistent Client Cache [73] (PCC)が追加されました。これにより、ファイルをグローバルファイルシステムの名前空間の一部に保ちながら、クライアントノードでNVMeおよびNVRAMストレージを直接使用できるようになります。また、OSTオーバーストライピング[74]により、ファイルは単一のOSTに複数のストライプを保存して、高速OSSハードウェアをより有効に活用できるようになります。また、LNetマルチレールネットワークヘルス機能が改善され、LNet RDMAルーターノードで動作するようにもなりました。PFL機能は、Self-Extending Layouts [75] (SEL)によって強化され、ファイルコンポーネントのサイズを動的に変更できるようになり、同じファイルシステム内のディスクOSTよりもはるかに小さい可能性のあるフラッシュOSTをより適切に処理できるようになりました。このリリースには、MDT間でのDNEリモートディレクトリ作成のバランス調整、Lazy-size-on-MDTを使用した「lfs find」のオーバーヘッドの削減、ldiskfsのシャードあたり10Mのファイルを含むディレクトリ、最大64MBのバルクRPCサイズなど、いくつかの小さな改善も含まれていました。[76]
Lustre 2.14は2021年2月19日にリリースされ[77]、3つの主な機能が含まれています。クライアントデータ暗号化はfscryptを実装し、ネットワーク転送とOSTおよびMDTへの永続的なストレージの前に、クライアントでファイルデータを暗号化できるようにします。OSTプールクォータはクォータフレームワークを拡張し、OSTストレージプールに基づいてクォータの割り当てと適用を可能にします。DNE自動リストリッピングは、ディレクトリのプログレッシブファイルレイアウトと同様に、管理者が定義したサイズしきい値に基づいて、大きなディレクトリがストライプされるMDTの数を調整できるようになりました。
Lustre 2.15は2022年6月16日にリリースされ[78]、3つの主な機能が含まれています。クライアントディレクトリ暗号化[79] は、2.14リリースのfscryptデータ暗号化を拡張し、ネットワーク転送とMDTでの永続ストレージの前に、クライアントでファイル名とディレクトリ名を暗号化することもできます。DNE MDTスペースバランシングは、ファイルシステム内のMDT間でラウンドロビンで、または使用可能なinodeとスペースに基づいて、新しいディレクトリ作成をMDT間で自動的にバランスさせます。これにより、クライアントメタデータのワークロードをMDT間でより均等に分散するのに役立ちます。NVIDIA GPUダイレクトストレージインターフェイス（GDS）を使用するアプリケーションの場合、 Lustreクライアントは、ストレージサーバーからGPUメモリに直接ゼロコピーRDMA読み取りおよび書き込みを実行して、 CPUメモリからの余分なデータコピーと余分な処理オーバーヘッドを回避できます。[80] ユーザー定義選択ポリシー（UDSP）を使用すると、複数のネットワークインターフェイスを持つノードに対してインターフェイス選択ポリシーを設定できます。
Lustre 2.16は2024年11月8日にリリースされ[81]、3つの主な機能が含まれています。大規模ネットワークアドレス指定のサポート[82]により、標準のIPv4アドレスに加えて、IPv6や、場合によってはInfiniband GUIDなどの他の大規模アドレス形式をクライアントおよびサーバーノードのアドレス指定に使用できるようになります。非整列およびハイブリッドダイレクトIO機能は、クライアントページキャッシュのオーバーヘッドを回避することで、大規模なバッファリングおよび直接読み取り/書き込み操作を実行するアプリケーションのパフォーマンスを向上させます。[83]最適化されたディレクトリトラバーサル（バッチ化されたstatahead）機能は、バルクRPCを使用してMDSからファイル属性を並列にプリフェッチすることで、ディレクトリ階層をトラバースし、体系的なアクセスパターンでファイル属性にアクセスするアプリケーションのワークロードを改善します。[84]
建築
Lustre ファイル システムには、3 つの主要な機能単位があります。
- 1 つ以上のメタデータ サーバー (MDS)ノード。Lustre ファイルシステムごとに 1 つ以上のメタデータターゲット (MDT)デバイスがあり、ファイル名、ディレクトリ、アクセス許可、ファイル レイアウトなどの名前空間メタデータが格納されます。MDT データは、ローカル ディスク ファイルシステムに格納されます。ただし、メタデータ サーバーがすべてのブロック割り当てを制御するGPFSやPanFSなどのブロックベースの分散ファイルシステムとは異なり、Lustre メタデータ サーバーはパス名とアクセス許可のチェックのみに関与し、ファイル I/O 操作には関与しないため、メタデータ サーバーでの I/O スケーラビリティのボトルネックを回避できます。単一のファイルシステムに複数の MDT を配置できるのは Lustre 2.4 の新機能で、ディレクトリ サブツリーをセカンダリ MDT に配置できます。また、2.7 以降では、大きな単一ディレクトリを複数の MDT に分散することもできます。
- 1 つ以上のオブジェクト ストレージ サーバー (OSS)ノード。1 つ以上のオブジェクト ストレージ ターゲット (OST)デバイスにファイル データを保存します。サーバーのハードウェアによって異なりますが、OSS は通常 2 ～ 8 個の OST に対応し、各 OST は 1 つのローカル ディスク ファイル システムを管理します。Lustre ファイル システムの容量は、OST によって提供される容量の合計です。
- データにアクセスして使用するクライアント。Lustre は、標準のPOSIXセマンティクスを使用して、ファイルシステム内のすべてのファイルとデータに対する統一された名前空間をすべてのクライアントに提供し、ファイルシステム内のファイルへの同時かつ一貫した読み取りおよび書き込みアクセスを可能にします。
MDT、OST、およびクライアントは、同じノード上に配置することもできますが (通常はテスト目的)、一般的な本番インストールでは、これらのデバイスはネットワーク経由で通信する別のノード上にあります。各 MDT と OST は、1 つのファイルシステムの一部である場合もありますが、異なるファイルシステムの一部である複数の MDT または OST を 1 つのノード上に配置することは可能です。Lustreネットワーク (LNet)レイヤーは、ネイティブInfiniBand動詞、Omni-Path、RoCE、およびOFED経由のiWARP、イーサネット上のTCP/IP、およびCray Gemini 相互接続などのその他の独自のネットワーク技術を含む、いくつかの種類のネットワーク相互接続を使用できます。Lustre 2.3 以前では、Myrinet、Quadrics、Cray SeaStar、および RapidArray ネットワークもサポートされていましたが、これらのネットワークが市販されなくなったときにこれらのネットワーク ドライバーは非推奨となり、Lustre 2.8 ではサポートが完全に削除されました。 Lustre は、利用可能な場合はリモート ダイレクト メモリ アクセス ( RDMA ) 転送を活用して、スループットを向上させ、CPU 使用率を削減します。
MDT および OST のバックアップ ファイルシステムに使用されるストレージは、通常、ハードウェアRAIDデバイスによって提供されますが、任意のブロック デバイスでも機能します。Lustre 2.4 以降、MDT および OST は、バックアップ ファイルシステムにext4に加えてZFSも使用できるため、ハードウェア RAID デバイスの代わりにJBODストレージを効果的に使用できます。Lustre OSS および MDS サーバーは、バックアップ ファイルシステムによって強制された形式でデータの読み取り、書き込み、変更を行い、このデータをクライアントに返します。これにより、Lustre は、ZFS の圧縮やデータ チェックサムなど、基盤となるファイルシステムの改善や機能を活用できます。クライアントは基盤となるストレージに直接アクセスできないため、誤動作しているクライアントや悪意のあるクライアントがファイルシステム構造を破損することはありません。
OST は、データの一貫性を保護するためにエクステントロックを備えた、読み取り/書き込み操作用のファイル オブジェクトのバイト範囲へのインターフェイスをエクスポートする専用ファイルシステムです。MDT は、inode、ディレクトリ、 POSIXおよび拡張ファイル属性を保存し、ファイル アクセス権限/ ACLを制御し、各通常ファイルを構成するオブジェクトのレイアウトをクライアントに伝える専用ファイルシステムです。MDT と OST は現在、ldiskfsと呼ばれるext4の拡張バージョン、またはオープン ソースの ZFS-on-Linux ポートを使用して、ファイル/オブジェクトを保存するためのバックエンド データ ストレージとしてZFS /DMU を使用しています[85]。[86]
クライアントは、 LinuxカーネルのVFSドライバーを使用して Lustre ファイルシステムをローカルにマウントし、サーバーに接続します。最初のマウント時に、クライアントにはマウントポイントのルート ディレクトリのファイル識別子 (FID) が提供されます。クライアントがファイルにアクセスすると、MDS でファイル名の検索が実行されます。MDS ファイル名の検索が完了し、ユーザーとクライアントにファイルへのアクセスやファイルの作成の許可がある場合、既存のファイルのレイアウトがクライアントに返されるか、要求に応じてクライアントに代わって新しいファイルが作成されます。読み取りまたは書き込み操作の場合、クライアントは論理オブジェクト ボリューム (LOV)レイヤーでファイル レイアウトを解釈します。LOV レイヤーは、ファイルの論理オフセットとサイズを 1 つ以上のオブジェクトにマップします。次に、クライアントは操作対象のファイル範囲をロックし、データ オブジェクトを保持する OSS ノードに対して 1 つ以上の並列読み取りまたは書き込み操作を直接実行します。このアプローチにより、クライアントと OSS 間の通信のボトルネックが解消されるため、クライアントがデータの読み取りと書き込みに使用できる合計帯域幅は、ファイルシステム内の OST の数にほぼ比例して増加します。
ファイル レイアウトの最初の検索後、すべてのブロック割り当てとデータ IO は OST によって内部的に管理されるため、MDS は通常、ファイル IO 操作には関与しません。クライアントは OST ファイルシステム上のオブジェクトやデータを直接変更するのではなく、このタスクを OSS ノードに委任します。このアプローチにより、大規模なクラスターやスーパーコンピューターのスケーラビリティが確保され、セキュリティと信頼性が向上します。対照的に、GPFSやOCFSなどの共有ブロック ベースのファイルシステムでは、ファイルシステム内のすべてのクライアントが基盤となるストレージに直接アクセスできます。これには、すべてのクライアントに接続された大規模なバックエンドSAN が必要になり、不正な動作をするクライアントや欠陥のあるクライアントによるファイルシステムの破損のリスクが高まります。
実装
Linux クライアント上の一般的な Lustre インストールでは、Lustre ファイルシステム ドライバー モジュールがカーネルにロードされ、ファイルシステムは他のローカルまたはネットワーク ファイルシステムと同様にマウントされます。クライアント アプリケーションは、数十から数千の個別のサーバーと MDT/OST ファイルシステムで構成されている場合でも、単一の統合されたファイルシステムを認識します。
一部の超並列プロセッサ（MPP）システムでは、計算プロセッサは、Lustreクライアントとして構成された専用I/OノードにI/O要求をリダイレクトすることで、Lustreファイルシステムにアクセスできます。このアプローチは、ローレンスリバモア国立研究所のBlue Geneシステム[87]で使用されています。
Lustre の初期に使用された別のアプローチは、Sandia Red Stormなどのシステム上のCatamount オペレーティングシステムを使用するCray XT3上のliblustre ライブラリであり、[88]ユーザー空間アプリケーションに直接ファイルシステムへのアクセスを提供しました。 Liblustre は、計算プロセッサが Lustre ファイルシステムをマウントしてクライアントとして使用できるようにするユーザーレベルのライブラリでした。 liblustre を使用すると、ジョブが開始されたサービスノードが Linux クライアントでなくても、計算プロセッサは Lustre ファイルシステムにアクセスできます。 Liblustre では、カーネルを介したデータコピーを介さずにアプリケーション空間と Lustre OSS 間で直接データを移動できるため、制約のあるオペレーティング環境で計算プロセッサから Lustre ファイルシステムに直接アクセスできます。 liblustre 機能は、Lustre 2.6.0 以降無効にされた後、Lustre 2.7.0 から削除され、Lustre 2.3.0 以降はテストされていませんでした。
Linuxカーネルバージョン4.18では、開発と新しいカーネルへの移植を高速化するために、Lustreクライアントの不完全な移植がカーネルステージング領域から削除されました。[89]ツリー外のLustreクライアントとサーバーは、RHEL、SLES、Ubuntuディストリビューションカーネル、およびバニラカーネルで引き続き利用できます。
データオブジェクトとファイルストライピング
従来のUnixディスク ファイル システムでは、inodeデータ構造に、ファイルに含まれるデータの保存場所など、各ファイルに関する基本情報が含まれています。Lustre ファイル システムでも inode が使用されますが、MDT 上の inode はデータ ブロックではなく、ファイルに関連付けられた 1 つ以上の OST オブジェクトを指します。これらのオブジェクトは、OST 上のファイルとして実装されます。クライアントがファイルを開くと、ファイルを開く操作によって、オブジェクト識別子のセットとそのレイアウトが MDS からクライアントに転送され、クライアントはオブジェクトを保持する OSS ノードと直接対話できるようになります。これにより、クライアントは、MDS との通信を行わずに、ファイル内のすべての OST オブジェクトに対して並列に I/O を実行できるため、集中化されたブロックおよびロック管理による競合を回避できます。
MDT inode に 1 つの OST オブジェクトのみが関連付けられている場合、そのオブジェクトには Lustre ファイルのすべてのデータが含まれます。ファイルに複数のオブジェクトが関連付けられている場合、ファイル内のデータは、通常 1 MB 以上のチャンクでRAID 0と同様に、OST オブジェクト間でラウンドロビン方式でチャンクに「ストライプ化」されます。1 つの大きなファイルに高帯域幅でアクセスする必要がある場合、複数の OST オブジェクトにファイルをストライプ化すると、パフォーマンスが大幅に向上します。ストライプ化を使用すると、最大ファイル サイズは単一のターゲットのサイズによって制限されません。容量と総 I/O 帯域幅は、ファイルがストライプ化される OST の数に応じて増加します。また、各オブジェクトのロックは各 OST ごとに独立して管理されるため、ストライプを追加すると (OST ごとに 1 つ)、ファイルのファイル I/O ロック容量が比例して増加します。ファイルシステムで作成される各ファイルでは、ストライプ数 (そのファイルを構成する OST オブジェクトの数)、ストライプ サイズ (次の OST に移動する前に各 OST に保存されるデータの単位)、OST の選択など、さまざまなレイアウト パラメータを指定できるため、各ファイルのパフォーマンスと容量を最適に調整できます。多数のアプリケーション スレッドが別々のファイルを並行して読み書きしている場合、アプリケーションが独自の並列処理を提供するため、ファイルごとに 1 つのストライプを持つことが最適です。多数のスレッドが 1 つの大きなファイルを同時に読み書きしている場合、そのファイルのパフォーマンスと容量を最大化するために、各 OST に少なくとも 1 つのストライプを持つことが最適です。
Lustre 2.10 リリースでは、複合レイアウトを指定する機能が追加され、ファイルのさまざまな領域に異なるレイアウト パラメータを設定できるようになりました。プログレッシブ ファイル レイアウト(PFL) 機能は、複合レイアウトを使用して、より広範囲のワークロードにわたってファイル IO パフォーマンスを向上させるとともに、使用と管理を簡素化します。たとえば、小さな PFL ファイルでは、アクセス オーバーヘッドを低く抑えるためにフラッシュ上に 1 つのストライプを配置できますが、大きなファイルでは、高い総帯域幅と優れた OST 負荷分散を実現するために多数のストライプを配置できます。複合レイアウトは、2.11 リリースでさらに強化され、ファイル レベル冗長性(FLR) 機能が追加されました。この機能により、1 つのファイルに複数の重複レイアウトを持たせることができ、これらのファイルにRAID 0+1冗長性を提供し、読み取りパフォーマンスも向上します。Lustre 2.11 リリースでは、データ オン メタデータ(DoM) 機能も追加されました。この機能により、PFL ファイルの最初のコンポーネントを inode とともに MDT に直接保存できます。これにより、小さなファイルへのアクセスのオーバーヘッドが削減されます。これは、スペース使用量 (OST オブジェクトは不要) とネットワーク使用量 (データへのアクセスに必要な RPC が少なくなる) の両方の観点で削減されます。また、MDT がSSDベースで、OST がディスク ベースである場合、DoM によって小さなファイルのパフォーマンスが向上します。Lustre 2.13 では、OST オーバーストライピング機能により、1 つのコンポーネントが 1 つの OST に複数のストライプを持つことができるため、ロックの並列処理がさらに向上します。一方、自己拡張レイアウト機能により、書き込み中にコンポーネント サイズを動的に変更できるため、ファイル システム全体のスペースが不足する前に、個々の (フラッシュ) OST のスペースが不足しても対処できます。
メタデータ オブジェクトと DNE リモートまたはストライプ ディレクトリ
クライアントが最初にファイルシステムをマウントすると、マウントポイントのルート ディレクトリの 128 ビット Lustre ファイル識別子 (FID、64 ビットのシーケンス番号、32 ビットのオブジェクト ID、および 32 ビットのバージョンで構成) が提供されます。ファイル名の検索を行う際、クライアントは、FID ロケーション データベース (FLDB) を介して親ディレクトリ FID シーケンス番号を特定の MDT にマッピングすることによって各パス名コンポーネントの検索を実行し、次に親 FID とファイル名を使用してこの MDT を管理する MDS の検索を実行します。MDS は、要求されたパス名コンポーネントの FID を DLM ロックとともに返します。パスの最後のディレクトリの MDT が決定されると、通常、それ以降のディレクトリ操作 (非ストライプ ディレクトリの場合) はその MDT で実行され、MDT 間の競合が回避されます。
DNE ストライプ ディレクトリの場合、親ディレクトリに格納されているディレクトリごとのレイアウトによって、ハッシュ関数と、ディレクトリが分散されている MDT ディレクトリ FID のリストが提供されます。クライアントの論理メタデータ ボリューム(LMV) はファイル名をハッシュし、特定の MDT ディレクトリシャードにマップします。このシャードは、非ストライプ ディレクトリと同じ方法でそのファイルに対する以降の操作を処理します。readdir ()操作の場合、各ディレクトリ シャードのエントリは、ローカル MDT ディレクトリ ハッシュ順序でソートされてクライアントに返され、クライアントはマージ ソートを実行してファイル名をハッシュ順序でインターリーブし、単一の 64 ビット クッキーを使用してディレクトリ内の現在のオフセットを判断できるようにします。
Lustre 2.15 では、クライアント LMV はラウンドロビンとスペースバランスのデフォルトのディレクトリレイアウトを実装しているため、クライアントは単一のファイルシステムで多数の MDT をより効率的に使用できます。ファイルシステムのルート (デフォルトでは上位 3 つのディレクトリレベル) の近くに新しいサブディレクトリが作成されると、使用可能な MDT (順番に選択) の 1 つとしてリモートディレクトリとして自動的に作成され、サーバー間のスペース使用量と負荷のバランスが取られます。MDT の空き領域が不均衡になると (空き領域と inode の差が 5% を超える)、クライアントはバランスを回復するために、空き領域の多い MDT に新しいサブディレクトリの作成を偏らせます。[90]
ロック
OpenVMSスタイルで実装されたLustre分散ロック マネージャ(LDLM)は、各ファイルのデータとメタデータの整合性を保護します。Lustre ファイルへのアクセスと変更は、すべてのクライアント間で完全にキャッシュ コヒーレントです。メタデータ ロックは、FID をリソース名として使用して、ファイルのinode を格納する MDT によって管理されます。メタデータ ロックは、ファイルの検索 (ファイルの所有者とグループ、権限とモード、アクセス制御リスト(ACL))、inode の状態 (ディレクトリ サイズ、ディレクトリの内容、リンク数、タイムスタンプ)、レイアウト (ファイルのストライピング、Lustre 2.4 以降)、および拡張属性(xattrs、Lustre 2.5 以降) を保護する個別のビットに分割されます。クライアントは、単一の RPC 要求で単一の inode の複数のメタデータ ロック ビットを取得できますが、現在、inode の読み取りロックのみが付与されます。MDS は、ロックリソースの競合を回避するために inode へのすべての変更を管理し、現在 inode の書き込みロックを取得する唯一のノードです。
ファイル データ ロックは、バイト範囲のエクステント ロックを使用して、ファイルの各オブジェクトがストライプ化される OST によって管理されます。クライアントには、ファイルの一部または全体に対して重複する読み取りエクステント ロックを付与して、同じファイルの複数の同時読み取りを許可したり、ファイルの独立した領域に対して重複しない書き込みエクステント ロックを許可したりできます。これにより、多くの Lustre クライアントが読み取りと書き込みの両方で 1 つのファイルに同時にアクセスでき、ファイル I/O 中のボトルネックを回避できます。実際には、Linux クライアントはデータ キャッシュをページ単位で管理するため、クライアントは常にページ サイズ (ほとんどのクライアントでは 4096 バイト) の整数倍のロックを要求します。クライアントがエクステント ロックを要求している場合、OST はクライアントが行うロック要求の数を減らすために、当初要求したよりも大きなエクステントのロックを許可する場合があります。許可されるロックの実際のサイズは、そのオブジェクトに対して現在許可されているロックの数、要求されたロック エクステントに対して競合する書き込みロックがあるかどうか、そのオブジェクトに対して保留中のロック要求の数など、いくつかの要因によって異なります。許可されたロックは、最初に要求されたエクステントより小さくなることはありません。OST エクステント ロックは、オブジェクトの Lustre FID をロックのリソース名として使用します。エクステント ロック サーバーの数はファイル システム内の OST の数に応じて増加するため、ファイル システム全体のロック パフォーマンスも増加します。また、複数の OST にストライプ化されている場合は、単一のファイルのロック パフォーマンスも増加します。
ネットワーキング
Lustre クライアントとサーバー間の通信は、もともとSandia Portals ネットワーク プログラミング アプリケーション プログラミング インターフェイスに基づいた Lustre Networking (LNet) を使用して実装されます。ディスク ストレージは、直接接続ストレージ ( SAS、FC、iSCSI ) または従来のストレージ エリア ネットワーク(SAN) テクノロジを使用して Lustre MDS および OSS サーバー ノードに接続され、クライアントとサーバー間のネットワークからは独立しています。
LNet は、 InfiniBandやTCP (一般的にはEthernet ) ネットワークなど、一般的に使用される多くのネットワーク タイプを使用でき、複数のネットワーク タイプ間のルーティングにより、同時に複数のネットワーク タイプ間で可用性を実現できます。InfiniBand 、 RoCE、iWARP、Omni-Pathなどの基盤となるネットワークや、Cray Aries や Gemini、Atos BXIなどの独自の高速ネットワークによって提供される場合、ノード間のデータおよびメタデータの転送には、 Remote Direct Memory Access (RDMA) が使用されます。高可用性とリカバリ機能により、フェールオーバー サーバーと連携して透過的なリカバリが可能になります。
Lustre 2.10以降、LNetマルチレール（MR）機能[91]により、クライアントとサーバー間の2つ以上のネットワークインターフェースのリンクアグリゲーション が可能になり、帯域幅が向上しました。LNetインターフェースタイプは同じネットワークタイプである必要はありません。2.12では、ピア間で複数のネットワークインターフェースが利用可能な場合のフォールトトレランスを向上させるためにマルチレールが強化されました。
LNetは、ギガビットイーサネットネットワーク上で100MB/秒を超えるエンドツーエンドのスループットを提供し、 [92] InfiniBand拡張データレート（EDR）リンクを使用して最大11GB/秒のスループットを提供し、100ギガビットイーサネットインターフェイス全体で11GB/秒を超えるスループットを提供します。[93]
高可用性
Lustre ファイル システムの高可用性機能には、堅牢なフェイルオーバーおよびリカバリ メカニズムが含まれており、サーバーの障害や再起動が透過的になります。Lustre ソフトウェアの連続するマイナー バージョン間のバージョン相互運用性により、サーバーをオフラインにして (またはスタンバイ サーバーにフェイルオーバーして)、アップグレードを実行して再起動することで、サーバーをアップグレードできます。その間、すべてのアクティブなジョブは引き続き実行され、バックアップ サーバーがストレージを引き継ぐ間、遅延が発生します。
Lustre MDS は、単一の MDT をエクスポートするアクティブ/パッシブ ペア、または 2 つ以上の個別の MDT をエクスポートする DNE を備えた 1 つ以上のアクティブ/アクティブ MDS ペアとして構成されます。一方、OSS は通常、個別の OST をエクスポートするアクティブ/アクティブ構成で展開され、余分なシステム オーバーヘッドなしで冗長性を提供します。単一 MDT ファイルシステムでは、1 つのファイルシステムのスタンバイ MDS は MGS および/または監視ノード、または別のファイルシステムのアクティブ MDS であるため、クラスター内でアイドル状態のノードはありません。
HSM (階層型ストレージ管理)
Lustre は、単一のファイルシステム名前空間内に複数のストレージ層を持つ機能を提供します。これにより、従来の HSM 機能を使用して、プライマリ ファイルシステムからセカンダリ アーカイブ ストレージ層にファイルをコピー (アーカイブ) できます。アーカイブ層は通常、テープベースのシステムで、ディスク キャッシュが前面にあることがよくあります。ファイルがアーカイブされると、メイン ファイルシステムから解放され、アーカイブ コピーを参照するスタブのみが残ります。解放されたファイルが開かれると、コーディネーターはオープンをブロックし、コピーツールに復元要求を送信し、コピーツールがファイルの復元を完了するとオープンを完了します。
外部ストレージの階層化に加えて、単一のファイルシステム名前空間内に複数のストレージ階層を持つこともできます。異なるタイプの OST (HDD や SSD など) を名前付きストレージ プールで宣言できます。ファイル レイアウトを指定するときに OST プールを選択でき、単一の PFL ファイル レイアウト内で異なるプールを使用できます。ファイルは、手動で、またはポリシー エンジンの制御下でストレージ階層間で移行できます。Lustre 2.11 以降では、FLR ファイル レイアウトを使用してファイルを異なる OST プールにミラーリングすることもできます。たとえば、コンピューティング ジョブ用にファイルをフラッシュに事前ステージングできます。
HSM には、プライマリ ファイル システムとアーカイブ間のインターフェイスを管理するための追加の Lustre コンポーネントがいくつか含まれています。
- コーディネーター: アーカイブおよび復元要求を受信し、エージェント ノードに送信します。
- エージェント: コピーツールを実行して、プライマリ ストレージからアーカイブにデータをコピーし、その逆も行います。
- コピーツール: データの移動とメタデータの更新を処理します。さまざまなアーカイブシステムとのインターフェースには、さまざまなコピーツールがあります。POSIXのようなフロントエンドインターフェースを提供するアーカイブには、汎用POSIXコピーツールが用意されています。コピーツールは、High Performance Storage System [94] (HPSS)、Tivoli Storage Manager [95] (TSM)、Amazon S3、[96]、Google Drive [97]でも利用できます。
- ポリシー エンジン: アーカイブする新しいファイルのファイル システムの変更ログを監視し、経過時間やスペースの使用状況に基づいてファイルを解放するためのポリシーを適用し、MDT およびコーディネータと通信します。ポリシー エンジンは、移行、パージ、削除などのアクションをトリガーすることもできます。最もよく使用されるポリシー エンジンは RobinHood ですが、他のポリシー エンジンも使用できます。
HSMはファイルの新しい状態も定義しています: [98]
- 存在: HSM 内に、不完全なコピーが存在します。
- アーカイブ: HSM のアーカイブ側に完全なコピーが存在します。
- ダーティ: ファイルのプライマリ コピーが変更されており、アーカイブされたコピーと異なります。
- 解放済み: MDT にスタブ inode が存在しますが、データ オブジェクトは削除されており、アーカイブ内にはコピーのみが存在します。
- 紛失: ファイルのアーカイブコピーが失われ、復元できません
- リリースなし: ファイルはファイルシステムからリリースされません
- アーカイブなし: ファイルはアーカイブされません
展開
Lustre は、 TOP500スーパーコンピュータや大規模なマルチクラスタサイトの多くで使用されています。上位 10 位のうち 6 位、上位 100 位のうち 60 位以上のスーパーコンピュータが Lustre ファイルシステムを使用しています。これらには、オークリッジ国立研究所(ORNL)のFrontier スーパーコンピュータの 700PB 13TB/s Orion ファイルシステム、 [4] [99]理化学研究所計算科学研究所の富岳と京コンピュータ[13] 、中国天津の国立スーパーコンピューティングセンターのTianhe-1A、CSCのLUMI、ORNL のJaguarとTitan 、イリノイ大学のBlue Waters、ローレンスリバモア国立研究所(LLNL) のSequoiaとBlue Gene /L が含まれます。
北米では国立エネルギー研究科学計算センター、パシフィック・ノースウェスト国立研究所、テキサス先端計算センター、ブラジル国立科学計算研究所、[100]、NASA [101]、アジアでは東京工業大学[102]、欧州ではCEA [ 103 ] [104]などにも大規模なLustreファイルシステムが存在します。
商用技術サポート
Lustre の商用技術サポートは、ベンダーが販売するコンピューティング システムやストレージ ハードウェアにバンドルされていることが多い。ベンダーには、Hewlett-Packard (HP StorageWorks Scalable File Share、2004 年から 2008 年頃)、[105] ATOS、Fujitsuなどがある。[106] Lustre サポートがバンドルされたストレージ ハードウェアを販売しているベンダーには、Hitachi Data Systems (2012)、[107] DataDirect Networks (DDN)、[108] Aeon Computing などがある。Whamcloud など、一部のベンダーから Lustre ファイル システムのソフトウェアのみのサポートを受けることも可能である。[109]
Amazon Web Servicesは、完全に管理されたサービスであるAmazon FSx for Lustre [110]を提供しており、これにより、クラウド内で高性能なファイルシステムをコスト効率よく簡単に起動して実行できるようになります。
Microsoft AzureはAzure Managed Lustre（AMLFS）を提供しています。[111] Azure Managed Lustreは、クラウド内の高性能コンピューティング（HPC）およびAIワークロード向けの、完全に管理された従量課金制のファイルシステムです。
参照
.svg/500px-Free_and_open-source_software_logo_(2009).svg.png){kind=logo}
参考文献
- ^ ab Corbet, Jonathon (2003 年 12 月 17 日)。「Lustre 1.0 がリリースされました」。Linux Weekly News。LWN.net。2015年3月 15 日閲覧。
- ^ 「リリース 2.16.1」。Lustre Wiki。OpenSFS。2024年11月15日。 2024年11月17日閲覧。
- ^ 「Lustre 2.15.6 リリース」lustre.org 2024-12-01 2024-12-01閲覧。
- ^ abc 「フロンティアスーパーコンピューターが世界最速としてデビュー、エクサスケールの壁を破る」オークリッジ国立研究所。2022年5月30日。
- ^ Oracle Corporation / Intel Corporation (2002 年 8 月 4 日)。「Lustre* ソフトウェア リリース 2.x 操作マニュアル」(PDF)。取扱説明書。Intel。2024年6 月 25 日閲覧。
- ^ “Lustre Home”. 2001年3月31日時点のオリジナルよりアーカイブ。2013年9月23日閲覧。
- ^ 「Lustre File System、バージョン 2.4 リリース」。Open Scalable File Systems。2014年 10 月 18 日閲覧。
- ^ 「オープンソースの Lustre がスーパーコンピューティングに採用される」2014 年 10 月 18 日閲覧。
- ^ 「Xyratex が Oracle の Lustre をキャプチャ」 HPCWire 2013 年 2 月 21 日。2014 年 10 月 18 日閲覧。
- ^ 「ポスト「京（富岳）情報」」富士通. 2020年6月8日時点のオリジナルよりアーカイブ。2020年6月23日閲覧。
- ^ 「スーパーコンピュータ富岳」(PDF) .富士通。
- ^ 「Titan System Overview」。オークリッジ国立研究所。2018年2月13日時点のオリジナルよりアーカイブ。2013年9月19日閲覧。
- ^ abc Brian Behlendorf. 「Lustre 用 Linux 上の ZFS」(PDF) 。ローレンス・リバモア国立研究所。2014年 10 月 31 日のオリジナル(PDF)からアーカイブ。2020年 6 月 23 日閲覧。
- ^ 「Orion: Frontier の大規模ファイルシステム」. insideHPC. 2023-04-03.
- ^ Andreas Dilger、Whamcloud (2019-06-20)。「Lustre: 次の 20 年」(PDF)。HPCIODC。
- ^ 「Cray、NOAAにAMD搭載スーパーコンピューター2台を提供」HPC Wire、2020年2月24日。
- ^ Julian Kunkel、DKRZ (2017-06-15)。「DKRZ の Lustre」(PDF)。OpenSFS。
- ^ Chris Mellor (2023-05-02). 「Nvidia AI スーパーコンピューターが Oracle クラウドでその輝きを披露」. Blocks and Files.
- ^ Julie Bernauer、Prethvi Kashinkunti、NVIDIA (2021-05-20)。「Selene DGXA100 SuperPOD と Lustre Parallel Filesystem Storage による大規模な AI の高速化」(PDF)。OpenSFS。
{{cite web}}: CS1 maint: 複数の名前: 著者リスト (リンク) - ^ Raj Gautam (2019-05-15). 「長距離 Lustre 通信」(PDF)。エクソンモービル。
- ^ Cambridge-1: YouTubeでの NVIDIA の成功物語
- ^ James Beal、Pavlos Antoniou、Sanger Institute (2021-05-20)。「Secure Lustre のアップデート」(PDF)。OpenSFS。
{{cite web}}: CS1 maint: 複数の名前: 著者リスト (リンク) - ^ スティーブ・クルサン、ブロック・ジョンソン、ハドソンリバートレーディング（2022-05-10）、Lustre in Finance （PDF）、OpenSFS
{{citation}}: CS1 maint: 複数の名前: 著者リスト (リンク) - ^ Wang, Teng; Byna, Suren; Lockwood, Glenn K.; Snyder, Shane; Carns, Philip; Kim, Sunggon; Wright, Nicholas J. (2019 年 5 月)。「I/O パフォーマンスのボトルネックの根本原因を検出するための I/O ログのズームイン分析」。2019 年 19 回 IEEE/ACM 国際クラスター、クラウド、グリッド コンピューティング シンポジウム (CCGRID)。IEEE。pp. 102–111。doi : 10.1109/ CCGRID.2019.00021。ISBN 978-1-7281-0912-1. S2CID 195832257。
- ^ Gunasekaran, Raghul; Oral, Sarp; Hill, Jason; Miller, Ross; Wang, Feiyi; Leverman, Dustin (2015 年 11 月)。「2 つのリーダーシップ クラス ストレージ クラスターの I/O ワークロード特性の比較」( PDF)。第 10 回並列データ ストレージ ワークショップの議事録。ACM。pp. 31–36。doi :10.1145 / 2834976.2834985。ISBN 9781450340083. S2CID 15844745。
- ^ Saini, Subhash; Rappleye, Jason; Chang, Johnny; Barker, David; Mehrotra, Piyush; Biswas, Rupak (2012 年 12 月)。「Pleiades 上の Lustre および NASA アプリケーションの I/O パフォーマンス特性」。2012 年 19 回国際高性能コンピューティング会議(PDF)。IEEE。pp. 1–10。doi : 10.1109 / HiPC.2012.6507507。hdl :2060/ 20130001600。ISBN 978-1-4673-2371-0. S2CID 14323627。
- ^ 「Company」。古い Web サイト。Cluster File Systems, Inc. 2007 年 8 月 12 日時点のオリジナルからアーカイブ。
{{cite web}}: CS1 maint: bot: 元の URL ステータス不明 (リンク) - ^ Peter J. Braam (2002 年 8 月 4 日)。「Lustre、銀河間ファイルシステム」(PDF)。プレゼンテーションスライド。ローレンスリバモア国立研究所。2013年 5 月 15 日時点のオリジナル(PDF)からアーカイブ。2013年9 月 23 日閲覧。
- ^ R. Kent Koeninger (2003 年 6 月)。「The Ultra-Scalable HPTC Lustre Filesystem」(PDF)。Cluster World 2003 でのプレゼンテーション用スライド。2013年9 月 23 日閲覧。
- ^ Britta Wülfing (2007 年 9 月 13 日)。「Sun が Lustre ファイルシステムを統合」。Linux Magazine。2013年9 月 23 日閲覧。
- ^ 「Sun Microsystems が Lustre ファイル システムを含むクラスタ ファイル システムの資産を買収する正式契約を締結し、高性能コンピューティング ポートフォリオを拡大」。プレス リリース。Sun Microsystems。2007 年 9 月 12 日。2007 年 10 月 2 日時点のオリジナルよりアーカイブ。2013年9 月 23 日閲覧。
- ^ 「Oracle が Lustre を追放」Inside HPC、2011 年 1 月 10 日。
- ^ J. Leidel (2010 年 8 月 20 日)。「Whamcloud は Lustre の HPC における将来性を確保することを目指しています」。Inside HPC。2013年9 月 23 日閲覧。
- ^ ab 「XyratexがLustre®イニシアチブを推進し、関連資産の所有権を取得」。プレスリリース。Xyratex。2013年2月19日。2016年9月7日時点のオリジナルよりアーカイブ。 2013年9月18日閲覧。
- ^ リッチ・ブルックナー (2010 年 11 月 9 日)。 「ボジャニックとブラームがザイラテックスでラスターバンドを再結成」。HPC内部。2013 年9 月 23 日に取得。
- ^ Rich Brueckner (2011 年 1 月 4 日)。「Whamcloud が Brighter Lustre に向けてスタッフを増員」Inside HPC。2013年9 月 18 日閲覧。
- ^ 「Whamcloud が OpenSFS と複数年にわたる Lustre 開発契約を締結」。プレスリリース。HPC Wire。2011 年 8 月 16 日。2013 年 1 月 25 日時点のオリジナルよりアーカイブ。2013 年9 月 23 日閲覧。
- ^ Galen Shipman (2011 年 11 月 18 日)。「OpenSFS アップデート」(PDF)。Supercomputing 2011 プレゼンテーションのスライド。Open Scalable File Systems。2013年9 月 23 日閲覧。
- ^ Whamcloud (2011年11月15日). 「OpenSFSとWhamcloudがLustreコミュニティツリー開発契約を締結」.プレスリリース. 2012年4月27日時点のオリジナルよりアーカイブ。 2013年9月23日閲覧。
- ^ Joab Jackson (2012-07-16). 「Intel が Lustre 提供業者 Whamcloud を買収」. PC World.
- ^ Timothy Prickett Morgan (2012-07-16). 「Intel が Lustre ファイル システムの専門家である Whamcloud を買収」. The Register.
- ^ Timothy Prickett Morgan (2012-07-11). 「DOE がエクサスケール研究のために AMD と Whamcloud に資金を支給」 The Register.
- ^ Nicole Hemsoth (2013 年 6 月 12 日)。「Intel が Lustre のメインストリーム ハイウェイを切り開く」HPC Wire。2013年9 月 23 日閲覧。
- ^ Brueckner, Rich (2013 年 2 月 21 日)。「新しい RFP により、OpenSFS は HPC 向けの重要なオープン ソース テクノロジに投資します」。insideHPC。2013年10 月 1 日閲覧。
- ^ 「Seagate が Lustre.org をユーザー コミュニティに寄付」 。2014年9 月 9 日閲覧。
- ^ Daniel Robinson (2018 年 6 月 27 日)。「DDN が Lustre ファイル システムに新たな命を吹き込む」
- ^ 「Lustre 商標がユーザー コミュニティに公開」。InsideHPC。2019 年 11 月 24 日。2019年12 月 5 日閲覧。
- ^ 「Lustre が第 3 位の最速スーパーコンピューターの実現に貢献」。DSStar。2013 年 2 月 3 日時点のオリジナルよりアーカイブ。
- ^ 「MCR Linux Cluster Xeon 2.4 GHz – Quadrics」。Top500.Org。2012年4月20日時点のオリジナルよりアーカイブ。2023年12月14日閲覧。
- ^ Peter Bojanic (2008 年 6 月 15 日)。「Lustre ロードマップと今後の計画」(PDF)。Sun HPC コンソーシアムへのプレゼンテーション。Sun Microsystems。2013年9 月 23 日閲覧。
- ^ 「OpenSFS が Lustre 2.1 コミュニティ ディストリビューションのサポートに向けた共同作業を発表」。Open Scalable File Systems。2011 年 2 月 8 日。2011 年 5 月 23 日時点のオリジナルよりアーカイブ。2016年12 月 13 日閲覧。
- ^ 「Lustre 2.1 リリース」。2012年 2 月 2 日閲覧。
- ^ 「Lustre 2.2 リリース」。Yahoo! Finance。2012年 5 月 8 日閲覧。
- ^ 「大 規模ストレージ システム向けの新しいネットワーク リクエスト スケジューラ」(PDF)。Lustre Wiki。OpenSFS。2009年6月。
- ^ 「 大規模ストレージ システム向けの新しいネットワーク リクエスト スケジューラ」。Lustre Wiki。OpenSFS。2009年6 月。
- ^ Prickett Morgan、Timothy (2013 年 11 月 5 日)。「OpenSFS が Lustre 2.5 の提供開始を発表」。EnterpriseTech。
- ^ Brueckner, Rich. 「ビデオ: 新しい Lustre 2.5 リリースは HSM 機能を提供」。Inside Big Data。2013 年 12 月 8 日時点のオリジナルよりアーカイブ。2013年12 月 11 日閲覧。
- ^ Hemsoth, Nicole. 「Lustre が HSM でビジネス クラス アップグレード」 HPCwire. 2013 年 12 月 17 日時点のオリジナルよりアーカイブ。2013年12 月 11 日閲覧。
- ^ 「Lustre 2.5」。Scientific Computing World。2013年11月12日。 2013年12月11日閲覧。
- ^ Jones, Peter (2014 年 9 月 9 日). 「Lustre 2.5.3 リリース」. HPDD-discuss メーリング リスト アーカイブ. 2014 年 10 月 17 日時点のオリジナルよりアーカイブ。2014 年10 月 21 日閲覧。 Morrone, Chris (2015 年 12 月 7 日)。「廃止されたリリース用語」。Lustre Wiki。2016年1 月 18 日閲覧。
- ^ 「Lustre 2.6.0 リリース」。HPDD-discuss メーリング リスト アーカイブ。2014 年 7 月 30 日。2014 年 10 月 17 日時点のオリジナルよりアーカイブ。2014年10 月 21 日閲覧。
- ^ 伊原 修一 (2014-10-14). 「トークンバケットフィルタのNRSポリシーに基づくLustre QoS」(PDF) .
- ^ Uselton, Andrew. 「単一の Lustre クライアントのバージョン 1.8 からバージョン 2.6 へのパフォーマンスの向上の実証」(PDF) 。2014 年 10 月 18 日閲覧。
- ^ Jones, Peter (2015年3月13日). 「Lustre 2.7.0 リリース」. HPDD-discuss メーリングリスト アーカイブ. 2015年4月2日時点のオリジナルよりアーカイブ。 2015年3月15日閲覧。
- ^ Jones, Peter (2016 年 3 月 16 日)。「 Lustre 2.8.0 がリリースされました」。Lustre -announce メーリング リスト アーカイブ。OpenSFS。2016年3 月 28 日閲覧。
- ^ "Lustre 2.9.0 変更履歴".ラスター Wiki。OpenSFS。 2016 年 12 月 7 日。2016 年12 月 8 日に取得。
- ^ 「Lustre 2.10.0 変更ログ」。Lustre Wiki。OpenSFS 。 2017年7月13日。 2017年10月3日閲覧。
- ^ 「リリース 2.11.0」。Lustre Wiki。OpenSFS。2018年4月3日。 2018年4月4日閲覧。
- ^ 「リリース 2.12.0」。Lustre Wiki。OpenSFS。2018年12月21日。 2019年2月11日閲覧。
- ^ Li Xi、DDN（2018年6月）。「MDSのLazy Size」（PDF）。Lustre Wiki 。 2019年12月5日閲覧。
- ^ 井原秀一、DDN（2018年6月）。 「Lustre 向け T10PI エンドツーエンドのデータ整合性保護」(PDF)。ラスター Wiki 。2019 年12 月 5 日に取得。
- ^ 「リリース 2.13.0」。Lustre Wiki。OpenSFS 。 2019年12月5日。 2019年12月5日閲覧。
- ^ Li Xi、Whamcloud (2018 年 6 月)。「Lustre 永続クライアント キャッシュ」(PDF)。Lustre Wiki。2019年12 月 5 日閲覧。
- ^ Patrick Farrell、Whamcloud (2019 年 4 月)。「オーバーストライピング: 共有ファイルの最大パフォーマンスの抽出」(PDF)。Lustre Wiki。2019年12 月 5 日閲覧。
- ^ Patrick Farrell、Cray (2019年3月15日)。「Spillover Space: Self-Extending Layouts HLD」(PDF) 。 2019年12月5日閲覧。
- ^ “Lustre 2.13.0 変更履歴”.ラスター Wiki。 2019年12月5日。
- ^ 「リリース 2.14.0」。Lustre Wiki。OpenSFS。2021年2月19日。 2021年2月19日閲覧。
- ^ 「リリース 2.15.0」。Lustre Wiki。OpenSFS。2022年6月16日。 2022年6月17日閲覧。
- ^ セバスチャン・ビュイッソン (2022 年 5 月 11 日)。 「クライアント データの暗号化」(PDF)。ラスター Wiki。OpenSFS 。2022 年6 月 17 日に取得。
- ^ 「NVIDIA Magnum IO GPUDirect ストレージ概要ガイド」。NVIDIA。2022年6 月 17 日閲覧。
- ^ 「リリース 2.16.0」。Lustre Wiki。OpenSFS。2024年11月8日。 2024年11月8日閲覧。
- ^ James Simmons (2024年5月8日). 「大規模NIDのサポート（IPv6）」（PDF） . Lustre Wiki . OpenSFS . 2024年11月9日閲覧。
- ^ Patrick Farrell (2024 年 5 月 8 日). 「Hybrid IO Update」(PDF) . Lustre Wiki . OpenSFS . 2024 年11 月 9 日閲覧。。
- ^ Yingjin, Qian; Cheng, Wen; Zeng, Lingfang; Vef, Marc-André; Dilger, Andreas; Siyao, Lai; Ihara, Shuichi; Yong, Fan (2023 年 11 月 11 日)。「Xfast: Lustre の極端なファイル属性統計アクセラレーション」。SC '23: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis。IEEE/ACM。pp. 1–12。doi :10.1145/3581784.3607080。2024年11 月 9 日に閲覧。
- ^ 「Lustre が ZFS 上で実行」。Government Computer News。2008 年 10 月 26 日。2012 年 10 月 2 日時点のオリジナルよりアーカイブ。2011年 2 月 23 日閲覧。
- ^ 「ZFS on Lustre」 2011-05-10。2011-12-05にオリジナルからアーカイブ。2011-11-25に閲覧。
- ^ 「DataDirect が BlueGene/L を支えるストレージ技術として選定」HPC Wire 2004 年 10 月 15 日。2013 年 6 月 14 日時点のオリジナルよりアーカイブ。2012年5 月 9 日閲覧。
- ^ Suzanne M. Kelly (2006). 「Catamount Software Architecture with Dual Core Extensions」(PDF) . 2016年2月16日閲覧。
- ^ 「Linux カーネル 4.18rc1 リリース ノート」。
- ^ Andreas Dilger (2021 年 5 月 20 日). 「Lustre 2.15 以降」(PDF)。オープン スケーラブル ファイルシステム。
- ^ Shehata, Amir. 「Lustre 向けマルチレール LNet」(PDF)。Lustre ユーザー グループ、2016 年 4 月。
- ^ Lafoucrière, Jacques-Charles. 「CEA/DIF での Lustre エクスペリエンス」(PDF)。HEPiX フォーラム、2007 年 4 月。2012 年 2 月 8 日のオリジナル(PDF)からアーカイブ。
- ^ Caldwell, Blane (2016 年 3 月 9 日)。「Lustre ネットワーク テクノロジー: Ethernet vs. Infiniband」(PDF)。OLCF Lustre Center of Excellence。2019年12 月 6 日閲覧。
- ^ Aurélien Degrémont (2013 年 9 月 17 日)。 「LUSTRE/HSM バインディングはあります!」(PDF)。
- ^ Thomas Stibor (2016 年 9 月 20 日)。 「Lustre HSM 用 TSM コピーツール」(PDF)。
- ^ Robert Read (2015 年 3 月 24 日)。「クラウドでの Lustre HSM」(PDF)。
- ^ Stéphane Thiell (2021年4月11日). 「Lustre/HSM Google Drive コピーツール」. GitHub .
- ^ Aurélien Degrémont、Thomas Leibovici (2009 年 4 月 16 日)。「Lustre HSM プロジェクト - Lustre ユーザー上級セミナー」(PDF) 。2010年 5 月 25 日時点のオリジナルよりアーカイブ(PDF) 。2018 年5 月 5 日閲覧。
- ^ 「Orion ファイルシステム: 構成とパフォーマンス」(PDF)。オークリッジ国立研究所。2023 年 5 月 3 日。
- ^ “LNCC – 国立コンピュータ科学研究所”. Lncc.br 。2015 年 5 月 27 日に取得。
- ^ 「Pleiades スーパーコンピュータ」 www.nas.nasa.gov. 2008-08-18.
- ^ 「TOP500 リスト – 2006 年 11 月」。TOP500.Org。2012 年 5 月 10 日時点のオリジナルよりアーカイブ。2008年 8 月 29 日閲覧。
- ^ 「TOP500 リスト – 2006 年 6 月」。TOP500.Org。2012 年 5 月 12 日時点のオリジナルよりアーカイブ。2008年 8 月 29 日閲覧。
- ^ 「French Atomic Energy Group、HPC ファイル システムを 11 ペタバイトに拡張」 HPCwire.com。2012 年 6 月 15 日。2012 年 2 月 4 日時点のオリジナルよりアーカイブ。2012年 6 月 15 日に取得。
- ^ 「HP StorageWorks Scalable File Share」。Hewlett-Packard。2008年6月12日時点のオリジナルよりアーカイブ。2016年12月13日閲覧。
- ^ 「富士通、世界最高性能のファイルシステム「FEFS」をリリース。先進的なx86 HPCクラスタシステム向けスケーラブルファイルシステムソフトウェア」」2015年6月13日。
- ^ 「Lustre による高スループット ストレージ ソリューション」 2015 年 4 月 14 日。2015 年 6 月 27 日時点のオリジナルよりアーカイブ。2015年 4 月 14 日に取得。
- ^ 「Exascaler: 非常にスケーラブルで高性能な Lustre ファイル システム アプライアンス」 2015 年 4 月 14 日。
- ^ 「Lustre サポート」。2018 年 11 月 27 日。
- ^ 「Amazon FSx for Lustre」。2019 年 6 月 11 日。
- ^ 「Azure Managed Lustre – マネージド並列ファイルシステム | Microsoft Azure」。azure.microsoft.com 。 2024年10月14日閲覧。
外部リンク
- 公式サイト
ドキュメント
- Lustre 内部の理解、第 2 版
- Lustre ファイルシステムとそのコアサブシステムの内部動作
情報ウィキ
- Lustre コミュニティ ウィキ
- Lustre (DDN) ウィキ
- Lustre (OpenSFS) ウィキ
コミュニティ財団
- オープンSFS
- EOFS – 欧州オープンファイルシステム
ハードウェア/ソフトウェアベンダー
- データダイレクトネットワークス（DDN）
- ヒューレット・パッカード・エンタープライズ / クレイ（元ザイラテックスの従業員を含む[1]）
- ネットアップ
- イオンコンピューティング
- ^ Black, Doug (2017 年 7 月 28 日)。「Cray が Seagate ClusterStor 製品ラインの買収に着手」HPCWire。2017年 12 月 1 日閲覧。