階層型ストレージ管理

階層型ストレージ管理（HSM ）は、階層化ストレージとも呼ばれ、^[1]高価なストレージメディアと安価なストレージメディア間でデータを自動的に移動するデータストレージおよびデータ管理技術です。HSM システムが存在するのは、ソリッドステートドライブアレイなどの高速ストレージデバイスが、ハードディスクドライブ、光ディスク、磁気テープドライブなどの低速デバイスよりも高価（保存バイトあたり）であるためです。すべてのデータを常に高速デバイスで利用できるのが理想的ですが、多くの組織にとってこれは非常に高価です。代わりに、HSM システムは企業のデータの大部分を低速デバイスに保存し、必要に応じてデータを高速ディスクドライブにコピーします。HSM システムはデータの使用方法を監視し、どのデータを低速デバイスに安全に移動できるか、どのデータを高速デバイスに残しておくべきかを推測します。

HSM は、長期アーカイブ用により堅牢なストレージが利用できるが、アクセスが遅い場合にも使用できます。これは、建物の火災に対する保護のためのオフサイトバックアップと同じくらい簡単な場合があります。

HSM は、商業データ処理の始まりにまで遡る、古くからある概念です。しかし、新しい技術が利用可能になるにつれて、大規模データセットの保存と長距離通信の両方で使用される技術は大幅に変化しました。「サイズ」や「アクセス時間」などの測定のスケールは劇的に変化しました。それにもかかわらず、基盤となる概念の多くは、はるかに大規模または高速なスケールではあるものの、何年も経ってから再び人気を取り戻し続けています。^[1]

実装

一般的な HSM シナリオでは、頻繁に使用されるデータは、ソリッドステートディスク (SSD) などのウォームストレージデバイスに保存されます。アクセス頻度の低いデータは、しばらくすると、低速で大容量のコールドストレージ層に移行されます。ユーザーがコールドストレージ層のデータにアクセスすると、自動的にウォームストレージに戻されます。利点は、保存されるデータの総量がウォームストレージデバイスの容量よりはるかに大きくなる可能性があることですが、コールドストレージにはめったに使用されないファイルのみが存在するため、ほとんどのユーザーは速度低下に気付かないのが普通です。

概念的には、HSM はほとんどのコンピュータCPUに見られるキャッシュに似ています。頻繁に使用されるデータの保存には、非常に高速で動作する少量の高価なSRAMメモリが使用されますが、新しいデータをロードする必要がある場合は、最も最近使用されていないデータが、より低速であるがはるかに大容量のメインDRAMメモリに追い出されます。

実際には、HSM は通常、IBM Tivoli Storage ManagerやOracle の SAM-QFSなどの専用ソフトウェアによって実行されます。

階層の上位レベル（磁気ディスクなど）のファイルを下位レベル（光学メディアなど）に移動した後に削除することをファイルグルーミングと呼ぶことがあります。^[2]

歴史

階層ストレージマネージャー (HSM、次に DFHSM、最後にDFSMShsm ) は、データストレージのコストを削減し、低速メディアからのデータ取得を簡素化するために、1978 年 3 月 31 日に IBM によって MVS 用に初めて^実装^されました [^要出典]。ユーザーは、データがどこに保存されているか、またそれをどのように取り出すかを知る必要はありません。コンピューターが自動的にデータを取得します。ユーザーにとっての唯一の違いは、データが返される速度です。HSM は当初、IBM 3850大容量ストレージファシリティ上のディスクボリュームと仮想ボリュームにのみデータセットを移行できましたが、後のリリースでは移行レベル 2 (ML2) の磁気テープボリュームがサポートされました。

その後、IBM は HSM をAIX オペレーティングシステムに移植し、その後Solaris、HP-UX、Linuxなどの他のUnix 系オペレーティングシステムにも移植しました。

CSIRO オーストラリアのコンピューティング研究部門は、1960 年代に DAD (ドラムとディスプレイ) オペレーティングシステムのドキュメント領域に HSM を実装し、ドキュメントのコピーを 7 トラックテープに書き込んで、ドキュメントにアクセスすると自動的に取得できるようにしました。

HSM は、DEC VAX/VMSシステムおよび Alpha/VMS システムにも実装されました。最初の実装日は、VMS システム実装マニュアルまたは VMS 製品説明パンフレットから簡単に確認できます。

最近では、シリアル ATA (SATA) ディスクの開発により、3 段階 HSM の大きな市場が生まれました。つまり、ファイルは高性能のファイバーチャネルストレージエリアネットワークデバイスから、数テラバイト以上のやや低速だがはるかに安価な SATAディスクアレイに移行され、最終的に SATA ディスクからテープへと移行されます。

ユースケース

HSM は、低コストで長期間保存するデータのディープアーカイブストレージによく使用されます。自動化されたテープロボットは、大量のデータを低消費電力で効率的にサイロ化できます。

一部の HSM ソフトウェア製品では、データファイルの一部を高速ディスクキャッシュに置き、残りをテープ上に配置できます。これは、インターネット経由でビデオをストリーミングするアプリケーションで使用されます。ビデオの最初の部分はディスクからすぐに配信され、ロボットがファイルの残りを検索、マウントし、エンドユーザーにストリーミングします。このようなシステムにより、大規模なコンテンツ提供システムのディスクコストが大幅に削減されます。

HSM ソフトウェアは現在、ハードディスクドライブとフラッシュメモリ間の階層化にも使用されています。フラッシュメモリは磁気ディスクよりも 30 倍以上高速ですが、ディスクの方がかなり安価です。

アルゴリズム

HSM の重要な要素は、システム内のファイル転送を制御するデータ移行ポリシーです。より正確には、ポリシーは、ファイルをどの層に保存するかを決定します。これにより、ストレージシステム全体が適切に整理され、要求に対する応答時間が最短になります。このプロセスを実現するアルゴリズムには、最近使用されていないデータ置換 (LRU)、^[3]、サイズ温度置換 (STP)、ヒューリスティックしきい値 (STEP) ^[4]などがあります。近年の研究では、機械学習技術を使用したインテリジェントなポリシーもいくつか登場しています。^[5]

階層化とキャッシュ

階層化ソリューションとキャッシュは表面的には同じに見えますが、根本的な違いは、より高速なストレージの利用方法と、頻繁にアクセスされるデータを検出して高速化するために使用されるアルゴリズムにあります。^[6]

キャッシュは、頻繁にアクセスされるデータブロックのコピーを作成し、そのコピーを高速なストレージデバイスに保存して、低速で大容量のバックエンドストレージにある元のデータソースの代わりにこのコピーを使用することで機能します。ストレージの読み取りが発生するたびに、キャッシュソフトウェアは、このデータのコピーがキャッシュにすでに存在するかどうかを確認し、存在する場合はそのコピーを使用します。存在しない場合は、データは低速で大容量のストレージから読み取られます。^[6]

一方、階層化は、まったく異なる方法で動作します。頻繁にアクセスされるデータのコピーを高速ストレージに作成するのではなく、階層化では、たとえば、コールドデータを低コストで大容量のニアラインストレージデバイスに再配置することによって、データを階層間で移動します。 ^[7]^[6]基本的な考え方は、ミッションクリティカルで頻繁にアクセスされる、つまり「ホット」なデータは、高い I/O パフォーマンスを活用するために SSD などの高価なメディアに保存され、ニアラインデータまたはめったにアクセスされない、つまり「コールド」なデータは、安価な HDD やテープなどのニアラインストレージメディアに保存されるというものです。^[8]したがって、「データの温度」またはアクティビティレベルによって、プライマリストレージ階層が決まります。^[9]

実装

アルクシオ
ADIC の AMASS/DATAMGR (SGI IRIX、Sun、HP-UX で使用可能)
IBM 3850 IBM 3850 大容量記憶装置
IBM DFSMS for z/VM ^[10]
IBM DFSMShsm、元々は階層型ストレージマネージャ（HSM）、5740-XRB、後にデータ機能階層型ストレージマネージャバージョン2（DFHSM）、5665-329 ^[11]
IBM Tivoli Storage Manager for Space Management (HSM はUNIX ( IBM AIX、HP UX、Solaris ) およびLinuxで使用可能)
IBM Tivoli Storage Manager HSM for Windows 旧称 OpenStore for File Servers (OS4FS) (HSM は Microsoft Windows Serverで使用可能)
HPSSによるHPSSのコラボレーション
Infinite Disk、初期の PC システム (廃止)
EMC DiskXtender (旧称 Legato DiskXtender、旧称 OTG DiskXtender)
Windows、NetApp、OES Linux 向け Moonwalk
Oracle SAM-QFS（Opensolarisの下でオープンソース、^[12]その後プロプライエタリ化）
Oracle HSM (独自仕様、SAM-QFS から名称変更)
Linux 用 Versity Storage Manager、オープンコアモデルライセンス
Dell Compellentデータプログレッション
Zarafa Archiver (ZCP のコンポーネント、'HSM' ソリューションとして販売されているアプリケーション固有のアーカイブソリューション)
SLESおよびRHEL向けHPEデータ管理フレームワーク (DMF、旧SGIデータ移行機能)
Quantumの StorNext
macOS用Apple Fusion Drive
Microsoft Storage Spacesは、 Windows Server 2012 R2に同梱のバージョンから提供されています。以前のMicrosoft製品としては、Windows 2000およびWindows 2003に同梱されていたリモートストレージがあります。^[13]^[14]

参照

参考文献

^ ab Larry Freeman. 「古いものが新しくなる - ストレージ階層化」(PDF)。
^ Patrick M. Dillon、David C. Leonard (1998)。マルチメディアと Web の A から Z。ABC-CLIO。p. 116。ISBN 978-1-57356-132-7。
^ O'Neil, Elizabeth J.; O'Neil, Patrick E.; Weikum, Gerhard (1993-06-01). 「データベースディスクバッファリングのための LRU-K ページ置換アルゴリズム」. ACM SIGMOD レコード. 22 (2): 297–306. doi :10.1145/170036.170081. ISSN 0163-5808. S2CID 207177617.
^ Verma, A.; Pease, D.; Sharma, U.; Kaplan, M.; Rubas, J.; Jain, R.; Devarakonda, M.; Beigi, M. (2005). 「大規模ファイルシステムにおけるライフサイクル管理のアーキテクチャ」。第22 回 IEEE/第 13 回 NASA ゴダードマスストレージシステムおよびテクノロジカンファレンス (MSST'05) 。米国カリフォルニア州モントレー: IEEE。pp. 160–168。doi :10.1109/MSST.2005.4。ISBN 978-0-7695-2318-7. S2CID 7082285。
^ Zhang, Tianru; Hellander, Andreas; Toor, Salman (2022). 「強化学習によって強化された効率的な階層型ストレージ管理」。IEEE Transactions on Knowledge and Data Engineering : 1–1. doi :10.1109/TKDE.2022.3176753. ISSN 1041-4347.
^ abc Brand、Aron (2022 年 6 月 20 日)。「ホットストレージとコールドストレージ: データに適した層の選択」。Medium.com。2022年6月 20 日閲覧。
^ Posey, Brien (2016 年 11 月 8 日)。「SSD キャッシュと階層化テクノロジの違い」。TechTarget。2022年6月 21 日閲覧。
^ ウィナード＆ビオンド 2016、5ページ。
^ ウィナード＆ビオンド 2016、6ページ。
^ IBM Corporation. 「DFSMS/VM プランニングガイドの概要」. ibm.com . 2021 年9 月 16 日閲覧。
^ z/OS 2.5 DFSMShsm ストレージ管理(PDF) . IBM. 2022. SC23-6871-50 . 2022年2月24日閲覧。
^ [OpenSolaris.org の SAM/QFS [1]
^ Rand Morimoto、Michael Noel、Omar Droubi、Ross Mistry、Chris Amaris (2008)。Windows Server 2008 Unleashed。Sams Publishing。p. 938。ISBN 978-0-13-271563-8。
^ 「ITPro Today: IT ニュース、ハウツー、トレンド、ケーススタディ、キャリアのヒントなど」。

Winnard, Keith; Biondo, Josh (2016 年 6月6 日)。DFSMS: ストレージのティアからストレージ階層へ。IBM Press。ISBN 9780738455372。

[Freeman-1] Larry Freeman. 「古いものが新しくなる - ストレージ階層化」(PDF)。

[DillonLeonard1998-2] Patrick M. Dillon、David C. Leonard (1998)。マルチメディアと Web の A から Z。ABC-CLIO。p. 116。ISBN 978-1-57356-132-7。

[3] O'Neil, Elizabeth J.; O'Neil, Patrick E.; Weikum, Gerhard (1993-06-01). 「データベースディスクバッファリングのための LRU-K ページ置換アルゴリズム」. ACM SIGMOD レコード. 22 (2): 297–306. doi :10.1145/170036.170081. ISSN 0163-5808. S2CID 207177617.

[4] Verma, A.; Pease, D.; Sharma, U.; Kaplan, M.; Rubas, J.; Jain, R.; Devarakonda, M.; Beigi, M. (2005). 「大規模ファイルシステムにおけるライフサイクル管理のアーキテクチャ」。第22 回 IEEE/第 13 回 NASA ゴダードマスストレージシステムおよびテクノロジカンファレンス (MSST'05) 。米国カリフォルニア州モントレー: IEEE。pp. 160–168。doi :10.1109/MSST.2005.4。ISBN 978-0-7695-2318-7. S2CID 7082285。

[5] Zhang, Tianru; Hellander, Andreas; Toor, Salman (2022). 「強化学習によって強化された効率的な階層型ストレージ管理」。IEEE Transactions on Knowledge and Data Engineering : 1–1. doi :10.1109/TKDE.2022.3176753. ISSN 1041-4347.

[brand1-6] Brand、Aron (2022 年 6 月 20 日)。「ホットストレージとコールドストレージ: データに適した層の選択」。Medium.com。2022年6月 20 日閲覧。

[posey1-7] Posey, Brien (2016 年 11 月 8 日)。「SSD キャッシュと階層化テクノロジの違い」。TechTarget。2022年6月 21 日閲覧。

[FOOTNOTEWinnardBiondo20165-8] ウィナード＆ビオンド 2016、5ページ。

[FOOTNOTEWinnardBiondo20166-9] ウィナード＆ビオンド 2016、6ページ。

[10] IBM Corporation. 「DFSMS/VM プランニングガイドの概要」. ibm.com . 2021 年9 月 16 日閲覧。

[11] z/OS 2.5 DFSMShsm ストレージ管理(PDF) . IBM. 2022. SC23-6871-50 . 2022年2月24日閲覧。

[12] [OpenSolaris.org の SAM/QFS [1]

[MorimotoNoel2008-13] Rand Morimoto、Michael Noel、Omar Droubi、Ross Mistry、Chris Amaris (2008)。Windows Server 2008 Unleashed。Sams Publishing。p. 938。ISBN 978-0-13-271563-8。

[14] 「ITPro Today: IT ニュース、ハウツー、トレンド、ケーススタディ、キャリアのヒントなど」。