分散データストア

分散データストアとは、情報が複数のノードに、多くの場合は複製された形式で保存されるコンピュータネットワークです。^[1]これは通常、ユーザーが多数のノードに情報を保存する分散データベース、またはユーザーが多数のピアネットワークノードに情報を保存するコンピュータネットワークを指すために使用されます。^[2]

分散データベース

分散データベースは通常、多数のノードにまたがるデータへの迅速なアクセスを可能にする非リレーショナルデータベースです。分散データベースの中には、豊富なクエリ機能を備えているものもあれば、キーバリューストアのセマンティクスに限定されているものもあります。限定的な分散データベースの例としては、分散ファイルシステムやピアツーピアネットワーク以上の機能を備えたGoogleのBigtableや^[3]、AmazonのDynamo ^[4] 、Microsoft Azure Storage ^[5]などがあります。

任意のクエリを実行する能力は可用性ほど重要ではないため、分散データストアの設計者は、一貫性を犠牲にして可用性を高めてきました。しかし、 CAP 定理で述べられているように、分割されたネットワークでは一貫性と可用性の両方を保証することは不可能であるため、高速の読み取り/書き込みアクセスによって一貫性が低下します。

ピアネットワークノードデータストア

ピアネットワークデータストアでは、通常、ユーザーは他のユーザーが自分のコンピュータをストレージノードとして使用できるようにすることができます。ネットワークの設計に応じて、他のユーザーが情報にアクセスできる場合とできない場合があります。

ほとんどのピアツーピアネットワークには分散データストアがないため、ユーザーのデータはノードがネットワーク上にある場合にのみ利用できます。ただし、この区別はBitTorrentなどのシステムでは多少あいまいで、発信ノードがオフラインになってもコンテンツは引き続き提供されます。ただし、これは再配布者が要求した個々のファイルにのみ当てはまります。一方、Freenet、Winny、Share、Perfect Darkなどのネットワークでは、どのノードでもネットワーク上のファイルの任意の部分を保存できます。

分散データストアでは、通常、エラー検出および修正技術が使用されます。一部の分散データストア ( NNTP 経由のParchiveなど) では、ファイルの一部が破損しているか利用できない場合に、前方エラー修正技術を使用して元のファイルを回復します。他の分散データストアでは、別のミラーからそのファイルを再度ダウンロードしようとします。

例

分散非リレーショナルデータベース

ピアネットワークノードデータストア

ビットトレント
ブロックチェーン（データベース）
コードプロジェクト
フリーネット
GNUネット
IPFS
エムネット
ナップスター
NNTP ( Usenetニュースに使用される分散データストレージプロトコル)
Unity、ソフトウェアPerfect Dark
共有
シアコイン
デネット
自宅ストレージ
タホ-LAFS
ウィニー
ゼロネット

参照

参考文献

^ Yaniv Pessach、分散ストレージ（分散ストレージ：概念、アルゴリズム、実装編）、OL 25423189M
^ 「分散データストレージ - 概要 | ScienceDirect Topics」。
^ 「Bigtable: Google の分散データストア」。 Paper Trail。 2017 年 7 月 16 日にオリジナルからアーカイブ。2011 年 4 月 5 日に取得。GFS は Google に信頼性が高くスケーラブルな分散ファイルストレージを提供しますが、階層的なディレクトリ構造と意味のあるファイル名以外に、ファイルに含まれるデータを構造化する機能は提供していません。大規模なデータセットには、より表現力の高いソリューションが必要であることはよく知られています。 Google が Web クローラーなど多くのソースから取得するテラバイト単位のデータは、クライアントアプリケーションがファイルレベルよりも細かい粒度ですばやく検索や更新を実行できるように整理する必要があります。 [...] Bigtable について最初に知っておくべきことは、リレーショナルデータベースではないということです。これは驚くことではありません。これらの大規模分散データストアに関する論文のすべてに共通するテーマの 1 つは、RDBMS を優れたパフォーマンスで実行するのが難しいということです。 Bigtable には固定されたスキーマはなく、テーブル間の参照整合性もないため (外部キーもありません)、最適化された結合はほとんどサポートされていません。
^ Sarah Pidcock (2011-01-31). 「Dynamo: Amazon の高可用性キーバリューストア」(PDF) . WATERLOO – CHERITON SCHOOL OF COMPUTER SCIENCE. p. 2/22 . 2011-04-05に取得。Dynamo: 高可用性とスケーラビリティに優れた分散データストア
^ 「Windows Azure Storage」。Microsoft。2011-09-16。2011年11月9日時点のオリジナルよりアーカイブ。2011年11月6日閲覧。

[1] Yaniv Pessach、分散ストレージ（分散ストレージ：概念、アルゴリズム、実装編）、OL 25423189M

[urlDistributed_Data_Storage_-_an_overview_|_ScienceDirect_Topics-2] 「分散データストレージ - 概要 | ScienceDirect Topics」。

[3] 「Bigtable: Google の分散データストア」。 Paper Trail。 2017 年 7 月 16 日にオリジナルからアーカイブ。2011 年 4 月 5 日に取得。GFS は Google に信頼性が高くスケーラブルな分散ファイルストレージを提供しますが、階層的なディレクトリ構造と意味のあるファイル名以外に、ファイルに含まれるデータを構造化する機能は提供していません。大規模なデータセットには、より表現力の高いソリューションが必要であることはよく知られています。 Google が Web クローラーなど多くのソースから取得するテラバイト単位のデータは、クライアントアプリケーションがファイルレベルよりも細かい粒度ですばやく検索や更新を実行できるように整理する必要があります。 [...] Bigtable について最初に知っておくべきことは、リレーショナルデータベースではないということです。これは驚くことではありません。これらの大規模分散データストアに関する論文のすべてに共通するテーマの 1 つは、RDBMS を優れたパフォーマンスで実行するのが難しいということです。 Bigtable には固定されたスキーマはなく、テーブル間の参照整合性もないため (外部キーもありません)、最適化された結合はほとんどサポートされていません。

[4] Sarah Pidcock (2011-01-31). 「Dynamo: Amazon の高可用性キーバリューストア」(PDF) . WATERLOO – CHERITON SCHOOL OF COMPUTER SCIENCE. p. 2/22 . 2011-04-05に取得。Dynamo: 高可用性とスケーラビリティに優れた分散データストア

[5] 「Windows Azure Storage」。Microsoft。2011-09-16。2011年11月9日時点のオリジナルよりアーカイブ。2011年11月6日閲覧。