レプリケーション（コンピューティング）

コンピューティングにおけるレプリケーションでは、ソフトウェアやハードウェアコンポーネントなどの冗長リソース間の一貫性を確保し、信頼性、フォールトトレランス、またはアクセシビリティを向上させるために情報を共有します。

用語

コンピューティングにおけるレプリケーションとは、次のものを指します。

データ複製、つまり同じデータが複数のストレージデバイスに保存される
計算の複製。同じ計算タスクが何度も実行されます。計算タスクには次のようなものがあります。
- 空間内で複製され、タスクは別々のデバイスで実行される
- 時間的に複製され、タスクは単一のデバイス上で繰り返し実行される

空間的または時間的な複製は、多くの場合、スケジューリングアルゴリズムに関連付けられています。^[1]

複製されたエンティティへのアクセスは、通常、単一の複製されていないエンティティへのアクセスと一律です。複製自体は外部ユーザーに対して透過的である必要があります。障害シナリオでは、レプリカのフェイルオーバーは、サービス品質に関して可能な限り隠蔽される必要があります。^[2]

コンピューター科学者はさらに、レプリケーションを次のように説明しています。

アクティブレプリケーションは、すべてのレプリカで同じリクエストを処理することによって実行されます。
パッシブレプリケーションでは、すべてのリクエストを単一のレプリカで処理し、その結果を他のレプリカに転送します。

リーダー選出によって 1 つのリーダーレプリカが指定され、すべての要求を処理する場合、システムはプライマリバックアップまたはプライマリレプリカスキームを使用しています。これは、高可用性クラスターで主流です。これに対して、任意のレプリカが要求を処理して新しい状態を配布できる場合、システムはマルチプライマリまたはマルチマスタースキームを使用しています。後者の場合、分散ロックマネージャーなどの何らかの形式の分散同時実行制御を使用する必要があります。

負荷分散は、さまざまな計算の負荷をマシン間で分散し、障害が発生した場合に単一の計算をドロップできるようにするため、タスクのレプリケーションとは異なります。ただし、負荷分散では、マシン間でデータを分散するために、内部的にデータレプリケーション (特にマルチマスターレプリケーション) を使用する場合があります。

バックアップは、保存されたデータのコピーが長期間変更されないという点でレプリケーションとは異なります。^{[3]一方、レプリカは頻繁に更新されるため、履歴状態がすぐに失われます。レプリケーションは、}分散システム全体の領域で最も古く、最も重要なトピックの1つです。

データレプリケーションと計算レプリケーションはどちらも、受信イベントを処理するプロセスを必要とします。データレプリケーションのプロセスは受動的であり、保存されたデータの維持、読み取り要求への応答、更新の適用のみを実行します。計算レプリケーションは通常、フォールトトレランスを提供し、1 つのコンポーネントに障害が発生した場合に操作を引き継ぐために実行されます。どちらの場合も、基本的なニーズは、レプリカが同じイベントを同等の順序で確認し、一貫性のある状態を維持し、どのレプリカもクエリに応答できるようにすることです。

分散システムにおけるレプリケーションモデル

データ複製には、それぞれ独自の特性とパフォーマンスを持つ 3 つの広く引用されているモデルがあります。

トランザクションレプリケーション:データベースなどのトランザクションデータを複製するために使用されます。トランザクションシステムが保証しようとする全体的なACID (原子性、一貫性、独立性、永続性) プロパティに従って、複製されたデータに対するトランザクションの有効な結果を定義する、1 コピーの直列化可能性モデルが採用されています。
ステートマシンレプリケーション: 複製されたプロセスは決定論的な有限オートマトンであり、すべてのイベントのアトミックブロードキャストが可能であるものと想定します。これは分散コンセンサスに基づいており、トランザクションレプリケーションモデルと多くの共通点があります。これはアクティブレプリケーションの同義語として誤って使用されることがあります。ステートマシンレプリケーションは通常、 Paxosアルゴリズムの複数の後続ラウンドで構成される複製ログによって実装されます。これはGoogleのChubbyシステムによって普及し、オープンソースのKeyspaceデータストアの背後にある中核です。^[4]^[5]
仮想同期: メモリ内データの複製やアクションの調整に協力するプロセスのグループが含まれます。このモデルでは、プロセスグループと呼ばれる分散エンティティを定義します。プロセスはグループに参加でき、グループメンバーによって複製されたデータの現在の状態を含むチェックポイントが提供されます。プロセスはグループにマルチキャストを送信でき、受信したマルチキャストを同じ順序で確認できます。メンバーシップの変更は、グループ内のプロセスに新しい「メンバーシップビュー」を提供する特別なマルチキャストとして処理されます。^[6]

データベースのレプリケーション

データベースレプリケーションは、多くのデータベース管理システム(DBMS)で使用できます。通常、オリジナルとコピーの間にプライマリ/レプリカ関係が存在します。プライマリは更新をログに記録し、それがレプリカに波及します。各レプリカは更新を正常に受信したことを示すメッセージを出力し、後続の更新を送信できるようにします。

マルチマスターレプリケーションでは、更新を任意のデータベースノードに送信し、それを他のサーバーに波及させることができます。これは多くの場合望ましいことですが、コストと複雑さが大幅に増加するため、状況によっては非現実的になることがあります。マルチマスターレプリケーションに存在する最も一般的な課題は、トランザクションの競合の防止または解決です。ほとんどの同期 (または先行) レプリケーションソリューションは競合の防止を実行しますが、非同期 (または遅延) ソリューションは競合の解決を実行する必要があります。たとえば、同じレコードが 2 つのノードで同時に変更された場合、先行レプリケーションシステムでは、コミットを確認する前に競合を検出し、トランザクションの 1 つを中止します。遅延レプリケーションシステムでは、両方のトランザクションがコミットし、再同期中に競合の解決を実行します。^[7] このような競合の解決は、トランザクションのタイムスタンプ、元のノードの階層、またはすべてのノードで一貫して決定するはるかに複雑なロジックに基づく場合があります。

データベースのレプリケーションは、水平方向と垂直方向にスケールアップすると複雑になります。水平方向のスケールアップではデータのレプリカが多くなり、垂直方向のスケールアップではデータのレプリカが物理的に離れた場所に配置されます。水平方向のスケールアップによって生じる問題は、マルチレイヤー、マルチビューのアクセスプロトコルによって軽減できます。垂直方向のスケールアップの初期の問題は、インターネットの信頼性とパフォーマンスを改善することで、主に解決されました。^[8]^[9]

データがデータベースサーバー間で複製され、データベースシステム全体で情報の一貫性が保たれ、ユーザーが DBMS 内のどのサーバーを使用しているかを知ることができない場合、システムはレプリケーションの透過性を示していると言われます。

ただし、レプリケーションの透過性は必ずしも実現できるわけではありません。データベースにデータが複製されると、CAP 定理またはPACELC 定理によって制約されます。NoSQL の動きでは、データの一貫性は通常、可用性 (A)、パーティション許容度 (P) などの他のより望ましい特性と引き換えに犠牲にされます。サービスプロバイダーとユーザー間のサービスレベル契約 (SLA) として機能するさまざまなデータ一貫性モデルも開発されています。

ディスクストレージのレプリケーション

アクティブ (リアルタイム) ストレージレプリケーションは、通常、ブロックデバイスの更新を複数の物理ハードディスクに配布することによって実装されます。この方法では、ファイルシステムコードはブロックデバイスドライバーレイヤーより上のレベルで動作するため、オペレーティングシステムでサポートされているファイルシステムを変更せずに複製できます。これは、ハードウェア (ディスクアレイコントローラー) またはソフトウェア (デバイスドライバー) のいずれかで実装されます。

最も基本的な方法はディスクミラーリングで、これはローカルに接続されたディスクで一般的です。ストレージ業界では定義が狭められているため、ミラーリングはローカル (短距離) 操作です。レプリケーションはコンピュータネットワーク全体に拡張可能なので、ディスクを物理的に離れた場所に配置でき、プライマリ/レプリカデータベースレプリケーションモデルが通常適用されます。レプリケーションの目的は、1 つの場所で発生する可能性のある障害や災害による損害を防ぐこと、またはそのようなイベントが発生した場合にデータを回復する能力を向上させることです。レプリケーションでは、レイテンシが重要な要素です。レイテンシによって、サイト間の距離がどれだけ離れているか、または使用できるレプリケーションの種類が決まるからです。

このようなクロスサイトレプリケーションの主な特徴は、非同期レプリケーションまたは同期レプリケーションのいずれかを介して書き込み操作がどのように処理されるかです。同期レプリケーションでは、書き込み操作で宛先サーバーの応答を待つ必要がありますが、非同期レプリケーションでは待つ必要はありません。

同期レプリケーションは、アトミック書き込み操作によって「データ損失ゼロ」を保証します。書き込み操作は、ローカルストレージとリモートストレージの両方で確認されるまで完了とは見なされません。ほとんどのアプリケーションは、書き込みトランザクションが完了するまで待機してから次の作業に進むため、全体的なパフォーマンスが大幅に低下します。最小のレイテンシは光の速度によって決まるため、本質的にパフォーマンスは距離に比例して低下します。10 km の距離の場合、最速の往復には 67 μs かかりますが、ローカルにキャッシュされた書き込み全体は約 10～20 μs で完了します。

非同期レプリケーションでは、ローカルストレージが書き込み操作を確認するとすぐに書き込み操作が完了したとみなされます。リモートストレージはわずかな遅延で更新されます。パフォーマンスは大幅に向上しますが、ローカルストレージに障害が発生した場合、リモートストレージに最新のデータのコピーがあることは保証されません (最新のデータが失われる可能性があります)。

半同期レプリケーションでは、通常、ローカルストレージによって確認され、リモートサーバーによって受信またはログに記録された時点で書き込み操作が完了したとみなされます。実際のリモート書き込みは非同期で実行されるため、パフォーマンスは向上しますが、リモートストレージはローカルストレージより遅れるため、ローカルストレージに障害が発生した場合の耐久性 (つまり、シームレスな透過性) は保証されません。^{[引用が必要]}

ポイントインタイムレプリケーションでは、プライマリストレージの代わりにレプリケートされる定期的なスナップショットが生成されます。これは、ボリューム全体ではなく、変更されたデータのみをレプリケートすることを目的としています。この方法ではレプリケートされる情報が少ないため、光ファイバー回線ではなく、iSCSI や T1 などの安価な帯域幅リンクを介してレプリケーションを実行できます。

実装

多くの分散ファイルシステムでは、フォールトトレランスを確保し、単一障害点を回避するためにレプリケーションを使用します。

多くの商用同期レプリケーションシステムは、リモートレプリカに障害が発生したり接続が失われたりしてもフリーズせず (データ損失ゼロを保証する動作)、ローカルでの動作を続行するため、望ましいゼロ復旧ポイント目標が達成されません。

広域ネットワーク (WAN) 最適化の技術を適用して、遅延によって課せられる制限に対処できます。

ファイルベースのレプリケーション

ファイルベースのレプリケーションでは、ストレージブロックレベルではなく、論理レベル (つまり、個々のデータファイル) でデータのレプリケーションを実行します。これを実行する方法は多数ありますが、ほとんどがソフトウェアに依存しています。

カーネルドライバーでキャプチャする

カーネルドライバー(具体的にはフィルタードライバー) を使用すると、ファイルシステム関数の呼び出しを傍受し、発生したすべてのアクティビティをキャプチャできます。これは、リアルタイムアクティブウイルスチェッカーが採用しているのと同じ種類のテクノロジを使用します。このレベルでは、ファイルのオープン、書き込み、削除などの論理ファイル操作がキャプチャされます。カーネルドライバーは、これらのコマンドを別のプロセス (通常はネットワーク経由で別のマシン) に送信し、ソースマシンの操作を模倣します。ブロックレベルのストレージレプリケーションと同様に、ファイルレベルのレプリケーションでは、同期モードと非同期モードの両方を使用できます。同期モードでは、ソースマシンでの書き込み操作は保留され、宛先マシンがレプリケーションの成功を確認するまで実行できません。同期モードは、ファイルレプリケーション製品ではあまり一般的ではありませんが、いくつかのソリューションが存在します。

ファイルレベルのレプリケーションソリューションでは、ファイルの場所と種類に基づいて、レプリケーションについて十分な情報に基づいた決定を下すことができます。たとえば、一時ファイルや、ビジネス上の価値がないファイルシステムの一部を除外できます。転送されるデータはより細かくすることもできます。アプリケーションが 100 バイトを書き込む場合、完全なディスクブロック (通常は 4,096 バイト) ではなく、100 バイトのみが転送されます。これにより、ソースマシンから送信されるデータの量と、宛先マシンのストレージ負荷が大幅に軽減されます。

このソフトウェアのみのソリューションの欠点としては、オペレーティングシステムレベルでの実装とメンテナンスの必要性、およびマシンの処理能力への負担の増加が挙げられます。

ファイルシステムジャーナルレプリケーション

データベースのトランザクションログと同様に、多くのファイルシステムにはアクティビティをジャーナルする機能があります。ジャーナルは、定期的に、またはストリーミングによってリアルタイムで別のマシンに送信できます。レプリカ側では、ジャーナルを使用してファイルシステムの変更を再生できます。

注目すべき実装の 1 つは、2005 年にリリースされたMicrosoftのSystem Center Data Protection Manager (DPM) です。これは定期的な更新を実行しますが、リアルタイムのレプリケーションは提供しません。^{[引用が必要]}

バッチレプリケーション

これは、ソースファイルシステムと宛先ファイルシステムを比較し、宛先がソースと一致することを確認するプロセスです。主な利点は、このようなソリューションは一般に無料または安価であることです。欠点は、同期のプロセスがシステムに非常に負荷をかけるため、このプロセスが一般に頻繁に実行されないことです。

注目すべき実装の 1 つはrsyncです。

ファイル内の複製

ページングオペレーティングシステムでは、回転待ち時間を削減するために、ページングファイル内のページがトラック内で複製されることがあります。

IBMのVSAMでは、回転待ち時間を削減するために、インデックスデータがトラック内で複製されることがあります。

分散共有メモリレプリケーション

レプリケーションを使用するもう 1 つの例は、分散共有メモリシステムです。このシステムでは、システムの多くのノードが同じメモリページを共有します。これは通常、各ノードがこのページの個別のコピー (レプリカ) を持つことを意味します。

プライマリバックアップとマルチプライマリレプリケーション

レプリケーションに対する従来のアプローチの多くは、1 つのデバイスまたはプロセスが 1 つ以上の他のプロセスまたはデバイスを一方的に制御するプライマリバックアップモデルに基づいています。たとえば、プライマリが何らかの計算を実行し、更新のログをバックアップ (スタンバイ) プロセスにストリーミングすると、プライマリに障害が発生した場合にバックアップが引き継ぐことができます。このアプローチは、障害時にログの一部が失われると、バックアップがプライマリと同じ状態にならない可能性があり、トランザクションが失われる可能性があるというリスクがあるにもかかわらず、データベースのレプリケーションでは一般的です。

プライマリバックアップスキームの弱点は、実際に操作を実行するのは 1 つだけであることです。フォールトトレランスは得られますが、同一のバックアップシステムではコストが 2 倍になります。このため、 1985年頃から、分散システムの研究コミュニティは、データを複製する代替方法を模索し始めました。この研究の成果として、レプリカのグループが連携し、各プロセスがバックアップとして機能しながら、作業負荷の一部も処理できるスキームが生まれました。

コンピュータ科学者のジム・グレイは、トランザクションモデルの下でマルチプライマリレプリケーションスキームを分析し、そのアプローチに懐疑的な「レプリケーションの危険性とその解決策」という広く引用されている論文を発表しました。^[10]^{[11]彼は、データが何らかの自然な方法で分割され、データベースが}n個の互いに素なサブデータベースとして扱われない限り、同時実行制御の競合によってパフォーマンスが著しく低下し、レプリカのグループはおそらくnの関数として遅くなると主張しました。グレイは、最も一般的なアプローチではO(n³)に比例する低下が起こる可能性が高いと示唆しました。彼の解決策はデータを分割することですが、これはデータが実際に自然なパーティションキーを持っている場合にのみ実行可能です。

1985年から1987年にかけて、仮想同期モデルが提案され、広く採用される標準として登場しました（Isis Toolkit、Horus、Transis、Ensemble、Totem、Spread 、C-Ensemble、Phoenix、Quicksilverシステムで使用され、 CORBAフォールトトレラントコンピューティング標準の基礎となっています）。仮想同期は、プロセスのグループが協力してリクエスト処理のいくつかの側面を並列化するマルチプライマリアプローチを可能にします。このスキームは、一部の形式のメモリ内データにのみ使用できますが、グループのサイズに応じて線形に高速化できます。

最近の多くの製品が同様のスキームをサポートしています。たとえば、Spread Toolkit はこの同じ仮想同期モデルをサポートしており、マルチプライマリレプリケーションスキームの実装に使用できます。この方法で C-Ensemble または Quicksilver を使用することもできます。WANdiscoは、ネットワーク上のすべてのノードが正確なコピーまたはレプリカであるアクティブレプリケーションを許可し、したがってネットワーク上のすべてのノードが同時にアクティブになります。このスキームは、ワイドエリアネットワーク(WAN) での使用に最適化されています。

現代のマルチプライマリレプリケーションプロトコルは、共通の障害のない操作を最適化します。チェーンレプリケーション^[12]は、そのようなプロトコルの一般的なファミリーです。チェーンレプリケーションの最先端のプロトコルバリアント^[13]は、書き込み用にレプリカをチェーンに配置することで、高いスループットと強力な一貫性を提供します。このアプローチでは、すべてのレプリカノードでローカル読み取りが可能になりますが、複数のノードを順番に通過する必要がある書き込みのレイテンシが高くなります。

最近のマルチプライマリプロトコルであるHermes ^[14]は、キャッシュコヒーレントにヒントを得た無効化と論理タイムスタンプを組み合わせて、すべてのレプリカからのローカル読み取りと高性能書き込みで強力な一貫性を実現します。障害のない操作中、ブロードキャストベースの書き込みは競合せず、レプリカノードへのマルチキャストラウンドトリップを1回行うだけでコミットされます。この設計により、読み取りと書き込みの両方で高いスループットと低いレイテンシが実現します。

参照

参考文献

^ Mansouri、Najme、Gholam、Hosein Dastghaibyfard、Ehsan Mansouri。「データグリッドでのデータ可用性を向上させるためのデータレプリケーションとスケジューリングアルゴリズムの組み合わせ」、Journal of Network and Computer Applications (2013)
^ V. Andronikou、K. Mamouras、K. Tserpes、D. Kyriazis、T. Varvarigou、「グリッド環境における動的 QoS 対応データレプリケーション」、Elsevier Future Generation Computer Systems - The International Journal of Grid Computing and eScience、2012 年
^ 「バックアップとレプリケーション: 違いは何ですか?」Zerto 2012 年 2 月 6 日。
^ Marton Trencseni、Attila Gazso (2009)。「Keyspace: 一貫性のある複製と可用性の高いキー値ストア」。2010年 4 月 18 日閲覧。
^ Mike Burrows (2006). 「The Chubby Lock Service for Loosely-Coupled Distributed Systems」。2010 年 2 月 9 日時点のオリジナルよりアーカイブ。2010年 4 月 18 日閲覧。
^ Birman, K.; Joseph, T. (1987-11-01). 「分散システムにおける仮想同期の活用」第 11 回 ACM オペレーティングシステム原理シンポジウム議事録 - SOSP '87。 SOSP '87。ニューヨーク、ニューヨーク州、米国: Association for Computing Machinery。 pp. 123–138。doi :10.1145/41457.37515。ISBN 978-0-89791-242-6. S2CID 7739589。
^ 「レプリケーション - 競合解決」。ITTIA DB SQL™ ユーザーズガイド。ITTIA LLC 2018 年 11 月 24 日時点のオリジナルよりアーカイブ。2016年10 月 21 日閲覧。
^ Dragan Simic、Srecko Ristic、Slobodan Obradovic (2007 年 4 月)。「分散リレーショナルデータベースを使用した WEB アプリケーションの達成パフォーマンスレベルの測定」(PDF)。電子工学とエネルギー学。Facta Universitatis。p. 31–43。2014年1 月 30 日閲覧。
^ Mokadem Riad、Hameurlain Abdelkader (2014 年 12 月)。「データグリッドシステムにおけるパフォーマンス目標を考慮したデータ複製戦略: 調査」(PDF)。グリッドおよびユーティリティコンピューティングの内部ジャーナル。Underscience Publisher。p. 30–46。2014年12 月 18 日に閲覧。
^ 「複製の危険性と解決策」
^ 1999 ACM SIGMOD 国際データ管理会議の議事録: SIGMOD '99、米国ペンシルバニア州フィラデルフィア、1999 年 6 月 1 ～ 3 日、第 28 巻、p. 3。
^ van Renesse, Robbert; Schneider, Fred B. (2004-12-06). 「高スループットと可用性をサポートするためのチェーンレプリケーション」。第 6 回オペレーティングシステム設計と実装に関するシンポジウム会議議事録 - 第 6 巻。OSDI'04。米国: USENIX 協会: 7。
^ Terrace, Jeff; Freedman, Michael J. (2009-06-14). 「CRAQ 上のオブジェクトストレージ: 読み取り中心のワークロード向けの高スループットチェーンレプリケーション」USENIX 年次技術会議。USENIX'09。米国: 11。
^ Katsarakis, Antonios; Gavrielatos, Vasilis; Katebzadeh, MR Siavash; Joshi, Arpit; Dragojevic, Aleksandar; Grot, Boris; Nagarajan, Vijay (2020-03-13). 「Hermes: 高速でフォールトトレラントな線形化可能なレプリケーションプロトコル」。プログラミング言語およびオペレーティングシステムのアーキテクチャサポートに関する第25回国際会議の議事録。ASPLOS '20。ニューヨーク、ニューヨーク州、米国：Association for Computing Machinery。pp. 201–217。doi :10.1145/3373376.3378496。hdl :20.500.11820/c8bd74e1-5612-4b81-87fe-175c1823d693. ISBN 978-1-4503-7102-5. S2CID 210921224。

[1] Mansouri、Najme、Gholam、Hosein Dastghaibyfard、Ehsan Mansouri。「データグリッドでのデータ可用性を向上させるためのデータレプリケーションとスケジューリングアルゴリズムの組み合わせ」、Journal of Network and Computer Applications (2013)

[2] V. Andronikou、K. Mamouras、K. Tserpes、D. Kyriazis、T. Varvarigou、「グリッド環境における動的 QoS 対応データレプリケーション」、Elsevier Future Generation Computer Systems - The International Journal of Grid Computing and eScience、2012 年

[3] 「バックアップとレプリケーション: 違いは何ですか?」Zerto 2012 年 2 月 6 日。

[keyspace-4] Marton Trencseni、Attila Gazso (2009)。「Keyspace: 一貫性のある複製と可用性の高いキー値ストア」。2010年 4 月 18 日閲覧。

[chubby-5] Mike Burrows (2006). 「The Chubby Lock Service for Loosely-Coupled Distributed Systems」。2010 年 2 月 9 日時点のオリジナルよりアーカイブ。2010年 4 月 18 日閲覧。

[6] Birman, K.; Joseph, T. (1987-11-01). 「分散システムにおける仮想同期の活用」第 11 回 ACM オペレーティングシステム原理シンポジウム議事録 - SOSP '87。 SOSP '87。ニューヨーク、ニューヨーク州、米国: Association for Computing Machinery。 pp. 123–138。doi :10.1145/41457.37515。ISBN 978-0-89791-242-6. S2CID 7739589。

[7] 「レプリケーション - 競合解決」。ITTIA DB SQL™ ユーザーズガイド。ITTIA LLC 2018 年 11 月 24 日時点のオリジナルよりアーカイブ。2016年10 月 21 日閲覧。

[8] Dragan Simic、Srecko Ristic、Slobodan Obradovic (2007 年 4 月)。「分散リレーショナルデータベースを使用した WEB アプリケーションの達成パフォーマンスレベルの測定」(PDF)。電子工学とエネルギー学。Facta Universitatis。p. 31–43。2014年1 月 30 日閲覧。

[9] Mokadem Riad、Hameurlain Abdelkader (2014 年 12 月)。「データグリッドシステムにおけるパフォーマンス目標を考慮したデータ複製戦略: 調査」(PDF)。グリッドおよびユーティリティコンピューティングの内部ジャーナル。Underscience Publisher。p. 30–46。2014年12 月 18 日に閲覧。

[10] 「複製の危険性と解決策」

[11] 1999 ACM SIGMOD 国際データ管理会議の議事録: SIGMOD '99、米国ペンシルバニア州フィラデルフィア、1999 年 6 月 1 ～ 3 日、第 28 巻、p. 3。

[12] van Renesse, Robbert; Schneider, Fred B. (2004-12-06). 「高スループットと可用性をサポートするためのチェーンレプリケーション」。第 6 回オペレーティングシステム設計と実装に関するシンポジウム会議議事録 - 第 6 巻。OSDI'04。米国: USENIX 協会: 7。

[13] Terrace, Jeff; Freedman, Michael J. (2009-06-14). 「CRAQ 上のオブジェクトストレージ: 読み取り中心のワークロード向けの高スループットチェーンレプリケーション」USENIX 年次技術会議。USENIX'09。米国: 11。

[14] Katsarakis, Antonios; Gavrielatos, Vasilis; Katebzadeh, MR Siavash; Joshi, Arpit; Dragojevic, Aleksandar; Grot, Boris; Nagarajan, Vijay (2020-03-13). 「Hermes: 高速でフォールトトレラントな線形化可能なレプリケーションプロトコル」。プログラミング言語およびオペレーティングシステムのアーキテクチャサポートに関する第25回国際会議の議事録。ASPLOS '20。ニューヨーク、ニューヨーク州、米国：Association for Computing Machinery。pp. 201–217。doi :10.1145/3373376.3378496。hdl :20.500.11820/c8bd74e1-5612-4b81-87fe-175c1823d693. ISBN 978-1-4503-7102-5. S2CID 210921224。

用語

分散システムにおけるレプリケーション モデル