Venti（ソフトウェア）

Venti は、データ ブロックを永続的に保存するネットワーク ストレージ システムです。データの160 ビットSHA-1ハッシュ (Venti ではスコアと呼ばれます) は、データのアドレスとして機能します。これにより、同じアドレスを持つ他のデータ ブロックが見つからないため、ライトワンスポリシーが適用されます。同じデータの複数の書き込みのアドレスは同一であるため、重複したデータが簡単に識別され、データ ブロックが 1 回だけ保存される可能性が高くなります。データ ブロックは削除できないため、永続的またはバックアップ ストレージに最適です。Venti は通常、Fossilとともに使用され、ファイル システムに永続的なスナップショットを提供します。

Venti は、ベル研究所の Sean Quinlan と Sean Dorward によって設計および実装されました。2002年にPlan 9ディストリビューションで登場しました。開発はRuss Coxによって継続され、サーバーの大部分を再実装し、Venti に格納するデータ構造 (ファイル、ディレクトリ、メタデータ) を作成するためのライブラリを作成し、最適化を実装しました。Venti は、User Space の Plan 9の一部として、Plan 9 ディストリビューションと多くの Unix 系オペレーティングシステム^{[1]の両方で使用できます。Venti は、アクセス用の付属モジュールとともに}Infernoの一部として含まれています。独自の Venti サーバーを構築するためのGoプログラム セットがあります。さまざまな種類のバックエンド ストレージを使用した例が含まれています。

Ventiはユーザー空間 デーモンです。^{[2]クライアントは}TCP ^[2]経由でVentiに接続し、単純なRPCプロトコルを使用して通信します。プロトコルの最も重要なメッセージを以下に示します。アドレスを削除したり、特定のアドレスのデータを変更したりするメッセージはないことに注意してください。

• read(score, type)は、スコアとタイプで識別されるデータを返します^[2]
• write(data, type)は、 SHA-1ハッシュデータとtypeを組み合わせて計算されたアドレスにデータを格納します。^[2]

Venti によって保存されるデータ ブロックの長さは 512 バイトより大きく、56 キロバイトより小さくなければなりません。したがって、Venti ユーザー/クライアントがより大きなデータ ブロックを保存したい場合は、データ構造 (Venti に保存可能) を作成する必要があります。たとえば、Fossil はハッシュ ツリーを使用して大きなファイルを保存します。Venti 自体はデータ ブロックの内容には関係しませんが、データ ブロックの タイプを保存します。

Venti の設計には次のような効果があります。

• 書き込みは永続的であるため、ファイル システムは追加専用です (これにより、データを破壊するバグの可能性が低くなり、実装がシンプルになります)。ファイル システムの断片化は発生しません。
• クライアントはサーバーの正確性を確認できます。返されたデータのスコアは、要求されたアドレスと同じである必要があります。SHA-1 は暗号的に安全なハッシュであるため、データを偽造することは計算上不可能です。
• データは上書きできません。アドレスがすでに存在する場合、データもすでに存在します。
• ユーザー認証の必要性はほとんどありません。データは削除できず、スコアがわかっている場合にのみ読み取ることができます。唯一の潜在的な問題は、ユーザーがディスクをいっぱいにすることです。
• ディスク構造を複雑にすることなくデータを圧縮できます。

データ ブロックはハード ドライブに保存されます。使用可能なストレージを構成するディスク (通常はRAID )は、データ ログと呼ばれます。このデータ ログは、アリーナと呼ばれる小さな部分に分割され、 CD / DVDや磁気テープなどの他のメディアに書き込めるようにサイズが決められています。別のハード ドライブ セットはインデックスに使用され、スコアをデータ ログ内のアドレスにマップします。インデックスに使用されるデータ構造は、固定サイズのバケットを持つハッシュ テーブルです。Venti では、バケットがいっぱいにならないようにスコアがランダムに分散されることに依存しています。各検索には 1 つのディスクシーク時間が消費されるため、インデックスは通常、アクセス時間が短い複数のハード ドライブで構成されます。

Venti サーバーは、クライアントによってさまざまな方法で使用できます。 Plan 9 オペレーティング システムは、ファイルシステムの毎日のアーカイブ スナップショットに Venti を使用します。これらのメイン ファイルシステムのコピーは、日付順に整理された完全なコピーのファイルツリーとしてマウントできます。ユーティリティ プログラム 'vac' および 'unvac' を使用すると、Venti サーバーから個別のファイルまたはディレクトリとその内容の形式でデータを保存および取得できます。 'Vacfs' を使用すると、リモートに保存されたすべてのデータを完全に取得することなく、vac スコアに関連付けられたデータを参照できます。データとインデックス スコアは、'rdarena' および 'wrarena' を使用して Venti サーバー間で複製できます。Bell Labs の Plan 9、User Space の Plan 9、Inferno、および Venti プロトコルを実装するその他のクライアントはすべて、データの保存と取得に互換性を持って使用できます。^[3]

情報理論の基本原理は、鳩の巣原理です。これは、集合 A に集合 B よりも多くの値が含まれている場合、A を B にマッピングする任意の関数について、集合 A の複数のメンバーに関連付けられた B のメンバーが存在するというものです。Venti の場合、可能な SHA-1 ハッシュの集合は、ファイルシステムに格納できるすべてのブロックの集合よりも明らかに小さいため、ハッシュ衝突が発生する可能性があります。

160 ビット ハッシュでは、エクサバイト単位のデータであっても偶発的なハッシュ衝突のリスクは非常に小さいです。しかし、歴史的に見ると、多くのハッシュ関数は、暗号技術と計算技術の両方の進歩により、悪意のあるハッシュ衝突に対してますます脆弱になっています。^[4] Venti はハッシュ衝突の問題に対処していません。現時点では、^{[いつ? ]} SHA-1 で衝突を見つけることはまだ計算上不可能ですが、将来のある時点で Venti が別のハッシュ関数に切り替える必要があるかもしれません。2017 年 2 月 23 日、Google はSHAttered攻撃を発表しました。この攻撃では、約 2 ^63.1回の SHA-1 評価で同じ SHA-1 ハッシュを持つ 2 つの異なる PDF ファイルを生成しました。

• Fossil - 永続的なストレージに Venti を使用するスナップショット ファイル システム
• ユーザースペースからのプラン9

• Venti: アーカイブ保存への新しいアプローチ、Venti について説明する論文。
• 新しい Venti マニュアル ページ (概要)、セクション 7 Venti マニュアル ページには、一般的な説明と保存形式が含まれています。
• 新しい Venti マニュアル ページ (サーバー)、セクション 8 Venti サーバー マニュアル ページ。
• 新しい Venti マニュアル ページ (ツール)、セクション 1 Venti ユーティリティ マニュアル ページ。
• クライアントとサーバーを実装するための Go コード。
• Inferno 用の Limbo の Venti モジュールは、Google Summer of Code のおかげで実現しました。