分散検索エンジン

分散型検索エンジンは、中央サーバーが存在しない検索エンジンです。従来の集中型検索エンジンとは異なり、クロール、データ マイニング、インデックス作成、クエリ処理などの作業は、単一の制御ポイントがない分散型の方法で複数のピアに分散され ます。

2017年に開始されたPresearchは、さまざまなソースからの結果を集約するコミュニティ運営のノードの分散ネットワークを搭載した ERC20ベースの（PRE）検索エンジンです。これは、presearch.com /での検索に使用されています。これは、各ノードがグローバルな分散インデックスで協力する前身となる予定です。 ^[1] Presearchの平均検索数は1日500万件で、登録ユーザーは220万人です。2021年9月1日、PresearchはEUのAndroidの検索エンジンリストにデフォルトのオプションとして追加されました。^[2] 2022年5月27日、Presearchは正式にテストネットからメインネットに移行しました。つまり、サービス全体の検索トラフィックはすべて、ボランティアが運営するノードの分散型ネットワークであるPresearchで実行されるようになりました。^[3]

2003年12月15日、マイケル・クリステンは、最終的にYaCyと名付けられたP2Pベースの検索エンジンの開発をheiseオンラインフォーラムで発表した。^{[4] [5]}

Seeks は、オープンソースの Web 検索プロキシであり、Web 検索用の共同分散ツールでした。2016 年に使用可能なリリースが終了しました。

2000年4月、数人のプログラマー（Gene Kan、Steve Waterhouseを含む）が、GnutellaをベースにしたInfraSearchと呼ばれるP2Pウェブ検索エンジンのプロトタイプを構築した。この技術は後にSun Microsystemsに買収され、JXTAプロジェクトに組み込まれた。^[6]これは、参加ウェブサイトのデータベース内で実行され、 InfraSearchウェブサイトからアクセスできるP2Pネットワークを作成することを目的としていた。 ^{[7] [8] [9]}

2000 年 5 月 31 日、Steelbridge Inc. は、共同分散型オープンソース検索エンジン OpenCOLA の開発を発表しました。^[10]これはユーザーのコンピュータ上で実行され、ユーザーが OpenCOLA フォルダに置いた Web ページとリンクをクロールし、結果のインデックスをP2Pネットワーク経由で共有します。^[11]

2001年2月にウルフ・ガルベはピアツーピア検索エンジンのアイデアを発表し、^[12] 2004年にFarooのプロトタイプを開始し、^[13] 2005年にリリースしました。^{[14] [15]}

分散検索エンジンを構築する目標は次のとおりです。

1. コミュニティによって運営される独立した検索エンジンを作成する。

2. オープンソースソフトウェアを利用して検索操作をオープンかつ透明にする。

3. 広告収益をノード管理者に分配し、より堅牢な Web インフラストラクチャの構築に貢献します。

4. 研究者がオープンソースで公的に保守可能なランキングアルゴリズムの開発に貢献し、アルゴリズムパラメータのトレーニングを監督できるようにする。

1. 処理するデータの量は膨大です。目に見える Web のサイズは 5PB と推定され、約 100 億ページに及んでいます。

2. 分散操作のレイテンシは、商用検索エンジンのレイテンシと競合できるものでなければなりません。

3. 悪意のあるユーザーが分散データ構造やランクを破壊できないようにするメカニズムを開発する必要があります。

• 検索エンジンの一覧 § P2P検索エンジン
• 分散処理