垂直検索

垂直検索エンジンは、オンライン コンテンツの特定のセグメントに焦点を当てている点で、一般的なWeb 検索エンジンとは異なります。これらは、専門検索エンジンまたはトピック検索エンジンとも呼ばれます。垂直コンテンツ領域は、トピック性、メディア タイプ、またはコンテンツのジャンルに基づいている場合があります。一般的な垂直分野には、ショッピング、自動車業界、法律情報、医療情報、学術文献、求人検索、旅行などがあります。垂直検索エンジンの例には、米国議会図書館、Mocavo、Nuroa、Trulia、Yelp などがあります。

一般的な Web 検索エンジンはWeb クローラーを使用してWorld Wide Webの大部分をインデックス化しようとしますが、垂直検索エンジンは通常、特定のトピックまたはトピック セットに関連する Web ページのみをインデックス化しようとする集中型クローラーを使用します。垂直検索サイトの中には、個々の垂直分野に焦点を当てているものもあれば、1 つの検索エンジン内に複数の垂直検索を組み込んでいるものもあります。

垂直検索は、一般的な検索エンジンに比べていくつかの潜在的な利点があります。

• 限られた範囲でより高い精度を実現
• 分類法やオントロジーなどのドメイン知識を活用し、
• 特定の固有ユーザー タスクのサポート。

垂直検索は、企業、政府、その他の組織などの企業に焦点を当てたエンタープライズ検索に似ていると見ることができます。2013 年には、 FindTheBestなどの統合された垂直検索エンジンを備えた消費者向け価格比較 Web サイトがベンチャー キャピタルから多額の資金を集め、垂直検索テクノロジーのこうしたアプリケーションの成長傾向を示しました。^{[1] [2]}

ドメイン固有の垂直分野は、特定のトピックに焦点を当てています。 ジョン・バテルは、著書「The Search (2005)」でこれを説明しています。

ドメイン固有の検索ソリューションは、1つの知識領域に焦点を当て、カスタマイズされた検索エクスペリエンスを作成します。ドメインの限られたコーパスと概念間の明確な関係により、検索者に非常に関連性の高い結果を提供します。^[3]

一般的な検索エンジンはすべてのページをインデックス化し、幅優先方式で検索して文書を収集します。ドメイン特化型検索エンジンのスパイダーリングは、特定のセットに焦点を当てることで、文書の小さなサブセットをより効率的に検索します。強化学習フレームワークで実現されるスパイダーリングは、幅優先検索よりも3倍効率的であることがわかっています。^[4]

2014年初頭、国防高等研究計画局（DARPA）は、ウェブサイトで「Memexプログラム」の予備的な詳細を概説した声明を発表しました。このプログラムは、テキストベースの検索のいくつかの制限を克服する新しい検索技術の開発を目指しています。 ^[5] DARPAは、この研究で開発されたMemex技術を、ディープウェブ（ GoogleやYahooなどの商用検索エンジンではほとんどアクセスできないインターネットの一部）の情報を検索できる検索エンジンで使用できるようにしたいと考えています。DARPAのウェブサイトには、「目標は、情報をやり取りして共有するためのより優れた方法を発明し、ユーザーが個人の関心事に関連する情報のサブセットを迅速かつ徹底的に整理して検索できるようにすることです」と説明されています。^[6] 2015年のWiredの記事で報告されているように、Memexプログラムで開発されている検索技術は、「ダークウェブに光を当て、オンラインデータのパターンと関係性を明らかにして、法執行機関などが違法行為を追跡できるようにすることを目指しています」。^[7] DARPAは、このプログラムが商用検索エンジンで使用されている集中型の手順に取って代わることを意図しており、「新しいドメイン固有のインデックス作成と検索パラダイムの作成により、コンテンツの発見、情報の抽出、情報検索、ユーザーコラボレーション、および現在の検索機能をディープウェブ、ダークウェブ、非伝統的なコンテンツ（マルチメディアなど）に拡張するメカニズムが提供される」と述べています。^[8] DARPAはプログラムの説明で、プログラムの名前はブッシュのオリジナルのMemex発明に敬意を表したもので、インスピレーションの源となったと説明しています。^[5]

2015年4月、Memexの一部がオープンソース化されることが発表されました。^[9]モジュールはダウンロード可能でした。^[8]