検索エンジン（コンピューティング）

コンピューターの世界では、検索エンジンは、 1 台以上のコンピューターシステムに保存されている情報の検索を支援するために設計された情報検索ソフトウェアシステムです。検索エンジンは、ユーザーのクエリに応じて情報を検索、クロール、変換、保存し、検索して表示します。検索結果は通常、リスト形式で表示され、一般にヒットと呼ばれます。最も広く使用されているタイプの検索エンジンは、World Wide Web上の情報を検索するWeb 検索エンジンです。

検索エンジンは通常、検索インターフェース、クローラー (スパイダーまたはボットとも呼ばれる)、インデクサー、データベースの 4 つのコンポーネントで構成されます。クローラーはドキュメントコレクションを走査し、ドキュメントのテキストを分解して、検索エンジンインデックスに保存するためのサロゲートを割り当てます。オンライン検索エンジンは、ドキュメントの画像、リンクデータ、メタデータを保存します。

検索エンジンの仕組み

検索エンジンは、ユーザーが興味のあるアイテムに関する条件を指定して、エンジンに一致するアイテムを見つけさせるためのインターフェイスをアイテムのグループに提供します。この条件は検索クエリと呼ばれます。テキスト検索エンジンの場合、検索クエリは通常、1 つ以上のドキュメントに含まれる可能性のある目的の概念を識別する一連の単語として表現されます。^{[1]検索クエリ}構文には、厳密さの異なるいくつかのスタイルがあります。また、検索エンジン内の名前を以前のサイトから切り替えることもできます。一部のテキスト検索エンジンでは、ユーザーが 2 つまたは 3 つの単語を空白で区切って入力する必要がありますが、他の検索エンジンでは、ユーザーがドキュメント全体、画像、音声、さまざまな形式の自然言語を指定できる場合があります。一部の検索エンジンは、クエリ拡張と呼ばれるプロセスを通じて、検索クエリに改良を適用し、質の高いアイテムセットを提供する可能性を高めます。クエリ理解方法は、標準化されたクエリ言語として使用できます。

クエリで指定された条件を満たすアイテムのリストは、通常、並べ替え、つまりランク付けされます。アイテムを関連度の高い順 (最高から最低の順) でランク付けすると、目的の情報を見つけるのに必要な時間が短縮されます。確率的検索エンジンは、類似性の尺度(各アイテムとクエリの間、通常は 1 から 0 のスケールで、1 が最も類似) に基づいてアイテムをランク付けし、場合によっては人気や権威(計量書誌学を参照) に基づいてランク付けしたり、関連性フィードバックを使用したりします。ブール検索エンジンは通常、順序に関係なく完全に一致するアイテムのみを返しますが、ブール検索エンジンという用語は、確率的コンテキストでブール形式の構文 (演算子AND、OR、 NOT 、およびXORの使用) を使用することを指す場合もあります。

検索エンジンは、ある基準に従って並べ替えられた一致するアイテムのセットを迅速に提供するために、通常、インデックス作成と呼ばれるプロセスを通じて、検討中のアイテムのグループに関するメタデータを事前に収集します。インデックスは通常、より少量のコンピュータストレージを必要とするため、一部の検索エンジンは各アイテムの完全なコンテンツではなくインデックス情報のみを保存し、代わりに検索エンジンの結果ページでアイテムに移動する方法を提供します。または、検索エンジンは、ユーザーがインデックス作成時のアイテムの状態を確認できるように、またはアーカイブ目的のために、または反復的なプロセスをより効率的かつ迅速に実行できるようにするために、各アイテムのコピーをキャッシュに保存する場合があります。 ^[2]

他の種類の検索エンジンはインデックスを保存しません。クローラーまたはスパイダータイプの検索エンジン (別名リアルタイム検索エンジン) は、検索クエリ時にアイテムを収集して評価し、開始アイテム (インターネットクローラーの場合はシードまたはシード URL と呼ばれる) の内容に基づいて追加のアイテムを動的に検討します。メタ検索エンジンはインデックスもキャッシュも保存せず、代わりに 1 つ以上の他の検索エンジンのインデックスまたは結果を再利用して、集約された最終的な結果セットを提供します。

2000 年代初頭まで重要なマーケティング機能であったデータベースのサイズは、同様に関連性ランキングの重視に取って代わられました。関連性ランキングとは、検索エンジンが最良の結果を最初に並べ替える方法です。関連性ランキングが最初に大きな問題になったのは、 1996 年頃で、結果のリスト全体を確認するのは非現実的であることが明らかになったときです。その結果、関連性ランキングのアルゴリズムは継続的に改善されてきました。結果を並べ替える Google のPageRank方式は最も注目を集めていますが、すべての主要な検索エンジンは、結果の順序を改善することを目的として、ランキング手法を継続的に改良しています。2006 年現在、検索エンジンのランキングはかつてないほど重要になっており、Web 開発者が検索ランキングを向上させるのを支援する業界 (「検索エンジン最適化ツール」または「SEO」) が開発され、メタタグでの商標の使用など、検索エンジンのランキングに影響する問題に関する一連の判例法が形成されています。一部の検索エンジンによる検索ランキングの販売も、図書館員や消費者擁護団体の間で論争を巻き起こしている。^[3]

検索エンジンのユーザー体験は向上し続けています。Google がGoogle ナレッジグラフを追加したことで、インターネット全体に影響が広がり、Wikipedia などの特定のウェブサイトのトラフィックが制限される可能性もあります。情報を抽出して Google のページに表示することで、他のサイトに悪影響を与える可能性があると主張する人もいます。しかし、大きな懸念はありません。^[4]

検索エンジンのカテゴリ

ウェブ検索エンジン

Web ページ、ドキュメント、画像の検索に特化した検索エンジンは、構造化されていないリソースの大きな漠然とした塊を検索しやすくするために開発されました。これらの検索エンジンは、多段階のプロセスを実行するように設計されています。つまり、ページとドキュメントの無限の蓄積をクロールしてその内容から比喩的な泡をすくい取り、泡/流行語を一種の半構造化形式 (データベースなど) でインデックス化し、最後に、ユーザーのエントリ/クエリを解決して、在庫からすくい取ったドキュメントまたはページに最も関連性の高い結果とリンクを返します。

クロール

完全にテキスト検索の場合、Web ページを分類する最初のステップは、「検索語」に明確に関連している可能性のある「インデックス項目」を見つけることです。以前は、検索エンジンは、いわゆるシードリストとして URL の小さなリストから開始し、コンテンツを取得し、それらのページ上のリンクを解析して関連情報を取得し、その後新しいリンクを提供していました。このプロセスは非常に循環的で、検索者が使用できる十分なページが見つかるまで継続されました。最近では、シードリストに基づく偶発的な検出ではなく、継続的なクロール方法が採用されています。クロール方法は、前述の検出方法の拡張です。

ほとんどの検索エンジンは、特定のページをいつ再訪問するかを「決定」し、その関連性をアピールするために、高度なスケジュールアルゴリズムを使用しています。これらのアルゴリズムは、頻繁に変更されるページを優先する一定の訪問間隔から、変更頻度、人気度、サイトの全体的な品質などのいくつかの基準に基づく適応的な訪問間隔まで多岐にわたります。ページを実行している Web サーバーの速度や、ハードウェアの量や帯域幅などのリソースの制約も考慮されます。

リンクマップ

ウェブクロールによって発見されたページは、多くの場合、分散されて別のコンピューターに送られ、発見されたリソースのマップが作成されます。この密集した塊はグラフに少し似ており、さまざまなページが小さなノードとして表され、ページ間のリンクで接続されています。余分なデータは複数のデータ構造に保存され、特定のアルゴリズムによってそのデータにすばやくアクセスできます。特定のアルゴリズムは、特定のウェブページを指すリンクの数に基づいてウェブ上のページの人気スコアを計算します。これにより、人々は精神病の診断に関連するさまざまなリソースにアクセスできます。別の例としては、検索語として「エジプト」と入力するだけで、モハメド・ムルシに関する情報を含むウェブページのアクセシビリティ/ランクと、カイロで訪れるべき最高の観光スポットを比較できます。Google の創設者であるラリー・ペイジとセルゲイ・ブリンによって提案されたそのようなアルゴリズムの 1 つであるPageRank はよく知られており、Google で主題を適切に調査する方法を知らない学生によるウェブ検索の繰り返しの平凡さを浮き彫りにするため、多くの注目を集めています。

リンク分析を行って人気度ランキングを計算するというアイデアは、PageRank よりも古いものです。しかし、2014 年 10 月、Google の John Mueller 氏は、Google が今後 PageRank を更新しないことを確認しました。現在、同じアイデアの別のバリエーションが使用されています。小学生がキックボールのチームを選ぶときに同じ種類の計算を行っています。これらのアイデアは、個々のページのランクと Web サイトコンテンツの性質という 3 つの主要なカテゴリに分類できます。検索エンジンは、Web コンテンツの作成者が恥知らずな自己宣伝に慣れているため、内部リンクと外部リンクを区別することがよくあります。リンクマップデータ構造には通常、リンクに埋め込まれたアンカーテキストも保存されます。アンカーテキストは、Web ページのコンテンツの「非常に優れた品質」の要約を提供できることが多いためです。

データベース検索エンジン

データベース内のテキストベースのコンテンツの検索には、いくつかの特別な課題があり、それらの課題を解決するために多くの専門検索エンジンが活躍しています。データベースは、複雑なクエリ (複数の論理または文字列マッチング引数を含む) を解決するときに遅くなる可能性があります。データベースでは、フルテキスト検索では使用されない疑似論理クエリを使用できます。データベースでは、データがすでに構造化されているため、クロールは必要ありません。ただし、より迅速な検索を可能にするために、より経済的な形式でデータをインデックス化することが必要なことがよくあります。

混合検索エンジン

検索されるデータには、データベースコンテンツと Web ページまたはドキュメントの両方が含まれる場合があります。検索エンジンテクノロジは、両方の要件に対応するように開発されています。混合検索エンジンのほとんどは、Google などの大規模な Web 検索エンジンです。これらの検索エンジンは、構造化データソースと非構造化データソースの両方を検索します。たとえば、「ボール」という単語を考えてみましょう。最も単純な言葉で言えば、Wikipedia だけでも 40 種類以上のバリエーションが返されます。社交の集まりやダンスで使われるボールのことでしょうか。サッカーボールのことでしょうか。それとも、足の指の付け根のことでしょうか。ページとドキュメントはクロールされ、別のインデックスにインデックス付けされます。データベースもさまざまなソースからインデックス付けされます。次に、これらの複数のインデックスを並行してクエリし、「ルール」に従って結果を合成することで、ユーザー向けの検索結果が生成されます。

検索技術の歴史

メメックス

ハイパーテキストとメモリ拡張の概念は、1945 年 7 月にThe Atlantic Monthlyに掲載されたVannevar Bushによる「As We May Think」という記事に由来しています。この記事で Vannevar は、科学者が協力して全人類のための知識体系を構築するよう促しました。その後、実質的に無制限で高速、信頼性が高く、拡張可能な連想記憶ストレージおよび検索システムのアイデアを提案しました。彼はこのデバイスをmemexと名付けました。^[5]

ブッシュは「連想索引」という概念を自身の重要な概念的貢献とみなした。彼が説明したように、これは「任意の項目が任意の時点で自動的に別の項目を選択できるようにする規定」である。これがメメックスの本質的な特徴である。2つの項目を結び付けるプロセスが重要なのである。^[6]

メメックスで使用されるすべての文書は、マイクロフィルムのコピーとして取得されるか、個人記録の場合は、マシン自体によってマイクロフィルムに変換されます。メメックスでは、新しい種類の連想索引に基づく新しい検索技術も採用されます。この基本的な考え方は、任意の項目を任意の時点で自動的に別の項目に選択させ、リンクされた文書を通じて個人の「痕跡」を作成できるようにするというものです。ブッシュが予想した情報の保存と検索を容易にする新しい手順は、百科事典のまったく新しい形態の開発につながります。

ブッシュが考案した最も重要なメカニズムは、連想トレイルです。これは、先ほど説明したようにリンクの連鎖シーケンスを作成し、個人的なコメントやサイドトレイルとともに、任意のマイクロフィルムフレームシーケンスにわたってマイクロフィルムフレームの新しい線形シーケンスを作成する方法です。

1965年、ブッシュは図書館利用のための情報処理の機械化技術の開発を目的としたMITのINTREXプロジェクトに参加した。1967年の「Memex再考」と題するエッセイで、彼はデジタルコンピュータ、トランジスタ、ビデオ、その他の類似の機器の発達により、このような機械化の実現可能性は高まったが、コストが実現を遅らせるだろうと指摘した。^[7]

頭いい

1995 年 8 月 28 日に亡くなったジェラルドサルトンは、現代の検索技術の父でした。ハーバード大学とコーネル大学の彼のチームは、SMART 情報検索システムを開発しました。サルトンの Magic Automatic Retriever of Text には、ベクトル空間モデル、逆文書頻度(IDF)、用語頻度 (TF)、用語識別値、関連性フィードバックメカニズムなどの重要な概念が含まれていました。

彼は「インデックスの理論」という 56 ページの本を著し、その中で彼が行った多くのテストについて説明しました。検索は現在でも主にこのテストに基づいています。

文字列検索エンジン

1987 年に、8.62 x 12.76 mm のダイ領域に 217,600 個のトランジスタを配置した、ダブルメタル 1.6 μm n ウェル CMOS ソリッドステート回路で高速テキスト検索を行う文字列検索エンジン (SSE) の開発について詳述した記事が発表されました。SSE は、512 ステージの有限状態オートマトン (FSA) ロジックとコンテンツアドレス可能メモリ (CAM) を組み合わせた新しい文字列検索アーキテクチャを採用し、1 秒あたり約 8000 万文字列の文字列比較を実現しました。CAM セルは、4 つの従来のスタティック RAM (SRAM) セルと読み取り/書き込み回路で構成されていました。1 秒あたり 1000 万文字の入力テキストストリームに対して、長さの異なる 64 個の格納文字列の同時比較が 50 ns で達成され、文字コードの形で単一文字エラーが存在する場合でもパフォーマンスが得られました。さらに、このチップは非アンカー文字列検索と可変長の「ドントケア」（VLDC）文字列検索を可能にした。^[8]

参照

出典別

コンテンツタイプ別

インターフェース別

トピック別

その他

参考文献

^ Voorhees, EM自然言語処理と情報検索^{[永久デッドリンク]}。アメリカ国立標準技術研究所。2000 年 3 月。
^ 「インターネットの基礎：検索エンジンの使用」GCFGlobal.org . 2022年7月11日閲覧。
^ ストロス、ランドール（2009年9月22日）。『プラネット・グーグル：私たちが知っているすべてを整理する、ある会社の大胆な計画』サイモン＆シュスター。ISBN 978-1-4165-4696-2. 2012年12月9日閲覧。
^ 「Wikipedia のトラフィック減少をどう捉えるか？」The Daily Dot 2014年1月8日2020年11月1日閲覧。
^ Yeo, Richard (2007年1月30日). 「Memex以前: ロバート・フック、ジョン・ロック、ヴァネヴァー・ブッシュの外部記憶論」. Science in Context . 20 (1): 21. doi :10.1017/S0269889706001128. hdl : 10072/15207 . S2CID 2378301.
^ Yeo, Richard (2007年1月30日). 「Before Memex: Robert Hooke, John Locke, and Vannevar Bush on External Memory」. Science in Context . 20 (1): 21–47. doi :10.1017/S0269889706001128. hdl : 10072/15207 . S2CID 2378301ブッシュが挙げる例は、十字軍におけるトルコの短弓とイギリスの長弓の相対的な利点に関する情報を探す試みである。{{cite journal}}: CS1 maint: postscript (link)
^ “The MEMEX of Vannevar Bush”. 2021年1月4日. 2021年1月7日時点のオリジナルよりアーカイブ。2023年8月12日閲覧。
^ Yamada, H.; Hirata, M.; Nagai, H.; Takahashi, K. (1987 年 10 月). 「高速文字列検索エンジン」. IEEE Journal of Solid-State Circuits . 22 (5). IEEE: 829–834. Bibcode :1987IJSSC..22..829Y. doi :10.1109/JSSC.1987.1052819.

[1] Voorhees, EM自然言語処理と情報検索^{[永久デッドリンク]}。アメリカ国立標準技術研究所。2000 年 3 月。

[2] 「インターネットの基礎：検索エンジンの使用」GCFGlobal.org . 2022年7月11日閲覧。

[3] ストロス、ランドール（2009年9月22日）。『プラネット・グーグル：私たちが知っているすべてを整理する、ある会社の大胆な計画』サイモン＆シュスター。ISBN 978-1-4165-4696-2. 2012年12月9日閲覧。

[4] 「Wikipedia のトラフィック減少をどう捉えるか？」The Daily Dot 2014年1月8日2020年11月1日閲覧。

[5] Yeo, Richard (2007年1月30日). 「Memex以前: ロバート・フック、ジョン・ロック、ヴァネヴァー・ブッシュの外部記憶論」. Science in Context . 20 (1): 21. doi :10.1017/S0269889706001128. hdl : 10072/15207 . S2CID 2378301.

[6] Yeo, Richard (2007年1月30日). 「Before Memex: Robert Hooke, John Locke, and Vannevar Bush on External Memory」. Science in Context . 20 (1): 21–47. doi :10.1017/S0269889706001128. hdl : 10072/15207 . S2CID 2378301ブッシュが挙げる例は、十字軍におけるトルコの短弓とイギリスの長弓の相対的な利点に関する情報を探す試みである。{{cite journal}}: CS1 maint: postscript (link)

[7] “The MEMEX of Vannevar Bush”. 2021年1月4日. 2021年1月7日時点のオリジナルよりアーカイブ。2023年8月12日閲覧。

[8] Yamada, H.; Hirata, M.; Nagai, H.; Takahashi, K. (1987 年 10 月). 「高速文字列検索エンジン」. IEEE Journal of Solid-State Circuits . 22 (5). IEEE: 829–834. Bibcode :1987IJSSC..22..829Y. doi :10.1109/JSSC.1987.1052819.