検索エンジン

検索エンジンは、ユーザーのクエリに応じて、Web ページへのハイパーリンクやWeb上のその他の関連情報を提供するソフトウェア システムです。ユーザーはWeb ブラウザーまたはモバイル アプリ内でクエリを入力し、検索結果は多くの場合、テキストの概要と画像を伴うハイパーリンクのリストになります。ユーザーは、画像、ビデオ、ニュースなど、特定の種類の結果に検索を制限するオプションも使用できます。

検索プロバイダーにとって、そのエンジンは、世界中の多くのデータ センターを網羅する分散コンピューティングシステムの一部です。クエリに対するエンジンの応答速度と精度は、自動化されたWeb クローラーによって継続的に更新される複雑なインデックスシステムに基づいています。これには、Web サーバーに保存されているファイルやデータベースのデータ マイニングが含まれますが、一部のコンテンツはクローラーがアクセスできません。

1990年代のウェブ黎明期から多くの検索エンジンが存在しましたが、 2000年代にはGoogle検索が主流となり、現在もその地位を維持しています。現在、世界市場シェアは91%です。^{[1] [2]そのため、}検索結果での可視性を向上させるウェブサイトのビジネス、いわゆるマーケティングと最適化は、主にGoogleに集中しています。

1945年、ヴァネヴァー・ブッシュは、ユーザーが1つの机から膨大な情報にアクセスできる情報検索システムについて説明しました。^[3]彼はそれをメメックスと呼びました。彼はそのシステムを、アトランティック・マンスリー誌に掲載された「 As We May Think 」という記事で説明しました。^{[4]メメックスは、科学研究の集中化されたインデックスがどんどん増えていく中で、情報を見つけるのがますます困難になるという問題をユーザーが克服できるようにすることを目的としていました。ヴァネヴァー・ブッシュは、現代の}ハイパーリンクに似た、接続された注釈を備えた研究ライブラリを思い描いていました。^[5]

リンク分析は、Hyper SearchやPageRankなどのアルゴリズムを通じて、最終的に検索エンジンの重要な要素となりました。^{[6] [7]}

最初のインターネット検索エンジンは、1990年12月のウェブのデビューより前に遡ります。WHOISユーザー検索は1982年に遡り、[ ^8] Knowbot Information Serviceマルチネットワークユーザー検索は1989年に初めて実装されました。^{[9]コンテンツファイル、つまり}FTPファイルを検索する最初のよく文書化された検索エンジンは、 1990年9月10日にデビューしたArchieでした。 ^[10]

1993 年 9 月以前は、ワールド ワイド ウェブのインデックスはすべて手作業で作成されていました。ティム バーナーズ リーが編集し、CERNウェブサーバーでホストされているウェブサーバーのリストがありました。1992 年のリストのスナップショットが 1 つ残っていますが、^[11]ウェブサーバーがオンラインになるにつれて、中央のリストでは対応できなくなりました。NCSAのサイトでは、新しいサーバーは「What's New!」というタイトルで発表されました。^[12]

インターネット上でコンテンツ（ユーザーではなく）を検索するために使用された最初のツールはArchieでした。^[13]この名前は「v」を除いた「archive」の略です。^[14]これは、カナダのケベック州モントリオールのマギル大学のコンピュータサイエンスの学生であるAlan Emtageによって作成されました。 ^{[14] [15] [16] [17 ] このプログラムは、公開されている匿名 FTP (} ファイル転送プロトコル) サイトにあるすべてのファイルのディレクトリリストをダウンロードし、ファイル名の検索可能なデータベースを作成しました。ただし、Archie Search Engine は、データ量が非常に限られていたため手動で簡単に検索できるため、これらのサイトのコンテンツをインデックス化しませんでした。

Gopher (1991 年にミネソタ大学のMark McCahillによって作成)の登場により、2 つの新しい検索プログラム、VeronicaとJugheadが生まれました。Archie と同様に、これらのプログラムも Gopher インデックス システムに保存されているファイル名とタイトルを検索しました。Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) は、Gopher リスト全体におけるほとんどの Gopher メニュー タイトルのキーワード検索を提供しました。Jughead (Jonzy's Universal Gopher Hierarchy Excavation And Display) は、特定の Gopher サーバーからメニュー情報を取得するためのツールでした。検索エンジンの名前「Archie Search Engine 」はArchie コミックシリーズを参照したものではありません。「Veronica」と「Jughead」は同シリーズのキャラクターであるため、前身を参照しています。

1993 年の夏、ウェブ用の検索エンジンは存在しなかったが、多数の専門カタログが手作業で管理されていた。ジュネーブ大学のオスカー・ニェストラスは、これらのページを定期的にミラーリングして標準形式に書き直す一連のPerlスクリプトを作成した。これが、1993 年 9 月 2 日にリリースされたウェブ初の原始的な検索エンジンであるW3Catalogの基礎となった。^[18]

1993 年 6 月、当時MITにいた Matthew Gray は、おそらく最初のWeb ロボットであるPerlベースのWorld Wide Web Wanderer を作成し、それを使用して「Wandex」と呼ばれるインデックスを生成しました。Wanderer の目的は World Wide Web の規模を測定することであり、1995 年後半までその目的を果たしました。Web の 2 番目の検索エンジンであるAliweb は、1993 年 11 月に登場しました。Aliweb はWeb ロボットを使用しませんでしたが、代わりに、各サイトに特定の形式のインデックス ファイルが存在することをWeb サイト管理者から通知されることに依存していました。

JumpStation (1993 年 12 月^[19]にJonathon Fletcherによって作成) は、Web ロボットを使用してWeb ページを検索し、インデックスを作成し、クエリ プログラムへのインターフェイスとしてWeb フォームを使用しました。したがって、これは、以下に説明するように、Web 検索エンジンの 3 つの必須機能 (クロール、インデックス作成、検索) を組み合わせた最初のWWWリソース検出ツールでした。実行されたプラットフォームで利用できるリソースが限られていたため、インデックス作成と検索は、クローラーが遭遇したWeb ページのタイトルと見出しに限定されていました。

最初の「全テキスト」クローラーベースの検索エンジンの 1 つは、1994 年に登場したWebCrawlerです。それ以前のエンジンとは異なり、このエンジンでは、ユーザーは任意のWeb ページの任意の単語を検索することができ、これはそれ以降、すべての主要な検索エンジンの標準となっています。また、この検索エンジンは一般に広く知られていました。また、1994 年には、カーネギーメロン大学で始まったLycosが立ち上げられ、大規模な商業的取り組みとなりました。

ウェブ上で最初に普及した検索エンジンはYahoo! Searchでした。^[20] 1994年1月にジェリー・ヤンとデビッド・ファイロによって設立されたYahoo!の最初の製品は、 Yahoo! Directoryと呼ばれるウェブディレクトリでした。1995年に検索機能が追加され、ユーザーはYahoo! Directoryを検索できるようになりました。^{[21] [22]}これは人々が興味のあるウェブページを見つけるための最も人気のある方法の1つになりましたが、その検索機能はウェブページの全文コピーではなくウェブディレクトリに対して機能していました。

その後すぐに、数多くの検索エンジンが登場し、人気を競い合いました。これには、Magellan、Excite、Infoseek、Inktomi、Northern Light、AltaVistaなどが含まれます。情報を求める人は、キーワードベースの検索を行う代わりに、ディレクトリを閲覧することもできます。

1996年、ロビン・リーは検索エンジンの結果ページのランキングのためのRankDexサイトスコアリングアルゴリズムを開発し^{[23] [24] [25]}、その技術で米国特許を取得しました。^[26]これは、インデックスするウェブサイトの品質を測定するためにハイパーリンクを使用した最初の検索エンジンであり、 ^[27] 2年後の1998年にGoogleが申請した非常に類似したアルゴリズムの特許に先立つものでした。 ^[28] ラリー・ペイジは、 PageRankの米国特許のいくつかでリーの研究を参照しました。^{[29]リーは後に、彼が中国で設立し、2000年に開始した}Baidu検索エンジンにRankdex技術を使用しました。

1996 年、Netscape は、 Netscape の Web ブラウザの注目の検索エンジンとして、単一の検索エンジンに独占契約を結ぼうとしていました。関心が高かったため、代わりに Netscape は 5 つの主要な検索エンジンと契約を結びました。年間 500 万ドルで、各検索エンジンが Netscape の検索エンジン ページでローテーション表示されるという契約です。5 つのエンジンとは、Yahoo!、Magellan、Lycos、Infoseek、Excite です。^{[30] [31]}

Google は1998 年に、 goto.comという小さな検索エンジン会社から検索語を販売するというアイデアを採用しました。この動きは検索エンジン事業に大きな影響を与え、検索エンジン事業は苦戦からインターネットで最も収益性の高い事業の 1 つへと変貌しました。^{[引用が必要]}

検索エンジンは、1990年代後半に起こったインターネット投資ブームの最も輝かしいスターのひとつとしても知られていました。^[32]いくつかの企業が華々しく市場に参入し、新規株式公開で記録的な利益を上げました。公開検索エンジンを廃止し、Northern Lightなどの企業専用版を販売している企業もあります。多くの検索エンジン企業は、2000年3月にピークを迎えた投機主導の市場ブームであるドットコムバブルに巻き込まれました。

2000年頃、Googleの検索エンジンが注目を集めるようになった。^[33]同社はPageRankと呼ばれるアルゴリズムを使用して、多くの検索でより良い結果を達成した。これは、後のGoogle創設者であるセルゲイ・ブリン氏とラリー・ペイジ氏が執筆した論文「検索エンジンの解剖学」で説明されている。 ^[7]この反復アルゴリズムは、良いページや望ましいページは他のページよりも多くリンクされているという前提に基づいて、他のウェブサイトやそこにリンクしているページの数とPageRankに基づいてウェブページをランク付けする。ラリー・ペイジ氏のPageRankの特許は、ロビン・リー氏の以前のRankDex特許の影響を引用している。^{[29] [25]また、Googleは検索エンジンのインターフェースを最小限にとどめた。対照的に、競合他社の多くは}ウェブポータルに検索エンジンを埋め込んだ。実際、Googleの検索エンジンは非常に人気が高かったため、 Mystery Seekerなどの偽のエンジンが登場した。

2000 年までに、Yahoo! はInktomi の検索エンジンに基づく検索サービスを提供していました。Yahoo! は 2002 年に Inktomi を買収し、 2003 年にはOverture ( AlltheWebと AltaVista を所有) を買収しました。Yahoo! は 2004 年まで Google の検索エンジンに切り替え、買収した技術を組み合わせて独自の検索エンジンを立ち上げました。

Microsoft は1998 年秋に Inktomi の検索結果を使用して MSN Search を初めてリリースしました。1999 年初頭、このサイトではLooksmartのリストと Inktomi の検索結果が組み合わされて表示され始めました。1999 年の短期間、MSN Search は代わりに AltaVista の結果を使用していました。2004 年、Microsoft は独自のWeb クローラー( msnbotと呼ばれる)を搭載した独自の検索テクノロジへの移行を開始しました。

Microsoft のブランド名を変更した検索エンジンBingは、2009 年 6 月 1 日に開始されました。2009 年 7 月 29 日、Yahoo! と Microsoft は、 Yahoo! 検索にMicrosoft Bing テクノロジを採用する という契約を締結しました。

2019年現在、アクティブな検索エンジンクローラーには、Google、 Sogou、Baidu、Bing、Gigablast、Mojeek、DuckDuckGo、Yandex^{[アップデート]}などがあります。

検索エンジンは、ほぼリアルタイムで以下のプロセスを維持します。^[34]

1. ウェブクローリング
2. インデックス作成
3. 検索^[35]

Web 検索エンジンは、サイトからサイトへとWeb をクロールして情報を取得します。「スパイダー」は、自分宛ての標準ファイル名robots.txtをチェックします。robots.txt ファイルには、検索スパイダーにクロールするページとクロールしないページを指示する指示が含まれています。robots.txt をチェックして見つかったかどうかにかかわらず、スパイダーは、タイトル、ページ コンテンツ、JavaScript、カスケーディング スタイル シート(CSS)、見出し、HTMLメタ タグ内のメタデータなど、さまざまな要因に応じて、特定の情報をインデックス付けするために送り返します。クロールされたページ数、インデックス付けされたデータの量、または Web サイトで費やされた時間が一定に達すると、スパイダーはクロールを停止して次のページに移動します。「Web クローラーは、到達可能な Web 全体を実際にクロールすることはできません。無数の Web サイト、スパイダー トラップ、スパム、および実際の Web のその他の緊急性のため、クローラーは代わりにクロール ポリシーを適用して、サイトのクロールが十分であると判断するタイミングを決定します。一部の Web サイトは徹底的にクロールされ、他の Web サイトは部分的にのみクロールされます。」^[36]

インデックス作成とは、Web ページにある単語やその他の定義可能なトークンを、ドメイン名やHTMLベースのフィールドに関連付けることを意味します。関連付けは公開データベースで行われ、Web 検索クエリで使用できます。ユーザーからのクエリは、1 つの単語、複数の単語、または文です。インデックスは、クエリに関連する情報をできるだけ早く見つけるのに役立ちます。^[35]インデックス作成とキャッシュのテクニックの一部は企業秘密ですが、Web クローリングは、すべてのサイトを体系的に訪問する簡単なプロセスです。

スパイダーによる訪問の合間に、検索エンジンの作業メモリに保存されているページのキャッシュバージョン（レンダリングに必要なコンテンツの一部またはすべて）が、検索者にすばやく送信されます。訪問が遅れた場合、検索エンジンは代わりにWebプロキシとして機能することができます。この場合、ページはインデックス化された検索用語と異なる場合があります。^[35]キャッシュされたページには、以前にインデックスされた単語のバージョンの外観が保持されているため、実際のページが失われたときにページのキャッシュバージョンがWebサイトに役立つ場合がありますが、この問題はリンク腐敗の軽度な形であると考えられています。

通常、ユーザーが検索エンジンにクエリを入力するときは、いくつかのキーワードです。^[37]インデックスには、キーワードを含むサイトの名前がす​​でに含まれており、これらはインデックスから即座に取得されます。実際の処理負荷は、検索結果リストであるWebページを生成するときに発生します。リスト全体のすべてのページは、インデックスの情報に応じて重み付けされる必要があります。 ^{[35]次に、検索結果の上位項目では、一致したキーワードのコンテキストを示す}スニペットの検索、再構築、およびマークアップが必要です。これらは、各検索結果Webページに必要な処理の一部にすぎず、さらに上位のページでは、この後処理がさらに必要になります。

検索エンジンは、単純なキーワード検索だけでなく、検索結果を絞り込むための独自のGUIまたはコマンド駆動型の演算子と検索パラメータも提供しています。これらは、最初の検索結果の最初のページを前提として、ユーザーがフィルタリングと重み付けを行いながら検索結果を絞り込むフィードバックループに関与するユーザーに必要な制御を提供します。たとえば、2007 年から Google.com の検索エンジンでは、最初の検索結果ページの左端の列にある [検索ツールを表示] をクリックし、目的の日付範囲を選択することで、日付でフィルタリングできるようになりました。^[38]各ページには更新時刻があるため、日付で重み付けすることも可能です。ほとんどの検索エンジンは、エンド ユーザーが検索クエリを絞り込むのに役立つブール演算子AND、OR、NOTの使用をサポートしています。ブール演算子は、ユーザーが検索の用語を絞り込んだり拡張したりできるリテラル検索用です。エンジンは、入力されたとおりの単語またはフレーズを検索します。一部の検索エンジンは、近接検索と呼ばれる高度な機能を提供しており、ユーザーはこれを使用してキーワード間の距離を定義できます。^[35]概念ベースの検索もあり、これは検索する単語やフレーズを含むページに対して統計分析を使用する調査です。

検索エンジンの有用性は、返される結果セットの関連性によって決まります。特定の単語やフレーズを含む Web ページは数百万あるかもしれませんが、一部のページは他のページよりも関連性が高く、人気があり、権威がある場合があります。ほとんどの検索エンジンは、結果をランク付けして「最良の」結果を最初に提供する方法を採用しています。検索エンジンがどのページが最も一致するかを決定する方法と、結果を表示する順序は、エンジンごとに大きく異なります。^[35]また、インターネットの使用法が変化し、新しい技術が進化するにつれて、方法も時間とともに変化します。進化した検索エンジンには主に 2 つのタイプがあります。1 つは、人間が広範囲にプログラムした、定義済みで階層的に順序付けられたキーワードのシステムです。もう 1 つは、見つかったテキストを分析して「逆インデックス」を生成するシステムです。この最初の形式では、作業の大部分をコンピューター自体に大きく依存しています。

ほとんどのウェブ検索エンジンは広告収入で運営されている商業的な事業であり、そのため、一部の検索エンジンでは広告主が有料で検索結果の上位に広告を掲載できるようにしています。検索結果に対して金銭を受け取らない検索エンジンは、通常の検索エンジンの結果の横に検索関連広告を掲載することで収益を得ています。検索エンジンは、誰かがこれらの広告をクリックするたびに収益を得ています。^[39]

ローカル検索は、地元企業の取り組みを最適化するプロセスです。彼らは、すべての検索が一貫していることを確認するために変化に焦点を当てています。多くの人が検索に基づいてどこに行くか、何を買うかを決定するため、これは重要です。^[40]

2022年1月現在、Googleは市場シェア90.6%で圧倒的に世界で最も使用されている検索エンジンであり、世界で最も使用されている他の検索エンジンはBing、Yahoo!、Baidu、Yandex、DuckDuckGoです。^[2] 2024年、Googleの優位性は米国司法省が提起した訴訟で違法な独占であると裁定されました。^{[41][アップデート]}

ロシアでは、Yandexの市場シェアは62.6%で、Googleの28.3%を上回っている。また、Yandexはアジアとヨーロッパのスマートフォンで2番目に多く使われている検索エンジンである。^[42]中国では、Baiduが最も人気のある検索エンジンである。^[43]韓国の国産検索ポータルであるNaverは、同国のオンライン検索の62.8%に使用されている。^[44] Yahoo! JapanとYahoo! Taiwanは、それぞれ日本と台湾で最も人気のあるインターネット検索手段である。^[45]中国は、Googleが市場シェアでトップ3のウェブ検索エンジンに含まれていない数少ない国の一つである。Googleは以前は中国でトップの検索エンジンであったが、検閲とサイバー攻撃をめぐる政府との意見の相違の後、撤退した。しかし、Bingは14.95%の市場シェアでウェブ検索エンジンのトップ3に入っている。Baiduは49.1%の市場シェアでトップである。^{[46] [出典が必要]}

欧州連合諸国のほとんどの市場はGoogleが独占しているが、チェコ共和国ではSeznamが強力な競争相手となっている。^[47]

検索エンジン「Qwant」はフランスのパリに拠点を置いており、月間登録ユーザー5,000万人の大半はパリから来ています。

検索エンジンは、ウェブサイトの人気度と関連性の組み合わせに基づいてランキング付けするようにプログラムされていますが、実証的な研究では、検索エンジンが提供する情報にはさまざまな政治的、経済的、社会的バイアスがあり、 ^{[48] [49]}技術に関する根底にある前提があることが示されています。^[50]これらのバイアスは、経済的および商業的プロセス（たとえば、検索エンジンで広告を掲載する企業は、オーガニック検索結果でも人気が高まる可能性があります）と政治的プロセス（たとえば、現地の法律に準拠するために検索結果を削除するなど）の直接的な結果である可能性があります。^{[51]たとえば、Googleは、}ホロコースト否定が違法であるフランスとドイツでは、特定のネオナチのウェブサイトを表示しません。

検索エンジンのアルゴリズムは、より「人気のある」結果を優先して非規範的な視点を排除するように設計されていることが多いため、バイアスは社会的プロセスの結果である可能性もあります。^[52]主要な検索エンジンのインデックスアルゴリズムは、米国以外の国のウェブサイトよりも、米国を拠点とするサイトをカバーするように偏っています。^[49]

Google Bombing は、政治的、社会的、または商業的な理由で検索結果を操作しようとする試みの一例です。

多くの学者が検索エンジンによって引き起こされた文化的変化^[53]と、アイルランドのテロ^[54] 、気候変動の否定^[55]、陰謀論^[56]など、特定の物議を醸すトピックが検索結果に表示されることについて研究してきました。

GoogleやBingなどの検索エンジンがユーザーの活動履歴に基づいてカスタマイズされた結果を提供し、それが2011年にイーライ・パリサーによってエコーチェンバーまたはフィルターバブルと名付けられたものにつながるという懸念が提起されている。 ^[57]その議論は、検索エンジンとソーシャルメディアプラットフォームが、ユーザーに関する情報（場所、過去のクリック行動、検索履歴など）に基づいて、ユーザーが見たい情報を選択的に推測するアルゴリズムを使用しているというものである。その結果、ウェブサイトはユーザーの過去の視点に一致する情報のみを表示する傾向がある。イーライ・パリサーによると、ユーザーは相反する視点に触れる機会が少なくなり、独自の情報バブルの中で知的に孤立している。この問題が特定されて以来、 DuckDuckGoのように、ユーザーを追跡または「バブル化」しないことでこの問題を回避しようとする競合検索エンジンが登場している。しかし、多くの学者がパリサーの見解に疑問を呈し、フィルターバブルの証拠はほとんどないことを発見している。^{[58] [59] [60]}逆に、フィルターバブルの存在を検証しようとする多くの研究では、検索におけるパーソナライゼーションのレベルはわずかであること、^[60]ほとんどの人がオンラインで閲覧する際にさまざまな見解に遭遇すること、そしてGoogleニュースは主流の確立されたニュースメディアを宣伝する傾向があることがわかっています。^{[61] [59]}

過去10年間のアラブとイスラム世界でのインターネットと電子メディアの世界的成長は、中東とアジア亜大陸のイスラム教徒が、ユーザーが安全な検索を行える独自の検索エンジン、フィルター付き検索ポータルを試みることを奨励してきました。通常の安全な検索フィルターだけでなく、これらのイスラムウェブポータルは、シャリーア法の解釈に基づいて、ウェブサイトを「ハラール」または「ハラム」に分類します。ImHalalは2011年9月にオンラインになりました。Halalgooglingは2013年7月にオンラインになりました。これらは、 GoogleやBing（およびその他）のコレクションにハラムフィルターを使用します。 ^[62]

イスラム世界では投資不足と技術の遅れが進歩を妨げ、イスラム教徒を主な消費者とするイスラム検索エンジンの成功を妨げているが、Muxlim（イスラム教徒のライフスタイルサイト）などのプロジェクトはRite Internet Venturesなどの投資家から数百万ドルの資金を調達したが、やはり失敗に終わった。他の宗教志向の検索エンジンには、ユダヤ版GoogleのJewogle ^[63]やキリスト教検索エンジンSeekFind.orgがある。SeekFindは、彼らの信仰を攻撃したり貶めたりするサイトをフィルタリングする。^[64]

ウェブ検索エンジンへの送信は、ウェブマスターがウェブサイトを検索エンジンに直接送信するプロセスです。検索エンジンへの送信はウェブサイトを宣伝する方法として提示されることもありますが、大手検索エンジンはウェブクローラーを使用しており、最終的にはインターネット上のほとんどのウェブサイトを支援なしで見つけることができるため、通常は必要ありません。検索エンジンは一度に 1 つのウェブページを送信することも、サイトマップを使用してサイト全体を送信することもできますが、検索エンジンは適切に設計されたウェブサイトをクロールできるため、通常はウェブサイトのホームページを送信するだけで済みます。ウェブサイトまたはウェブページを検索エンジンに送信する理由は、他に 2 つあります。検索エンジンによる検出を待たずにまったく新しいウェブサイトを追加することと、大幅な再設計後にウェブサイトのレコードを更新することです。

一部の検索エンジン送信ソフトウェアは、ウェブサイトを複数の検索エンジンに送信するだけでなく、そのページからウェブサイトへのリンクも追加します。外部リンクはウェブサイトのランキングを決定する最も重要な要素の1つであるため、これはウェブサイトのランキングを上げるのに役立つように見えます。しかし、 Googleのジョン・ミューラーは、これにより「サイトに膨大な数の不自然なリンクが生成される可能性がある」ため、サイトのランキングに悪影響を与えると述べています。^[65]

検索エンジンと比較すると、ソーシャルブックマークシステムには、検索エンジンスパイダーなどの従来の自動化されたリソース検索および分類ソフトウェアに比べていくつかの利点があります。インターネットリソース（Webサイトなど）のタグベースの分類はすべて、リソースの意味と品質をアルゴリズムで判断しようとするソフトウェアではなく、リソースの内容を理解している人間によって行われます。また、Webスパイダーがまだ気付いていない、またはインデックス付けしていないWebページを見つけてブックマークすることもできます。 ^[66]さらに、ソーシャルブックマークシステムは、ユーザーがブックマークした回数に基づいてリソースをランク付けできるため、外部リンクの数に基づいてリソースをランク付けするシステムよりも、エンドユーザーにとってより有用な指標となる可能性があります。ただし、どちらのタイプのランク付けも詐欺に対して脆弱であり（「システムのゲーム化」を参照）、これに対処するための技術的な対策が必要です。

最初のウェブ検索エンジンはArchieで、1990年にモントリオールのマギル大学の学生だったアラン・エムテージによって作成されました^[67]。作者は当初このプログラムを「archives」と呼びたかったのですが、プログラムやファイルにgrep、cat、troff、sed、awk、perlなどの短くて分かりにくい名前を割り当てるというUnixの世界標準に準拠するために短縮する必要がありました。

ファイルの保存と取得の主な方法は、ファイル転送プロトコル(FTP) でした。これは、コンピューターがインターネット経由でファイルを交換するための一般的な方法を指定したシステムでした (現在もそうです)。仕組みは次のとおりです。管理者が自分のコンピューターからファイルを利用できるようにすることにしました。管理者は自分のコンピューターに FTP サーバーと呼ばれるプログラムを設定します。インターネット上の誰かがこのコンピューターからファイルを取得したい場合、FTP クライアントと呼ばれる別のプログラムを介して接続します。クライアント プログラムとサーバー プログラムの両方が FTP プロトコルで規定された仕様に完全に準拠している限り、どの FTP クライアント プログラムもどの FTP サーバー プログラムにも接続できます。

当初、ファイルを共有したい人は、そのファイルを他のユーザーが利用できるように FTP サーバーを設定する必要がありました。その後、「匿名」FTP サイトがファイルのリポジトリとなり、すべてのユーザーがファイルを投稿および取得できるようになりました。

アーカイブ サイトがあっても、多くの重要なファイルは依然として小さな FTP サーバーに散在していました。これらのファイルは、インターネットの口コミに相当する方法でのみ見つけることができました。つまり、誰かがメッセージ リストやディスカッション フォーラムに電子メールを投稿して、ファイルが利用可能になったことを知らせるという方法でした。

Archie はそれをすべて変えました。匿名 FTP ファイルのサイト リストを取得するスクリプトベースのデータ収集機能と、ユーザーのクエリに一致するファイル名を取得する正規表現マッチング機能を組み合わせたのです。(4) つまり、Archie のデータ収集機能はインターネット上の FTP サイトをくまなく調べ、見つかったすべてのファイルにインデックスを付けました。その正規表現マッチング機能は、ユーザーにデータベースへのアクセスを提供しました。^[68]

1993年、ネバダ大学システムコンピューティングサービスグル​​ープがVeronicaを開発した。^[67]これはArchieに似た検索デバイスの一種として作成されたが、Gopherファイル用であった。Jugheadと呼ばれる別のGopher検索サービスは、おそらく漫画三部作を完成させるためだけに、少し後に登場した。JugheadはJonzy's Universal Gopher Hierarchy Excavation and Displayの頭字語であるが、Veronicaと同様に、作成者が頭字語に賛同したと考えて間違いないだろう。Jugheadの機能はVeronicaとほぼ同じだが、少し粗削りなようだ。^[68]

1993年にマシュー・グレイによって開発されたWorld Wide Web Wanderer ^[69]は、Web上の最初のロボットであり、Webの成長を追跡するために設計されました。当初、WandererはWebサーバーのみをカウントしていましたが、導入後すぐに、進行に合わせてURLをキャプチャし始めました。キャプチャされたURLのデータベースは、最初のWebデータベースであるWandexになりました。

マシュー グレイの Wanderer は当時、かなりの論争を巻き起こしました。その理由の 1 つは、ソフトウェアの初期バージョンがネット上で猛威を振るい、ネット全体のパフォーマンスが著しく低下したことです。この低下は、Wanderer が同じページに 1 日に何百回もアクセスしたために発生しました。Wanderer はすぐにやり方を変えましたが、ロボットがインターネットにとって良いのか悪いのかという論争は続きました。

Wanderer への応答として、Martijn Koster は 1993 年 10 月に Archie-Like Indexing of the Web (ALIWEB) を作成しました。名前が示すように、ALIWEB は HTTP 版の Archie であり、このため、今でも多くの点でユニークです。

ALIWEB には Web 検索ロボットがありません。代わりに、参加サイトの Web マスターが、リストに載せたい各ページのインデックス情報を投稿します。この方法の利点は、ユーザーが自分のサイトを説明でき、ロボットがネットの帯域幅を消費することがないことです。ALIWEB の欠点は、今日ではより問題になっています。主な欠点は、特別なインデックス ファイルを送信する必要があることです。ほとんどのユーザーは、そのようなファイルの作成方法がわからないため、ページを送信しません。このため、データベースは比較的小さくなり、ユーザーが大規模なボット ベースのサイトよりも ALIWEB を検索する可能性が低くなります。このジレンマは、他のデータベースを ALIWEB 検索に組み込むことでいくらか解消されましたが、それでも Yahoo! や Lycos などの検索エンジンほどの一般受けはしません。^[68]

Excite は当初 Architext と呼ばれ、1993 年 2 月にスタンフォード大学の 6 人の学部生によって開始されました。彼らのアイデアは、単語の関係の統計的分析を使用して、インターネット上の大量の情報をより効率的に検索できるようにすることでした。彼らのプロジェクトは 1993 年半ばまでに完全に資金が調達されました。資金が確保されると、彼らはウェブマスターが自分の Web サイトで使用できる検索ソフトウェアのバージョンをリリースしました。当時、このソフトウェアは Architext と呼ばれていましたが、現在は Excite for Web Servers という名前で呼ばれています。^[68]

Exciteは1995年に開始された最初の本格的な商用検索エンジンでした。^[70]スタンフォードで開発され、@Homeによって65億ドルで買収されました。2001年にExciteと@Homeは破産し、InfoSpaceが1000万ドルでExciteを買収しました。

ウェブ検索に関する最初の分析は、エキサイト^{[71] [72]の検索ログに対して行われた。}

1994 年 4 月、スタンフォード大学の博士課程の学生であるDavid Filo 氏とJerry Yang 氏が、かなり人気を博したページをいくつか作成しました。彼らはそのページの集合をYahoo! と名付けました。この名前を選んだ理由の公式な説明は、自分たちを Yahoo! の 2 人組だと考えていたからでした。

リンクの数が増え、そのページが 1 日に何千ものアクセスを受けるようになると、チームはデータをより適切に整理する方法を考案しました。データの検索を容易にするために、Yahoo! (www.yahoo.com) は検索可能なディレクトリになりました。検索機能は、単純なデータベース検索エンジンでした。Yahoo! のエントリは手動で入力および分類されていたため、Yahoo! は実際には検索エンジンとして分類されていませんでした。代わりに、一般的に検索可能なディレクトリと見なされていました。Yahoo! はその後、収集および分類プロセスの一部を自動化し、エンジンとディレクトリの区別を曖昧にしました。

Wanderer は URL のみをキャプチャするため、URL で明示的に説明されていないものを見つけるのは困難でした。URL はそもそもかなり難解であるため、これは一般ユーザーには役に立ちませんでした。Yahoo! や Galaxy で検索する方がはるかに効果的でした。なぜなら、これらのサイトにはインデックスされたサイトに関する追加の説明情報が含まれていたからです。

1994 年 7 月、カーネギーメロン大学を休職していたマイケル・モールディンがLycos検索エンジンを開発しました。

ウェブ上の検索エンジンは、他のサイトに保存されているコンテンツを検索する機能が充実したサイトです。検索エンジンによって動作の仕方は異なりますが、いずれも3つの基本的なタスクを実行します。^[73]

1. 提供されたキーワードに基づいて、コンテンツの全体または一部を検索して選択します。
2. コンテンツのインデックスを維持し、見つかった場所を参照する
3. ユーザーがそのインデックスにある単語または単語の組み合わせを検索できるようにします。

このプロセスは、ユーザーが提供されたインターフェースを通じてシステムにクエリ ステートメントを入力すると開始されます。

検索エンジンには基本的に 3 つの種類があります。ロボット (クローラー、アリ、スパイダーと呼ばれる) によって動作するもの、人間の入力によって動作するもの、そしてその 2 つのハイブリッドです。

クローラーベースの検索エンジンは、Web サイトにアクセスし、実際のサイトの情報を読み取り、サイトのメタ タグを読み取り、サイトが接続しているリンクをたどって、リンクされているすべての Web サイトのインデックス作成も実行する、自動化されたソフトウェア エージェント (クローラーと呼ばれる) を使用する検索エンジンです。クローラーは、そのすべての情報を中央の保管庫に返し、そこでデータがインデックス作成されます。クローラーは定期的にサイトに戻り、変更された情報がないか確認します。この頻度は、検索エンジンの管理者によって決定されます。

人間が操作する検索エンジンは、人間が情報を送信し、その後インデックス化およびカタログ化することに依存しています。送信された情報のみがインデックスに追加されます。

どちらの場合も、検索エンジンにクエリを実行して情報を検索すると、実際には検索エンジンが作成したインデックスを検索していることになります。Web を検索しているわけではありません。これらのインデックスは、収集および保存され、その後検索される情報の巨大なデータベースです。これが、Yahoo! や Google などの商用検索エンジンで検索すると、実際にはデッド リンクである結果が返されることがある理由です。検索結果はインデックスに基づいているため、Web ページが無効になってからインデックスが更新されていない場合、検索エンジンは、そのページがもはやアクティブ リンクではないにもかかわらず、まだアクティブなリンクとして扱います。インデックスが更新されるまで、その状態が続きます。

では、なぜ同じ検索を異なる検索エンジンで行っても、結果が異なるのでしょうか。その答えの一部は、すべてのインデックスがまったく同じではないからです。それは、スパイダーが見つけたものや人間が送信したものによって異なります。しかし、もっと重要なのは、すべての検索エンジンがインデックスの検索に同じアルゴリズムを使用しているわけではないということです。アルゴリズムとは、検索エンジンがインデックス内の情報とユーザーの検索内容との 関連性を判断するために使用するものです。

検索エンジンのアルゴリズムがスキャンする要素の 1 つは、Web ページ上のキーワードの頻度と位置です。頻度が高いキーワードは、通常、関連性が高いとみなされます。しかし、検索エンジンのテクノロジは、キーワード スタッフィング、またはスパムデクシングと呼ばれるものを阻止する試みにおいて、ますます高度化しています。

アルゴリズムが分析するもう 1 つの一般的な要素は、Web 上のページが他のページにリンクする方法です。ページが互いにリンクする方法を分析することで、エンジンはページの内容 (リンクされたページのキーワードが元のページのキーワードに類似しているかどうか) と、そのページが「重要」でランキングを上げる価値があるかどうかの両方を判断できます。キーワード スタッフィングを無視する技術がますます洗練されつつあるのと同様に、人工的なランキングを構築するためにサイトに人工的なリンクを構築する Web マスターも、この技術に精通するようになっています。

現代のウェブ検索エンジンは、長年にわたって進化してきた技術を採用した非常に複雑なソフトウェア システムです。検索エンジン ソフトウェアには、特定の「ブラウジング」ニーズに個別に適用できるサブカテゴリがいくつかあります。これらには、ウェブ検索エンジン (例: Google )、データベースまたは構造化データ検索エンジン (例: Dieselpoint )、および混合検索エンジンまたはエンタープライズ検索が含まれます。Google やYahoo!などのより普及している検索エンジンは、かなり的を絞った結果を返すために、数十万台のコンピューターを使用して数兆のウェブ ページを処理します。この大量のクエリとテキスト処理のため、ソフトウェアは、過剰度の高い高度に分散した環境で実行する必要があります。

検索エンジンのもう一つのカテゴリーは科学検索エンジンです。これは科学文献を検索する検索エンジンです。最もよく知られている例はGoogle Scholarです。研究者は、理論的構成や主要な研究結果の抽出など、論文のコンテンツ要素を理解できるようにすることで、検索エンジン技術の改善に取り組んでいます。^[74]

•  Steve Lawrence 、C . Lee Giles (1999)。「ウェブ上の情報のアクセシビリティ」。Nature . 400 ( 6740): 107–9。Bibcode : 1999Natur.400..107L。doi : 10.1038/21987。PMID 10428673。S2CID 4347646  。
• Bing Liu (2007)、Web データマイニング: ハイパーリンク、コンテンツ、使用状況データの調査。Springer、ISBN 3-540-37881-2 
• Bar-Ilan, J. (2004). 情報科学研究におけるWeb検索エンジンの利用。ARIST、38、231–288。
• Levene, Mark (2005)。検索エンジンと Web ナビゲーション入門。ピアソン。
• ホック、ランドルフ (2007)。『エクストリームサーチャーズハンドブック』。978-0-910965-76-7 ​
• Javed Mostafa (2005 年 2 月)。「より優れたWeb検索を求めて」。Scientific American。292 ( 2): 66–73。Bibcode :2005SciAm.292b..66M。doi :10.1038/scientificamerican0205-66。
• Ross, Nancy; Wolfram, Dietmar (2000)。「インターネット上でのエンドユーザー検索: Excite 検索エンジンに送信された用語ペアトピックの分析」。アメリカ情報科学協会誌。51 (10): 949–958。doi :10.1002/1097-4571(2000)51:10<949::AID-ASI70>3.0.CO;2-5。
• Xie, M.; et al. (1998). 「インターネット検索エンジンの品質側面」. Journal of Information Science . 24 (5): 365–372. doi :10.1177/016555159802400509. S2CID  34686531.
• 情報検索：検索エンジンの実装と評価。MIT Press。2010年。2020年10月5日時点のオリジナルよりアーカイブ。2010年8月7日閲覧。
• Yeo, ShinJoung. (2023) Behind the Search Box: Google and the Global Internet Industry (U of Illinois Press, 2023) ISBN 10:0252087127 オンライン

ウィキメディア・コモンズには、インターネット検索エンジンに関連するメディアがあります。

Wikiversityには検索エンジンに関する学習リソースがあります

• Curlieの検索エンジン