Loading article…
メタ検索エンジン（または検索アグリゲータ）は、ウェブ検索エンジンのデータを使用して 独自の結果を生成するオンライン情報検索ツールです。 [1] [2]メタ検索エンジンはユーザーからの入力を受け取り、すぐに検索エンジンにクエリを実行して結果を要求します[3] 。十分なデータが収集され、ランク付けされてユーザーに提示されます。
スパムなどの問題は、結果の正確性と精度を低下させます。[4]融合のプロセスは、メタ検索エンジンのエンジニアリングを改善することを目的としています。[5]
メタ検索エンジンの例としては、オンライン旅行代理店やプロバイダーの Web サイトの検索結果を集約するSkyscannerやKayak.com、インターネット検索エンジンの結果を集約する 無料のオープンソース検索エンジンであるSearx などがあります。
歴史
メタ検索のアイデアを最初に取り入れたのはワシントン大学の学生エリック・セルバーグ氏で、[6]彼は1995年にMetaCrawler実験に関する論文を発表しました。この検索エンジンは2024年現在でも使用可能です。[7]
1996年5月20日、当時Wiredが所有していたHotBotは、 InktomiとDirect Hitのデータベースから検索結果を取得する検索エンジンでした。HotBotは、検索結果が速く、検索結果内で検索できる検索エンジンとして知られていました。 1998年にLycosに買収されると、検索エンジンの開発は停滞し、市場シェアは大幅に低下しました。いくつかの変更を経た後、HotBotは簡素化された検索インターフェースに再設計され、その機能はLycosのWebサイトの再設計に組み込まれました。[8]
1997年、ダニエル・ドライリンガーは、過去の経験に基づいて優先順位を付ける適切な検索エンジンを自動的に選択できる実験的なメタ検索エンジンSavvySearchに関する論文を発表しました。[9]
1999年にBo ShuとSubhash Kakによって開発されたメタ検索エンジン「Anvish」では、瞬時に訓練されたニューラルネットワークを使用して検索結果をソートしました。[10]これは後にSolosearchと呼ばれる別のメタ検索エンジンに組み込まれました。[11]
2000年8月、インドはHumHaiIndia.comを立ち上げ、同国初のメタ検索エンジンを手に入れました。[12]これは当時16歳だったスミート・ランバによって開発されました。[13]このウェブサイトは後にTazaa.comに改名されました。[14]
Ixquick は、プライバシー ポリシー ステートメントで知られる検索エンジンです。1998 年に David Bodnick によって開発、リリースされ、Surfboard Holding BV が所有しています。2006 年 6 月、Ixquick はScroogleと同じプロセスに従い、ユーザーの個人情報の削除を開始しました。Ixquick のプライバシー ポリシーには、ユーザーの IP アドレスの記録、識別クッキーの使用、個人データの収集、第三者との個人データの共有が含まれていないことが含まれています。[15]また、結果が星でランク付けされる独自のランキング システムも使用しています。結果の星の数が多いほど、検索エンジンがその結果に同意したことになります。
2005 年 4 月、当時InfoSpace社が所有・運営していたDogpile 社は、ピッツバーグ大学およびペンシルベニア州立大学の研究者と共同で、主要な Web 検索エンジンの重複とランキングの違いを測定し、メタ検索エンジンを使用して Web を検索する利点を評価しました。結果によると、Google、Yahoo!、Ask Jeevesからの 10,316 件のランダムなユーザー定義クエリでは、特定のクエリに対してこれらの検索エンジン間で同じ検索結果が 1 ページ目に表示されたのはわずか 3.2% でした。その年の後半に、 Google、Yahoo!、MSN Search、Ask Jeevesからの 12,570 件のランダムなユーザー定義クエリを使用した別の調査では、特定のクエリに対してこれらの検索エンジン間で同じ検索結果が 1 ページ目に表示されたのはわずか 1.1% でした。[16]
利点
複数のクエリを複数の検索エンジンに送信することで、トピックのカバレッジ データが拡張され、より多くの情報が見つかるようになります。他の検索エンジンによって構築されたインデックスを使用して、結果を独自の方法で集約し、多くの場合後処理します。メタ検索エンジンは、同じ労力でより多くの結果を取得できるため、単一の検索エンジンよりも優れています。 [2]また、リソースを探すために異なるエンジンから個別に検索を入力する必要がなくなり、ユーザーの作業が軽減されます。[2]
メタ検索は、ユーザーの検索の目的がトピックの概要を把握することや、迅速な回答を得ることである場合にも、便利なアプローチです。Yahoo! や Google などの複数の検索エンジンを調べて結果を比較する代わりに、メタ検索エンジンは結果をすばやくコンパイルして組み合わせることができます。メタ検索エンジンは、クエリされた各エンジンからの結果を追加の後処理なしで一覧表示するか (Dogpile)、結果を分析して独自のルールでランク付けするか (IxQuick、Metacrawler、および Vivismo) のいずれかでこれを実行します。
メタ検索エンジンは、検索者の IP アドレスを、検索先の検索エンジンから隠すこともできるため、検索のプライバシーが確保されます。
デメリット
メタ検索エンジンはクエリフォームを解析したり、クエリ構文を完全に翻訳したりすることはできません。メタ検索エンジンによって生成されるハイパーリンクの数は限られているため、ユーザーにクエリの完全な結果を提供することはできません。[17]
メタ検索エンジンの大半は、単一の検索エンジンから10を超えるリンクされたファイルを提供しておらず、一般的には結果を得るために大規模な検索エンジンと連携していません。クリック課金リンクが優先され、通常は最初に表示されます。[18]
メタ検索は、特にユーザーが一般的な情報やありふれた情報を検索している場合、検索したトピックのカバー範囲が広いという錯覚も与えます。検索したエンジンから複数の同じ結果が返されることがよくあります。また、ユーザーがクエリと一緒に送信される高度な検索構文を使用して検索することは難しくなるため、特定のエンジンで高度な検索インターフェイスを使用している場合ほど正確な結果が得られない可能性があります。このため、多くのメタ検索エンジンは単純な検索を使用しています。[19]
手術
メタ検索エンジンは、ユーザーから単一の検索要求を受け取ります。この検索要求は、別の検索エンジンのデータベースに渡されます。メタ検索エンジンは、 Webページのデータベースを作成するのではなく、複数のソースからデータを統合した連合データベースシステムを生成します。 [20] [21] [22]
検索エンジンはそれぞれが独自で、ランク付けされたデータを生成するアルゴリズムも異なるため、重複も生成されます。重複を削除するために、メタ検索エンジンはこのデータを処理し、独自のアルゴリズムを適用します。修正されたリストがユーザーへの出力として生成されます。 [引用が必要]メタ検索エンジンが他の検索エンジンと通信すると、これらの検索エンジンは次の 3 つの方法で応答します。
- 両者は協力し、インデックス データベースへのプライベート アクセスを含むメタ検索エンジンのインターフェイスへの完全なアクセスを提供し、インデックス データベースに加えられた変更をメタ検索エンジンに通知します。
- 検索エンジンは非協力的な動作をすることができ、インターフェースへのアクセスを拒否したり提供したりすることはありません。
- 検索エンジンは完全に敵対的になり、メタ検索エンジンによるデータベースへの全面的なアクセスを拒否し、深刻な状況では法的手段を求めることもできる。[23]
ランキングのアーキテクチャ
多くの検索エンジンで上位にランクされているウェブページは、有用な情報を提供するという点でより関連性が高いと考えられます。 [23]しかし、すべての検索エンジンは各ウェブサイトに対して異なるランキングスコアを持っており、ほとんどの場合、これらのスコアは同じではありません。これは、検索エンジンがスコアリングの基準と方法に優先順位を付けているためです。そのため、ウェブサイトは、ある検索エンジンでは上位にランクされていても、別の検索エンジンでは下位にランクされている可能性があります。メタ検索エンジンは、信頼できるアカウントを生成するために、このデータの一貫性に大きく依存しているため、これは問題です。[23]
融合
メタ検索エンジンは、フュージョンのプロセスを使用してデータをフィルタリングし、より効率的な結果を得ます。使用される主な 2 つのフュージョン方法は、コレクション フュージョンとデータ フュージョンです。
- コレクション フュージョン: 分散検索とも呼ばれ、関連性のないデータをインデックスする検索エンジンに特化しています。これらのソースの価値を判断するために、コレクション フュージョンはコンテンツを調べ、クエリに関連する関連情報を提供する可能性に基づいてデータをランク付けします。生成されたものから、コレクション フュージョンはランクから最適なリソースを選択できます。これらの選択されたリソースは、リストにマージされます。[23]
- データ フュージョン: 検索エンジンから取得した情報を扱い、共通のデータセットをインデックスします。プロセスは非常に似ています。データの初期ランク スコアは 1 つのリストに統合され、その後、これらの各ドキュメントの元のランクが分析されます。スコアの高いデータは、特定のクエリとの関連性が高いことを示しているため、選択されます。リストを作成するには、スコアを CombSum などのアルゴリズムを使用して正規化する必要があります。これは、検索エンジンがさまざまなアルゴリズム ポリシーを採用しているため、生成されるスコアが比較できないためです。[24] [25]
スパムデクシング
スパムデクシングとは、検索エンジンのインデックスを意図的に操作することです。インデックスシステムの意図に沿わない方法でインデックスされたリソースの関連性や重要性を操作するために、さまざまな方法が使用されます。スパムデクシングは、ユーザーにとって非常に苦痛であり、検索エンジンにとっても問題となります。検索結果の精度が低いためです。[要出典]これは最終的に検索エンジンの信頼性を低下させ、ユーザーにとって頼りにならないものにします。スパムデクシングに対処するために、検索ロボットのアルゴリズムはより複雑になり、問題を解消するためにほぼ毎日変更されています。[26]
これはメタ検索エンジンにとって大きな問題です。なぜなら、ランキングリストのフォーマットに大きく依存しているウェブクローラーのインデックス基準を改ざんするからです。スパムデクシングは検索エンジンの自然なランキングシステムを操作し、ウェブサイトを本来の位置よりも高いランキングリストに配置します。[27]これを達成するために使用される主な方法は3つあります。
コンテンツスパム
コンテンツ スパムとは、検索エンジンがページのコンテンツに対して持つ論理的なビューを変更する手法です。次のような手法があります。
- キーワードスタッフィング - ページのキーワード数、多様性、密度を高めるためにページ内でキーワードを計算して配置する
- 非表示/不可視テキスト - 背景と同じ色にしたり、小さなフォントサイズを使用したり、HTML コード内に隠したりして、無関係なテキストを偽装します。
- メタタグの詰め込み - メタタグ内でキーワードを繰り返したり、サイトのコンテンツに関係のないキーワードを使用したりすること
- ドアウェイページ - コンテンツは少ないが、関連性のあるキーワードやフレーズを含む低品質のウェブページ
- スクレーパーサイト - ウェブサイトが他のウェブサイトからコンテンツをコピーし、ウェブサイトのコンテンツを作成できるようにするプログラム
- 記事スピニング - 他のサイトからコンテンツをコピーするのではなく、既存の記事を書き直す
- 機械翻訳 - 機械翻訳を使用してコンテンツを複数の異なる言語で書き直すと、判読できないテキストになります。
リンクスパム
リンク スパムとは、メリット以外の理由でページ間に存在するリンクのことです。次のような手法が考えられます。
- リンク構築ソフトウェア -検索エンジン最適化(SEO) プロセスの自動化
- リンク ファーム - 相互参照するページ (相互賞賛団体とも呼ばれます)
- 隠しリンク - 訪問者が見ない、または見ることができない場所にハイパーリンクを配置する
- シビル攻撃 - 悪意を持って複数の身元を偽造する
- スパムブログ - 商業的な宣伝とターゲットサイトへのリンク権限の伝達のみを目的として作成されたブログ
- ページハイジャック - 類似したコンテンツを持つ人気ウェブサイトのコピーを作成し、ウェブサーファーを無関係なウェブサイトや悪意のあるウェブサイトにリダイレクトする
- 期限切れのドメインの購入 - 期限切れのドメインを購入し、ページを無関係なウェブサイトへのリンクに置き換える
- クッキースタッフィング - ウェブサイト訪問者の知らないうちにアフィリエイトトラッキングクッキーを訪問者のコンピュータに配置すること
- フォーラムスパム - ユーザーが編集してスパムサイトへのリンクを挿入できるウェブサイト
クローキング
これは、ウェブクローラーとウェブブラウザに異なる素材や情報を送信するSEO技術です。[28]これは、検索エンジンをだまして、検索エンジンの説明とは大幅に異なるサイトにアクセスさせたり、特定のサイトに高いランキングを与えたりすることができるため、スパムデクシング技術としてよく使用されます。
参照
参考文献
- ^ Berger, Sandy (2005)。「Sandy Berger の Great Age によるインターネットガイド」(文書)。Que Publishing。 0-7897-3442-7 .
- ^ abc 「ユーザーの情報ニーズをサポートするメタ検索エンジンのアーキテクチャ」1999年。
- ^ Ride、Onion (2021)。「検索エンジンの仕組み」。onionride。
- ^ Lawrence, Stephen R.; Lee Giles, C. (1997 年 10 月 10 日). 「特許 US6999959 - メタ検索エンジン」 – Google ブックス経由。
- ^ Voorhees, Ellen M. ; Gupta, Narendra; Johnson-Laird, Ben (2000 年 4 月)。「コレクション融合問題」。
- ^ Selberg, Erik; Etzioni, Oren (1995-12-11)。「MetaCrawler を使用したマルチエンジン検索および比較」。第4 回 World Wide Web 国際会議の議事録。WWW4。ニューヨーク、ニューヨーク州、米国: Association for Computing Machinery: 195–208。doi : 10.1145 /3592626.3592641。ISBN 978-1-56592-169-6。
- ^ 「Metacrawler」www.metacrawler.com . 2024年12月5日閲覧。
- ^ 「HotBot の検索エンジンランキング: HotBot 検索エンジンの簡単な歴史」。
- ^ Howe, Adele E.; Dreilinger, Daniel (1997-06-15). 「SAVVYSEARCH: どの検索エンジンにクエリするかを学習するメタ検索エンジン」. AI Magazine . 18 (2): 19–19. doi :10.1609/aimag.v18i2.1290. ISSN 2371-9621.
- ^ Shu, Bo; Kak, Subhash (1999). 「ニューラルネットワークベースのインテリジェントメタ検索エンジン」.情報科学. 120 (4): 1–11. CiteSeerX 10.1.1.84.6837 . doi :10.1016/S0020-0255(99)00062-6.
- ^ Kak, Subhash (1999 年 11 月)。「瞬時にトレーニングされたニューラル ネットワークによる Web 検索と予測の向上」(PDF)。IEEE Intelligent Systems。
- ^ 「New kid in town」. India Today . 2012年7月6日. 2024年3月14日閲覧。
- ^ 「メタ検索エンジンとは何か?」GeeksforGeeks 2020年8月1日2024年3月14日閲覧。
- ^ “www.metaseek.nl”. www.metaseek.nl . 2024年3月14日閲覧。
- ^ 「当社について – 当社の歴史」。
- ^ Spink, Amanda; Jansen, Bernard J.; Kathuria, Vinish; Koshman, Sherry (2006). 「主要ウェブ検索エンジン間の重複」(PDF) . Emerald.
- ^ 「情報学部」フリブール大学。
- ^ 「インターネットの諜報活動の活用」（PDF）。2002年。
- ^ HENNEGAR, ANNE (2009 年 9 月 16 日). 「メタ検索エンジンが視野を広げます」.
- ^ 孟、威儀 (2008 年 5 月 5 日)。 「メタ検索エンジン」(PDF)。
- ^ Selberg, Erik; Etzioni, Oren (1997). 「Web 上のリソース集約のための MetaCrawler アーキテクチャ」. IEEE エキスパート. pp. 11–14.
- ^ Manoj, M; Jacob, Elizabeth (2013 年 7 月)。「プログラム可能なメタ検索エンジンの設計と開発」(PDF)。コンピュータサイエンスの基礎。pp. 6–11。
- ^ abcd Manoj, M.; Jacob, Elizabeth (2008 年 10 月)。「メタ検索エンジンを使用したインターネット上の情報検索: レビュー」(PDF)。科学産業研究評議会。
- ^ Wu, Shengli; Crestani, Fabio; Bi, Yaxin (2006). 「データ フュージョンにおけるスコア正規化手法の評価」。情報検索テクノロジー。コンピュータ サイエンスの講義ノート。第 4182 巻。642 ～ 648 ページ。CiteSeerX 10.1.1.103.295。doi : 10.1007 /11880592_57。ISBN 978-3-540-45780-0。
- ^ Manmatha, R.; Sever, H. (2014). 「メタ検索のスコア正規化への正式なアプローチ」(PDF) 。 2019年9月30日時点のオリジナル(PDF)からアーカイブ。 2014年10月27日閲覧。
- ^ Najork, Marc (2014). 「Web スパム検出」. Microsoft .
- ^ Vandendriesche、Gerrit (2009 年 2 月)。 「スパムデクシングに関するいくつかの法的コメント」。
- ^ ワン、イーミン;マ、ミン。牛、元。チェン、ハオ (2007 年 5 月 8 日)。 「Web スパマーと広告主のつながり」(PDF)。