Loading article…
クローキングは、検索エンジン最適化(SEO) 手法の 1 つで、検索エンジン スパイダーに提示されるコンテンツが、ユーザーのブラウザーに提示されるコンテンツと異なるものです。これは、ページを要求しているユーザーのIP アドレスまたはUser-Agent HTTPヘッダーに基づいてコンテンツを配信することによって行われます。ユーザーが検索エンジン スパイダーであると識別されると、サーバー側スクリプトは、表示されているページに存在しないコンテンツを含む、または存在するが検索できないWeb ページの別のバージョンを配信します。クローキングの目的は、検索エンジンを欺いて、本来は表示されないページを表示することです (ブラック ハットSEO)。ただし、動画や特定のAdobe Flashコンポーネントなどの非テキスト コンテナーに埋め込まれているために検索エンジンが見つけることができないコンテンツを検索エンジンに通知するための機能的な (ただし時代遅れの) 手法になることもあります。2006 年以降、プログレッシブ エンハンスメントなどのより優れたアクセシビリティ方法が利用できるようになったため、通常の SEO ではクローキングは不要になりました。[1]
クローキングは、検索エンジンにサイトのランキングを高くするよう誘導するスパムデクシング手法としてよく使用されます。同じ方法で、検索エンジンのユーザーを騙して、検索エンジンの説明とは大幅に異なるサイトを訪問させることもできます。これには、ポルノではない検索結果に隠されたポルノコンテンツを表示することも含まれます。
クローキングはドアウェイ ページテクニックの一種です。
DMOZ ウェブ ディレクトリでも同様の手法が使用されていますが、検索エンジン クローキングとはいくつかの点で異なります。
- これは、コンピューターの検索エンジンのスパイダーではなく、人間の編集者を騙すことを目的としています。
- クローキングを行うかどうかの決定は、多くの場合、HTTPリファラー、ユーザー エージェント、または訪問者の IP に基づいて行われますが、より高度な手法では、いくつかのページ リクエスト後のクライアントの動作分析に基づいて行うこともできます。Web サイトのページに送信される後続の HTTP リクエストの生の量、ソート、およびリクエスト間の遅延、robots.txtファイルのチェックの有無は、検索エンジンのスパイダーが自然なユーザー動作と大きく異なるパラメーターの一部です。リファラーは、ユーザーがページにアクセスするためにリンクをクリックしたページのURL を示します。ディレクトリ エディターは通常、ディレクトリ Web ページに表示されるリンクをクリックしてサイトを調べるため、一部のクローキング ツールは Web ディレクトリ Web サイトからアクセスしたすべてのユーザーに偽のページを表示します。他のクローキング ツールは、主要な検索エンジンからアクセスしたユーザーを除くすべてのユーザーに偽のページを表示します。これにより、クローキングの検出が難しくなりますが、ほとんどのユーザーは検索エンジンを使用して Web サイトを見つけるため、多くの訪問者を失うことはありません。
クローキングと IP 配信
IP 配信はクローキングのより無害なバリエーションとみなすことができ、リクエスト元のIP アドレスに基づいて異なるコンテンツが提供されます。クローキングでは、検索エンジンとユーザーは互いのページを見ることはありませんが、IP 配信の他の用途では、検索エンジンとユーザーの両方が同じページを見ることができます。この手法は、スパイダーが分析できるテキストコンテンツがほとんどないグラフィックを多用するサイトで時々使用されます。[2]
IP 配信の用途の 1 つは、リクエスト者の所在地を特定し、その国向けに特別に作成されたコンテンツを配信することです。これは必ずしもクローキングではありません。たとえば、Google はAdWordsおよびAdSense 広告プログラムに IP 配信を使用して、さまざまな地理的な場所にいるユーザーをターゲットにしています。
IP 配信は、コンテンツを提供する言語を決定する方法としては、粗雑で信頼性の低いものです。多くの国や地域は多言語であり、リクエスト元が外国人である可能性もあります。コンテンツ ネゴシエーションのよりよい方法は、クライアントのAccept-LanguageHTTP ヘッダーを調べることです。
参照
参考文献
さらに読む
- Baoning Wu および Brian D. Davison: 「クローキングとリダイレクト: 予備的研究」。Web 上の敵対的情報検索に関するワークショップ、千葉、日本、2005 年。