スクレーパーサイト

スクレイパーサイトとは、Web スクレイピングを使用して他の Web サイトのコンテンツをコピーするWeb サイトです。コンテンツはその後、通常は広告を通じて、場合によってはユーザー データを販売することによって収益を生み出すことを目的としてミラーリングされます。

スクレイパー サイトにはさまざまな形式があります。資料や情報をほとんど提供せず、スパム メールのターゲットとなる電子メール アドレスなどのユーザー情報を取得することを目的としているものもあります。価格集約サイトやショッピング サイトは、製品の複数のリストにアクセスし、ユーザーが価格をすばやく比較できるようにします。

Googleなどの検索エンジンは、スクレイパー サイトの一種であると考えられます。検索エンジンは他の Web サイトからコンテンツを収集し、独自のデータベースに保存してインデックスを作成し、スクレイピングしたコンテンツを検索エンジンのユーザーに提示します。検索エンジンによってスクレイピングされたコンテンツの大部分は著作権で保護されています。^[1]

スクレイピング技術はさまざまな出会い系サイトでも使用されています。これらのサイトでは、スクレイピングと顔認識を組み合わせていることがよくあります。^{[2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [引用過剰]}

スクレイピングは、一般的な画像解析（認識）ウェブサイトだけでなく、害虫や病気のある作物の画像を識別するために特別に作られたウェブサイトでも使用されています。^{[12] [13]}

一部のスクレイパーサイトは、広告プログラムを利用して収益を得るために作成されています。そのような場合、それらはMade for AdSenseサイトまたはMFAと呼ばれます。この軽蔑的な用語は、広告をクリックする目的で訪問者をウェブサイトに誘い込むこと以外に価値のないウェブサイトを指します。^[14]

AdSense 用に作成されたサイトは、満足のいく検索結果ではなく検索結果を薄める検索エンジン スパムと見なされます。スクレイピングされたコンテンツは、リストに MFA ウェブサイトが見つからなかった場合、通常の状況で検索エンジンによって表示されるコンテンツと比較して冗長です。

一部のスクレイパー サイトは、プライベート ブログ ネットワークを通じて検索エンジンのランキングを向上させるために他のサイトにリンクしています。Google がPandaと呼ばれる検索アルゴリズムを更新する前は、オート ブログと呼ばれるタイプのスクレイパー サイトが、スパムデクシングと呼ばれる手法を使用するブラック ハット マーケターの間で非常に一般的でした。

スクレイパーサイトは著作権法に違反する可能性があります。オープンコンテンツサイトからコンテンツを取得することでさえ、ライセンスを尊重せずに行うと著作権侵害になる可能性があります。たとえば、 Wikipedia ^[17]で使用されているGNUフリードキュメンテーションライセンス（GFDL）^[15]とクリエイティブコモンズShareAlike（CC-BY-SA）^[16]ライセンスでは、Wikipediaを再発行する場合、これらのライセンスの条件を読者に通知し、元の著者にクレジットを付与することが義務付けられています。

スクレイパーの目的に応じて、Web サイトをターゲットにする方法は異なります。たとえば、航空会社、家電製品、デパートなどの大量のコンテンツを持つサイトは、価格情報を把握するためだけに競合他社から定期的にターゲットにされる可能性があります。

別の種類のスクレイパーは、ターゲットとするキーワードで上位にランクされているウェブサイトからスニペットやテキストを取得します。こうすることで、元のページのページランクに便乗して、検索エンジンの結果ページ(SERP)で上位にランクされることを望みます。RSSフィードはスクレイパーに対して脆弱です。

その他のスクレイパー サイトは、広告と、辞書からランダムに選択された単語の段落で構成されています。多くの場合、訪問者は、ページ上で理解可能な唯一のテキストであるペイパークリック広告をそのようなサイトでクリックします。これらのスクレイパー サイトの運営者は、これらのクリックから金銭的な利益を得ています。広告ネットワークは、これらのサイトをプログラムから削除するために常に取り組んでいると主張していますが、これらのネットワークは、この種のサイトで生成されたクリックから直接利益を得ています。広告主の観点から見ると、ネットワークはこの問題を阻止するために十分な努力をしていないようです。

スクレイパーはリンク ファームと関連付けられる傾向があり、複数のスクレイパーが同じターゲット サイトにリンクしている場合、同じものとして認識されることがあります。頻繁にターゲットとなる被害者サイトは、複数のスクレイパー サイトからリンクされた被害者 Web サイトへの着信リンクの人工的なパターンにより、リンク ファームへの参加を非難される可能性があります。

スクレイパーサイトを作成するプログラマーの中には、最近期限切れになったドメイン名を購入して、Google での SEO パワーを再利用する人もいます^。企業全体が、期限切れのドメインをすべて理解し、過去のランキング能力を活用することに^重点を置いています。そうすることで、SEO 担当者はドメイン名への既存のバックリンクを活用できるようになります。スパマーの中には、期限切れのサイトのトピックに一致させたり、インターネット アーカイブから既存のコンテンツをコピーしてサイトの信頼性を維持し、バックリンクが失われないようにする人もいます。たとえば、写真家に関する期限切れの Web サイトを再登録して、写真撮影のヒントに関するサイトを作成したり、プライベートブログ ネットワークでドメイン名を使用して独自の写真撮影サイトを運営したりすることがあります。

期限切れのドメイン名登録代理店の一部が提供するサービスでは、期限切れのドメインを検索する機能と、そのドメイン名が Web サイトで使用していた HTML を収集する機能の両方が提供されています。^{[引用が必要]}

• 削り取り
• コンタクトスクレイピング
• ドメインパーキング
• ウェブスクレイピング
• ブログスクレイピング
• マルチプロトコルメッセンジャー：複数のネットワークに接続できますが、これらすべてにアカウントを持っている必要があるため、ネットワークの規約に違反することはありません。
• コンテンツファーム
• 検索エンジン最適化（SEO）