Loading article…
スクレイパーサイトとは、ウェブスクレイピングを用いて他のウェブサイトからコンテンツをコピーするウェブサイトのことです。コピーされたコンテンツは、収益を生み出すことを目的として複製され、通常は広告収入、場合によってはユーザーデータの販売によって収益を得ます。
スクレイピングサイトには様々な形態があります。中には、ほとんど情報や素材を提供せず、スパムメールの送信先となるメールアドレスなどのユーザー情報を取得することを目的としたサイトもあります。価格比較サイトやショッピングサイトは、同一商品の複数の掲載情報にアクセスし、ユーザーが価格を素早く比較できるようにします。
Googleなどの検索エンジンは、スクレイピングサイトの一種とみなすことができます。検索エンジンは他のウェブサイトからコンテンツを収集し、独自のデータベースに保存し、インデックスを作成し、スクレイピングしたコンテンツを検索エンジンのユーザーに表示します。検索エンジンによってスクレイピングされるコンテンツの大部分は著作権で保護されています。[ 1 ]
スクレイピング技術は、さまざまな出会い系サイトでも使用されています。これらのサイトでは、スクレイピング活動と顔認識を組み合わせていることがよくあります。[ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ]
スクレイピングは、一般的な画像解析（認識）ウェブサイトだけでなく、害虫や病気にかかった作物の画像を識別するために特別に作られたウェブサイトでも使用されています。[ 12 ] [ 13 ]
スクレイパーサイトの中には、広告プログラムを利用して収益を得る目的で作成されたものがあります。そのようなサイトは、Made for AdSenseサイト、またはMFAサイトと呼ばれます。この蔑称は、広告をクリックさせるためだけに訪問者をウェブサイトに誘い込むこと以外に何の価値もないウェブサイトを指します。[ 14 ]
AdSense専用サイトは、検索エンジンのスパムとみなされ、不十分な検索結果によって検索結果の質を低下させます。スクレイピングされたコンテンツは、MFAサイトが検索結果に含まれていなかった場合に検索エンジンが通常表示するコンテンツと比較して、重複しています。
スクレイパーサイトの中には、プライベートブログネットワークを通じて検索エンジンのランキングを向上させるために、他のサイトにリンクしているものがあります。GoogleがPandaと呼ばれる検索アルゴリズムのアップデートを行う前は、スパムデキシングと呼ばれる手法を使用するブラックハットマーケターの間で、オートブログと呼ばれるタイプのスクレイパーサイトが非常に一般的でした。
スクレイパーサイトは著作権法に違反する可能性があります。オープンコンテンツサイトからコンテンツを取得する場合でも、ライセンスを尊重しない方法で行えば著作権侵害となる可能性があります。たとえば、 Wikipedia [ 17 ]で使用されているGNU フリー文書ライセンス(GFDL) [ 15 ]およびクリエイティブ・コモンズシェアアライク (CC-BY-SA) [ 16 ]ライセンスでは、Wikipedia の再発行者は、これらのライセンスの条件を読者に通知し、元の著者にクレジットを付与する必要があります。
スクレイパーの目的によって、ウェブサイトのターゲットとなる方法は異なります。例えば、航空会社、家電量販店、百貨店など、コンテンツ量の多いサイトは、価格情報を常に把握するために、競合他社によって定期的にターゲットにされる可能性があります。
別のタイプのスクレイパーは、ターゲットとするキーワードで上位にランクインしているウェブサイトから抜粋やテキストを抜き出します。こうすることで、元のページのページランクに便乗し、検索エンジンの検索結果ページ（SERP）で上位にランクインすることを期待します。RSSフィードはスクレイパーの標的になりやすいです。
その他のスクレイピングサイトは、広告と辞書からランダムに選ばれた単語の段落で構成されています。多くの場合、訪問者はそのようなサイト上のクリック課金型広告をクリックします。なぜなら、それがページ上で唯一理解できるテキストだからです。これらのスクレイピングサイトの運営者は、これらのクリックから金銭的な利益を得ています。広告ネットワークは、これらのサイトをプログラムから削除するために常に努力していると主張していますが、実際には、これらのサイトで発生するクリックから直接利益を得ています。広告主の視点から見ると、ネットワークはこの問題の解決に十分な努力をしていないように見えます。
スクレイパーはリンクファームと関連付けられることが多く、複数のスクレイパーが同じターゲットサイトにリンクしている場合、両者は同一視されることがあります。頻繁に標的となる被害サイトは、複数のスクレイパーサイトから被害者ウェブサイトへの不自然なリンクパターンが見られるため、リンクファームに関与していると非難される可能性があります。
スクレイピングサイトを作成するプログラマーの中には、最近期限切れになったドメイン名を購入して、GoogleでのSEO効果を再利用しようとする者がいます。期限切れドメインをすべて把握し、過去のランキング能力を活用することに特化した企業も存在します。そうすることで、SEO担当者はドメイン名に既に確立されているバックリンクを利用できるようになります。スパマーの中には、期限切れサイトのトピックに合わせようとしたり、インターネットアーカイブから既存のコンテンツをコピーしてサイトの信憑性を維持し、バックリンクが失われないようにしようとする者もいます。例えば、写真家に関する期限切れのウェブサイトを再登録して写真撮影のヒントに関するサイトを作成したり、ドメイン名を自身のプライベートブログネットワークで使用して自身の写真サイトを運営したりすることがあります。
有効期限切れドメイン名の登録代行業者の中には、これらの有効期限切れドメインを見つける機能と、そのドメイン名がかつてウェブサイトで使用していたHTMLを収集する機能の両方を提供するサービスを提供しているところがある。