Loading article…
80legsは、ユーザーがサービスとしてのソフトウェアプラットフォームを通じてウェブクローリングを作成・実行できるウェブクローリングサービスです。
80legsは、テキサス州ヒューストンにあるComputational Crawling社によって開発されました。同社は2009年4月に80legsのプライベートベータ版をリリースし、DEMOfall 09カンファレンスでサービスを公開しました。公開当初、80legsはカスタマイズされたウェブクローリングおよびスクレイピングサービスを提供していました。2009年後半には、サブスクリプションプランやその他の製品を追加しました。[ 1 ] [ 2 ]
80legsは分散グリッドコンピューティングネットワーク上に構築されています。[ 3 ]このグリッドは、世界中に分散された約5万台の個々のコンピュータで構成されており、帯域幅制限超過を防ぐために帯域幅監視技術を使用しています。[ 4 ]
80legs は、その技術が分散型サービス拒否攻撃として機能し、 robots.txtに従わないとして、多くのサイト所有者から批判されています。[ 5 ] [ 6 ] [ 7 ]平均的なウェブマスターは 80legs の存在を知らないため、そのクローラーへのアクセスをブロックできるのは、手遅れになってサーバーが DDoS 攻撃を受け、ログファイルの時間のかかる詳細な分析の後で犯人が特定された後だけです。
ModSecurityの一部のルールセットでは、DDoS攻撃を防ぐために、80legsによるWebサーバーへのアクセスを完全にブロックしています。80legsは分散型クローラーであるため、IPアドレスでブロックすることは不可能です。