電子メール収集またはスクレイピングは、さまざまな方法を使用して電子メール アドレスのリストを取得するプロセスです。通常、これらは大量の電子メールやスパムのために使用されます。
方法
最も簡単な方法は、スパマーが他のスパマーから電子メール アドレスのリストを購入または交換することです。
もう一つの一般的な方法は、「ハーベスティングボット」または「ハーベスター」と呼ばれる特別なソフトウェアを使用することです。これは、スパイダーWeb ページ、 Usenetの投稿、メーリング リスト アーカイブ、インターネット フォーラム、およびその他のオンライン ソースを使用して、公開データから電子メール アドレスを取得します。
スパマーは、電子メール アドレスを収集するために、ディレクトリ ハーベスト攻撃と呼ばれる辞書攻撃の形式を使用する場合もあります。これは、特定のドメインの電子メール アドレスに共通するユーザー名を使用して電子メール アドレスを推測することで、そのドメインの有効な電子メール アドレスを見つける攻撃です。たとえば、alan@ example.com、alana@example.com、alanb@example.com などを試し、受信者の電子メール サーバーによって拒否されるのではなく配信が受け入れられたその他のアドレスは、そのドメインの理論上有効な電子メール アドレスのリストに追加されます。
電子メール アドレス収集の別の方法は、ユーザーが有効な電子メール アドレスを提供する限り、製品やサービスを無料で提供し、ユーザーから収集したアドレスをスパムのターゲットとして使用することです。提供される一般的な製品やサービスは、その日のジョーク、毎日の聖書の引用、ニュースや株価アラート、無料商品、さらには自分の地域の登録性犯罪者アラートなどです。別の手法は、2007 年後半に iDate 社によって使用されました。同社は、Quechup Web サイトの購読者をターゲットにした電子メール収集を使用して、被害者の友人や連絡先にスパムを送信しました。[1]
資源の採取
スパマーは、さまざまなソースから電子メール アドレスを収集することがあります。一般的な方法は、所有者が他の目的で公開した電子メール アドレスを使用する方法です。Usenetの投稿、特にGoogle グループなどのアーカイブにある投稿からは、頻繁にアドレスが見つかります。スパムボットを使用して、企業のスタッフディレクトリや専門団体の会員リストなど、アドレスが記載されたページを Web で検索するだけで、何千ものアドレスが見つかります。そのほとんどは配信可能です。スパマーは、投稿者のアドレスを収集する目的で、ディスカッションメーリング リストにも登録しています。DNSおよびWHOISシステムでは、すべてのインターネット ドメインの技術連絡先情報を公開する必要があります。スパマーは、これらのリソースを違法に検索して電子メール アドレスを探してきました。また、スパマーは、一般に、企業のドメイン名の場合、すべての電子メール アドレスが同じ基本パターンに従うと結論付けており、そのため、収集していない従業員の電子メール アドレスを正確に推測することができます。多くのスパマーは、Web スパイダーと呼ばれるプログラムを使用して、Web ページで電子メール アドレスを見つけます。Usenet の記事のメッセージ ID は、多くの場合、電子メール アドレスによく似ているため、これも収集されます。スパマーは、検索で見つかったウェブサイトを実際にスパイダーで調べることなく、Google の検索結果から直接電子メール アドレスを収集することもあります。 [独自の調査? ]
スパマー ウイルスには、被害を受けたコンピュータのディスク ドライブ (およびネットワーク インターフェイス) をスキャンして電子メール アドレスを検索する機能が含まれている場合があります。これらのスキャナは、Web や Whois で公開されたことのない電子メール アドレスを検出します。共有ネットワーク セグメントにある侵害されたコンピュータは、ネットワーク ネイバー宛てのトラフィックから電子メール アドレスをキャプチャする場合があります。収集されたアドレスは、ウイルスによって作成されたボット ネットを通じてスパマーに返されます。さらに、アドレスに他の情報が付加され、相互参照されて財務データや個人データが抽出される場合もあります。[独自の調査? ]
最近、物議を醸している「e-pending」と呼ばれる戦術では、ダイレクト マーケティング データベースに電子メール アドレスが追加されます。ダイレクト マーケティング業者は通常、雑誌の定期購読や顧客リストなどのソースから見込み客のリストを入手します。ダイレクト マーケティング業者は、記録にある名前と住所に対応する電子メールアドレスをWebやその他のリソースで検索することで、ターゲットを絞ったスパム メールを送信できます。ただし、ほとんどのスパマーの「ターゲット」と同様に、これは不正確です。たとえば、特定の住所にある住宅を抵当に入れるよう勧誘されたという報告がユーザーから寄せられています。その住所は明らかに会社の住所で、郵便局の住所とオフィス番号も含まれています。[独自の調査? ]
スパマーは、アドレスが配達可能であることを確認するために、さまざまな手段を使うことがあります。たとえば、HTMLで書かれたスパム メッセージにWeb バグを隠しておくと、受信者のメール クライアントが受信者のアドレスやその他の一意のキーをスパマーの Web サイトに送信する可能性があります。[2]ユーザーは、メール プログラムの画像表示オプションをオフにするか、電子メールをフォーマットされた形式ではなくプレーン テキストとして読むことで、このような悪用から身を守ることができます。 [独自の調査? ]
同様に、スパマーは、スパムリストから送信されたアドレスを削除することを目的としたWebページを運営することがあります。いくつかのケースでは、これらのページは、入力されたアドレスを登録して、より多くのスパムを受信するようにすることが判明しています。[3]
ユーザーがフォームに記入すると、そのフォームは、Web サービスまたは HTTP ポストを使用してデータを転送するスパマーに販売されることがよくあります。これは即時に行われ、さまざまなスパマー データベースにメールがドロップされます。スパマーから得た収益は、ソースと共有されます。たとえば、誰かがオンラインで住宅ローンを申し込む場合、このサイトの所有者は、アドレスを販売するためにスパマーと契約している可能性があります。これらは、新しく、ユーザーがスパムによって販売されることが多い製品またはサービスにサインアップしたばかりであるため、スパマーはこれらのメールを最良のメールと見なします。
合法性
多くの管轄区域では、電子メール アドレスの収集や使用を制限するスパム対策法が施行されています。 [独自の調査? ]
オーストラリアでは、2003年のスパム対策法により、電子メールアドレス収集プログラム(アドレス収集ソフトウェア)の作成または使用は、迷惑な商業メールを送信するために電子メールアドレス収集プログラムを使用する場合にのみ違法となります。[4] [5]この法律は、「オーストラリア関連の」電子メール、つまりオーストラリアで発信されたスパムが他の場所に送信されることや、オーストラリアのアドレスにスパムが送信されることを禁止することを目的としています。
ニュージーランドでは、2007年の迷惑電子メッセージ法に同様の制限が設けられています。[6] アメリカ合衆国では、2003年のCAN-SPAM法[7]により、受信者の電子メールアドレスが以下の方法で取得された場合、その受信者に商用メールを送信することは違法となりました。
- 名前、文字、または数字をさまざまな組み合わせで組み合わせて、可能な電子メール アドレスを生成する自動化された手段を使用します。
- 自動化された手段を使用して、他者が運営するインターネット Web サイトまたは独自のオンライン サービスから電子メール アドレスを抽出すること。また、そのような Web サイトまたはオンライン サービスには、アドレスが取得された時点で、そのような Web サイトまたはオンライン サービスの運営者は、電子メール メッセージを開始する、または他者が電子メール メッセージを開始できるようにする目的で、そのような Web サイトまたはオンライン サービスによって保持されるアドレスを他の当事者に提供、販売、またはその他の方法で譲渡しないことを示す通知が含まれていました。
さらに、ウェブサイト運営者は、合法的に収集したリストを配布することはできません。2003 年の CAN-SPAM 法では、ウェブサイトやオンライン サービスの運営者は、電子メール メッセージを送信する、または他者が送信できるようにする目的で、ウェブサイトやオンライン サービスが保持するアドレスを他の当事者に提供、販売、またはその他の方法で譲渡しないという通知を含めることが義務付けられています。
対策
- アドレス変更
- アドレス変更(例えば「bob@example.com」を「bob at example dot com」に変更する)は、電子メール アドレスの収集を困難にする一般的な手法です。比較的簡単に克服できますが(この Google 検索を参照)、それでも効果的です。[8] [9]アドレスを調べて手動で修正する必要があるため、ユーザーにとっては多少不便です。
- 画像
- 画像を使用して電子メール アドレスの一部または全体を表示することは、非常に効果的な収集対策です。画像からテキストを自動的に抽出するために必要な処理は、スパマーにとって経済的ではありません。手動でアドレスを入力するユーザーにとっては非常に不便です。
- お問い合わせフォーム
- 電子メールを送信しても受信者のアドレスを明かさない電子メール連絡フォームは、そもそも電子メール アドレスの公開を回避します。ただし、この方法では、ユーザーが好みの電子メール クライアントで作成できず、メッセージの内容がプレーン テキストに制限され、ユーザーの「送信済み」メール フォルダーにユーザーの発言内容の記録が自動的に残ることはありません。
- JavaScript 難読化
- JavaScript による電子メール難読化では、スパイダーからアドレスを隠しつつ、ユーザーには通常のクリック可能な電子メールリンクを生成します。ハーベスターが見るソースコードでは、電子メールアドレスはスクランブル、エンコード、またはその他の方法で難読化されています。[8]ほとんどのユーザーにとって非常に便利ですが、テキストベースのブラウザやスクリーンリーダー、または JavaScript 対応ブラウザを使用していないユーザーにとってはアクセシビリティが低下します。[10]
- HTML の難読化
- HTML では、メールアドレスをさまざまな方法で難読化できます。たとえば、アドレス内に隠し要素を挿入したり、パーツを順序どおりに並べずに CSS を使用して正しい順序に戻したりすることができます。いずれの方法も、ほとんどのユーザーにとってわかりやすいという利点がありますが、クリック可能なメール リンクをサポートしているものはなく、テキスト ベースのブラウザーやスクリーン リーダーでアクセス可能なものもありません。
- キャプチャ
- メールアドレスを入力する前にCAPTCHAの入力を求めることは、効果的な収集対策です。人気のソリューションはreCAPTCHA Mailhideサービスです。(注: 12.9.18: Mailhideはサポートされなくなりました。) [11]
- CAN-SPAM 通知
- 2003年のCAN-SPAM法に基づいてスパマーを訴追できるようにするには、ウェブサイト運営者は「サイトまたはサービスは、電子メールメッセージを開始したり、他の人が開始できるようにする目的で、そのようなウェブサイトまたはオンラインサービスによって保持されているアドレスを他の当事者に提供、販売、またはその他の方法で譲渡しない」という通知を掲載する必要があります。[12]
- メールサーバーの監視
- 電子メール サーバーは、ディレクトリ ハーベスティング攻撃に対抗するために、短期間に複数の無効な受信者アドレスを指定したリモート送信者との通信を拒否するなど、さまざまな方法を使用しますが、このような対策のほとんどには、正当な電子メールが中断されるリスクが伴います。
- クモトラップ
- スパイダートラップは、電子メール収集スパイダーに対抗するために設計されたハニーポットであるウェブサイトの一部です。 [13]行儀の良いスパイダーは影響を受けません。ウェブサイトのrobots.txtファイルがスパイダーにそのエリアに近づかないように警告します。悪意のあるスパイダーは警告に耳を貸しません。トラップの中には、トラップにアクセスするとすぐにクライアントの IP からのアクセスをブロックするものもあります。[14] [15] [16]ネットワークタールピットなどの他のトラップは、スパイダーに役に立たない情報をゆっくりと際限なく与えて、悪意のあるスパイダーの時間とリソースを無駄にするように設計されています。[17] 「餌」コンテンツには、リスト ポイズニングと呼ばれる手法で大量の偽のアドレスが含まれている場合があります。ただし、この手法は有害であると考える人もいます。[18] [19] [20] [21]
参照
参考文献
- ^ Arthur, Charls (2007-09-13). 「ソーシャル ネットワーク サイトはプライバシーを本当に気にしているのか?」. theguardian. 2016-12-22 時点のオリジナルよりアーカイブ。2007-10-30閲覧。
- ^ Heather Harreld (2000 年 12 月 5 日)。「埋め込まれた HTML の「バグ」は潜在的なセキュリティ リスクをもたらす」。InfoWorld。2006 年 12 月 10 日時点のオリジナルからアーカイブ。2007年 1 月 6 日に取得。
- ^ 「Spam Unsubscribe Services」。The Spamhaus Project Ltd. 2005年9月29日。2009年3月9日時点のオリジナルよりアーカイブ。2007年1月6日閲覧。
- ^ 「EFA Analysis of Australian Spam Bills 2003」efa.org.au . Electronic Frontiers Australia . 2003-11-01. アドレス収集ソフトウェアとリスト。 2021-05-04時点のオリジナルよりアーカイブ。
- ^ “オーストラリアがスパムを全面禁止” 2003年8月18日. 2007年2月3日時点のオリジナルよりアーカイブ。2021年7月4日閲覧。
- ^ 「2007年迷惑電子メッセージ法第7号、公法第2部—アドレス収集ソフトウェアおよび収集アドレスリスト」。legislation.govt.nz 。 2021年2月17日時点のオリジナルよりアーカイブ。2021年7月4日閲覧。
- ^ 「Public Law 108–187」(PDF) 。 2006年1月4日時点のオリジナルよりアーカイブ(PDF) 。 2007年5月28日閲覧。
- ^ ab Silvan Mühlemann、2008年7月20日、電子メールアドレスを難読化する9つの方法の比較
- ^ Hohlfeld, Oliver; Graf, Thomas; Ciucu, Florin (2012). Longtime Behavior of Harvesting Spam Bots (PDF) . ACM Internet Measurement Conference. 2014-07-25 のオリジナルからアーカイブ(PDF) 。 2014-07-18に取得。
- ^ Roel Van Gils、A List Apart、2007 年 11 月 6 日、Graceful Email Obfuscation、Wayback Machineで 2011 年 2 月 22 日にアーカイブ
- ^ 「Mailhide: 無料のスパム対策」 。 2023年3月18日閲覧。
- ^ 「15 US Code § 7704 - 商用電子メールのユーザーに対するその他の保護」2016-09-19にWayback Machineでアーカイブ、セクションa.4.b.1.Ai
- ^ SEO 用語集、 Wayback Machineで 2010-12-28 にアーカイブ済み: 「スパイダー トラップとは、スパイダーがページを要求し、サーバーがページをレンダリングするためのデータを要求する連続ループ、または robots.txt を尊重しないスパイダーを識別 (および「禁止」) するように設計された意図的なスキームを指します。」
- ^ [1] 2008-05-17にWayback Machineでアーカイブ。アクセスしたクライアントを禁止するスパイダートラップ。
- ^ Thomas Zeithaml、Spider Trap: How It Works 2018-04-11 にWayback Machineでアーカイブ
- ^ Ralf D. Kloth、ボットトラップで悪質なボットを捕まえる 2006-01-17 にWayback Machineでアーカイブ
- ^ “How to keep bad robots”. fleiner.com . 2023年3月18日時点のオリジナルよりアーカイブ。2023年3月18日閲覧。
- ^ Ralf D. Kloth、Fight SPAM、catch Bad Bots、2006-06-01 にアーカイブ、Wayback Machineより:「スパムボットのアドレスデータベースを台無しにするために、偽のアドレスの長いリストを含む Web ページを生成することは推奨されません。スパマーが本当に気にしているかどうかは不明であり、一方でスパマーがそれらのアドレスを使用すると、ネットワークリンクに追加のトラフィック負荷が発生し、無実のサードパーティサーバーに悪影響が及ぶからです。」
- ^ Harvester Killer Archived 2008-04-11 at the Wayback Machine : 偽の電子メールを生成し、スパイダーを無限ループに陥れます。
- ^ 「ポータビリティ サポート: スパイダー ブロッキング => スパイダー トラップ - 悪質なボットを検出してブロックします」。2011 年 7 月 6 日のオリジナルからアーカイブ。2011年 2 月 12 日閲覧。5,000 個の偽の電子メール アドレスを生成し、クライアントのそれ以上のアクセスをブロックするスパイダー トラップ。
- ^ robotcop.org Archived 2019-10-20 at the Wayback Machine : 「ウェブマスターは、不正な行動をとるスパイダーに対して、スパイダーを捕獲したり、収集した電子メール アドレスのデータベースを汚染したり、単にブロックしたりすることで対応できます。」
