データスクレイピング

データスクレイピングは、コンピュータ プログラムが別のプログラムからの 人間が判読可能な出力からデータを抽出する手法です。

通常、プログラム間のデータ転送は、人間ではなくコンピュータによる自動処理に適したデータ構造を使用して行われます。このような交換形式とプロトコルは、通常、厳密に構造化され、適切に文書化され、簡単に解析され、あいまいさが最小限に抑えられています。多くの場合、これらの転送は人間がまったく判読できません。

したがって、データ スクレイピングと通常の解析を区別する重要な要素は、スクレイピングされる出力が、別のプログラムへの入力としてではなく、エンド ユーザーへの表示を目的としていることです。したがって、通常は、便利な解析のために文書化も構造化もされません。データ スクレイピングでは、バイナリ データ(通常は画像またはマルチメディア データ)、表示フォーマット、冗長なラベル、余分なコメント、および無関係または自動処理を妨げるその他の情報が無視されることがよくあります。

データスクレイピングは、現在のハードウェアと互換性のある他のメカニズムを持たないレガシーシステムへのインターフェース、またはより便利なAPI を提供しないサードパーティシステムへのインターフェースのいずれかで行われることが最も多い。 後者の場合、サードパーティシステムのオペレーターは、システム負荷の増加、広告収入の損失、情報コンテンツの制御の喪失などの理由により、スクリーンスクレイピングを望ましくないものと見なすことが多い。

データ スクレイピングは、一般にアドホックで洗練されていない手法と考えられており、データ交換のための他のメカニズムが利用できない場合にのみ「最後の手段」として使用されます。プログラミングと処理のオーバーヘッドが高いことに加え、人間が使用することを目的とした出力表示は、構造が頻繁に変更されることがよくあります。人間はこれに簡単に対処できますが、コンピュータ プログラムは失敗します。コンピュータに存在するエラー処理ロジックの品質と範囲によっては、この失敗によりエラー メッセージ、破損した出力、さらにはプログラム クラッシュが発生する可能性があります。

しかし、今日ではデータスクレイピングパイプラインの設定は簡単で、実用的なニーズを満たすために最小限のプログラミング作業しか必要としません（特に生物医学データの統合において）。^[1]

物理的な「ダム端末」IBM 3270の使用は徐々に減少していますが、メインフレームアプリケーションがWebインターフェースを取得するにつれて、一部のWebアプリケーションは、古い画面をキャプチャしてデータを最新のフロントエンドに転送するスクリーンスクレイピングの手法を引き続き使用しています。^[2]

スクリーン スクレイピングは、通常、Web スクレイピングのようにデータを解析するのではなく、ソースから視覚データをプログラムで収集することに関連付けられます。元々、スクリーン スクレイピングは、コンピューターの表示端末の画面からテキスト データを読み取ることを指していました。これは通常、端末の補助ポートを介して端末のメモリを読み取るか、あるコンピューター システムの端末出力ポートを別のコンピューター システムの入力ポートに接続することによって行われました。スクリーン スクレイピングという用語は、双方向のデータ交換を指す場合にもよく使用されます。これは、制御プログラムがユーザー インターフェイスをナビゲートする単純なケース、または制御プログラムが人間が使用することを意図したインターフェイスにデータを入力するより複雑なシナリオである可能性があります。

典型的なスクリーン スクレーパーの具体的な例として、コンピューターによるデータ処理の黎明期である 1960 年代の架空のレガシー システムを考えてみましょう。その時代のコンピューターとユーザー間のインターフェイスは、多くの場合、単なるテキスト ベースのダム ターミナルで、仮想テレプリンターに過ぎませんでした(このようなシステムは、さまざまな理由から現在でも使用されています^{[アップデート]})。このようなシステムをより現代的なシステムにインターフェイスしたいという要望はよくあります。堅牢なソリューションには、ソース コード、システムドキュメント、API、または50 年前のコンピューター システムの経験を持つプログラマーなど、もはや入手できないものが必要になることがよくあります。このような場合、唯一実行可能なソリューションは、ターミナルのユーザーを「装う」スクリーン スクレーパーを作成することです。スクリーン スクレーパーは、Telnet経由でレガシー システムに接続し、古いユーザー インターフェイスをナビゲートするために必要なキーストロークをエミュレートし、結果の表示出力を処理し、必要なデータを抽出して、それを現代的なシステムに渡します。大企業に必要なガバナンスと制御 (変更管理、セキュリティ、ユーザー管理、データ保護、運用監査、負荷分散、キュー管理など) を提供するプラットフォーム上に構築された、このような高度で回復力のある実装は、人工知能に基づく自己誘導型 RPA 2.0 (RPAAI) と呼ばれるロボティック プロセス オートメーションソフトウェアの一例と言えます。

1980年代、ロイター、テレレート、クオトロンなどの金融データプロバイダーは、人間が読むことを想定して24×80の形式でデータを表示していました。このデータのユーザー、特に投資銀行は、この文字データをキャプチャして数値データに変換し、データを再入力せずに取引の決定の計算に含めるためのアプリケーションを作成しました。特に英国では、この方法はページシュレッディングと呼ばれていました。これは、結果が紙シュレッダーを通したかのように見えるためです。ロイター社内では、この変換プロセスを「ロジタイズ」と呼び、VAX/VMS上でロジサイザーと呼ばれる高度なコンピューターシステムを実行していました。^[3]

より現代的なスクリーンスクレイピング技術には、画面からビットマップデータをキャプチャしてOCRエンジンに通すものや、一部の特殊な自動テストシステムでは画面のビットマップデータを期待される結果と照合するものなどがあります。^[4] GUIアプリケーションの場合、これを、基礎となるプログラミングオブジェクトへの参照をプログラムで取得してグラフィカルコントロールを照会することと組み合わせることができます。一連の画面が自動的にキャプチャされ、データベースに変換されます。

これらの技術のもう 1 つの現代的な適応は、入力として一連の画面ではなく、一連の画像または PDF ファイルを使用することです。そのため、一般的な「ドキュメント スクレイピング」およびレポート マイニング技術と重複する部分があります。

スクリーンスクレイピングに使用できるツールは数多くあります。^[5]

ウェブページはテキストベースのマークアップ言語（HTMLとXHTML）を使用して構築されており、多くの場合、テキスト形式で豊富な有用なデータが含まれています。ただし、ほとんどのウェブページは人間のエンドユーザー向けに設計されており、自動化された使いやすさを考慮して設計されていません。このため、ウェブコンテンツをスクレイピングするツールキットが作成されました。ウェブスクレイパーは、ウェブサイトからデータを抽出するためのAPIまたはツールです。 ^[6] Amazon AWSやGoogleなどの企業は、エンドユーザーに無料で利用できるウェブスクレイピングツール、サービス、およびパブリックデータを提供しています。新しい形式のウェブスクレイピングでは、ウェブサーバーからのデータフィードをリッスンします。たとえば、JSONは、クライアントとウェブサーバー間のトランスポートストレージメカニズムとしてよく使用されます。ウェブスクレイパーは、ウェブサイトのURLを使用してデータを抽出し、このデータを保存して後で分析します。このウェブスクレイピング方法により、効率的かつ正確な方法でデータを抽出できます。^[7]

最近、企業はDOM解析、コンピュータービジョン、自然言語処理の技術を利用して、ウェブページを閲覧する際に発生する人間の処理をシミュレートし、有用な情報を自動的に抽出するウェブスクレイピングシステムを開発しました。^{[8] [9]}

大規模なウェブサイトでは通常、ウェブスクレイパーからデータを保護し、IPまたはIPネットワークが送信できるリクエストの数を制限するために防御アルゴリズムを使用しています。これにより、ウェブサイト開発者とスクレイピング開発者の間で継続的な戦いが起こっています。^[10]

レポート マイニングとは、人間が読める形式のコンピュータ レポートからデータを抽出することです。従来のデータ抽出では、稼働中のソース システムへの接続、適切な接続標準またはAPI、通常は複雑なクエリが必要です。ソース システムの標準レポート作成オプションを使用し、出力をプリンタではなくスプール ファイルに送ることで、レポート マイニングによるオフライン分析に適した静的レポートを生成できます。^{[11]このアプローチにより、営業時間中の}CPU の集中的な使用を回避し、 ERP顧客のエンド ユーザーライセンス コストを最小限に抑え、カスタム レポートのプロトタイプ作成と開発を非常に迅速に行うことができます。データ スクレイピングと Web スクレイピングでは動的な出力を操作しますが、レポート マイニングではHTML 、PDF、テキストなど、人間が読める形式のファイルからデータを抽出します。これらは、プリンタへのデータ フィードを傍受することで、ほぼすべてのシステムから簡単に生成できます。このアプローチでは、ソース システムへの API をプログラムすることなく、データを取得するための迅速かつ簡単なルートを提供できます。

法的および倫理的考慮事項

データスクレイピングの合法性と倫理性については、しばしば議論されています。一般に公開されているデータのスクレイピングは一般的に合法ですが、ウェブサイトの利用規約に違反したり、セキュリティ対策を破ったり、ユーザーのプライバシーを侵害したりするような方法でスクレイピングを行うと、法的措置の対象となる可能性があります。さらに、一部のウェブサイトでは、ロボットによるデータスクレイピングを特に禁止しています。

12. マルチログイン。(nd) マルチログイン | アカウントの禁止を防ぎ、スケーリングを可能にします。https://multilogin.com/blog/how-to-scrape-data-on-google/

13. ミッチェル、R.（2022）。「データスクレイピングの倫理。」情報倫理ジャーナル、31（2）、45-61。

14. Kavanagh, D. (2021). 「アンチ検出ブラウザ：Webスクレイピングの新たなフロンティア」Webセキュリティレビュー、19(4)、33-48。

15.Walker, J. (2020).「データスクレイピングの法的影響」Tech Law Journal、22(3)、109-126。

• ヘメンウェイ、ケビン、カリシャイン、タラ。スパイダーリング ハック。マサチューセッツ州ケンブリッジ：オライリー、2003年。ISBN 0-596-00577-6。