変更の検出と通知

変更検出および通知（CDN）は、ワールドワイドウェブページに加えられた変更を自動的に検出し、関心のあるユーザーに電子メールまたはその他の手段で通知する機能です。^[1]

検索エンジンはウェブページを見つけるために設計されているのに対し、CDN システムはウェブページの変更を監視するために設計されています。変更の検出と通知が導入される前は、ユーザーはウェブサイトを再訪問するか、定期的に再検索して、ウェブページの変更を手動で確認する必要がありました。ほとんどのサーバーが Last-Modified またはETagウェブサーバー ヘッダーを通じてコン​​テンツの変更を正確に追跡していないため、効率的で効果的な変更の検出と通知が妨げられています。2019 年には、CDN システムに関する包括的な分析が公開されました。

1996年、NetMindは最初の変更検出および通知ツールであるMind-itを開発し、6年間稼働しました。これにより、ChangeDetection（1999）、ChangeDetect（2002）、Google Alerts（2003）、および2008年の米国大統領選挙でジョン・マケイン2008大統領選挙運動によって使用されたVersionista（2007）などの新しいサービスが生まれました。^[2]歴史的に、変更ポーリングは、電子メール通知を送信するサーバー、または変更を音声でユーザーに警告するデスクトッププログラムによって行われてきました。変更アラートは、モバイルデバイスに直接送信することも、プッシュ通知、Webフック、およびアプリケーション統合用のHTTPコールバックを介して送信することもできます。

監視オプションはサービスや製品によって異なり、一度に 1 つの Web ページを監視するものから Web サイト全体を監視するものまであります。実際に監視される内容もサービスや製品によって異なり、テキスト、リンク、ドキュメント、スクリプト、画像、スクリーンショットを監視する可能性があります。

Google Alertsに関連するGoogleの特許出願という注目すべき例外を除けば、変更検出および通知ベンダーによる知的財産活動は最小限です。 ^[3] 特許やその他の法的手段を通じて、変更検出および通知技術の独占権をうまく活用したベンダーは1社もありません。^[要出典] この結果、製品とサービスの間には重大な機能の重複が生じています。

変更検出および通知サービスは、使用する ソフトウェア アーキテクチャによって分類できます。3 つの主要なアプローチを区別できます。

サーバーはコンテンツをポーリングし、変更を追跡してデータをログに記録し、電子メール通知、 Webhook、RSSの形式でアラートを送信します。通常、構成を持つ関連 Web サイトはユーザーによって管理されます。一部のサービスには、クラウド サーバーに接続してモバイル デバイスにアラートを提供するモバイル デバイス アプリケーションもあります。

サーバーベースとクライアントベースの中間に位置する比較的新しいアプローチは、セルフホスティングを使用することです。セルフホスティングでは、通常は別のサーバー上で実行されるソフトウェアが、独自のハードウェア上でローカルに実行されます。これは通常、アプリケーションによって提供される 従来のグラフィカル ユーザー インターフェイスではなく、ブラウザー インターフェイスを備えた小型の Web サーバーをソフトウェアが提供することを意味します。

グラフィカル ユーザー インターフェイスを備えたローカル クライアント アプリケーションは、コンテンツをポーリングし、変更を追跡し、データを記録します。クライアント アプリケーションには、ブラウザー拡張機能、モバイル アプリ、またはプログラムがあります。

一部の Web ページは、表示されるページに広告やフィードが含まれているため、定期的に変更されます。ユーザーはメイン コンテンツの変更にのみ関心があることが多いため、変更検出で誤検知が発生する可能性があります。この問題を軽減するアプローチはいくつかあります。

• ページの 2 つのバージョン間の差異のメトリックを作成し (たとえば、合計サイズの変更、HTML ファイルの変更、またはDOM ツリーの変更から計算)、しきい値を下回る変更を無視します。しきい値は、ユーザーが設定することも、ページの初期バージョンを比較して自動的に推定することもできます。
• コンテンツの抽出。人気のあるサイトや人気のあるソフトウェアを実行しているサイトでは、 XPath などを使用して DOM のサブツリーを選択することで、コンテンツを不要な部分から積極的に分離できます。もう 1 つの一般的な方法は、正規表現を使用して、ユーザーが関心のあるテキストのみを抽出することです。

• Chakravarthy, S.; Hara, SCH (2006). 「Web ページの変更検出と通知の自動化 (招待論文)」。第 17 回データベースおよびエキスパート システム アプリケーションに関する国際会議 (DEXA'06) 。p . 465。doi :10.1109 / DEXA.2006.34。ISBN 0-7695-2641-1. S2CID  6395251。
• Shobhna, Bansal; Chadhaury, Manoj (2013 年 6 月)。「さまざまなアプローチを使用した Web ページ変更検出システムの調査」(PDF)。International Journal of Computer Science and Mobile Computing。2 ( 6)。IJCSMC: 294–299。ISSN  2320-088X。2016年9月 8 日に取得。
• changedetection.io github セルフホスト型ウェブサイトの変更検出と通知