Loading article…
予測分析、データ サイエンス、機械学習、および関連分野において、コンセプト ドリフトまたはドリフトは、データ モデルを無効にするデータの進化です。これは、モデルが予測しようとしているターゲット変数の統計特性が、予期しない方法で時間の経過とともに変化した場合に発生します。時間の経過とともに予測の精度が低下するため、問題が発生します。ドリフトの検出とドリフトの適応は、動的に変化するデータとデータ モデルを含む分野では非常に重要です。
予測モデルの劣化
機械学習と予測分析では、このドリフト現象はコンセプトドリフトと呼ばれます。機械学習では、データモデルの共通要素は、実際のデータの確率分布などの統計特性です。それらがトレーニングデータセットの統計特性から逸脱している場合、ドリフトに対処しないと、学習した予測が無効になる可能性があります。[1] [2] [3] [4]
データ構成の劣化
もう一つの重要な分野はソフトウェアエンジニアリングであり、ここではデータの忠実性に影響を与える3種類のデータドリフトが認識される可能性があります。ソフトウェア環境の変化（「インフラストラクチャドリフト」）により、ソフトウェアインフラストラクチャ構成が無効になる場合があります。「構造ドリフト」はデータスキーマが変更されたときに発生し、データベースが無効になる場合があります。「セマンティックドリフト」は、構造は変更されていないのにデータの意味が変わることです。多くの場合、これは複雑なアプリケーションで、多くの独立した開発者がソフトウェアシステムの他の領域への変更の影響を適切に認識せずに変更を導入したときに発生します。[5] [6]
多くのアプリケーションシステムでは、ビジネスモデルの変更、システムの更新、システムが動作するプラットフォームの切り替えなど、さまざまな理由により、システムが動作するデータの性質が変化する可能性があります。[6]
クラウドコンピューティングの場合、クラウドソフトウェアの更新によって、クラウド上で実行されるアプリケーションに影響を及ぼす可能性のあるインフラストラクチャのドリフトが発生する可能性があります。[5]
データドリフトがデータの忠実性に及ぼす悪影響にはいくつかの種類があります。データ腐食は、ドリフトしたデータが検出されずにシステムに渡されることです。データ損失は、適用されたスキーマに準拠していないために有効なデータが無視されると発生します。浪費は、データ処理パイプラインの上流で新しいデータフィールドが導入されたが、下流のどこかにデータフィールドが存在しないという現象です。[6]
矛盾したデータ
「データドリフト」とは、データベースの記録が現実世界のデータと一致しなくなる現象を指す場合があります。これは、顧客、従業員、市民、居住者などの人が関与するデータベースでよく見られる問題です。人為的なデータドリフトは、居住地や名前などの個人データの記録されていない変更や、データ入力時のエラーによって発生する可能性があります。[7]
「データドリフト」は、データベースの複数のレプリカ間でデータ要素が不一致になることを指す場合もあります。その理由を特定するのは難しい場合があります。ドリフトの簡単な検出方法は、定期的にチェックサムを実行することです。ただし、解決策はそれほど簡単ではない場合があります。[8]
例
オンライン ショップでの顧客の行動は、時間の経過とともに変化する可能性があります。たとえば、毎週の商品売上を予測する必要があり、十分に機能する予測モデルが開発されているとします。このモデルでは、広告に費やされた金額、実施中のプロモーション、売上に影響を与える可能性のあるその他の指標などの入力を使用できます。モデルの精度は時間の経過とともに低下する可能性があります。これがコンセプト ドリフトです。商品販売アプリケーションでは、コンセプト ドリフトの理由の 1 つは季節性です。つまり、ショッピング行動は季節によって変化します。たとえば、冬のホリデー シーズンの方が夏よりも売上が高くなるかもしれません。コンセプト ドリフトは通常、データ セットを構成する共変量がターゲット セットの変動をあまり正確に説明しなくなったときに発生します。交絡変数がいくつか出現し、それを単純に説明できないため、モデルの精度が時間の経過とともに徐々に低下します。通常、ポスト プロダクション分析の一環としてヘルス チェックを実行し、コンセプト ドリフトの兆候が見られたら新しい仮定でモデルを再トレーニングすることをお勧めします。
考えられる解決策
概念ドリフトによる予測精度の低下を防ぐために、リアクティブおよび追跡ソリューションを採用することができます。リアクティブソリューションは、変更検出テストなどのトリガーメカニズムに反応してモデルを再トレーニングし、[9] [10]、データ生成プロセスの統計の変化として概念ドリフトを明示的に検出します。概念ドリフトが検出されると、現在のモデルは最新ではなくなるため、予測精度を回復するには新しいモデルに置き換える必要があります。[11] [12]リアクティブアプローチの欠点は、変更が検出されるまでパフォーマンスが低下する可能性があることです。追跡ソリューションは、モデルを継続的に更新することで概念の変化を追跡しようとします。これを実現する方法には、オンライン機械学習、最近観察されたサンプルでの頻繁な再トレーニング、[13]、および分類器のアンサンブルの維持（1つの新しい分類器が最新の例のバッチでトレーニングされ、アンサンブル内の最も古い分類器を置き換える）などがあります。[14]
コンテキスト情報が利用できる場合は、コンセプト ドリフトの原因をより適切に説明するために使用できます。たとえば、売上予測アプリケーションでは、モデルに季節に関する情報を追加することで、コンセプト ドリフトを補正できます。季節に関する情報を提供することで、モデルの劣化率は低下する可能性がありますが、コンセプト ドリフトが完全に排除されることはほとんどありません。これは、実際のショッピング行動が静的で有限のモデルに従わないためです。ショッピング行動に影響を与える新しい要因がいつでも発生する可能性があり、既知の要因の影響やそれらの相互作用が変化する可能性があります。
固定された自然法則に支配されていない複雑な現象では、概念ドリフトは避けられません。社会経済的プロセスや生物学的プロセスなど、人間の活動から生じるすべてのプロセスでは、概念ドリフトが発生する可能性があります。したがって、どのモデルでも定期的な再トレーニング (リフレッシュとも呼ばれます) が必要です。
参照
- データストリームマイニング
- データマイニング
- ソフトウェアアプリケーションのドリフト検出をポートフォリオに含む企業、Snyk
さらに読む
コンセプトドリフト検出のアルゴリズムを説明する論文は数多く発表されています。ここではレビュー、調査、概要のみを紹介します。
レビュー
- Souza, VMA; Reis, DM; Maletzke, AG; Batista, GEAPA (2020). 「実世界データを用いたストリーム学習アルゴリズムのベンチマークにおける課題」.データマイニングと知識発見. 34 (6): 1805–58. arXiv : 2005.00113 . doi :10.1007/s10618-020-00698-5. S2CID 218470010.
- クラウチック、B.ミンク、LL;ガマ、J.ステファノウスキー、J.ウォズニアック、M. (2017)。 「データ ストリーム分析のためのアンサンブル学習: 調査」。情報の融合。37 : 132–156。土井：10.1016/j.inffus.2017.02.004。hdl : 2381/39321。S2CID 1372281。
- Dal Pozzolo, A.; Boracchi, G.; Caelen, O.; Alippi, C.; Bontempi, G. (2015). 「遅延教師あり情報によるクレジットカード詐欺検出とコンセプトドリフト適応」(PDF) . 2015 International Joint Conference on Neural Networks (IJCNN) . IEEE. pp. 1–8. doi :10.1109/IJCNN.2015.7280527. ISBN 978-1-4799-1960-4. S2CID 3947699。
- Alippi, C. (2014). 「非定常かつ進化する環境での学習」。組み込みシステム向けインテリジェンス。Springer。pp. 211–247。doi : 10.1007 / 978-3-319-05278-6_9。ISBN 978-3-319-05278-6。
- Gama, J.; Žliobaitė, I.; Bifet, A.; Pechenizkiy, M.; Bouchachia, A. (2014 年 3 月 1 日)、「概念ドリフト適応に関する調査」(PDF)、ACM Computing Surveys、46 (4): 1–37、doi :10.1145/2523813、ISSN 0360-0300、Zbl 1305.68141、Wikidata Q58204632
- Alippi, C .; Polikar, R. (2014 年 1 月)。「ゲスト編集 非定常および進化する環境での学習」。IEEE Transactions on Neural Networks and Learning Systems。25 ( 1): 9–11。doi : 10.1109 /TNNLS.2013.2283547。PMID 24806640。S2CID 16547472 。
- Dal Pozzolo, A.; Caelen, O.; Le Borgne, YA; Waterschoot, S.; Bontempi, G. (2014). 「実務家の観点から見たクレジットカード詐欺検出の教訓」(PDF) . Expert Systems with Applications . 41 (10): 4915–28. doi :10.1016/j.eswa.2014.02.026. S2CID 12656644.
- Jiang, J. (2008). 「統計分類器のドメイン適応に関する文献調査」(PDF)。シンガポール経営大学、コンピューティングおよび情報システム学部。
- Kuncheva, LI (2008)。「ストリーミング データの概念変化を検出するための分類器アンサンブル: 概要と展望」(PDF)。第 2 回ワークショップ SUEMA 2008 (ECAI 2008) の議事録。
- Gaber, MM; Zaslavsky, A.; Krishnaswamy, S. ( 2005 年 6 月)。「データ ストリームのマイニング: レビュー」(PDF)。ACM SIGMOD レコード。34 (2): 18–26。doi : 10.1145 /1083784.1083789。S2CID 705946 。
- Kuncheva, LI (2004)。「変化する環境のための分類器アンサンブル」( PDF)。複数の分類器システム。MCS 2004。コンピュータサイエンスの講義ノート。第 3077 巻。Springer。pp. 1–15。doi :10.1007/978-3-540-25966-4_1。ISBN 978-3-540-25966-4。
- Tsymbal, A. (2004). 概念ドリフトの問題: 定義と関連作業(PDF) (技術レポート). ダブリン、アイルランド: トリニティ カレッジ、コンピュータ サイエンス学部。TCD-CS-2004-15。
外部リンク
ソフトウェア
- Frouros:機械学習システムにおけるドリフト検出のためのオープンソースPythonライブラリ。[15]
- NannyML:単変量および多変量分布ドリフトを検出し、グラウンドトゥルースラベルなしで機械学習モデルのパフォーマンスを推定するオープンソースのPythonライブラリ。
- RapidMiner : 旧称Yet Another Learning Environment (YALE): 知識発見、データ マイニング、機械学習用の無料オープン ソース ソフトウェア。データ ストリーム マイニング、時間によって変化する概念の学習、ドリフト概念の追跡機能も備えています。データ ストリーム マイニング プラグイン (旧称 Concept Drift プラグイン) と組み合わせて使用します。
- EDDM (Early Drift Detection Method): Wekaでのドリフト検出方法の無料オープンソース実装。
- MOA (Massive Online Analysis) : 概念ドリフトのあるデータ ストリームのマイニングに特化した無料のオープン ソース ソフトウェア。このソフトウェアには、頻度評価法、EDDM 概念ドリフト法、ARFF 実データセットのリーダー、SEA 概念、STAGGER、回転超平面、ランダム ツリー、ランダム半径ベースの関数などの人工ストリーム ジェネレーターが含まれています。MOA はWekaとの双方向のインタラクションをサポートしています。
データセット
本物
- USPデータストリームリポジトリ、Souzaら（2020）がまとめたコンセプトドリフトを含む27の実際のストリームデータセット。アクセス
- 航空会社、E. Ikonomovskaがまとめた約1億1600万件のフライト到着・出発記録（整理・整理済み）。参照：Data Expo 2009 Competition [1]。アクセス
- Chess.com (オンラインゲーム) とルクセンブルク(社会調査) のデータセットは I. Zliobaite がまとめたものです。アクセス
- ECUE スパム2 データセットは、それぞれ個人が約 2 年間にわたって収集した 10,000 件以上の電子メールで構成されています。SJDelany ウェブページからアクセス
- Elec2、電力需要、2 クラス、45,312 インスタンス。参考文献: M. Harries、Splice-2 比較評価: 電力価格設定、技術レポート、サウスウェールズ大学、1999 年。J.Gama ウェブページからアクセス。適用性に関するコメント。
- PAKDD'09 の競争データは、クレジット評価タスクを表しています。5 年間にわたって収集されています。残念ながら、実際のラベルはデータの最初の部分についてのみ公開されています。アクセス
- センサーストリームと電源ストリームのデータセットは、X. Zhuのストリームデータマイニングリポジトリから入手できます。アクセス
- SMEARは、欠損値の多いベンチマークデータストリームです。7年間の環境観測データ。雲量を予測します。アクセス
- テキストマイニング、 I. Katakis が管理する概念ドリフトを含むテキストマイニングデータセットのコレクション。アクセス
- ガスセンサーアレイドリフトデータセットは、さまざまな濃度レベルの6種類のガスの識別タスクでドリフト補正に使用される16個の化学センサーからの13,910の測定値のコレクションです。アクセス
他の
- KDD'99 の競争データには、軍事ネットワーク環境における侵入のシミュレーションが含まれています。これは、コンセプトドリフトの処理を評価するためのベンチマークとしてよく使用されます。アクセス
合成
- 極限検証レイテンシ ベンチマークSouza, VMA; Silva, DF; Gama, J.; Batista, GEAPA (2015)。「非定常環境でのクラスタリングによるデータ ストリーム分類と極限検証レイテンシ」。2015 SIAM 国際データ マイニング会議 (SDM) の議事録。SIAM。pp. 873–881。doi : 10.1137 /1.9781611974010.98。ISBN 9781611974010. S2CID 19198944。非定常環境からのアクセス – アーカイブ。
- 正弦、直線、平面、円、ブールデータ セットMinku, LL; White, AP; Yao, X. (2010)。「概念ドリフト が存在する場合のオンライン アンサンブル学習における多様性の影響」(PDF)。IEEE Transactions on Knowledge and Data Engineering。22 ( 5): 730–742。doi : 10.1109 /TKDE.2009.156。S2CID 16592739 。L.Minkuのウェブページからアクセスしてください。
- SEA の概念 Street, NW; Kim, Y. (2001)。「大規模分類のためのストリーミング アンサンブル アルゴリズム (SEA)」(PDF)。KDD'01 : 知識発見とデータ マイニングに関する第 7 回 ACM SIGKDD 国際会議の議事録。pp. 377–382。doi : 10.1145 / 502512.502568。ISBN 978-1-58113-391-2.S2CID 11868540 。J.Gamaのウェブページからアクセスしてください。
- STAGGER Schlimmer, JC; Granger, RH (1986). 「ノイズの多いデータからの増分学習」. Mach. Learn . 1 (3): 317–354. doi : 10.1007/BF00116895 . S2CID 33776987.
- Mixed Gama, J.; Medas, P.; Castillo, G.; Rodrigues, P. (2004). 「ドリフト検出による学習」。ブラジル人工知能シンポジウム。Springer。pp. 286–295。doi : 10.1007 / 978-3-540-28645-5_29。ISBN 978-3-540-28645-5. S2CID 2606652。
データ生成フレームワーク
- Minku, White & Yao 2010 L.Minku の Web ページからダウンロードします。
- Lindstrom, P.; Delany, SJ; MacNamee, B. (2008) 「オートパイロット: 実データにおける変化する概念のシミュレーション」(PDF)。第 19 回アイルランド人工知能および認知科学会議の議事録。pp. 272–263。
- Narasimhamurthy, A.; Kuncheva, LI (2007)。「変化する環境をシミュレートするためのデータ生成フレームワーク」。AIAP'07 : 第 25 回 IASTED 国際マルチカンファレンス議事録: 人工知能とアプリケーション。pp. 384–389。コード
プロジェクト
- INFER: 進化する堅牢な予測システムのための計算知能プラットフォーム (2010～2014)、ボーンマス大学 (英国)、エボニック インダストリーズ (ドイツ)、リサーチ アンド エンジニアリング センター (ポーランド)
- HaCDAIS: 適応型情報システムにおけるコンセプトドリフトの処理 (2008–2012)、アイントホーフェン工科大学 (オランダ)
- KDUS: ユビキタス ストリームからの知識発見、INESC ポルトおよび人工知能および意思決定支援研究所 (ポルトガル)
- ADEPT: 適応型動的アンサンブル予測技術、マンチェスター大学 (英国)、ブリストル大学 (英国)
- ALADDIN: 分散型データおよび情報ネットワークのための自律学習エージェント (2005–2010)
- GAENARI: C++ 増分決定木アルゴリズム。概念ドリフトによる損害を最小限に抑えます。(2022)
ベンチマーク
- NAB: Numenta Anomaly Benchmark、ストリーミング、リアルタイム アプリケーションにおける異常検出アルゴリズムを評価するためのベンチマーク。(2014～2018)
会議
- 2014
- [] 「概念ドリフト、ドメイン適応、動的環境における学習」に関する特別セッション @IEEE IJCNN 2014
- 2013
- RealStream データ ストリーム マイニングの現実的な課題に関するワークショップ -チェコ共和国プラハで開催されたECML PKDD 2013 でのディスカッション。
- LEAPS 2013 非定常環境における学習戦略とデータ処理に関する第1回国際ワークショップ
- 2011
- LEE 2011 進化する環境における学習と現実世界の問題への応用に関する ICMLA'11 特別セッション
- HaCDAIS 2011 適応型情報システムにおけるコンセプトドリフトの取り扱いに関する第2回国際ワークショップ
- ICAIS 2011 インクリメンタルラーニングトラック
- IJCNN 2011 コンセプトドリフトと動的環境の学習に関する特別セッション
- CIDUE 2011 動的かつ不確実な環境における計算知能に関するシンポジウム
- 2010
- HaCDAIS 2010 適応型情報システムにおけるコンセプトドリフトの取り扱いに関する国際ワークショップ: 重要性、課題、解決策
- ICMLA10 非定常環境における動的学習に関する特別セッション
- ACM 応用コンピューティングシンポジウムの SAC 2010 データストリームトラック
- SensorKDD 2010 センサーデータからの知識発見に関する国際ワークショップ
- StreamKDD 2010 新しいデータ ストリーム パターン マイニング手法
- IEEE 世界計算知能会議における非定常環境における概念ドリフトと学習
- MLMDS'2010 データ ストリームの機械学習手法に関する特別セッション (第 10 回国際インテリジェント デザインおよびアプリケーション会議、ISDA'10)
参考文献
- ^ Koggalahewa, Darshika; Xu, Yue; Foo, Ernest (2021). 「オンラインソーシャルネットワークにおけるソーシャルスパマー対策のためのドリフトを考慮した階層的テストベースのアプローチ」。データマイニング。コンピューターと情報科学におけるコミュニケーション。第1504巻。pp.47–61。doi : 10.1007/ 978-981-16-8531-6_4。ISBN 978-981-16-8530-9. S2CID 245009299。
- ^ Widmer, Gerhard; Kubat, Miroslav (1996). 「概念ドリフトと隠れたコンテキストがある場合の学習」.機械学習. 23 : 69–101. doi : 10.1007/BF00116900 . S2CID 206767784.
- ^ Xia, Yuan; Zhao, Yunlong (2020). 「データストリームにおける多様性尺度とマクダーミッド不等式に基づくドリフト検出方法」。グリーン、パーベイシブ、クラウドコンピューティング。コンピュータサイエンスの講義ノート。第12398巻。pp. 115–122。doi : 10.1007 / 978-3-030-64243-3_9。ISBN 978-3-030-64242-6. S2CID 227275380。
- ^ Lu, Jie; Liu, Anjin; Dong, Fan; Gu, Feng; Gama, Joao; Zhang, Guangquan (2018). 「コンセプトドリフト下での学習：レビュー」。IEEE Transactions on Knowledge and Data Engineering : 1. arXiv : 2004.05785 . doi :10.1109/TKDE.2018.2876857. S2CID 69449458.
- ^ ab 「Driftctl と Terraform は、似たもの同士です!」
- ^ abc Girish Pancha、「ビッグデータの隠れた脅威：データドリフト」、CMSWire、2016年4月8日
- ^ マシュー・マグネ、「データドリフトは起こる：人事データに関する7つの厄介な問題」、InformationWeek、2017年7月19日
- ^ Daniel Nichter、『Efficient MySQL Performance』、2021 年、ISBN 1098105060、p. 299
- ^ Basseville, Michele (1993). 突然の変化の検出: 理論と応用. Prentice Hall. ISBN 0-13-126780-9. OCLC 876004326.
- ^ Alippi, C.; Roveri, M. ( 2007). 「定常条件での適応型分類器」。2007 International Joint Conference on Neural Networks。IEEE。pp. 1008–13。doi :10.1109 / ijcnn.2007.4371096。ISBN 978-1-4244-1380-5.S2CID 16255206 。
- ^ ガマ、J.;メダス、P.カスティージョ、G.ロドリゲス、P. (2004)。 「ドリフト検出による学習」。人工知能の進歩 – SBIA 2004。スプリンガー。 286–295ページ。土井：10.1007/978-3-540-28645-5_29。ISBN 978-3-540-28645-5. S2CID 2606652。
- ^ Alippi, C.; Boracchi, G.; Roveri, M. (2011). 「信頼区間の交差ルールに基づくジャストインタイム適応分類システム」.ニューラルネットワーク. 24 (8): 791–800. doi :10.1016/j.neunet.2011.05.012. PMID 21723706.
- ^ Widmer, G.; Kubat, M. (1996). 「概念ドリフトと隠れたコンテキストがある場合の学習」.機械学習. 23 (1): 69–101. doi : 10.1007/bf00116900 . S2CID 206767784.
- ^ Elwell, R.; Polikar, R. (2011). 「非定常環境におけるコンセプトドリフトの増分学習」. IEEE Transactions on Neural Networks . 22 (10): 1517–31. doi :10.1109/tnn.2011.2160459. PMID 21824845. S2CID 9136731.
- ^ セスペデス・シスニエガ、ハイメ;ロペス・ガルシア、アルバロ (2024)。 「Frouros: 機械学習システムにおけるドリフト検出のためのオープンソース Python ライブラリ」(PDF)。ソフトウェアX。２６．エルゼビア: 101733.土井: 10.1016/j.softx.2024.101733。hdl : 10261/358367。