異常検出

データ分析において、異常検出（外れ値検出、新規性検出とも呼ばれる）とは、一般的に、データの大部分から大きく逸脱し、明確に定義された正常な動作の概念に従わない、まれな項目、イベント、または観察を識別することであると理解されています。^[1]このような例は、別のメカニズムによって生成された疑いを引き起こしたり、^[2]そのデータセットの残りの部分と矛盾しているように見えたりすることがあります。^[3]

異常検出は、サイバーセキュリティ、医療、マシンビジョン、統計、神経科学、法執行、金融詐欺など、多くの分野で応用されています。異常は当初、統計分析、たとえば平均や標準偏差の計算に役立てるために、データから明確に拒否または省略されていないか検索されていました。また、線形回帰などのモデルからの予測を改善するためにも除去され、最近では、その除去が機械学習アルゴリズムのパフォーマンスに役立っています。ただし、多くのアプリケーションでは、異常自体が関心の対象であり、データセット全体で最も望ましい観察であり、ノイズや無関係な外れ値から識別して分離する必要があります。

異常検出技術には、3 つの大まかなカテゴリがあります。^[1] 教師あり異常検出技術では、「正常」と「異常」のラベルが付けられたデータ セットが必要で、分類器のトレーニングが必要です。ただし、ラベル付きデータは一般に入手できず、クラスが本質的に不均衡なため、このアプローチは異常検出ではほとんど使用されません。半教師あり異常検出技術では、データの一部がラベル付けされていると想定されます。これは、正常データまたは異常データの任意の組み合わせである可能性がありますが、多くの場合、これらの技術では、特定の正常トレーニング データ セットから正常な動作を表すモデルを構築し、モデルによってテスト インスタンスが生成される可能性をテストします。教師なし異常検出技術では、データがラベル付けされていないと想定され、より幅広く関連性の高いアプリケーションであるため、最も一般的に使用されています。

統計学やコンピュータ サイエンスのコミュニティでは、異常を定義するために多くの試みがなされてきました。最も一般的な異常には次のようなものがあり、曖昧なもの、通常は経験的に選択される定義済みのしきい値を持つ方法に固有のもの、正式に定義されているものの 3 つのグループに分類できます。

• 外れ値とは、他の観測値から大きく外れ、別のメカニズムによって生成されたのではないかと疑われる観測値である。^[2]
• 異常とは、データ セット内で非常にまれにしか発生せず、その特徴がほとんどのデータとは大幅に異なるデータのインスタンスまたはコレクションです。
• 外れ値とは、データセットの残りの部分と矛盾しているように見える観測値（または観測値のサブセット）である。^[3]
• 異常とは、特徴の多次元空間内の他の点から比較的離れた点または点の集合です。
• 異常とは、明確に定義された正常な動作の概念に従わないデータ内のパターンのことである。^[1]

• T を単変量ガウス分布からの観測値とし、O を T からの点とします。O が外れ値である場合に限り、O の z スコアは事前に選択されたしきい値よりも大きくなります。

異常検出の重要な要素である侵​​入検知の概念は、時間の経過とともに大きく進化しました。当初は、休暇中のユーザーのアカウントへのアクセスや予期しないプリンターの動作など、異常なアクティビティをシステム管理者が監視する手動プロセスでした。このアプローチは拡張性がなく、すぐに監査ログとシステムログを分析して悪意のある動作の兆候を探す方法に取って代わられました。^[4]

1970年代後半から1980年代初頭にかけて、これらのログの分析は、データ量が多くリアルタイムの監視には不向きであったため、主に遡及的にインシデントを調査するために使用されました。デジタルストレージが手頃な価格になったため、最終的には監査ログがオンラインで分析され、データをふるいにかけるための専用プログラムが開発されました。ただし、これらのプログラムは計算負荷が高いため、通常はオフピーク時に実行されました。^[4]

1990年代には、監査データが生成されると同時にそれを分析できるリアルタイム侵入検知システムが登場し、攻撃を即座に検知して対応できるようになりました。これにより、プロアクティブな侵入検知への大きな転換が起こりました。^[4]

この分野が発展を続けるにつれ、セキュリティの脅威の多様化と現代のコンピューティングインフラストラクチャの動的な性質に適応し、大規模で複雑なネットワーク環境全体に効率的に実装できるソリューションを作成することに重点が移ってきました。^[4]

異常検出は非常に多くの多様な分野に適用可能であり、教師なし機械学習の重要なサブ領域です。そのため、サイバーセキュリティ、侵入検知、詐欺検出、障害検出、システムヘルスモニタリング、センサーネットワークでのイベント検出、エコシステム障害の検出、マシンビジョンを使用した画像の欠陥検出、医療診断、法執行などの分野で応用されています。^[5]

異常検出は、 1986年にドロシー・デニングによって侵入検知システム（IDS）向けに提案されました。^[6] IDSの異常検出は通常、しきい値と統計で実現されますが、ソフトコンピューティングや帰納的学習でも行うことができます。^[7] 1999年までに提案された機能の種類には、頻度、平均、分散、共分散、標準偏差に基づくユーザー、ワークステーション、ネットワーク、リモートホスト、ユーザーグループ、プログラムのプロファイルが含まれていました。 ^[8]侵入検知 における異常検出に対応するのは、誤用検出です。

フィンテックにおける不正行為防止には異常検出が不可欠である。^{[9] [10]}

異常値を除去するためのデータの前処理は、データ分析において重要なステップであり、いくつかの理由で行われます。異常値を除去した後は、平均や標準偏差などの統計がより正確になり、データの視覚化も改善されます。教師あり学習では、データセットから異常なデータを除去すると、統計的に有意な精度の向上が見られることがよくあります。^{[11] [12]}

異常検出は、セキュリティと安全性を高めるためにビデオ監視においてますます重要になっています。^{[13] [14]}ディープラーニング技術の登場により、畳み込みニューラルネットワーク（CNN）と単純再帰型ユニット（SRU）を使用した方法は、ビデオデータ内の異常な活動や行動を識別する上で大きな可能性を示しています。^[13]これらのモデルは、膨大なビデオフィードをリアルタイムで処理および分析し、潜在的なセキュリティ上の脅威や安全違反を示唆する可能性のある標準から逸脱したパターンを認識できます。^[13]

ITインフラストラクチャ管理において、異常検出はサービスの円滑な運用と信頼性を確保するために重要です。^[15] ITインフラストラクチャライブラリ（ITIL）や監視フレームワークなどの技術は、システムパフォーマンスとユーザーエクスペリエンスを追跡および管理するために採用されています。^[15]異常検出は、潜在的なパフォーマンスの低下やシステム障害を特定して予防するのに役立ち、生産性とビジネスプロセスの有効性を維持します。^[15]

異常検出は、モノのインターネット（IoT）システムのセキュリティと効率にとって重要です。^[16] IoTデバイスの複雑なネットワークにおけるシステム障害やセキュリティ侵害の特定に役立ちます。^[16]これらの方法では、リアルタイムデータ、多様なデバイスタイプを管理し、効果的に拡張する必要があります。Garbeら^[17]は、空間クラスタリング、密度ベースのクラスタリング、局所性に敏感なハッシュを組み込むことで従来の方法を改善した多段階異常検出フレームワークを導入しました。このカスタマイズされたアプローチは、IoTデータの広範で多様な性質をより適切に処理するように設計されており、スマートインフラストラクチャと産業用IoTシステムのセキュリティと運用の信頼性を高めます。^[17]

石油産業では、重要な機械を監視するために異常検出が極めて重要です。^[18] Martíらは、リアルタイムの異常検出のためにセンサーデータを分析するために新しいセグメンテーションアルゴリズムを使用しました。^[18]このアプローチは、センサーの読み取り値の異常を迅速に特定して対処するのに役立ち、石油事業の信頼性と安全性を確保します。^[18]

石油・ガス分野では、異常検出はメンテナンスや安全のためだけでなく、環境保護のためにも重要です。 [ ^19] Aljameelらは、従来の方法では検出できない可能性のある、石油・ガスパイプラインの軽微な漏れを検出するための高度な機械学習ベースのモデルを提案しています。^[19]

文献では多くの異常検出技術が提案されている。^{[1] [20]}方法のパフォーマンスは通常、データセットに依存します。たとえば、局所的な外れ値の検出に適した方法もあれば、グローバルな外れ値の検出に適した方法もあり、多くのデータセットで比較した場合、ある方法は他の方法よりも体系的な利点がほとんどありません。^{[21] [22]}ほとんどすべてのアルゴリズムでは、パフォーマンスに重要で、通常は適用前に不明な非直感的なパラメータの設定も必要です。以下に、一般的な手法のいくつかを挙げ、カテゴリに分類します。

• Zスコア、
• テューキーの範囲テスト
• グラブスのテスト

• 密度ベースの手法（k近傍法、^{[23] [24] [25]} 局所外れ値係数、^[26] 分離フォレスト、^{[27] [28]}およびこの概念の多くのバリエーション^[29]）
• サブスペースベース（SOD）^[30] 、相関ベース（COP）^[31]、テンソルベース^[32]による高次元データの外れ値検出^[33]
• 1クラス サポートベクターマシン^[34]（OCSVM、SVDD）

• レプリケータニューラルネットワーク、^[35] オートエンコーダ、変分オートエンコーダ、^[36] 長短期記憶ニューラルネットワーク^[37]
• ベイジアンネットワーク^[35]
• 隠れマルコフモデル（HMM）^[35]
• 最小共分散行列式^{[38] [39]}
• ディープラーニング^[13]
  • 畳み込みニューラルネットワーク（CNN）： CNNは、異常検出、特に画像や動画のデータ分析における教師なし学習領域で優れたパフォーマンスを発揮しています。 ^[13]低レベルから高レベルのパターンまで特徴の空間階層を自動的かつ階層的に学習する能力があるため、視覚的な異常を検出するのに特に適しています。たとえば、CNNは画像データセットでトレーニングして、産業品質管理シナリオにおける欠陥や異常状態を示す非定型パターンを識別できます。 ^[40]
  • 単純再帰ユニット（SRU）：時系列データでは、再帰型ニューラルネットワークの一種であるSRUが、時間的な依存性やシーケンスの異常を捉えることで、異常検出に効果的に使用されています。^[13]従来のRNNとは異なり、SRUはより高速で並列化しやすいように設計されており、動的な金融市場や機械の予知保全など、時間的な不規則性を迅速に特定することが重要な複雑なシステムでのリアルタイムの異常検出に適しています。^[41]

• クラスタリング：クラスター分析に基づく外れ値検出^{[42] [43]}
• 相関ルールと頻繁なアイテムセットからの逸脱
• ファジーロジックベースの外れ値検出

• アンサンブル技術、特徴バギング[ ^{44] [45]、}スコア正規化^{[46] [47]}、および多様性のさまざまなソース^{[48] [49]の使用}

ヒストグラムベースの外れ値スコア（HBOS）は値ヒストグラムを使用し、特徴の独立性を前提として高速予測を行います。^[50]

金融システム、ソーシャル メディアのやり取り、交通インフラなどを表す動的ネットワークは絶えず変化するため、その中での異常検出は複雑な作業となります。静的グラフとは異なり、動的ネットワークは変化する関係や状態を反映するため、異常検出には適応型の技術が必要です。

1. コミュニティの異常
2. 圧縮異常
3. 分解異常
4. 距離の異常
5. 確率モデルの異常

上で説明した方法の多くは、異常スコア予測のみを生成しますが、これは多くの場合、ポイントがデータ密度の低い領域（または近傍の密度と比較して比較的低い密度）にあることでユーザーに説明できます。説明可能な人工知能では、ユーザーはより高い説明可能性を備えた方法を求めています。いくつかの方法では、より詳細な説明が可能です。

• サブスペース外れ値度（SOD）^[30]は、サンプルが正常である属性と、サンプルが期待値から外れている属性を識別します。
• 相関外れ値確率（COP）^[31]は、サンプルポイントが予想される位置からどの程度外れているかの誤差ベクトルを計算します。これは、サンプルがその位置に移動された場合に正常になるという反事実的説明として解釈できます。

• ELKIは、いくつかの異常検出アルゴリズムとそれらのインデックス高速化を含むオープンソースの Java データ マイニング ツールキットです。
• PyODは異常検出専用に開発されたオープンソースのPythonライブラリです。^[51]
• scikit-learn は、教師なし異常検出のためのいくつかのアルゴリズムを含むオープンソースの Python ライブラリです。
• Wolfram Mathematicaは、複数のデータタイプにわたる教師なし異常検出機能を提供する^[52]

• ルートヴィヒ・マクシミリアン大学ミュンヘンの厳選されたデータセットを含む異常検出ベンチマークデータリポジトリ。ミラーは2022年3月31日にサンパウロ大学のWayback Machineにアーカイブされました。
• ODDS – ODDS:さまざまなドメインのグラウンドトゥルースを含む、公開されている外れ値検出データセットの大規模なコレクション。
• Harvard Dataverse の教師なし異常検出ベンチマーク: グラウンドトゥルースを使用した教師なし異常検出のデータセット。
• Research Data Australia の KMASH データ リポジトリには、グラウンド トゥルースを含む 12,000 を超える異常検出データセットが含まれています。

• 変更検出
• 統計的プロセス制御
• 新規性の検出
• 階層的時間記憶