局所外れ値要因

異常検出において、局所外れ値係数（LOF）は、2000年にMarkus M. Breunig、Hans-Peter Kriegel、Raymond T. Ng、Jörg Sanderによって提案されたアルゴリズムであり、与えられたデータポイントの近傍に対する局所的な偏差を測定することによって異常なデータポイントを検出します。^{[ 1 ]}

LOFは、局所密度推定に使用される「コア距離」や「到達可能距離」といった概念など、DBSCANやOPTICSと共通する概念をいくつか持っています。 ^{[ 2 ]}

局所外れ値係数は、局所密度の概念に基づいています。局所性とは、k 個の最近傍点によって定義され、これらの近傍点間の距離を用いて密度を推定します。あるオブジェクトの局所密度をその近傍点の局所密度と比較することで、密度が類似している領域と、近傍点よりも密度が著しく低い点を特定できます。これらは外れ値とみなされます。

局所密度は、ある点が隣接点から「到達可能」となる典型的な距離によって推定されます。LOFで使用される「到達可能距離」の定義は、クラスター内でより安定した結果を生み出すための追加の尺度です。LOFで使用される「到達可能距離」には、二次資料、例えばEthem Alpaydinの教科書^{[ 3 ]などでしばしば誤っている微妙な詳細があります。}

させて$\displaystyle k{\text{-距離}}(A)$オブジェクトAからk番目の最近傍までの距離を とします。k個の最近傍の集合には、この距離にあるすべてのオブジェクトが含まれます。同距離の場合は、k個を超えるオブジェクトが含まれることもあります。k個の最近傍の集合を次のように表します。${\displaystyle N_{k}(A)}$。

この距離は、到達可能距離と呼ばれるものを定義するために使用されます。

$$\displaystyle {\text{到達距離}}_{k}(A,B)=\max\{k{\text{-距離}}(B),d(A,B)\}}$$

言葉で言えば、物体AからBへの到達可能距離は、2つの物体間の真の距離ですが、少なくとも${\displaystyle k{\text{-distance}}}$Bのk 個の最近傍に属するオブジェクト( Bの「コア」、DBSCAN クラスタ分析を参照) は、等距離であるとみなされます。これは、Bに近いすべての点A間の統計的変動を減らすためであり、 kの値を大きくすると平滑化効果が高まります。^{[ 1 ]}これは対称ではないため、数学的な定義では距離ではないことに注意してください。(常に を使用するのはよくある間違いです^{[ 4 ]}${\displaystyle k{\text{-distance}}(A)}$^{これにより、Simplified-LOF [ 4 ]}と呼ばれる、わずかに異なる方法が得られます。

オブジェクトAの局所到達可能性密度は次のように定義される。

${\displaystyle {\text{lrd}}_{k}(A):={\frac {|N_{k}(A)|}{\sum _{B\in N_{k}(A)}{\text{reachability-distance}}_{k}(A,B)}}}$

これは、オブジェクトAからその近傍までの平均到達可能距離の逆数です。これは、 Aから近傍までの平均到達可能距離ではないことに注意してください(定義上、これは${\displaystyle k{\text{-distance}}(A)}$これは、 A が隣接する点から「到達可能」な距離を表します。重複する点がある場合、この値は無限大になる可能性があります。

次に、ローカル到達可能性密度を、以下の方法で近隣の到達可能性密度と比較します。

${\displaystyle {\text{LOF}}_{k}(A):={\frac {1}{|N_{k}(A)|}}\sum _{B\in N_{k}(A)}{\frac {{\text{lrd}}_{k}(B)}{{\text{lrd}}_{k}(A)}}={\frac {1}{|N_{k}(A)|\cdot {\text{lrd}}_{k}(A)}}\sum _{B\in N_{k}(A)}{\text{lrd}}_{k}(B)}$

これは、近傍の平均局所到達可能性密度を、対象オブジェクト自身の局所到達可能性密度で割った値です。値が約1の場合は、対象オブジェクトが近傍オブジェクトと同程度であることを示し（したがって外れ値ではない）、1未満の値はより密度の高い領域であることを示し（内在値）、1より著しく大きい値は外れ値であることを示します。

${\displaystyle {\text{LOF}}_{k}(A)\sim 1}$近隣と同じような密度を意味します。

${\displaystyle {\text{LOF}}_{k}(A)<1}$近隣よりも密度が高い（インライア）という意味です。

${\displaystyle {\text{LOF}}_{k}(A)>1}$近隣地域よりも密度が低い（外れ値）ことを意味します。

LOFは局所的なアプローチを採用しているため、データセット内の別の領域では外れ値とみなされないような外れ値も特定できます。例えば、非常に密度の高いクラスターから「近い」距離にある点は外れ値となりますが、疎なクラスター内の点は近隣の点とほぼ同じ距離を示す可能性があります。

LOFの幾何学的直観は低次元ベクトル空間にのみ適用可能ですが、このアルゴリズムは非類似度関数を定義できるあらゆるコンテキストに適用できます。ネットワーク侵入検知^{[ 5 ]や処理済み分類ベンチマークデータ[ 6 ]}など、多くの設定で非常にうまく機能することが実験的に示されており、競合製品を凌駕することがよくあります。

LOFファミリーの手法は容易に一般化でき、地理データ、ビデオストリーム、著者ネットワークにおける外れ値の検出など、他のさまざまな問題に適用できます。^{[ 4 ]}

結果として得られる値は商値であり、解釈が難しい。1以下の値は明らかにインライアを示すが、外れ値となる明確なルールはない。あるデータセットでは、1.1という値がすでに外れ値である可能性があるが、別のデータセットとパラメータ設定（強い局所的変動を伴う）では、2という値がインライアである可能性もある。このような違いは、手法の局所性によって、データセット内でも発生する可能性がある。LOFのこれらの側面を改善しようとするLOFの拡張が存在する。

• 外れ値検出のための特徴量バギング^{[ 7 ]}は、複数の射影に対してLOFを実行し、高次元での検出精​​度を向上させるために結果を組み合わせます。これは外れ値検出に対する最初のアンサンブル学習アプローチであり、他のバリアントについては参考文献^{[ 8 ]を参照してください。}
• 局所外れ値確率(LoOP) ^{[ 9 ]}は LOF から派生した手法ですが、安価な局所統計量を使用することで、パラメータkの選択に対する感度を低くしています。さらに、結果の値は[0:1]の値の範囲にスケーリングされます。
• 外れ値スコアの解釈と統一^{[ 10 ]}は、使いやすさを向上させるために統計的スケーリングを使用してLOF外れ値スコアを区間[0:1]に正規化することを提案しており、LoOPのアイデアの改良版と見なすことができます。
• 「外れ値ランキングと外れ値スコアの評価」^{[ 11 ]}では、LOFバリアントや他のアルゴリズムを使用して高度な外れ値検出アンサンブルを構築し、上記で説明した特徴バギングアプローチを改善する方法の類似性と多様性を測定する方法が提案されています。
• 局所外れ値検出の再考：空間、ビデオ、ネットワーク外れ値検出への応用を伴う局所性の一般化された見解^{[ 4 ]}では、さまざまな局所外れ値検出方法（LOF、LOFの簡略版、LoOPなど）の一般的なパターンについて議論し、これを一般的なフレームワークに抽象化しています。このフレームワークは、例えば、地理データ、ビデオストリーム、著者ネットワークにおける外れ値の検出に適用されます。