外れ値

外れ値には、さまざまな異常な原因が考えられます。測定を行う物理的な装置が一時的に誤作動を起こした可能性があります。データの送信や転記にエラーがあった可能性もあります。外れ値は、システム動作の変化、不正行為、人的ミス、機器のエラー、あるいは単に母集団の自然な変動によって発生します。サンプルが、調査対象の母集団外の要素で汚染された可能性もあります。あるいは、外れ値は想定された理論の欠陥の結果である可能性があり、研究者によるさらなる調査が必要となります。さらに、特定の形式の外れ値がさまざまなデータセットで異常な形で現れることは、極端な場合、データの原因メカニズムが異なる可能性があることを示唆しています（キング効果）。

一連の決定を行うことが提案されている${\displaystyle m}$観測誤差の限界、これを超えると、これほど大きな誤差を含むすべての観測は棄却される可能性があるが、観測数が十分であれば、${\displaystyle n}$このような観測。この問題を解決するために提案されている原理は、提案された観測を保持することによって得られる誤差系の確率が、それらを拒否することによって得られる誤差系の確率に、その数以上の異常な観測を行う確率を掛けたものよりも小さい場合に、提案された観測を拒否すべきであるというものである。（ショーヴネ著『天文学マニュアル』 2:558より、ピアース（1982年版）の516ページの編集者注に引用。） ^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]}

他の方法では、四分位範囲などの指標に基づいて観測値にフラグを付けます。たとえば、${\displaystyle Q_{1}}$そして${\displaystyle Q_{3}}$それぞれが下位四分位数と上位四分位数である場合、外れ値は範囲外の観測値として定義できる。

${\displaystyle {\big [}Q_{1}-k(Q_{3}-Q_{1}),Q_{3}+k(Q_{3}-Q_{1}){\big ]}}$

ある非負定数に対して${\displaystyle k}$ジョン・テューキーはこのテストを提案した。 ${\displaystyle k=1.5}$「外れ値」を示し、${\displaystyle k=3}$「かけ離れた」データを示します。^{[ 17 ]}

統計、信号処理、金融、計量経済学、製造、ネットワーク、データマイニングなど、さまざまな分野で、異常検出のタスクは他のアプローチを取る場合があります。これらのアプローチには、距離ベース^{[ 18 ] [ 19 ]}や、ローカル外れ値係数(LOF) ^{[ 20 ]}などの密度ベースのものがあります。一部のアプローチでは、k 近傍までの距離を使用して、観測値を外れ値または非外れ値としてラベル付けする場合があります。^{[ 21 ]}

修正トンプソン・タウ検定は、データセットに外れ値が存在するかどうかを判断するために使用される方法です。^{[ 22 ]}この方法の強みは、データセットの標準偏差と平均を考慮し、統計的に決定された棄却域を提供する点にあります。これにより、データポイントが外れ値であるかどうかを客観的に判断する方法が提供されます。^{[ 23 ]} 仕組み：まず、データセットの平均が決定されます。次に、各データポイントと平均との間の絶対偏差が決定されます。最後に、次の式を使用して棄却域が決定されます。

${\displaystyle {\text{Rejection Region}}{=}{\frac {{t_{\alpha /2}}{\left(n-1\right)}}{{\sqrt {n}}{\sqrt {n-2+{t_{\alpha /2}^{2}}}}}}}$;

どこ${\displaystyle \scriptstyle {t_{\alpha /2}}}$は、自由度n - 2 のスチューデントt分布からの臨界値です。nはサンプルサイズ、s はサンプル標準偏差です。値が外れ値かどうかを判断するには、以下を計算します。${\displaystyle \scriptstyle \delta =|(X-mean(X))/s|}$δ > 棄却域の場合、データ点は外れ値です。δ ≤ 棄却域の場合、データ点は外れ値ではありません。

修正トンプソン・タウ検定は、外れ値を一度に1つずつ検出するために使用されます（外れ値である場合は、 δの最大値が削除されます）。つまり、データポイントが外れ値であると判断された場合、そのデータポイントはデータセットから削除され、新しい平均値と棄却域を使用して再度検定が適用されます。このプロセスは、データセットに外れ値がなくなるまで続けられます。

名義データ（またはカテゴリデータ）の外れ値についても調査した研究がある。データセット内の例（またはインスタンス）のセットのコンテキストでは、インスタンスハードネスはインスタンスが誤分類される確率を測定する（${\displaystyle 1-p(y|x)}$ここで、yは割り当てられたクラスラベルであり、x はトレーニング セットt内のインスタンスの入力属性値を表します。^{[ 24 ]}理想的には、インスタンスの難易度は、考えられるすべての仮説Hのセットを合計することによって計算されます。

${\displaystyle {\begin{aligned}IH(\langle x,y\rangle )&=\sum _{H}(1-p(y,x,h))p(h|t)\\&=\sum _{H}p(h|t)-p(y,x,h)p(h|t)\\&=1-\sum _{H}p(y,x,h)p(h|t).\end{aligned}}}$

実際には、 Hは潜在的に無限であり、計算が困難であるため、この定式化は実現不可能である。${\displaystyle p(h|t)}$多くのアルゴリズムでは、これは未知である。したがって、インスタンスの困難性は、多様なサブセットを使用して近似することができる。${\displaystyle L\subset H}$:

${\displaystyle IH_{L}(\langle x,y\rangle )=1-{\frac {1}{|L|}}\sum _{j=1}^{|L|}p(y|x,g_{j}(t,\alpha ))}$

どこ${\displaystyle g_{j}(t,\alpha )}$学習アルゴリズムによって誘導される仮説は${\displaystyle g_{j}}$ハイパーパラメータを用いてトレーニングセットtで学習させた。${\displaystyle \alpha }$インスタンスのハードネスは、インスタンスが外れ値インスタンスであるかどうかを判断するための連続値を提供する。

正規分布モデルが分析対象のデータに適している場合でも、サンプルサイズが大きい場合は外れ値が発生することが予想され、外れ値が発生した場合でも自動的に破棄すべきではありません。^{[ 25 ]} 代わりに、外れ値に対して頑健な方法を使用して、自然に発生する外れ値を含むデータをモデル化または分析する必要があります。^{[ 25 ]}

外れ値を除去するかどうかを決定する際には、その原因を考慮する必要があります。前述のように、外れ値の原因が実験誤差によるものである場合、または外れ値のデータポイントが誤りであると判断できる場合は、一般的にそれを除去することが推奨されます。^{[ 25 ] [ 26 ]}ただし、可能であれば、誤った値を修正する方が望ましいです。

一方、外れ値であるという理由だけでデータポイントを削除することは、統計結果を無効にすることが多いため、多くの科学者や科学教師からしばしば非難される、議論の多い行為です。^{[ 25 ] [ 26 ]}数学的基準は、データの棄却のための客観的かつ定量的な方法を提供しますが、特に小さなセットや正規分布を仮定できない場合は、その行為をより科学的または方法論的に健全なものにするものではありません。外れ値の棄却は、測定対象プロセスの基礎となるモデルと測定誤差の通常の分布が確実にわかっている実践分野では、より受け入れられやすいです。

外れ値を除外する一般的な方法は、切り捨て（またはトリミング）とウィンザー化の2 つです。トリミングは外れ値を破棄しますが、ウィンザー化は外れ値を最も近い「疑わしくない」データで置き換えます。^{[ 27 ]}除外は、実験がそのような極端な値を完全に測定できない場合など、測定プロセスの結果である場合もあります。その結果、打ち切りデータが発生します。^{[ 28 ]}

回帰問題では、クックの距離などの尺度を使用して、推定係数に大きな影響を与える点のみを除外するという別のアプローチが考えられます。^{[ 29 ]}

データ分析から除外されたデータポイント（または複数のデータポイント）がある場合は、その後の報告書にその旨を明確に記載する必要があります。

データの基礎となる分布が正規分布に近似せず、「裾が厚い」可能性を考慮する必要があります。たとえば、コーシー分布からサンプリングする場合、^{[ 30 ]}サンプル分散はサンプルサイズとともに増加し、サンプル平均はサンプルサイズの増加に伴って収束せず、外れ値は正規分布の場合よりもはるかに高い割合で発生することが予想されます。裾の厚さのわずかな違いでも、極値の期待値に大きな違いが生じる可能性があります。

集合メンバーシップアプローチでは、未知のランダムベクトルxのi番目の測定に対応する不確実性は、（確率密度関数ではなく）集合X _{iで表されます。外れ値が発生しない場合、} x はすべてのX _iの共通部分に属するはずです。外れ値が発生すると、この共通部分は空になる可能性があり、矛盾を避けるために、集合X _iの少数（できるだけ少ない数）を緩和する必要があります。 ^{[ 31 ]}これは、 q緩和された共通部分の概念を使用して行うことができます。図に示すように、q緩和された共通部分は、 q 個を除くすべての集合に属するすべてのxの集合に対応します。q 緩和された共通部分と交差しない集合X i は、 外れ_値である可能性があります。

外れ値の原因がわかっている場合は、階層ベイズモデルや混合モデルなどを使用して、この効果をモデル構造に組み込むことができる可能性があります。^{[ 32 ] [ 33 ]}

クラスター分析において、外れ値は結果を大きく歪める可能性がある。そのため、外れ値の扱い方は長年にわたり議論の的となってきた。

クラスター分析は距離尺度に大きく依存する。マンハッタン距離は、不均衡に大きな差の値を二乗しないため、ユークリッド距離よりも外れ値をうまく処理できる可能性が高いと示唆されている。^{[ 34 ]}