堅牢な統計

ロバスト統計とは、基礎となる分布の仮定が間違っていてもその特性を維持する統計です。ロバスト統計手法は、位置、スケール、回帰パラメータの推定など、多くの一般的な問題に対して開発されてきました。その目的の 1 つは、外れ値によって過度に影響を受けない統計手法を生み出すことです。もう 1 つの目的は、パラメトリック分布からの逸脱が小さい場合に優れたパフォーマンスを発揮する手法を提供することです。たとえば、ロバスト手法は、異なる標準偏差を持つ 2 つの正規分布の混合に対してはうまく機能しますが、このモデルでは、 t 検定などのロバストでない手法はうまく機能しません。^{[1] [2]}

ロバスト統計は、一般的な統計手法を模倣しながらも、外れ値やモデルの仮定からのその他の小さな逸脱によって過度に影響を受けない手法を提供することを目指しています。統計学において、古典的な推定手法は、実際には満たされないことが多い仮定に大きく依存しています。特に、データ誤差は少なくとも近似的に正規分布している、または中心極限定理に頼って正規分布の推定値を生成することができると仮定されることがよくあります。残念ながら、データに外れ値がある場合、以下で説明するブレークダウン ポイントと影響関数を使用して判断すると、古典的な推定量のパフォーマンスが非常に低くなることがよくあります。

影響関数に見られる問題の実際的な影響は、少量（1～5%で十分な場合が多い）の汚染を混ぜた混合モデルで提案された推定量の標本分布を調べることによって経験的に研究することができます。たとえば、95%の正規分布と、平均は同じだが標準偏差が著しく高い（外れ値を表す）5%の正規分布の混合を使用できます。

ロバストなパラメトリック統計は、次の 2 つの方法で進めることができます。

• 影響関数の予め選択された動作が達成されるように推定量を設計することによって
• 正規分布の仮定の下で最適な推定量を、他の分布に最適な、または少なくとも他の分布から導出された推定量に置き換えることによって、たとえば、自由度が低い（尖度が高い） t分布や、2つ以上の分布の混合を使用したt分布を使用します。

以下の問題について堅牢な推定が研究されてきました。

• 位置パラメータの推定
• スケールパラメータの推定
• 回帰係数の推定^[3]
• 状態空間形式で表現されたモデルにおけるモデル状態の推定。この場合の標準的な方法はカルマンフィルタと同等です。

「ロバスト統計」にはさまざまな定義があります。厳密に言えば、ロバスト統計は、^仮定[4] （正規性など）からの逸脱によって生じる結果のエラーに耐性があります。つまり、仮定が近似的に満たされている場合でも、ロバスト推定量は妥当な効率と適度に小さなバイアスを持ち、漸近的に偏りがなく、サンプルサイズが無限大に近づくにつれてバイアスが0に近づくことを意味します。

通常、最も重要なケースは分布の堅牢性、つまりデータの根本的な分布に関する仮定の崩壊に対する堅牢性です。^[4]古典的な統計手法は、通常、「ロングテール性」（データの分布が想定される正規分布よりも長い裾を持つ場合など）に敏感です。これは、データ内の外れ値の存在によって強く影響され、データに極端な外れ値がある場合、外れ値がデータに含まれていない場合と比較して、生成される推定値が大きく歪む可能性があることを意味します。

対照的に、ロングテール性などの分布の歪みにそれほど敏感ではない、より堅牢な推定量は、外れ値の存在にも耐性があります。したがって、ロバスト統計の文脈では、分布的に堅牢であることと外れ値耐性は事実上同義です。^[4] 2000年までのロバスト統計の研究に関する1つの視点については、Portnoy & He (2000)を参照してください。

一部の専門家は、分布の堅牢性を表す用語として耐性統計を好み、「堅牢性」は非分布の堅牢性、たとえば確率モデルや推定量に関する仮定の違反に対する堅牢性を表すために留保していますが、これは少数派の使用法です。単純に「堅牢性」を「分布の堅牢性」という意味で使用するのが一般的です。

推定値が外れ値の存在に対してどの程度堅牢であるかを検討する場合、極端な外れ値がデータセットに追加されたときに何が起こるかをテストし、極端な外れ値が既存のデータ ポイントの 1 つを置き換えたときに何が起こるかをテストしてから、複数の追加または置き換えの影響を検討すると役立ちます。

平均は中心傾向の堅牢な尺度ではありません。データセットが、たとえば値 {2,3,5,6,9} である場合、値 -1000 または +1000 を持つ別のデータポイントをデータに追加すると、結果の平均は元のデータの平均とは大きく異なります。同様に、値の 1 つを値 -1000 または +1000 のデータポイントに置き換えると、結果の平均は元のデータの平均とは大きく異なります。

中央値は中心傾向の堅牢な尺度です。同じデータセット {2,3,5,6,9} に、値が -1000 または +1000 のデータポイントを追加すると、中央値はわずかに変化しますが、元のデータの中央値と似たものになります。値の 1 つを値が -1000 または +1000 のデータポイントに置き換えても、結果の中央値は元のデータの中央値と似たものになります。

内訳ポイントの観点から説明すると、中央値の内訳ポイントは 50% です。つまり、中央値が非外れ値の範囲外に移動するには、ポイントの半分が外れ値である必要があります。一方、平均の内訳ポイントは 0 です。これは、1 つの大きな観測値によって中央値が狂ってしまう可能性があるためです。

中央絶対偏差と四分位範囲は統計的分散の堅牢な尺度ですが、標準偏差と範囲はそうではありません。

トリム推定量とウィンザー化推定量は、統計をより堅牢にするための一般的な方法です。L推定量は単純な統計の一般的なクラスであり、堅牢であることが多いのに対し、M 推定量は堅牢な統計の一般的なクラスであり、計算がかなり複雑になることもありますが、現在では推奨されるソリューションとなっています。

Gelmanらは、ベイジアン データ解析 (2004) で、 Simon Newcombによる光速測定に関するデータ セットを検討しています。この本のデータ セットは、クラシック データ セットページから参照できます。また、本の Web サイトには、データに関する詳細情報が掲載されています。

データの大部分は多かれ少なかれ正規分布しているように見えますが、明らかな外れ値が 2 つあります。これらの外れ値は平均に大きな影響を与え、平均を外れ値に引き寄せ、データの大部分の中心から遠ざけます。したがって、平均がデータの中心の位置の尺度として意図されている場合、外れ値が存在すると、ある意味では偏りが生じます。

また、平均の分布は、中心極限定理により漸近的に正規分布することが知られています。ただし、外れ値があると、かなり大きなデータ セットであっても、平均の分布が非正規になる可能性があります。この非正規性に加えて、外れ値が存在すると平均は非効率になり、位置の測定の変動が少なくなります。

下のグラフは、光速度データの密度プロットとラグ プロット(パネル (a)) を示しています。また、通常のQ-Q プロット(パネル (b)) も示されています。これらのグラフでは外れ値を確認できます。

プロットのパネル (c) と (d) は、平均 (c) と 10%トリム平均(d) のブートストラップ分布を示しています。トリム平均は、データの両端から一定の割合の観測値 (ここでは 10%) を削除し、通常の方法で平均を計算する、シンプルで堅牢な位置推定値です。分析はRで実行され、生の平均とトリム平均のそれぞれに 10,000 個のブートストラップサンプルが使用されました。

平均値の分布は、10% トリム平均値の分布よりも明らかに広くなっています (プロットは同じスケールです)。また、トリム平均値の分布は正規分布に近いように見えますが、生平均値の分布は左にかなり偏っています。したがって、この 66 の観測値のサンプルでは、​​中心極限定理が適用できないのは 2 つの外れ値だけです。

堅牢な統計手法 (トリム平均はその簡単な例) は、外れ値が存在する場合、またはより一般的には、基礎となるパラメトリック仮定が完全には正しくない場合に、従来の統計手法よりも優れたパフォーマンスを発揮することを目指します。

この例では、トリム平均は平均に比べて良好なパフォーマンスを示していますが、より堅牢な推定値も利用可能です。実際、平均、中央値、トリム平均はすべてM 推定値の特殊なケースです。詳細については、以下のセクションを参照してください。

光速度データの外れ値は、平均値に悪影響を与えるだけではありません。スケールの通常の推定値は標準偏差であり、この量は平均値からの偏差の二乗が計算に含まれるため外れ値によってさらに悪影響を受け、外れ値の影響が悪化します。

以下のグラフは、標準偏差、絶対偏差中央値（MAD）、および尺度のRousseeuw-Croux （Qn）推定量のブートストラップ分布を示しています。 ^[5]グラフは、各推定量の10,000ブートストラップサンプルに基づいており、再サンプリングされたデータにはいくらかのガウスノイズが追加されています（平滑化ブートストラップ）。パネル（a）は標準偏差の分布、（b）はMADの分布、（c）はQnの分布を示しています。

標準偏差の分布は、外れ値が原因で不規則かつ広範囲です。MAD の方が動作が適切で、Qn は MAD よりも少し効率的です。この単純な例は、外れ値が存在する場合、標準偏差をスケールの推定値として推奨できないことを示しています。

従来、統計学者は、外れ値が誤って記録されていないか確認するために、通常はデータのソースをチェックして、手作業でデータを選別し、外れ値を除去していました。実際、上記の光速の例では、さらなる分析に進む前に 2 つの外れ値を確認して除去するのは簡単です。しかし、現代では、データセットは、多数の実験ユニットで測定される多数の変数で構成されることがよくあります。したがって、外れ値を手作業で選別することは、多くの場合非現実的です。

外れ値は、互いに覆い隠すような形で相互作用することがあります。簡単な例として、1 つの中程度の外れ値と 1 つの大きな外れ値を含む小さな単変量データ セットを考えてみましょう。推定標準偏差は、大きな外れ値によって大幅に膨らみます。その結果、中程度の外れ値は比較的正常に見えます。大きな外れ値が削除されるとすぐに、推定標準偏差は縮小し、中程度の外れ値が異常に見えます。

このマスキングの問題は、データの複雑さが増すにつれて悪化します。たとえば、回帰問題では、診断プロットを使用して外れ値を特定します。ただし、いくつかの外れ値を削除すると、他の外れ値が表示されることがよくあります。この問題は、高次元ではさらに悪化します。

堅牢な手法は、外れ値を自動的に検出し、重み付けを下げ（または削除）、フラグ付けする方法を提供し、手動スクリーニングの必要性を大幅に排除します。注意が必要です。南極に最初に現れたオゾンホールを示す初期データは、非人間的なスクリーニングによって外れ値として拒否されました。^[6]

この記事では単変量統計手法の一般原則を扱っていますが、回帰問題、一般化線形モデル、さまざまな分布のパラメータ推定にも堅牢な手法が存在します。

堅牢性を説明および測定するために使用される基本的なツールは、ブレークダウンポイント、影響関数、および感度曲線です。

直感的には、推定量のブレークダウンポイントとは、推定量が誤った（例えば、任意に大きな）結果を出す前に処理できる誤った観測値（例えば、任意に大きな観測値）の割合である。通常、漸近的（無限サンプル）極限がブレークダウンポイントとして引用されるが、有限サンプルのブレークダウンポイントの方が有用な場合もある。^[7]たとえば、独立したランダム変数とそれに対応する実現値が与えられている場合、を使用して平均を推定することができる。このような推定量のブレークダウンポイントは 0 （または有限サンプルのブレークダウンポイント ）である。これは、のいずれかを変更するだけで を任意に大きくすることができるためである。 ${\displaystyle n}$${\displaystyle (X_{1},\dots ,X_{n})}$${\displaystyle x_{1},\dots ,x_{n}}$${\displaystyle {\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}}$${\displaystyle 1/n}$${\displaystyle {\overline {x}}}$${\displaystyle x_{1},\dots ,x_{n}}$

推定量のブレークダウン ポイントが高いほど、その推定量は堅牢です。直感的には、ブレークダウン ポイントは 50% を超えることはできないと理解できます。観測値の半分以上が汚染されている場合、基礎となる分布と汚染分布を区別できないためです (Rousseeuw & Leroy、1987)。したがって、最大ブレークダウン ポイントは 0.5 であり、このようなブレークダウン ポイントを達成する推定量が存在します。たとえば、中央値のブレークダウン ポイントは 0.5 です。X% トリム平均のブレークダウン ポイントは、選択されたレベル X に対して X% です。Huber (1981) および Maronna ら (2019) には、より詳細な情報が記載されています。検定のレベルと検出力のブレークダウン ポイントについては、He、Simpson、Portnoy (1990) で調査されています。

ブレークダウンポイントの高い統計は、耐性統計と呼ばれることもあります。^[8]

光速の例では、最も低い 2 つの観測値を削除すると、平均が 26.2 から 27.75 に変化し、1.55 の変化となります。Qn 法によって生成されるスケールの推定値は 6.3 です。これをサンプル サイズの平方根で割ると、ロバスト標準誤差が得られます。この値は 0.78 であることがわかります。したがって、2 つの外れ値を削除した結果生じる平均の変化は、ロバスト標準誤差の約 2 倍になります。

光速データの 10% トリム平均は 27.43 です。最も低い 2 つの観測値を除外して再計算すると 27.67 になります。トリム平均は外れ値の影響が少なく、内訳ポイントが高くなります。

最低の観測値 -44 を -1000 に置き換えると、平均は 11.73 になりますが、10% トリム平均は 27.43 のままです。応用統計の多くの分野では、データを対数変換してほぼ対称にするのが一般的です。対数変換すると、非常に小さな値は大きな負の値になり、ゼロは負の無限大になります。したがって、この例は実用上重要です。

経験的影響関数は、サンプル内のいずれかのポイントの値に対する推定値の依存性の尺度です。これは、異なるサンプルで推定値を再度計算するだけなので、モデルフリーの尺度です。右側は Tukey の biweight 関数です。これは、後で説明するように、「良い」(後で定義される意味で) 経験的影響関数がどのようなものであるべきかを示す例です。

数学的に言えば、影響関数は推定値の空間内のベクトルとして定義され、推定値は母集団のサブセットであるサンプルに対して定義されます。

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$確率空間である、
2. ${\displaystyle ({\mathcal {X}},\Sigma )}$測定可能な空間（状態空間）である。
3. ${\displaystyle \Theta}$は次元 のパラメータ空間であり、${\displaystyle p\in \mathbb {N} ^{*}}$
4. ${\displaystyle (\Gamma,S)}$測定可能な空間であり、

例えば、

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$任意の確率空間、
2. ${\displaystyle ({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})}$、
3. ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$
4. ${\displaystyle (\Gamma,S)=(\mathbb{R},{\mathcal{B}})}$、

経験的影響関数は次のように定義されます。

およびをiidとし、 をこれらの変数からのサンプルとします。は推定値です。 とします。観測時における経験的影響関数は次のように定義されます。 ${\displaystyle n\in \mathbb {N} ^{*}}$${\displaystyle X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\rightarrow ({\mathcal {X}},\Sigma )}$${\displaystyle (x_{1},\dots ,x_{n})}$${\displaystyle T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\rightarrow (\Gamma ,S)}$${\displaystyle i\in \{1,\dots ,n\}}$${\displaystyle EIF_{i}}$${\displaystyle i}$

${\displaystyle EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))}$

これは、サンプルのi番目の値を任意の値に置き換えて、推定器の出力を見ていることを意味します。あるいは、EIF は、サンプルにポイントを追加した場合の推定器への影響を n ではなく n+1 でスケールしたものとして定義されます。^{[引用が必要]}${\displaystyle x}$

データだけに頼るのではなく、ランダム変数の分布を使うこともできます。このアプローチは、前の段落とはまったく異なります。ここでやろうとしているのは、データの分布をわずかに変更したときに推定量に何が起こるかを見ることです。推定量は分布を仮定し、この分布の変化に対する感度を測定します。対照的に、経験的影響はサンプルセットを仮定し、サンプルの変化に対する感度を測定します。^[9]

を 上のすべての有限符号測度の集合の凸部分集合とします。における分布のパラメータを推定します。 関数を何らかの推定量シーケンスの漸近値とします。 この関数はフィッシャー整合、つまり であると仮定します。 これは、モデル において、推定量シーケンスが漸近的に正しい量を測定することを意味します。 ${\displaystyle A}$${\displaystyle \Sigma }$${\displaystyle \theta \in \Theta }$${\displaystyle F}$${\displaystyle A}$${\displaystyle T:A\rightarrow \Gamma }$${\displaystyle (T_{n})_{n\in \mathbb {N} }}$${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$${\displaystyle F}$

を 内の分布とします。データがモデルに厳密に従わず、わずかに異なる別の分布に「向かう」場合は何が起きるでしょうか? ${\displaystyle G}$${\displaystyle A}$${\displaystyle F}$${\displaystyle G}$

私たちが注目しているのは、

${\displaystyle dT_{G-F}(F)=\lim _{t\rightarrow 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}}}$、

これはにおけるの方向への片側 ガトー微分です。 ${\displaystyle T}$${\displaystyle F}$${\displaystyle G-F}$

を に質量 1 を与える確率測度とします。を選びます。影響関数は次のように定義されます。 ${\displaystyle x\in {\mathcal {X}}}$${\displaystyle \Delta _{x}}$${\displaystyle \{x\}}$${\displaystyle G=\Delta _{x}}$

${\displaystyle IF(x;T;F):=\lim _{t\rightarrow 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$

これは、その点における微小な汚染が、求めている推定値に与える影響を、汚染の質量（観測値における汚染によって引き起こされる漸近的バイアス）で標準化して表したものです。堅牢な推定値を得るには、制限された影響関数、つまり x が任意に大きくなっても無限大にならない影響関数が必要です。 ${\displaystyle x}$${\displaystyle t}$

経験的影響関数は、ドロップイン原理を利用して、 分布関数の代わりに経験的分布関数を使用します。 ${\displaystyle {\hat {F}}}$${\displaystyle F}$

望ましいパフォーマンスをもたらす影響関数の特性は次のとおりです。

1. 有限拒絶点、${\displaystyle \rho ^{*}}$
2. 粗大誤差感度が小さい、${\displaystyle \gamma ^{*}}$
3. 局所シフト感度が小さい。${\displaystyle \lambda ^{*}}$

${\displaystyle \rho ^{*}:=\inf _{r>0}\{r:IF(x;T;F)=0,|x|>r\}}$

${\displaystyle \gamma ^{*}(T;F):=\sup _{x\in {\mathcal {X}}}|IF(x;T;F)|}$

${\displaystyle \lambda ^{*}(T;F):=\sup _{(x,y)\in {\mathcal {X}}^{2} \atop x\neq y}\left\|{\frac {IF(y;T;F)-IF(x;T;F)}{y-x}}\right\|}$

この値は、リプシッツ定数によく似ており、観測値を から隣接点 にわずかにシフトする、つまり に観測値を追加し、 に観測値を 1 つ削除する効果を表します。 ${\displaystyle x}$${\displaystyle y}$${\displaystyle y}$${\displaystyle x}$

(この段落の数学的背景については、経験的影響関数のセクションで説明します。)

歴史的には、R 推定量やL 推定量など、ロバスト推定に対するいくつかのアプローチが提案されました。しかし、現在では、M 推定量がその汎用性、高いブレークダウン ポイントの可能性、比較的高い効率性の結果として、この分野を支配しているようです。Huber (1981) を参照してください。

M 推定量は本質的に堅牢ではありません。ただし、堅牢性などの好ましい特性を実現するように設計できます。M 推定量は、最大尤度推定量(MLE) の一般化であり、 を最大化または同等に最小化することで決定されます。1964 年に、Huber はこれを の最小化に一般化することを提案しました。ここで、は何らかの関数です。したがって、MLE は M 推定量の特殊なケースです (したがって、「最大尤度型」推定量と呼ばれます)。 ${\textstyle \prod _{i=1}^{n}f(x_{i})}$${\textstyle \sum _{i=1}^{n}-\log f(x_{i})}$${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$${\displaystyle \rho }$

を微分して解くことで、最小化できる場合がよくあります。ここで、 は導関数を持ちます。 ${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$${\displaystyle \rho }$${\textstyle \sum _{i=1}^{n}\psi (x_{i})=0}$${\textstyle \psi (x)={\frac {d\rho (x)}{dx}}}$${\displaystyle \rho }$

および にはいくつかの選択肢が提案されています。以下の 2 つの図は、4 つの関数とそれに対応する関数を示しています。 ${\displaystyle \rho }$${\displaystyle \psi }$${\displaystyle \rho }$${\displaystyle \psi }$

二乗誤差の場合、は加速度的に増加しますが、絶対誤差の場合、 は一定の割合で増加します。ウィンザライズを使用すると、これら 2 つの効果が組み合わされます。x の値が小さい場合、 は二乗の割合で増加しますが、選択したしきい値 (この例では 1.5) に達すると、増加率は一定になります。このウィンザライズ推定量は、Huber 損失関数とも呼ばれます。 ${\displaystyle \rho (x)}$${\displaystyle \rho }$

Tukey の biweight (bisquare とも呼ばれる) 関数は、最初は二乗誤差関数と同様に動作しますが、誤差が大きくなると、関数は徐々に小さくなります。

M 推定量は必ずしも確率密度関数に関連しているわけではありません。したがって、尤度理論から生じる推論に対する既成のアプローチは、一般には使用できません。

M 推定値は漸近的に正規分布していることが示されており、標準誤差を計算できる限り、推論への近似アプローチが利用可能です。

M 推定値は漸近的にのみ正規化されるため、サンプル サイズが小さい場合は、ブートストラップなどの別の推論アプローチを使用するのが適切である可能性があります。ただし、M 推定値は必ずしも一意ではありません (つまり、方程式を満たす解が複数存在する可能性があります)。また、特定のブートストラップ サンプルには、推定値のブレークダウン ポイントよりも多くの外れ値が含まれる可能性があります。したがって、ブートストラップ スキームを設計する際には注意が必要です。

もちろん、光速の例で見たように、平均は漸近的にしか正規分布せず、外れ値が存在すると、非常に大きなサンプルであっても近似値が非常に悪くなる可能性があります。ただし、平均に基づくものも含め、従来の統計テストは、通常、テストの公称サイズによって上限が設定されます。M 推定値の場合は同じことが当てはまらず、タイプ I のエラー率は公称レベルを大幅に上回る場合があります。

これらの考慮事項は、M 推定を「無効にする」ものではありません。他の推定方法と同様に、使用には注意が必要であることを明確にするだけです。

M推定量の影響関数はに比例することが示されており、^[10]これは、その関数がわかれば、そのような推定量の特性（棄却点、総誤差感度、局所シフト感度など）を導くことができることを意味します。 ${\displaystyle T}$${\displaystyle \psi }$${\displaystyle \psi }$

${\displaystyle IF(x;T,F)=M^{-1}\psi (x,T(F))}$

次のように与えられます: ${\displaystyle p\times p}$

${\displaystyle M=-\int _{\mathcal {X}}\left({\frac {\partial \psi (x,\theta )}{\partial \theta }}\right)_{T(F)}\,dF(x).}$

多くの実際の状況では、関数の選択は良好な堅牢な推定値を得るために重要ではなく、多くの選択は、外れ値が存在する場合の従来の推定値よりも効率性とバイアスの点で大きな改善を提供する同様の結果をもたらすでしょう。^[11]${\displaystyle \psi }$

理論的には、関数が優先され、^{[説明が必要]}、Tukeyのbiweight（bisquareとも呼ばれる）関数が一般的な選択肢です。^[12]は、通常の効率を85％に設定したbiweight関数を推奨しています。 ${\displaystyle \psi }$

M 推定量は必ずしも密度関数に関連しているわけではないため、完全にパラメトリックではありません。堅牢なモデリングと推論に対する完全にパラメトリックなアプローチ (ベイズ法と尤度法の両方) は、通常、スチューデントのt分布などの裾の重い分布を扱います。

自由度のあるt分布については、次のように示される。 ${\displaystyle \nu }$

${\displaystyle \psi (x)={\frac {x}{x^{2}+\nu }}.}$

の場合、t分布はコーシー分布と同等です。自由度は尖度パラメータと呼ばれることもあります。これは、裾の重さを制御するパラメータです。原則として、は他のパラメータと同じ方法でデータから推定できます。実際には、が変化することを許容する場合、複数の極大値が存在するのが一般的です。そのため、 を 4 または 6 付近の値に固定するのが一般的です。下の図は、の 4 つの異なる値に対する -関数を示しています。 ${\displaystyle \nu =1}$${\displaystyle \nu }$${\displaystyle \nu }$${\displaystyle \nu }$${\displaystyle \psi }$${\displaystyle \nu }$

光速データの場合、尖度パラメータを変化させて尤度を最大化すると、次の式が得られます。

${\displaystyle {\hat {\mu }}=27.40,\quad {\hat {\sigma }}=3.81,\quad {\hat {\nu }}=2.13.}$

確率 を固定して最大化すると、${\displaystyle \nu =4}$

${\displaystyle {\hat {\mu }}=27.49,\quad {\hat {\sigma }}=4.51.}$

重要な量とは、基礎となる母集団分布がパラメータの値に依存しないパラメトリック ファミリのメンバーであるデータの関数です。補助統計量とは、統計量でもある関数、つまりデータのみに基づいて計算される関数です。このような関数は、パラメータの値に依存しないという意味でパラメータに対して堅牢ですが、基礎となるモデル (パラメトリック ファミリ) を前提としているという意味でモデルに対して堅牢ではありません。実際、このような関数は、モデルの仮定違反に非常に敏感であることがよくあります。したがって、パラメータに関する仮定の影響を受けないようにするためにこれらに基づいて構築されることが多い検定統計量は、モデルの仮定に対して依然として非常に敏感です。

欠損データを置き換えることを代入法といいます。欠損点が比較的少ない場合、欠損値をデータの平均値や中央値に置き換えるなど、系列を完成させるために値を推定するのに使用できるモデルがいくつかあります。また、単純な線形回帰法を使用して欠損値を推定することもできます。^[13]さらに、トリム平均、標準偏差以外のスケール推定値（MADなど）、およびウィンザライゼーションを使用することで、データ内の外れ値を調整できる場合があります。^[14]トリム平均の計算では、順序付けられたデータの両端から一定の割合のデータが削除され、外れ値が除去されます。次に、残りのデータを使用して平均値が計算されます。ウィンザライゼーションでは、外れ値を必要に応じて次に高い値または次に小さい値に置き換えることで調整します。^[15]

しかし、これらのタイプのモデルを使用して長い時系列の欠損値や外れ値を予測することは難しく、信頼性が低い場合が多く、特に、埋めるべき値の数がレコード全体の長さに比べて比較的多い場合は困難です。推定値の精度は、モデルがどれだけ優れていて代表的であるか、および欠損値の期間がどれだけ長いかによって異なります。^[16]系列で動的な進化が想定される場合、欠損データポイントの問題は、（欠損値や外れ値を推定する従来の方法のほとんどである単変量アプローチではなく）多変量解析の演習になります。このような場合、欠損値を予測するには、単変量モデルよりも多変量モデルの方が代表的です。コホーネン自己組織化マップ（KSOM）は、データ分析用のシンプルで堅牢な多変量モデルを提供し、データレコード内の他の関連変数との関係または相関を考慮して欠損値を推定する優れた可能性を提供します。^[15]

標準的なカルマン フィルタは外れ値に対して堅牢ではありません。このため、Ting、Theodorou、Schaal (2007) は最近、Masreliez の定理の修正によって外れ値に対処できることを示しました。

データ分析で外れ値を処理する一般的な方法の 1 つは、まず外れ値検出を実行し、次に効率的な推定方法 (最小二乗法など) を実行することです。この方法は多くの場合有用ですが、2 つの課題に留意する必要があります。第 1 に、非堅牢な初期適合に依存する外れ値検出方法は、マスキング効果の影響を受ける可能性があります。つまり、外れ値のグループが互いに覆い隠し、検出を逃れる可能性があります。^[17]第 2 に、外れ値検出に高ブレークダウンの初期適合が使用されると、フォローアップ分析で初期推定値の非効率性が一部引き継がれる可能性があります。^[18]

影響関数は統計学において長い歴史がありますが、いくつかの課題のため機械学習では広く使用されていませんでした。主な障害の 1 つは、従来の影響関数が高価な 2 次導関数計算に依存し、モデルの微分可能性と凸性を前提としていることです。これらの前提は、特にモデルが微分不可能、非凸であり、高次元空間で動作することが多い現代の機械学習では制限となります。

Koh & Liang (2017) は、Pearlmutter (1994)、Martens (2010)、Agarwal、Bullins & Hazan (2017) が開発したような 2 次最適化手法を使用して影響関数を効率的に近似する方法を導入することで、これらの課題に対処しました。彼らのアプローチは、微分可能性と凸性の仮定が劣化した場合でも有効であり、影響関数を非凸ディープラーニング モデルのコンテキストで使用できるようにします。彼らは、影響関数が機械学習のさまざまなタスクに適用できる強力で多用途なツールであることを実証しました。

• モデルの動作を理解する: 影響関数は、特定の予測に対してどのトレーニング ポイントが最も「責任がある」かを識別するのに役立ち、モデルがトレーニング データからどのように一般化されるかについての洞察を提供します。

• モデルのデバッグ: 影響関数は、ドメインの不一致 (トレーニング データの分布がテスト データの分布と一致しない場合) の特定に役立ちます。Ben-David ら (2010) が示しているように、ドメインの不一致により、トレーニング精度の高いモデルがテスト データでパフォーマンスが低下する可能性があります。どのトレーニング例がエラーに最も寄与しているかを明らかにすることで、開発者はこれらの不一致に対処できます。

• データセット エラー検出: ノイズの多いラベルや破損したラベルは、特にクラウドソーシングや敵対的攻撃を受けた場合に、現実世界のデータではよく見られます。影響関数により、人間の専門家はトレーニング セット内で最も影響力のある例のみを優先的に確認できるため、効率的なエラー検出と修正が可能になります。

• 敵対的攻撃: 少数の影響力のあるトレーニング ポイントに大きく依存するモデルは、敵対的摂動に対して脆弱です。これらの摂動を受けた入力は予測を大幅に変更し、攻撃者がトレーニング データにアクセスできる機械学習システムでセキュリティ リスクを引き起こす可能性があります (敵対的機械学習を参照)。

Koh 氏と Liang 氏の貢献により、解釈可能性からセキュリティまで、機械学習のさまざまなアプリケーションで影響関数を使用する道が開かれ、その適用性が大きく進歩しました。

• 堅牢な信頼区間
• ロバスト回帰
• 単位重み付き回帰

• Farcomeni, A.; Greco, L. (2013)、データ削減のための堅牢な方法、フロリダ州ボカラトン：Chapman & Hall/CRC Press、ISBN 978-1-4665-9062-5。
• Hampel, Frank R. ; Ronchetti, Elvezio M.; Rousseeuw, Peter J. ; Stahel, Werner A. (1986)、Robust 統計、Wiley Series in Probability and Mathematical Statistics: Probability and Mathematical Statistics、ニューヨーク: John Wiley & Sons, Inc.、ISBN 0-471-82921-8、MR  08294582005年にペーパーバックで再出版。
• Harvey, AC; Fernandes, C. (1989 年 10 月)、「カウントまたは定性的観察のための時系列モデル」、Journal of Business & Economic Statistics、7 (4)、Taylor & Francis: 407– 417、doi :10.1080/07350015.1989.10509750、JSTOR  1391639
• 何、Xuming ; Portnoy、Stephen (1992)、「再加重 LS 推定量は初期推定量と同じ速度で収束する」Annals of Statistics、20 (4): 2161– 2167、doi : 10.1214/aos/1176348910、MR  1193333。
• 何、旭明、シンプソン、ダグラス G.、ポートノイ、スティーブン L. (1990)、「テストの頑健性の内訳」、アメリカ統計学会誌、85 (410): 446– 452、doi :10.2307/2289782、JSTOR  2289782、MR  1141746。
• Hettmansperger, TP; McKean, JW (1998)、「ロバストなノンパラメトリック統計手法」、Kendall's Library of Statistics、第 5 巻、ニューヨーク: John Wiley & Sons, Inc.、ISBN 0-340-54937-8、MR  1604954第2版​​、CRC Press、2011年。
• フーバー、ピーター J. (1981)、ロバスト統計、ニューヨーク：ジョン・ワイリー・アンド・サンズ社、ISBN 0-471-41805-6、MR  06063742004年にペーパーバックで再出版。第2版、Wiley、2009年。
• マクドナルド、イアン L.; ズッキーニ、ウォルター (1997)、隠れマルコフモデルと離散値時系列モデル、テイラー＆フランシス、ISBN 9780412558504
• マロンナ、リカルド A.マーティン、R. ダグラス。ヨハイ、ビクター・J. Salibian-Barrera、Matías (2019) [2006]、ロバスト統計: 理論と方法 (R 付き)、Wiley シリーズ 確率と統計 (第 2 版)、チチェスター: John Wiley & Sons, Ltd.、doi :10.1002/9781119214656 、ISBN 978-1-119-21468-7。
• マクビーン、エドワード A.; ローヴァーズ、フランク (1998)、「環境モニタリングデータの分析と評価のための統計的手順」、プレンティス・ホール。
• ポートノイ、スティーブン、何、シューミン(2000)、「新世紀における堅実な旅」、アメリカ統計学会誌、95 (452): 1331– 1335、doi :10.2307/2669782、JSTOR  2669782、MR  1825288。
• Press, William H. ; Teukolsky, Saul A. ; Vetterling, William T.; Flannery, Brian P. (2007)、「セクション 15.7. ロバスト推定」、Numerical Recipes: The Art of Scientific Computing (第 3 版)、ケンブリッジ大学出版局、ISBN 978-0-521-88068-8、MR  2371990。
• Rosen, C.; Lennox, JA (2001 年 10 月)、「廃水処理操作の多変量および多スケール監視」、Water Research、35 (14): 3402– 3410、Bibcode :2001WatRe..35.3402R、doi :10.1016/s0043-1354(01)00069-0、PMID  11547861。
• Rousseeuw, Peter J. ; Croux, Christophe (1993)、「中央絶対偏差の代替案」、Journal of the American Statistical Association、88 (424): 1273– 1283、doi :10.2307/2291267、JSTOR  2291267、MR  1245360。
• Rousseeuw, Peter J. ; Leroy, Annick M. (1987)、Robust Regression and Outlier Detection、Wiley Series in Probability and Mathematical Statistics: Applied Probability and Statistics、ニューヨーク: John Wiley & Sons, Inc.、doi :10.1002/0471725382、ISBN 0-471-85233-3、MR  09147922003年にペーパーバックで再出版。
• Rousseeuw, Peter J. ; Hubert, Mia (2011)、「外れ値検出のための堅牢な統計」、Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery、1 (1): 73– 79、doi :10.1002/widm.2、S2CID  17448982. プレプリント
• Rustum, Rabee; Adeloye, Adebayo J. (2007 年 9 月)、「Kohonen 自己組織化マップを使用した活性汚泥データからの外れ値と欠損値の置換」、Journal of Environmental Engineering、133 (9): 909– 916、doi :10.1061/(asce)0733-9372(2007)133:9(909)。
• スティグラー、スティーブン・M.（2010）「ロバストネスの変化の歴史」、アメリカ統計学者、64（4）：277-281、doi：10.1198/tast.2010.10159、MR  2758558、S2CID  10728417。
• Ting, Jo-anne、Theodorou, Evangelos、Schaal, Stefan (2007)、「堅牢な外れ値検出のためのカルマン フィルタ」、国際インテリジェント ロボットおよびシステム会議 – IROS、pp.  1514– 1519。
• フォン・ミーゼス、R. (1947)、「微分可能な統計関数の漸近分布について」、Annals of Mathematical Statistics、18 (3): 309– 348、doi : 10.1214/aoms/1177730385、MR  0022330。
• ウィルコックス、ランド（2012）、ロバスト推定と仮説検定入門、統計モデリングと意思決定科学（第3版）、アムステルダム：エルゼビア/アカデミックプレス、pp.  1- 22、doi：10.1016 / B978-0-12-386983-8.00001-9、ISBN 978-0-12-386983-8、MR  3286430。
• Koh, Pang Wei; Liang, Percy (2017)。影響関数によるブラックボックス予測の理解。機械学習に関する国際会議。PMLR。
• Pearlmutter, Barak A. (1994)、「ヘッセ行列による高速な正確な乗算」、Neural Computation、6 (1): 147– 160、doi :10.1162/neco.1994.6.1.147、ISSN  0899-7667
• Martens, James (2010)。ヘッセ行列フリー最適化によるディープラーニング。機械学習に関する国際会議。イスラエル、ハイファ：PMLR。pp.  735– 742。ISBN 9781605589077。
• Agarwal, Naman; Bullins, Brian; Hazan, Elad (2017)、「線形時間での機械学習のための2次確率最適化」、Journal of Machine Learning Research、18 (116): 1– 40、arXiv : 1602.03943
• Ben-David, Shai; Blitzer, John; Crammer, Koby; Kulesza, Alex; Pereira, Fernando; Vaughan, Jennifer Wortman (2010)、「異なるドメインからの学習理論」、機械学習、79 (1): 151– 175、doi : 10.1007/s10994-009-5152-4、ISSN  1573-0565

• Brian Ripley の堅牢な統計コースのノート。
• Nick Fieller の統計モデリングと計算に関するコースノートには、ロバスト回帰に関する資料が含まれています。
• David Olive のサイトには、ロバスト統計に関するコースノートやいくつかのデータ セットが掲載されています。
• RとJSXGraphを使用したオンライン実験