堅牢なスケール測定

統計学において、ロバストな尺度とは、外れ値に抵抗しながら数値データのサンプル内の統計的分散を定量化する方法です。最も一般的なロバストな統計は、四分位範囲(IQR) と中央絶対偏差(MAD)です。これらは、外れ値の影響を大きく受けるサンプル標準偏差などの従来の、またはロバストでない尺度とは対照的です。

これらのロバスト統計は、特にスケールパラメータの推定値として使用され、汚染されたデータに対する堅牢性と優れた効率性の両方の利点がありますが、正規分布などの分布からのクリーンなデータに対する効率性は劣ります。堅牢性を示すために、標準偏差は、正確に 1 つの観測値を増やすことによって任意に大きくすることができます ( 1 つのポイントによって汚染される可能性があるため、ブレークダウン ポイントは 0 になります)。これは、ロバスト統計にはない欠点です。

最も一般的な堅牢な尺度の 1 つは、四分位範囲(IQR) です。これは、サンプルの75パーセンタイルと 25パーセンタイルの差です。これは 25%トリム 範囲であり、 L 推定量の一例です。他のトリム範囲、例えば十分位範囲(10% トリム範囲) も使用できます。ガウス分布の場合、IQR は次のように関連しています。^[1]${\displaystyle \sigma}$

${\displaystyle \sigma \approx 0.7413\operatorname {IQR} =\operatorname {IQR} /1.349}$

もう一つのよく知られた堅牢な尺度は、中央絶対偏差(MAD) です。これは、データ値とデータ セット全体の中央値との差の絶対値の中央値です。ガウス分布の場合、MAD は次の式と関連しています。 ${\displaystyle \sigma}$

${\displaystyle \sigma \approx 1.4826\operatorname {MAD} \approx \operatorname {MAD} /0.6745}$

詳細については、中央絶対偏差#標準偏差との関係を参照してください。

堅牢な尺度は、パラメータ推定のため、またはそれ自身の期待値の推定値として、母集団の特性の推定値として使用できます。

たとえば、尺度の堅牢な推定量は、一般的に尺度係数を掛けて偏りのない一貫した推定量にすることで、母集団標準偏差を推定するために使用されます。尺度パラメータ: 推定を参照してください。たとえば、データが正規分布に従う場合、IQR を 2 √ 2 erf ⁻¹ (1/2) (約 1.349) で割ると、母集団標準偏差の偏りのない一貫した推定量になります。

他の状況では、尺度の堅牢な尺度を、尺度の尺度としての母標準偏差の代替として解釈される、それ自身の期待値の推定値として考える方が理にかなっています。たとえば、標準コーシー分布からのサンプルの MAD は、母集団 MAD の推定値であり、この場合、母集団の分散は存在しませんが、1 です。

これらの堅牢な推定量は、外れ値のない分布（正規分布など）から抽出されたデータの場合、従来の推定量と比較して統計的効率が劣るのが一般的ですが、混合分布または裾の重い分布から抽出されたデータの場合は、標準偏差などの堅牢でない尺度を使用すべきではない、優れた効率を示します。

たとえば、正規分布から抽出されたデータの場合、MAD はサンプル標準偏差の 37% の効率ですが、Rousseeuw-Croux 推定値Q _nはサンプル標準偏差の 88% の効率です。

RousseeuwとCroux ^[2]は、MADの2つの弱点を踏まえてMADの代替案を提案している。

1. ガウス分布では非効率的です（効率 37%）。
2. 位置推定に関する対称統計を計算するため、歪度は考慮されません。

彼らは、ペアワイズ差に基づく2つの代替統計、S _nとQ _nを提案しており、次のように定義されます。

${\displaystyle {\begin{aligned}S_{n}&:=1.1926\,\operatorname {med} _{i}\left(\operatorname {med} _{j}(\,\left|x_{i}-x_{j}\right|\,)\right),\\Q_{n}&:=c_{n}{\text{第1四分位}}\left(\left|x_{i}-x_{j}\right|:i<j\right),\end{aligned}}}$

ここで はに依存する定数です。 ${\displaystyle c_{n}}$${\displaystyle n}$

これらはO ( nlogn )時間とO ( n )空間で計算できます。

どちらも値の違いのみに基づいているため、位置の推定は必要ありません。どちらもガウス分布の MAD よりも効率的です。S _nは58 % の効率で、Q _nは 82% の効率です。

正規分布からのサンプルの場合、S _{n は、非常に小さなサンプル サイズ (} n  = 10 の場合、バイアス < 1%) であっても、母集団標準偏差に対してほぼ偏りがありません。

正規分布からの大きなサンプルの場合、2.22 Q _{n は}母集団標準偏差に対してほぼ不偏です。小規模または中規模のサンプルの場合、正規分布でのQ _{nの期待値はサンプル サイズに大きく依存するため、有限サンプルの補正係数 (表またはシミュレーションから取得) を使用して}Q _nのスケールを調整します。

S _nやQ _nと同様に、バイウェイトミッドバリアンスは効率性をあまり犠牲にすることなく堅牢性を実現することを目指しています。次のように定義されます。

${\displaystyle {\frac {n\sum _{i=1}^{n}(x_{i}-Q)^{2}(1-u_{i}^{2})^{4}I(|u_{i}|<1)}{\left(\sum _{i}(1-u_{i}^{2})(1-5u_{i}^{2})I(|u_{i}|<1)\right)^{2}}},}$

ここで、Iは指標関数、QはX _iの標本中央値、

${\displaystyle u_{i}={\frac {x_{i}-Q}{9\cdot {\rm {MAD}}}}.}$

その平方根はスケールの堅牢な推定値です。データ ポイントは中央値からの距離が大きくなるにつれて重みが下げられ、中央値から 9 MAD 単位以上離れたポイントはまったく影響を与えないためです。

Mizera & Müller (2004)は、位置とスケールを同時に推定する堅牢な深度ベースの推定法を提案した。彼らは、学生中央値と呼ばれる新しい尺度を提案した。^[3]

ロバスト信頼区間は、信頼区間のロバストな修正であり、データセット内の外れ値や異常な観測値によって信頼区間が悪影響を受けないように、ロバストでない信頼区間の計算を修正することを意味します。

1000 個の物体を計量する過程では、実際的な状況では、オペレータが手順を間違えて不正確な質量を報告する（それによってある種の系統的誤差が生じる）ことは容易に考えられます。物体が 100 個あり、オペレータがそれらを 1 つずつ計量し、このプロセス全体を 10 回繰り返したとします。次に、オペレータは各物体の標本標準偏差を計算し、外れ値を探すことができます。標準偏差が異常に大きな物体には、おそらくデータ内に外れ値があります。これらは、さまざまなノンパラメトリック手法で除去できます。オペレータがプロセスを 3 回だけ繰り返した場合は、 3 回の測定値の中央値を取り、σ を使用するだけで信頼区間が得られます。200 回の追加計量は、オペレータのエラーを検出して修正するためだけに使用され、信頼区間の改善にはまったく役立ちませんでした。繰り返し回数を増やす場合は、最大値と最小値を破棄して残りを平均する、切り捨て平均を使用できます。ブートストラップ計算を使用すると、σ から計算される信頼区間よりも狭い信頼区間を決定できるため、大量の追加作業から何らかの利益を得ることができます。

これらの手順は、天秤の標準偏差 σ が固定されているという仮定でモデル化されていない手順エラーに対して堅牢です。実際のアプリケーションでは、オペレーターのエラーが時々発生したり、天秤が故障したりすることがあり、単純な統計計算の背後にある仮定を当然のこととして受け入れることはできません。σ から信頼区間を計算するために、100 個のオブジェクトをそれぞれ 3 回ずつ計量した結果を信頼する前に、適切な数の外れ値をテストして除去し (オペレーターが慎重であるという仮定をテストし、オペレーターが完璧ではないという事実を補正する)、データが実際に標準偏差 σ の正規分布になっているという仮定をテストする必要があります。

このような実験の理論的分析は複雑ですが、状況をシミュレートするために標準偏差σの正規分布から乱数を抽出するスプレッドシートを設定することは簡単です。これは、 ^[4]で説明されているように、Microsoft Excelでを使用して実行でき、同じ手法はOpenOffice.org Calcやgnumericなどの他のスプレッドシートプログラムでも使用できます。 =NORMINV(RAND(),0,σ))

明らかな外れ値を取り除いた後、各オブジェクトの他の 2 つの値から中央値を減算し、結果として得られた 200 個の数値の分布を調べることができます。平均がほぼゼロで、標準偏差が σ より少し大きい正規分布になるはずです。単純なモンテ カルロスプレッドシート計算により、標準偏差の一般的な値 (σ の約 105 ～ 115%) が明らかになります。または、各 3 つの値から平均を減算し、300 個の値の分布を調べることもできます。平均はゼロのままですが、標準偏差はいくらか小さくなります (σ の約 75 ～ 85%)。

• 不均一分散性整合標準誤差
• 四分位範囲
• 平均絶対偏差