最小距離推定

最小距離推定( MDE ) は、統計モデルをデータ (通常は経験分布)に適合させる概念的な方法です。通常の最小二乗法などのよく使用される推定量は、最小距離推定の特殊なケースと考えることができます。

最小距離推定量は、一貫性があり漸近的に正規ですが、尤度関数に通常存在するヤコビアンを省略するため、最大尤度推定量と比較すると、一般的に統計的に効率的ではありません。ただし、これにより、最適化問題の 計算の複雑さが大幅に軽減されます。

分布および の母集団から、独立した同一分布(iid)のランダムサンプルを抽出します。 ${\displaystyle \displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle F(x;\theta )\colon \theta \in \Theta }$${\displaystyle \Theta \subseteq \mathbb {R} ^{k}(k\geq 1)}$

サンプルに基づく 経験分布関数とします。${\displaystyle \displaystyle F_{n}(x)}$

を の推定量とします。すると は の推定量になります。 ${\displaystyle {\hat {\theta }}}$${\displaystyle \displaystyle \theta }$${\displaystyle F(x;{\hat {\theta }})}$${\displaystyle \displaystyle F(x;\theta )}$

を、2 つの引数間の「距離」の尺度を返す関数とします。この関数は、基準関数とも呼ばれます。 ${\displaystyle d[\cdot ,\cdot ]}$${\displaystyle \displaystyle d}$

となるような が存在する場合、 はの最小距離推定と呼ばれます。 ${\displaystyle {\hat {\theta }}\in \Theta }$${\displaystyle d[F(x;{\hat {\theta }}),F_{n}(x)]=\inf\{d[F(x;\theta ),F_{n}(x)];\theta \in \Theta \}}$${\displaystyle {\hat {\theta }}}$${\displaystyle \displaystyle \theta }$

(ドロッソスとフィリッポウ、1980 年、121 ページ)

最小距離推定に関するほとんどの理論的研究、およびほとんどの応用では、すでに確立された適合度検定の基礎となる「距離」尺度が使用されています。これらの検定の 1 つで使用される検定統計量は、最小化される距離尺度として使用されます。以下は、最小距離推定に使用されている統計検定の例です。

カイ二乗検定では、定義済みグループ全体にわたって、そのグループの推定値の増加によって重み付けされた、経験分布の増加と推定分布の増加の二乗差の合計を基準として使用します。

Cramér –von Mises基準では、経験的分布関数と推定分布関数の差の二乗の積分を使用します（Parr & Schucany 1980、p. 616）。

コルモゴロフ・スミルノフ検定では、経験的分布関数と推定分布関数の 絶対差の最大値を使用します(Parr & Schucany 1980、p. 616)。

アンダーソン・ダーリング検定は、積分が二乗差の加重バージョンである点を除いて、クラマー・フォン・ミーゼス基準に似ています。ここで、加重は経験分布関数の分散に関係します (Parr & Schucany 1980、p. 616)。

最小距離推定の理論は、対応する統計的適合度検定の漸近分布の理論と関連しています。多くの場合、クラマー・フォン・ミーゼス基準、コルモゴロフ・スミルノフ検定、アンダーソン・ダーリング検定のケースは、距離測定のより一般的な定式化の特殊なケースとして扱うことで同時に扱われます。利用可能な理論的結果の例には、パラメータ推定値の一貫性、パラメータ推定値の漸近共分散行列などがあります。

• 最大尤度推定
• 最大間隔の推定