M推定量

統計学において、M-推定量は、目的関数が標本平均である極値推定量の広いクラスである。 ^[1]非線形最小二乗法と最尤推定法は、どちらもM-推定量の特殊なケースである。M-推定量の定義は、新しいタイプのM-推定量を生み出したロバスト統計学に触発された。 ^[要出典]しかし、M-推定量は、一般にロバストではない最大尤度推定量を含んでいることから明らかなように、本質的にロバストではない。データ セットに対してM-推定量を評価する統計的手順は、M-推定と呼ばれる。頭文字の「M」は、「最大尤度型」の略である。

より一般的には、M推定量は推定関数のゼロとして定義される。^{[2] [3] [4] [5] [6] [7]}この推定関数は、多くの場合、別の統計関数の導関数である。たとえば、最大尤度推定値は、パラメータに関する尤度関数の導関数がゼロになる点である。したがって、最大尤度推定量はスコア関数の臨界点である。^[8] 多くのアプリケーションでは、このようなM推定量は、母集団の特性を推定するものと考えることができる。

最小二乗法は、推定量が残差の二乗和の最小値として定義されるため、典型的な M 推定量です。

もう一つの一般的なM推定量は最大尤度推定である。θによってパラメータ化された確率密度関数 fの族に対して、パラメータ空間 {  θ } 上の尤度関数を最大化することにより、各データセットに対してθの最大尤度推定量が計算される 。観測値が独立かつ同一に分布している場合、ML推定値は以下を満たす。 ${\displaystyle {\hat {\theta }}}$

${\displaystyle {\widehat {\theta }}=\arg \max _{\displaystyle \theta }{\left(\prod _{i=1}^{n}f(x_{i},\theta )\right)}\,\!}$

あるいは、同等に、

${\displaystyle {\widehat {\theta }}=\arg \min _{\displaystyle \theta }{\left(\sum _{i=1}^{n}-\log {(f(x_{i},\theta ))}\right)}.\,\!}$

最大尤度推定量は、かなり一般的な条件下では、無限に多くの観測値の限界において最適な特性を持ちますが、偏りがある可能性があり、有限のサンプルに対しては最も効率的な推定量ではない場合があります。

1964年、ピーター・J・フーバーは、最大尤度推定を一般化して最小化することを提案した。

${\displaystyle \sum _{i=1}^{n}\rho (x_{i},\theta ),\,\!}$

ここでρは特定の性質を持つ関数である（下記参照）。解は

${\displaystyle {\hat {\theta }}=\arg \min _{\displaystyle \theta }\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)\,\!}$

はM 推定量と呼ばれます(「M」は「最大尤度型」の略です (Huber、1981、43 ページ))。その他のロバスト推定量には、L 推定量、R 推定量、S 推定量があります。最大尤度推定量 (MLE) は、M 推定量の特殊なケースです。適切な再スケーリングにより、M 推定量は極値推定量の特殊なケースになります(観測値のより一般的な関数を使用できます)。

関数 ρ またはその導関数 ψ は、データが実際に想定される分布からのものである場合に推定器に望ましい特性 (バイアスと効率の点で) を提供し、データが何らかの意味で想定される分布に近いモデルから生成された場合に「悪くない」動作を提供するような方法で選択できます。

M推定量は、θを最小化する 解である。

${\displaystyle \sum _{i=1}^{n}\rho (x_{i},\theta ).\,\!}$

この最小化は常に直接行うことができます。多くの場合、 θについて微分し、導関数の根を解く方が簡単です。この微分が可能な場合、M 推定量はψ 型であると言われます。そうでない場合、M 推定量はρ 型であると言われます。

実際のほとんどのケースでは、M 推定量は ψ 型になります。

正の整数rに対して、およびを測度空間とします。はパラメータのベクトルです。 ρ 型の M 推定量は、測定可能な関数によって定義されます。これは、 を最小化する値(存在する場合) に確率分布をマッピングします。 ${\displaystyle ({\mathcal {X}},\Sigma )}$${\displaystyle (\Theta \subset \mathbb {R} ^{r},S)}$${\displaystyle \theta \in \Theta }$${\displaystyle T}$ ${\displaystyle \rho :{\mathcal {X}}\times \Theta \rightarrow \mathbb {R} }$${\displaystyle F}$${\displaystyle {\mathcal {X}}}$${\displaystyle T(F)\in \Theta }$${\displaystyle \int _{\mathcal {X}}\rho (x,\theta )dF(x)}$

${\displaystyle T(F):=\arg \min _{\theta \in \Theta }\int _{\mathcal {X}}\rho (x,\theta )dF(x)}$

たとえば、最大尤度推定量の場合、 となります。 ${\displaystyle \rho (x,\theta )=-\log(f(x,\theta ))}$${\displaystyle f(x,\theta )={\frac {\partial F(x,\theta )}{\partial x}}}$

がに関して微分可能である場合、 の計算は通常はるかに簡単になります。 ψ 型Tの M 推定量は、測定可能な関数 によって定義されます。これは、確率分布F を、ベクトル方程式を解く値 (存在する場合) にマッピングします。 ${\displaystyle \rho }$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle \psi :{\mathcal {X}}\times \Theta \rightarrow \mathbb {R} ^{r}}$${\displaystyle {\mathcal {X}}}$${\displaystyle T(F)\in \Theta }$

${\displaystyle \int _{\mathcal {X}}\psi (x,\theta )\,dF(x)=0}$

${\displaystyle \int _{\mathcal {X}}\psi (x,T(F))\,dF(x)=0}$

たとえば、最大尤度推定量の場合、 はベクトルuとの転置を表します。 ${\displaystyle \psi (x,\theta )=\left({\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{1}}},\dots ,{\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{p}}}\right)^{\mathrm {T} }}$${\displaystyle u^{\mathrm {T} }}$${\displaystyle f(x,\theta )={\frac {\partial F(x,\theta )}{\partial x}}}$

このような推定量は必ずしも ρ 型の M 推定量ではありませんが、ρ が に関して連続した第 1 導関数を持つ場合、ψ 型の M 推定量が ρ 型の M 推定量となるための必要条件は です。これまでの定義は有限サンプルに簡単に拡張できます。 ${\displaystyle \theta }$${\displaystyle \psi (x,\theta )=\nabla _{\theta }\rho (x,\theta )}$

関数 ψ が のときにゼロに減少する場合、推定量は再降順 と呼ばれます。このような推定量には、大きな外れ値を完全に排除するなど、いくつかの追加の望ましい特性があります。 ${\displaystyle x\rightarrow \pm \infty }$

ρ または ψ の多くの選択肢では、閉じた形式の解は存在せず、計算には反復的なアプローチが必要です。ニュートン・ラプソンなどの標準的な関数最適化アルゴリズムを使用することもできます。ただし、ほとんどの場合、反復的に再重み付けされた最小二乗フィッティングアルゴリズムを実行できます。これは通常、推奨される方法です。

ψ の選択によっては、特に再降順関数の場合、解が一意でない場合があります。この問題は、多変量問題や回帰問題で特に重要です。したがって、適切な開始点が選択されるように注意する必要があります。 位置の推定値としての中央値やスケールの一変量推定値としての中央絶対偏差などの堅牢な開始点は一般的です。

M推定量の計算では、パラメータの次元が小さくなるように目的関数を書き直すことが有効な場合があります。この手順は「集中」または「プロファイリング」と呼ばれます。パラメータを集中させることで計算速度が向上する例としては、一見無関係な回帰（SUR）モデルが挙げられます。^[9] 次のM推定問題を考えてみましょう。

${\displaystyle ({\hat {\beta }}_{n},{\hat {\gamma }}_{n}):=\arg \max _{\beta ,\gamma }\textstyle \sum _{i=1}^{N}\displaystyle q(w_{i},\beta ,\gamma )}$

関数qが微分可能であると仮定すると、M推定器は次の1次条件を解きます。

${\displaystyle \sum _{i=1}^{N}\triangledown _{\beta }\,q(w_{i},\beta ,\gamma )=0}$

${\displaystyle \sum _{i=1}^{N}\triangledown _{\gamma }\,q(w_{i},\beta ,\gamma )=0}$

ここで、γ について 2 番目の方程式を および で解くことができれば 、2 番目の方程式は次のようになります。 ${\displaystyle W:=(w_{1},w_{2},..,w_{N})}$${\displaystyle \beta }$

${\displaystyle \sum _{i=1}^{N}\triangledown _{\gamma }\,q(w_{i},\beta ,g(W,\beta ))=0}$

ここで g は、何らかの関数が見つかります。ここで、関数 g を の場所に挿入することで、元の目的関数を β のみで書き直すことができます。その結果、パラメータの数が削減されます。 ${\displaystyle \gamma }$

この手順が実行できるかどうかは、特定の問題によって異なります。ただし、実行できる場合は、パラメータを集中させることで計算を大幅に容易にすることができます。たとえば、各方程式に5つの説明変数を持つ6つの方程式のSURモデルを最大尤度法で推定すると、パラメータの数は51から30に減少します。^[9]

計算上の魅力的な特徴にもかかわらず、パラメータの集中はM推定量の漸近的性質を導く上で限られた用途しかありません。^{[10]目的関数の各加数にWが存在すると}、大数の法則と中心極限定理を適用することが難しくなります。

M 推定量は漸近的に正規分布していることが示されています。そのため、信頼区間と仮説検定を構築するには、 Wald タイプのアプローチを使用できます。ただし、理論は漸近的であるため、順列分布やブートストラップ分布を調べるなどして、分布を確認することが賢明な場合が多くあります。

型の M 推定量の影響関数は、その定義関数に比例します。 ${\displaystyle \psi }$${\displaystyle \psi }$

Tをψ型のM推定量とし、Gをが定義されている確率分布とする。その影響関数IFは ${\displaystyle T(G)}$

${\displaystyle \operatorname {IF} (x;T,G)=-{\frac {\psi (x,T(G))}{\int \left[{\frac {\partial \psi (y,\theta )}{\partial \theta }}\right]f(y)\mathrm {d} y}}}$

密度関数が存在すると仮定する。M推定量のこの特性の証明はHuber(1981、第3.2節)に記載されている。 ${\displaystyle f(y)}$

M 推定量は、単変量および多変量設定での位置パラメータとスケールパラメータに対して構築できるほか、ロバスト回帰にも使用できます。

( X ₁ , ..., X _n ) を分布Fを持つ独立した同一分布のランダム変数の集合とします。

定義すると

${\displaystyle \rho (x,\theta )={\frac {(x-\theta )^{2}}{2}},\,\!}$

θがXの平均のときにこれが最小化されることに注意してください。したがって、平均はρ関数を持つρ型のM推定値です。

このρ関数はθで連続的に微分可能であるため、平均はψ( x , θ )= θ  −  xに対してψ型のM推定量でもあります。

( X ₁ , ..., X _n )の中央値推定では、ρ関数を次のように定義することができます。

${\displaystyle \rho (x,\theta )=|x-\theta |}$

同様に、ρ関数はθがXの中央値のときに最小化されます。

このρ関数はθで微分できないが、ρ関数の劣勾配であるψ型M推定量は次のように表される。

${\displaystyle \psi (x,\theta )=\operatorname {sgn}(x-\theta )}$

そして

${\displaystyle \psi (x,\theta )={\begin{cases}\{-1\},&{\mbox{if }}x-\theta <0\\\{1\},&{\mbox{if }}x-\theta >0\\\left[-1,1\right],&{\mbox{if }}x-\theta =0\end{cases}}}$^{[説明が必要]}

M 推定量は、さまざまな条件下で一貫しています。典型的な仮定のセットは、関数のクラスが大数の均一法則を満たし、最大値が十分に分離されていることです。具体的には、経験的目的関数 と集団目的関数 がそれぞれ次のように与えられます。 ${\displaystyle M_{n},M:\Theta \rightarrow \mathbb {R} }$${\displaystyle n\rightarrow \infty }$

$${\displaystyle \sup _{\theta \in \Theta }|M_{n}(\theta )-M(\theta )|{\stackrel {p}{\rightarrow }}0}$$ そして、すべての に対して: ${\displaystyle \epsilon >0}$$${\displaystyle \sup _{\theta :d(\theta ,\theta ^{*})\geq \epsilon }M(\theta )<M(\theta ^{*})}$$

ここで、は距離関数であり、が最適値である場合、M推定は矛盾しない。^[11]${\displaystyle d:\Theta \times \Theta \rightarrow \mathbb {R} }$${\displaystyle \theta ^{*}}$

一様収束制約は必ずしも必要ではありません。別の仮定セットは、目的関数の点ごとの収束（確率）を考慮することです。さらに、 のそれぞれが、ちょうど 1 つのゼロを持つ連続導関数を持つか、または の次数が非減少で漸近的に である導関数を持つと仮定します。最後に、最大値が十分に分離されていると仮定します。これにより、M 推定が整合します。^[12]${\displaystyle M_{n}}$${\displaystyle o_{p}(1)}$${\displaystyle \theta ^{*}}$

• 2段階M推定量
• 堅牢な統計
• ロバスト回帰
• 再降順M推定量
• S推定値
• フレシェは

• アンダーセン、ロバート (2008)。ロバスト回帰の最新手法。社会科学における定量的応用。第 152 巻。ロサンゼルス、カリフォルニア州: Sage Publications。ISBN 978-1-4129-4072-6。
• Godambe, VP (1991)。推定関数。オックスフォード統計科学シリーズ。第 7 巻。ニューヨーク: Clarendon Press。ISBN 978-0-19-852228-7。
• Heyde, Christopher C. (1997) 。Heyde , Christopher C (編)。準尤度とその応用: 最適パラメータ推定への一般的なアプローチ。Springer Series in Statistics。ニューヨーク: Springer。doi :10.1007/b98823。ISBN 978-0-387-98225-0。
• フーバー、ピーター J. (2009)。ロバスト統計（第 2 版）。ニュージャージー州ホーボーケン: John Wiley & Sons Inc. ISBN 978-0-470-12990-6。
• Hoaglin, David C.; Frederick Mosteller; John W. Tukey (1983)。『ロバストかつ探索的なデータ分析の理解』。ニュージャージー州ホーボーケン: John Wiley & Sons Inc. ISBN 0-471-09777-2。
• McLeish, DL; Christopher G. Small (1989)。統計的推論関数の理論と応用。統計学講義ノート。第44巻。ニューヨーク: Springer。ISBN 978-0-387-96720-2。
• Mukhopadhyay, Parimal (2004).関数推定入門. ハロー、イギリス: Alpha Science International, Ltd. ISBN 978-1-84265-163-6。
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007)、「セクション 15.7. ロバスト推定」、Numerical Recipes: The Art of Scientific Computing (第 3 版)、ニューヨーク: Cambridge University Press、ISBN 978-0-521-88068-8
• サーフリング、ロバート J. (2002)。『数理統計の近似定理』。Wiley シリーズ、確率と数理統計。ホーボーケン、ニュージャージー州: John Wiley & Sons Inc. ISBN 978-0-471-21927-9。
• Shapiro, Alexander (2000). 「制約付き局所M推定量の漸近性について」Annals of Statistics . 28 (3): 948–960. CiteSeerX  10.1.1.69.2288 . doi :10.1214/aos/1015952006. JSTOR  2674061. MR  1792795.
• Small, Christopher G.; Jinfang Wang (2003)。非線形方程式を推定するための数値的手法。オックスフォード統計科学シリーズ。第29巻。ニューヨーク：オックスフォード大学出版局。ISBN 978-0-19-850688-1。
• van de Geer, Sara A. (2000)。M推定における経験的プロセス: 経験的プロセス理論の応用。ケンブリッジ統計および確率数学シリーズ。第 6 巻。ケンブリッジ、英国: ケンブリッジ大学出版局。ISBN 978-0-521-65002-1。
• Wilcox, RR (2003).現代の統計手法の適用. サンディエゴ、カリフォルニア州: アカデミック プレス. pp. 55–79.
• Wilcox, RR (2012)。『ロバスト推定と仮説検定入門』第 3 版。サンディエゴ、カリフォルニア州: Academic Press。

• M 推定量 — Zhengyou Zhang によるこのテーマの紹介