最小分散不偏推定量

統計学において、最小分散不偏推定量 (MVUE)または一様最小分散不偏推定量 (UMVUE)は、パラメータの可能なすべての値に対して他のどの不偏推定量よりも分散が低い 不偏推定量です。

実際の統計問題では、他の条件が同じであれば、最適ではない手順は自然に回避されるため、MVUE が存在する場合はそれを決定することが重要になります。これにより、最適推定の問題に関連する統計理論が大幅に発展しました。

偏りの制約と最小分散の望ましさの測定基準を組み合わせると、ほとんどの実用的な設定で良好な結果が得られ、MVUE が幅広い分析の自然な出発点になりますが、特定の問題に対してはターゲットを絞った仕様の方がパフォーマンスが向上する場合があります。そのため、MVUE が常に最適な停止点であるとは限りません。

密度族 （ はパラメータ空間）の何らかのメンバーからのデータ iidに基づくの推定について考えてみましょう。の不偏推定量は、の場合UMVUEです。 ${\displaystyle g(\theta )}$${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$${\displaystyle p_{\theta },\theta \in \Omega }$${\displaystyle \オメガ}$${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$${\displaystyle g(\theta )}$${\displaystyle \forall \theta \in \Omega }$

${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$

他の偏りのない推定値${\displaystyle {\チルダ {\delta }}.}$

の不偏推定量が存在する場合、本質的に一意のMVUEが存在することを証明できます。^[1]ラオ-ブラックウェルの定理を使用すると、 MVUEを決定することは、単にファミリーの完全な十分な統計量を見つけ、それに基づいて不偏推定量を条件付けるだけであることも証明できます。 ${\displaystyle g(\theta )}$ ${\displaystyle p_{\theta },\theta \in \Omega }$

さらに、レーマン・シェフの定理によれば、完全かつ十分な統計量の関数である不偏推定量は UMVUE 推定量です。

正式に言えば、 がに対して不偏であり、それが密度族に対する完全な十分統計量であるとする。すると、 ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$${\displaystyle g(\theta )}$${\displaystyle T}$

${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$

MVUEは${\displaystyle g(\theta ).}$

ベイズ類似物は、特に最小平均二乗誤差(MMSE) を備えたベイズ推定量です。

効率的な推定量が存在する必要はないが、もし存在し、それが偏りのないものであるならば、それはMVUEである。推定量δの平均二乗誤差（MSE）は

${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {バイアス} (\delta )]^{2}\ }$

MVUE は、不偏推定量間のMSE を最小化します。場合によっては、偏りのある推定量の分散が不偏推定量よりも小さいため、偏りのある推定量の MSE が低くなることがあります。 推定量のバイアスを参照してください。

データは 、 密度が${\displaystyle \mathbb {R} }$

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}$

そしてUMVU推定値を求めたい。

${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$

まず密度は次のように書けることを認識する。

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}$

これは十分な統計量 を持つ指数族である。実際これはフルランク指数族であり、したがって完全十分である。指数族 の導出を参照。 ${\displaystyle T=\log(1+e^{-x})}$${\displaystyle T}$

${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$

したがって、

${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$

ここではレーマン・シェッフェの定理を用いてMVUEを求める。

明らかに偏りがなく、十分に完全であるため、UMVU推定量は ${\displaystyle \delta (X)={\frac {T^{2}}{2}}}$${\displaystyle T=\log(1+e^{-x})}$

${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}$

この例は、レーマン・シェッフェの定理が述べているように、完全な十分統計量の不偏関数が UMVU になることを示しています。

• 平均と分散が不明な正規分布の場合、標本平均と（偏りのない）標本分散は、母平均と母分散の MVUE になります。

  ただし、標本の標準偏差は母集団の標準偏差に対して不偏ではありません。標準偏差の不偏推定を参照してください。

  さらに、他の分布の場合、標本平均と標本分散は一般に MVUE ではありません。上限と下限が不明な一様分布の場合、中間範囲が母平均の MVUE になります。

• 上限Nが不明な集合{1, 2, ...,  N }上の離散一様分布からk個の標本を（置換なしで）選択した場合、 NのMVUEは

${\displaystyle {\frac {k+1}{k}}m-1,}$

ここで、m はサンプル最大値です。これは、十分かつ完全な統計量であるサンプル最大値のスケールおよびシフトされた（つまり、偏りのない）変換です。詳細については、ドイツの戦車問題を参照してください。

• クラメール・ラオ行き
• 最良線形不偏推定量(青)
• バイアスと分散のトレードオフ
• レーマン・シェッフェの定理
• U統計

• ベイズ推定量
• 最小平均二乗誤差(MMSE)

• キーナー、ロバート W. (2006)。統計理論：理論統計コースのためのノート。シュプリンガー。pp.  47-48 , 57-58。
• キーナー、ロバート W. (2010)。理論統計学: コアコースのトピック。ニューヨーク: シュプリンガー。DOI 10.1007/978-0-387-93839-4
• Voinov VG、Nikulin MS (1993)。不偏推定量とその応用、第 1 巻: 単変量の場合。Kluwer Academic Publishers。521 ページ。