最小分散不偏推定量

統計学において、最小分散不偏推定量（MVUE）または一様最小分散不偏推定量（UMVUE）とは、パラメータのすべての可能な値に対して、他のどの不偏推定量よりも分散が小さい不偏推定量のことである。

実用的な統計問題においては、最適推定値（MVUE）が存在する場合はそれを決定することが重要である。なぜなら、他の条件が同じであれば、最適でない手順は当然避けられるからである。このことが、最適推定の問題に関連する統計理論の著しい発展につながった。

偏りのなさという制約と最小分散という望ましさの指標を組み合わせることで、ほとんどの実用的な場面で良好な結果が得られるため、MVUEは幅広い分析の自然な出発点となるが、特定の課題に対しては、より的を絞った仕様の方が優れた性能を発揮する場合もある。したがって、MVUEが常に最適な終着点であるとは限らない。

推定値を考慮する${\displaystyle g(\theta )}$データに基づく${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$密度族の何らかのメンバーからのiid${\displaystyle p_{\theta },\theta \in \Omega }$、 どこ${\displaystyle \Omega }$はパラメータ空間です。推定器${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$の${\displaystyle g(\theta )}$偏りがないのは${\displaystyle \operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n}))=\operatorname {E} (g(\theta ))}$さらに、不偏推定量は、以下の条件を満たす場合にUMVUEとなります。$\displaystyle \forall \theta \in \Omega }$、

$$\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$$

他の不偏推定量の場合${\displaystyle {\チルダ {\delta }}.}$

不偏推定量${\displaystyle g(\theta )}$が存在するならば、本質的に一意な MVUE が存在することを証明できる。^{[ 1 ]} Rao–Blackwell の定理を用いると、MVUE の決定は、単にその族の完全十分統計量を見つけることに尽きることも証明できる。${\displaystyle p_{\theta },\theta \in \Omega }$そして、それに基づいてあらゆる不偏推定量を条件付ける。

さらに、レーマン・シェッフェの定理によれば、完全かつ十分な統計量の関数である不偏推定量はUMVUEである。

正式に言うと、${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$偏りがない${\displaystyle g(\theta )}$そして、${\displaystyle T}$は密度族に対する完全十分統計量である。

$${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$$

MVUEは${\displaystyle g(\theta ).}$

ベイズ的類似物としては、ベイズ推定量、特に最小平均二乗誤差（MMSE）を用いた推定量が挙げられる。

効率的な推定量は必ずしも存在する必要はないが、存在する場合、そしてそれが不偏であれば、それはMVUEである。推定量δの平均二乗誤差（MSE）は

$${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$$

MVUEは、不偏推定量の中でMSEを最小化します。場合によっては、偏りのある推定量は、どの不偏推定量よりも分散が小さいため、MSEが低くなることがあります。推定量の偏りを参照してください。

データは、絶対連続分布からの単一の観測値であると考える。${\displaystyle \mathbb {R} }$ 密度

$${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{\left(1+e^{-x}\right)^{\theta +1}}},}$$

ここでθ > 0 であり、UMVU 推定量を求めたい。

$${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$$

まず、密度は次のように書けることを認識します。

$${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp \left(-\theta \log(1+e^{-x})+\log(\theta )\right)}$$

これは十分な統計量を持つ指数族である${\displaystyle T=\log(1+e^{-X})}$実際、これはフルランク指数型分布族であり、したがって${\displaystyle T}$は完全で十分です。 導出については指数族を参照してください。

$${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$$

したがって、

$${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$$

ここでは、MVUE を得るためにレーマン・シェッフェの定理を使用します。明らかに、${\displaystyle \delta (X)=T^{2}/2}$偏りがなく、${\displaystyle T=\log(1+e^{-X})}$は完全であり、したがって UMVU 推定量は

$${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log \left(1+e^{-X}\right)^{2}}{2}}}$$

この例は、レーマン・シェッフェの定理が示すように、完全十分統計量の不偏関数がUMVU（不偏分布）であることを示している。

• 平均と分散が未知の正規分布の場合、標本平均と（不偏）標本分散は、母平均と母分散のMVUE（最小分散不偏推定値）となる。

  しかし、標本標準偏差は母集団標準偏差に対して不偏ではありません。標準偏差の不偏推定を参照してください。

  さらに、他の分布の場合、標本平均と標本分散は一般にMVUEではありません。上限と下限が不明な一様分布の場合、中間範囲が母平均のMVUEとなります。

• 集合 {1, 2, ..., N }上の離散一様分布からk個の代表例を（重複なしで）選択する場合（上限Nは不明）、 Nに対する MVUE は次のようになります。   $${\displaystyle {\frac {k+1}{k}}m-1,}$$ここで、mは標本最大値です。これは標本最大値をスケーリングおよびシフトした（つまり不偏な）変換であり、十分かつ完全な統計量です。詳細はドイツ戦車問題を参照してください。

• クラメール・ラオの境界
• 最良線形不偏推定量（青）
• バイアス・バリアンスのトレードオフ
• レーマン・シェッフェの定理
• U統計量