平均二乗誤差

ベクトル${\displaystyle n}$予測はサンプルから生成されます${\displaystyle n}$すべての変数のデータポイント、そして${\displaystyle Y}$は予測対象変数の観測値のベクトルであり、${\displaystyle {\hat {Y}}}$が予測値（例えば最小二乗法によるフィッティングから得られた値）である場合、予測器のサンプル内MSEは次のように計算されます。

$${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

つまり、MSEは平均${\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)}$誤差の二乗の${\textstyle \left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$これは特定のサンプルに対して容易に計算できる量であり（したがってサンプルに依存する）、

行列表記では、 $${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e} }$$ どこ${\displaystyle e_{i}}$は${\displaystyle Y_{i}-{\hat {Y_{i}}}}$そして${\displaystyle \mathbf {e} }$は${\displaystyle n\times 1}$列ベクトル。

MSEは、モデルの推定に使用されなかったq個のデータポイントに対しても計算できます。これは、これらのデータがこの目的のために保留されていたか、またはこれらのデータが新たに取得されたためです。クロスバリデーションとして知られるこのプロセスでは、 MSEはしばしばテストMSE ^{[ 4 ]}と呼ばれ、次のように計算されます。

$${\displaystyle \operatorname {MSE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

推定量のMSE${\displaystyle {\hat {\theta }}}$未知のパラメータに関して${\displaystyle \theta }$^{[ 1 ]}と定義される

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}$$

この定義は未知のパラメータに依存するため、MSEは推定量の事前特性です。MSEは未知のパラメータの関数である可能性があり、その場合、これらのパラメータの推定値に基づくMSEの推定量はデータの関数（したがって確率変数）になります。推定量が${\displaystyle {\hat {\theta }}}$が標本統計量として導出され、何らかの母集団パラメータを推定するために使用される場合、期待値は標本統計量の標本分布に関してである。

MSEは推定量の分散と推定量のバイアスの二乗の合計として表すことができ、MSEを計算する有用な方法を提供し、不偏推定量の場合、MSEと分散が等しいことを示唆している。^{[ 5 ]}

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.}$$

サイズのランダムサンプルがあると仮定します${\displaystyle n}$人口から、${\displaystyle X_{1},\dots ,X_{n}}$サンプル単位が復元抽出で選ばれたと仮定します。つまり、${\displaystyle n}$ユニットは一度に1つずつ選択され、以前に選択されたユニットは引き続きすべての選択の対象となります${\displaystyle n}$抽出。母平均の通常の推定値${\displaystyle \mu }$サンプル平均は

$${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$$

期待値が真の平均に等しい${\displaystyle \mu }$（したがって偏りがない）平均二乗誤差

$${\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}$$

どこ${\displaystyle \sigma ^{2}}$は母集団分散です。

ガウス分布の場合、これは母平均の最良不偏推定量であり、すべての不偏推定量の中で最小の MSE (したがって分散) を持つものです。上記の MSE はフィッシャー情報量の逆数に等しいことが確認できます(クラメール・ラオ限界を参照)。しかし、同じ標本平均は、例えば一様分布の場合、母平均の最良推定量ではありません。

分散の一般的な推定値は、補正済み標本分散である。

$${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).}$$

これは偏りがない（期待値は${\displaystyle \sigma ^{2}}$）、そのため不偏標本分散とも呼ばれ、そのMSEは^{[ 8 ]である。}

$${\displaystyle \operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},}$$

どこ${\displaystyle \mu _{4}}$これは分布または母集団の4番目の中心モーメントであり、${\displaystyle \gamma _{2}=\mu _{4}/\sigma ^{4}-3}$は過剰尖度です。

しかし、他の推定量を使用することもできます。${\displaystyle \sigma ^{2}}$比例する${\displaystyle S_{n-1}^{2}}$、適切な選択をすれば、常に平均二乗誤差を小さくすることができます。

$${\displaystyle S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$$

次に計算します。

$${\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}$$

これは、

$${\displaystyle a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.}$$

ガウス分布の場合、${\displaystyle \gamma _{2}=0}$つまり、合計をで割るとMSEが最小になるということです。${\displaystyle a=n+1}$最小過剰尖度は${\displaystyle \gamma _{2}=-2}$、^{[ a ]}これはp = 1/2 (コイン投げ)のベルヌーイ分布によって達成され、MSE は最小化されます。  ${\displaystyle a=n-1+{\tfrac {2}{n}}.}$したがって、尖度に関係なく、不偏推定量を少し縮小することで、「より良い」推定値（MSEが低いという意味で）が得られます。これは、縮小推定量の簡単な例です。推定量をゼロに向かって「縮小」します（不偏推定量を縮小します）。

さらに、補正された標本分散はガウス分布の分散の最良不偏推定量（不偏推定量の中で最小の平均二乗誤差）ですが、分布がガウス分布でない場合、不偏推定量の中でも、分散の最良不偏推定量は、${\displaystyle S_{n-1}^{2}.}$

以下の表は、ガウス分布の場合の母集団の真のパラメータμとσ2のいくつかの推定値を示しています^{。[ 9 ]}

平均二乗誤差を無条件に使用することは、意思決定理論家のジェームズ・バーガーによって批判されている。平均二乗誤差は、特定の効用関数、すなわち二次効用関数の期待値の負の値であり、特定の状況下では適切な効用関数ではない可能性がある。しかしながら、平均二乗誤差が、アプリケーションで自然に発生する損失関数の良い近似値として機能するシナリオもいくつか存在する。^{[ 10 ]}

分散と同様に、平均二乗誤差には外れ値を過度に重視するという欠点があります。^{[ 11 ]}これは各項を二乗した結果であり、実質的に大きな誤差が小さな誤差よりも重く評価されることになります。この特性は多くの用途で望ましくないため、研究者たちは平均絶対誤差や中央値に基づくものなどの代替手段を使用するようになりました。