平均二乗予測誤差

統計学では、平滑化、曲線フィッティング、または回帰手順の平均二乗予測誤差（ MSPE ）は、予測関数によって暗示されるフィッティング値と（観測不可能な）真の値 g の値との二乗差である二乗予測誤差（ PE ）の期待値です。これは、の説明力の逆数であり、推定モデルのクロスバリデーションのプロセスで使用できます。 MSPE を正確に計算するには g の知識が必要ですが、実際には MSPE は推定されます。^[1] ${\displaystyle {\ワイドハット {g}}}$ ${\displaystyle {\ワイドハット {g}},}$

スムージングまたはフィッティング手順に、観測値ベクトルを予測値ベクトルにマッピングする投影行列（ハット行列）Lがある場合、 PE と MSPE は次のように定式化されます。 ${\displaystyle y}$${\displaystyle {\hat {y}}=Ly,}$

${\displaystyle \operatorname {PE_{i}} =g(x_{i})-{\widehat {g}}(x_{i}),}$

${\displaystyle \operatorname {MSPE} =\operatorname {E} \left[\operatorname {PE} _{i}^{2}\right]=\sum _{i=1}^{n}\operatorname {PE} _{i}^{2}/n.}$

MSPE は、適合値の二乗バイアス(平均誤差) と適合値の 分散という 2 つの項に分解できます。

${\displaystyle \operatorname {MSPE} =\operatorname {ME} ^{2}+\operatorname {VAR} ,}$

${\displaystyle \operatorname {ME} =\operatorname {E} \left[{\widehat {g}}(x_{i})-g(x_{i})\right]}$

${\displaystyle \operatorname {VAR} =\operatorname {E} \left[\left({\widehat {g}}(x_{i})-\operatorname {E} \left[{g}(x_{i})\right]\right)^{2}\right].}$

SSPE = n MSPEという量は、予測誤差の二乗和と呼ばれます。二乗平均平方根予測誤差は、MSPE の平方根です: RMSPE = √ MSPE。

平均二乗予測誤差は、2 つの状況で正確に計算できます。まず、長さnのデータ サンプルを使用して、データ アナリストはq個のデータ ポイント ( q < n )のみに対して回帰を実行し、他のn – q 個のデータ ポイントは、推定モデルのサンプル外 MSPE を計算するために使用するという特定の目的で保留します (つまり、モデル推定プロセスで使用されたデータは使用しません)。回帰プロセスはq 個のイン サンプル ポイントに合わせて調整されるため、通常、イン サンプル MSPE は、保留されたn – q 個のポイントに対して計算されたアウト オブ サンプル MSPE よりも小さくなります。イン サンプルと比較したアウト オブ サンプルの MSPE の増加が比較的わずかであれば、モデルは好意的に評価されます。また、2 つのモデルを比較する場合、モデルの相対的なイン サンプル パフォーマンスに関係なく、 n – q 個のアウト オブ サンプル データ ポイントでの MSPE が低いモデルの方が好意的に評価されます。このコンテキストにおけるサンプル外 MSPE は、計算されたサンプル外データ ポイントに対して正確ですが、データが抽出されたほとんど観測されていない母集団に対するモデルの MSPE の推定値にすぎません。

第二に、時間が経つにつれて、データ アナリストが利用できるデータが増える可能性があり、その場合、これらの新しいデータに基づいて MSPE を計算できます。

利用可能なすべてのデータに対してモデルが推定され、何も差し控えられていない場合、ほとんど観測されていないデータの全母集団に対するモデルの MSPE は次のように推定できます。

のモデルでは、次のように書くことができる。 ${\displaystyle y_{i}=g(x_{i})+\sigma \varepsilon _{i}}$${\displaystyle \varepsilon _{i}\sim {\mathcal {N}}(0,1)}$

${\displaystyle n\cdot \operatorname {MSPE} (L)=g^{\text{T}}(I-L)^{\text{T}}(I-L)g+\sigma ^{2}\operatorname {tr} \left[L^{\text{T}}L\right].}$

サンプルデータの値を使用すると、右辺の最初の項は次の式に等しくなります。

${\displaystyle \sum _{i=1}^{n}\left(\operatorname {E} \left[g(x_{i})-{\widehat {g}}(x_{i})\right]\right)^{2}=\operatorname {E} \left[\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}\right]-\sigma ^{2}\operatorname {tr} \left[\left(I-L\right)^{T}\left(I-L\right)\right].}$

したがって、

${\displaystyle n\cdot \operatorname {MSPE} (L)=\operatorname {E} \left[\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}\right]-\sigma ^{2}\left(n-\operatorname {tr} \left[L\right]\right).}$

が既知であるか、または によって十分に推定されている場合、MSPEを次のように推定することが可能になる。 ${\displaystyle \sigma ^{2}}$${\displaystyle {\widehat {\sigma }}^{2}}$

${\displaystyle n\cdot \operatorname {\widehat {MSPE}} (L)=\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}-{\widehat {\sigma }}^{2}\left(n-\operatorname {tr} \left[L\right]\right).}$

コリン・マローズは、推定された MSPE の正規化バージョンである モデル選択統計量C _pの構築においてこの方法を提唱しました。

${\displaystyle C_{p}={\frac {\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}}{{\widehat {\sigma }}^{2}}}-n+2p.}$

ここで、p は推定パラメータpの数であり、すべての可能な回帰変数を含むモデルのバージョンから計算されます。これで証明は終了です。 ${\displaystyle {\widehat {\sigma }}^{2}}$

• 赤池情報量基準
• バイアスと分散のトレードオフ
• 平均二乗誤差
• 統計における誤差と残差
• 全分散の法則
• マロウズC _p
• モデルの選択