平方和の説明

統計学において、説明二乗和( ESS ) は、モデル二乗和または回帰二乗和( SSR –残差二乗和(RSS) または誤差二乗和と混同しないでください) とも呼ばれ、モデル (多くの場合は回帰モデル) がモデル化されているデータをどの程度適切に表しているかを説明するために使用される数量です。特に、説明二乗和はモデル化された値にどれだけの変動があるかを測定し、これが観測データにどれだけの変動があるかを測定する総二乗和(TSS) および観測データとモデル化された値間の誤差の変動を測定する残差二乗和と比較されます。

説明二乗和 (ESS) は、標準的な回帰モデルにおける応答変数の平均値からの予測値の偏差の二乗の合計です。たとえば、y _i = a + b ₁ x _{1 i} + b ₂ x _{2 i} + ... + ε _iです。ここで、y _{i は}応答変数のi ^番目の観測値、x _jiはj^番目の説明変数のi^番目の観測値、aとb _jは係数、i は1 からnまでの観測値のインデックス、ε _{i は}誤差項のi^番目の値です。一般に、ESS が大きいほど、推定モデルのパフォーマンスは向上します。  

およびが推定係数である場合、 ${\displaystyle {\hat {a}}}$${\displaystyle {\hat {b}}_{i}}$

${\displaystyle {\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2}x_{2i}+\cdots \,}$

応答変数のi ^番目の予測値です。ESS は次のようになります。

${\displaystyle {\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

ここで、は回帰直線によって推定された値である。^[1]${\displaystyle {\hat {y}}_{i}}$

いくつかのケースでは（下記参照）：総二乗和 （TSS）＝説明二乗和（ESS）＋残差二乗和 （RSS）。

総二乗和 (TSS) は残差二乗和 (=SSE: 予測値の二乗誤差の合計) と説明二乗和 (SSR: 回帰による二乗和または説明二乗和) の合計に等しいという次の等式は、一般に単純線形回帰では当てはまります。

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

${\displaystyle {\begin{aligned}(y_{i}-{\bar {y}})=(y_{i}-{\hat {y}}_{i})+({\hat {y}}_{i}-{\bar {y}}).\end{aligned}}}$

両辺を二乗し、全体を合計します 。

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).}$

上記の最後の項が単純な線形回帰からゼロになる理由は次のとおりです^[2]

${\displaystyle {\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}}$

${\displaystyle {\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}}$

${\displaystyle {\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

それで、

${\displaystyle {\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})}$

${\displaystyle y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\ bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})}$

したがって、

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt]={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n}(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right)\\[4pt]={}&2{\hat {b}}(0)=0\end{aligned}}}$

n個の観測値とk個の説明変数を持つ一般的な回帰モデルは、最初の説明変数が定数単位ベクトルであり、その係数は回帰切片である。

${\displaystyle y=X\beta +e}$

ここで、yは従属変数の観測値のn ×1ベクトル、n × k行列Xの各列はk個の説明変数のうちの1つに関する観測値のベクトル、は真の係数のk ×1ベクトル、eは真の根底にある誤差のn ×1ベクトルである。の通常の最小二乗推定量は、 ${\displaystyle \beta}$${\displaystyle \beta}$

${\displaystyle {\hat {\beta}}=(X^{T}X)^{-1}X^{T}y.}$

残差ベクトルはなので、簡略化後の残差二乗和は、 ${\displaystyle {\hat {e}}}$${\displaystyle yX{\hat {\beta}}=yX(X^{T}X)^{-1}X^{T}y}$${\displaystyle {\hat {e}}^{T}{\hat {e}}}$

${\displaystyle RSS=y^{T}y-y^{T}X(X^{T}X)^{-1}X^{T}y.}$

を定数ベクトルとして表し、そのすべての要素はベクトルyの従属変数値の標本平均である。すると、総二乗和は ${\displaystyle {\bar {y}}}$${\displaystyle y_{m}}$

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

説明二乗和は、予測値と観測平均値yの偏差の二乗和として定義され、

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

これに を使用し、簡略化して を得ると、の場合に限り、TSS = ESS + RSSという結果になります。 この式の左辺はyの要素の合計を掛けたもので、右辺はの要素の合計を掛けたものなので、条件はyの要素の合計が の要素の合計に等しい、つまり予測誤差（残差）の合計がゼロになるというものです。 これは、 k × 1 ベクトルというよく知られた OLS プロパティに注目することで真であることがわかります。X の最初の列は 1 のベクトルなので、このベクトルの最初の要素は残差の合計であり、 はゼロに等しくなります。 これは、 TSS = ESS + RSSという結果に対して条件が成り立つことを証明しています。 ${\displaystyle {\hat {y}}=X{\hat {\beta }}}$${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$${\displaystyle y_{m}}$${\displaystyle y_{m}}$${\displaystyle {\hat {y}}}$${\displaystyle {\hat {y}}}$${\displaystyle y_{i}-{\hat {y}}_{i}}$${\displaystyle X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0}$${\displaystyle X^{T}{\hat {e}}}$

線形代数では、、、となります。証明は、 と記すことで簡略化できます。証明は次のとおりです。 ${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$${\displaystyle {\hat {y}}^{T}{\hat {y}}={\hat {y}}^{T}y}$

${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,}$

したがって、

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2\langle y-{\hat {y}},{\hat {y}}-{\bar {y}}\rangle \\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}}$

これによって、TSS = ESS + RSSという結果が再び得られます。 ${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$

• 平方和（統計）
• 不適合平方和
• 分散の割合は説明できない

• SE Maxwell および HD Delaney (1990)、「実験の設計とデータの分析: モデル比較の観点」。Wadsworth。pp. 289–290。
• GA ミリケンと DE ジョンソン (1984)、「乱雑なデータの分析」、第 1 巻: 計画された実験。ヴァン ノストランド ラインホールド。pp. 146–151。
• BG Tabachnick および LS Fidell (2007)、「ANOVA を使用した実験デザイン」。Duxbury。p. 220。
• BG Tabachnick および LS Fidell (2007)、「多変量統計の使用」、第 5 版、Pearson Education。pp. 217–218。