誤差と残差

統計学と最適化において、誤差と残差は、統計標本の要素の観測値の「真の値」（必ずしも観測可能ではない）からの偏差を測定する、密接に関連し混同されやすい2つの尺度である。観測値の誤差は、観測値と関心のある量（たとえば、母平均）の真の値との偏差である。残差は、観測値と関心のある量（たとえば、標本平均）の推定値との差である。この区別は回帰分析において最も重要であり、回帰分析では、これらの概念は回帰誤差や回帰残差と呼ばれることもあり、スチューデント化残差の概念につながる。計量経済学では、「誤差」は外乱とも呼ばれる。^{[1] [2] [3]}

単変量分布からの一連の観測値があり、その分布の平均を推定したいとします(いわゆる位置モデル)。この場合、誤差は観測値の母平均からの偏差であり、残差は観測値の標本平均からの偏差です。

統計誤差（または乱れ）とは、統計単位がランダムに選択された母集団全体に基づく期待値と観測値の差のことです。たとえば、21 歳の男性の母集団の平均身長が 1.75 メートルで、ランダムに選ばれた男性の身長が 1.80 メートルの場合、「誤差」は 0.05 メートルです。ランダムに選ばれた男性の身長が 1.70 メートルの場合、「誤差」は -0.05 メートルです。母集団全体の平均である期待値は、通常は観測不可能であるため、統計誤差も観測できません。

一方、残差(または適合偏差) は、観測不可能な統計誤差の観測可能な推定値です。男性の身長に関する前述の例を考えてみましょう。n人のランダム サンプルがあるとします。サンプル平均は、母平均の優れた推定値として使用できます。次の式が得られます。

• サンプル内の各男性の身長と観測不可能な母集団の平均との差は統計的誤差であるが、
• サンプル内の各男性の身長と観測可能なサンプル平均との差が残差です。

標本平均の定義により、ランダム標本内の残差の合計は必然的にゼロとなり、したがって残差は必然的に独立ではないことに注意してください。一方、統計誤差は独立しており、ランダム標本内のその合計はほぼ確実にゼロにはなりません。

統計誤差（特に正規分布の）をz スコア（または「標準スコア」）で標準化し、残差をt統計量、またはより一般的にはスチューデント化残差で標準化することができます。

平均μと標準偏差σの正規分布を持つ集団を仮定し、個体を独立に選択すると、

${\displaystyle X_{1},\dots ,X_{n}\sim N\left(\mu ,\sigma ^{2}\right)\,}$

そして標本平均

${\displaystyle {\overline {X}}={X_{1}+\cdots +X_{n} \over n}}$

次のように分布するランダム変数です。

${\displaystyle {\overline {X}}\sim N\left(\mu ,{\frac {\sigma ^{2}}{n}}\right).}$

統計的誤差は

${\displaystyle e_{i}=X_{i}-\mu ,\,}$

期待値はゼロである^[4]が、 残差は

${\displaystyle r_{i}=X_{i}-{\overline {X}}.}$

統計誤差の二乗和をσ2で割ると^、自由度nのカイ二乗分布に従う。

${\displaystyle {\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}e_{i}^{2}\sim \chi _{n}^{2}.}$

しかし、この量は母平均が不明であるため観測できません。一方、残差の二乗和は観測可能です。その和をσ ^{2で割った商は、自由度が}n − 1のカイ二乗分布に従います 。

${\displaystyle {\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}r_{i}^{2}\sim \chi _{n-1}^{2}.}$

nとn  − 1 の自由度間のこの差は、未知の平均と未知の分散を持つ母集団の標本分散の推定に対するベッセル補正をもたらします。母集団の平均がわかっている場合は、補正は必要ありません。

残差の二乗和と標本平均は、例えばBasuの定理を用いて、互いに独立していることを示すことができるのは注目すべきことである。この事実と、上記の正規分布とカイ二乗分布は、t統計量を含む計算の基礎となる。

${\displaystyle T={\frac {{\overline {X}}_{n}-\mu _{0}}{S_{n}/{\sqrt {n}}}},}$

ここで、は誤差を表し、はサイズnの標本に対する標本標準偏差を表し、σは未知であり、分母項は次式に従って誤差の標準偏差を表す: ^[5]${\displaystyle {\overline {X}}_{n}-\mu _{0}}$${\displaystyle S_{n}}$${\displaystyle S_{n}/{\sqrt {n}}}$

$${\displaystyle \operatorname {Var} \left({\overline {X}}_{n}\right)={\frac {\sigma ^{2}}{n}}}$$

分子と分母の確率分布は、観測不可能な母集団標準偏差 σ の値に別々に依存しますが、σは分子と分母の両方に現れ、打ち消されます。これは、 σがわからなくても 、この商の確率分布がわかっていることを意味するため、幸運です。この確率分布は、自由度n − 1のスチューデントの t 分布を持ちます。したがって、この商を使用して、 μの 信頼区間 を見つけることができます。この t 統計量は、「回帰直線から離れた標準誤差の数」として解釈できます。^[6]

回帰分析では、誤差と残差の区別は微妙かつ重要であり、スチューデント化残差の概念につながります。独立変数を従属変数に関連付ける観測不可能な関数（たとえば、直線）を考えると、従属変数の観測値のこの関数からの偏差が観測不可能な誤差です。あるデータで回帰分析を実行すると、従属変数の観測値の当てはめられた関数からの偏差が残差です。線型モデルが適用できる場合、独立変数に対してプロットされた残差の散布図は、残差に傾向がなく、ゼロを中心にランダムになるはずです。^[5]データに傾向が見られる場合、回帰モデルはおそらく正しくありません。たとえば、真の関数は2次以上の多項式である可能性があります。それらがランダムであるか、傾向がなく「扇状に広がる」場合、それらは不均一分散と呼ばれる現象を示します。すべての残差が等しいか、扇状に広がらない場合は、等分散を示します。

しかし、平均二乗誤差(MSE)という表現には用語上の違いがあります。回帰の平均二乗誤差は、計算された残差の二乗和から計算される数値であり、観測不可能な誤差の二乗和ではありません。その二乗和を観測数nで割ると、結果は二乗残差の平均になります。これは観測不可能な誤差の分散の偏りのある推定値であるため、二乗残差の合計をn ではなくdf = n  −  p − 1 で割ることで偏りが除去されます。ここで、df は自由度の数( n から推定されるパラメータの数 (切片を除く) p を引いた値 - 1) です。これは観測不可能な誤差の分散の偏りのない推定値を形成し、平均二乗誤差と呼ばれます。^[7]

ANOVAで使用されるような手法を使用して線形回帰の分散を分析するときに平均二乗誤差を計算する別の方法(ANOVA は回帰の一種であるため、これらは同じです) は、残差の二乗和 (別名、誤差の二乗和) を自由度で割ることです (自由度はn  −  p  − 1 に等しく、pはモデルで推定されるパラメーターの数 (回帰方程式の各変数に 1 つ、切片は含みません))。次に、モデルの二乗和から自由度 (パラメーターの数) を引いた値を割ることで、モデルの平均二乗を計算することもできます。次に、モデルの平均二乗を誤差の平均二乗で割ることで F 値を計算でき、その後、有意性を判断できます (これが、平均二乗が最初に必要な理由です)。^[8]

しかし、回帰の過程の振る舞いにより、誤差自体が同一に分布している場合でも、異なるデータポイント（入力変数）での残差の分布は変化する可能性がある。具体的には、誤差が同一に分布している線型回帰では、領域の中央の入力残差の変動性は、領域の端の残差の変動性よりも高くなる： ^[9]線型回帰は、中央よりも端点に適合する。これは、さまざまなデータポイントの回帰係数への影響関数にも反映されており、端点の方が影響力が大きい。

したがって、異なる入力での残差を比較するには、残差の予想される変動性によって残差を調整する必要があります。これはスチューデント化と呼ばれます。これは、問題となっているケースがデータセット内の他のケースと何らかの形で異なる外れ値を検出する場合に特に重要です。たとえば、ドメインの中央では大きな残差が予想されるかもしれませんが、ドメインの終わりでは外れ値と見なされます。

上のセクションで説明した「エラー」という用語の使用は、仮想の観測されていない値からの値の偏差という意味で使用されています。統計では、少なくとも他の 2 つの用法も使用されており、どちらも観測可能な予測エラーを指しています。

平均二乗誤差(MSE) は、推定量によって予測された値が推定される量 (通常はモデルが推定されたサンプル外) と異なる量を指します。平均二乗誤差(RMSE) は、MSE の平方根です。誤差の二乗和(SSE) は、MSE にサンプル サイズを掛けたものです。

残差の二乗和(SSR) は、推定に使用されるサンプル内の予測値からの実際の値の偏差の二乗の合計です。これは最小二乗推定の基礎であり、回帰係数は SSR が最小になるように (つまり、その導関数がゼロになるように) 選択されます。

同様に、絶対誤差の合計(SAE) は残差の絶対値の合計であり、回帰に対する最小絶対偏差アプローチで最小化されます。

平均誤差(ME) はバイアスです。最小二乗推定値の場合、 平均残差(MR) は常にゼロになります。

• Cook, R. Dennis; Weisberg, Sanford (1982) 。Residuals and Influence in Regression (Repr. ed.)。ニューヨーク: Chapman and Hall。ISBN 041224280X. 2013年2月23日閲覧。
• Cox, David R. ; Snell, E. Joyce ( 1968) .「残差の一般的な定義」。Journal of the Royal Statistical Society、シリーズ B。30 ( 2): 248–275。JSTOR  2984505。
• ワイスバーグ、サンフォード (1985)。応用線形回帰 (第 2 版)。ニューヨーク: Wiley。ISBN 9780471879572. 2013年2月23日閲覧。
• 「誤りの理論」、数学百科事典、EMS Press、2001 [1994]

• ウィキメディア・コモンズのエラーと残差に関するメディア