スチューデント化残差

統計学において、スチューデント化残差は、残差をその標準偏差の推定値で割った結果の無次元比であり、両方とも同じ単位で表されます。これはスチューデントのt統計量の一種であり、誤差の推定値はポイント間で異なります。

これは外れ値を検出する上で重要な手法です。これは、"Student" というペンネームで執筆したWilliam Sealey Gossetにちなんで名付けられた手法の 1 つです(例: Student's distribution )。統計量を標本標準偏差で割ることを、標準化や正規化と同様にStudentizingと呼びます。

スチューデント化の主な理由は、多変量分布の回帰分析では、異なる入力変数値での誤差の分散が等しい場合でも、異なる入力変数値での残差の分散が異なる場合があることです。問題は、統計における誤差と残差の違い、特に回帰における残差の挙動です。

単純な線形回帰モデル を考える

${\displaystyle Y=\alpha _{0}+\alpha _{1}X+\varepsilon .\,}$

ランダムサンプル（X _i、  Y _i）、i  = 1、...、  nが与えられたとき、各ペア（X _i、  Y _i）は次式を満たす。

${\displaystyle Y_{i}=\alpha _{0}+\alpha _{1}X_{i}+\varepsilon _{i},\,}$

ここで、誤差 、 は独立しており、すべて同じ分散 を持ちます。残差 は真の誤差ではなく、観測可能なデータに基づく推定値です。最小二乗法を使用しておよびを推定する場合、残差 は誤差 とは異なり、2つの制約を満たすため独立ではありません。 ${\displaystyle \varepsilon _{i}}$${\displaystyle \sigma ^{2}}$${\displaystyle \alpha _{0}}$${\displaystyle \alpha _{1}}$${\displaystyle {\widehat {\varepsilon \,}}}$${\displaystyle \varepsilon }$

${\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}=0}$

そして

${\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}x_{i}=0.}$

(ここでε _iはi番目の誤差、 はi番目の残差です。) ${\displaystyle {\widehat {\varepsilon \,}}_{i}}$

残差は、誤差とは異なり、すべてが同じ分散を持つわけではありません。対応するx値が平均x値から離れるほど、分散は減少します。これはデータ自体の特徴ではなく、領域の端にある回帰の適合度の高い値の特徴です。また、さまざまなデータ ポイントの回帰係数への影響関数にも反映されており、端点の影響力が大きくなっています。これは、端点の残差が適合線の傾きに大きく依存するのに対し、中央の残差は傾きの影響を比較的受けにくいことからもわかります。真の誤差の分散がすべて互いに等しいにもかかわらず、残差の分散が異なるという事実は、スチューデント化が必要となる 主な理由です。

これは単に母数パラメータ（平均と標準偏差）が不明であるという問題ではなく、残差に対して共通の分布を共有する単変量分布の点推定値とは異なり、回帰では異なるデータポイントで異なる残差分布が得られるという問題です。

この単純なモデルでは、設計行列は

${\displaystyle X=\left[{\begin{matrix}1&x_{1}\\\vdots &\vdots \\1&x_{n}\end{matrix}}\right]}$

ハット行列 Hは、計画行列の列空間への 直交射影の行列である。

${\displaystyle H=X(X^{T}X)^{-1}X^{T}.\,}$

レバレッジh _iiはハット行列の i番目の対角要素である。i番目の残差の分散は

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}(1-h_{ii}).}$

計画行列Xに2つの列しかない場合（上記の例のように）、これは次の式に等しくなります。

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}-{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right).}$

算術平均の場合、計画行列X には 1 つの列（1 のベクトル）のみがあり、これは単純に次のようになります。

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}\right).}$

上記の定義から、スチューデント化残差は

${\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$

ここで、h _{ii は}レバレッジであり、σの適切な推定値です（下記参照）。 ${\displaystyle {\widehat {\sigma }}}$

平均値の場合、これは次の式に等しくなります。

${\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {(n-1)/n}}}}$

σ ²の通常の推定値は内部スチューデント化残差 である。

${\displaystyle {\widehat {\sigma }}^{2}={1 \over n-m}\sum _{j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}.}$

ここで、m はモデル内のパラメータの数です (この例では 2)。

しかし、i 番目のケースが異常に大きいと疑われる場合は、正規分布にもならない。したがって、i番目のケースが外れ値である可能性がある かどうかを検討する場合は、分散を推定するプロセスからi番目の観測値を除外 し、代わりに外部スチューデント化残差を使用するのが賢明である。

${\displaystyle {\widehat {\sigma }}_{(i)}^{2}={1 \over n-m-1}\sum _{\begin{smallmatrix}j=1\\j\neq i\end{smallmatrix}}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2},}$

容疑者i 番目の残差を除くすべての残差に基づきます。ここでは、容疑者iについてはi番目のケースを除外して計算されることを強調します 。 ${\displaystyle {\widehat {\varepsilon \,}}_{j}^{\,2}(j\neq i)}$

推定値σ2^に i番目のケースが含まれている場合 、それは内部スチューデント化残差（標準化残差[ ^1]とも呼ばれる）と呼ばれます。代わりにi番目のケースを除外した推定値が使用される場合 、それは外部スチューデント化残差と呼ばれます。${\displaystyle t_{i}}$ ${\displaystyle {\widehat {\sigma }}_{(i)}^{2}}$${\displaystyle t_{i(i)}}$

誤差が独立しており、 期待値0 および分散σ ²で正規分布している場合、i番目の外部スチューデント化残差の確率分布は、自由度がn  −  m  − 1 のスチューデントの t 分布であり、範囲はからになります。 ${\displaystyle t_{i(i)}}$${\displaystyle \scriptstyle -\infty }$${\displaystyle \scriptstyle +\infty }$

一方、内部スチューデント化残差は の範囲にあり、ここでν = n  −  m は残差の自由度の数です。t i_が内部スチューデント化残差を表し、誤差が独立した同一分布のガウス変数であると仮定すると、次のようになります。^[2]${\displaystyle 0\,\pm \,{\sqrt {\nu }}}$

${\displaystyle t_{i}\sim {\sqrt {\nu }}{t \over {\sqrt {t^{2}+\nu -1}}}}$

ここでtは自由度ν −1のスチューデントのt分布に分布するランダム変数である 。実際、これはt _i ² / νがベータ分布B (1/2,( ν −1)/2)に従うことを意味する 。上記の分布はタウ分布と呼ばれることもある。^[2]これは1935年にトンプソンによって初めて導かれた。^[3]

ν = 3の場合、内部スチューデント化残差はと の間に均一に分布します。残差の自由度が 1 つしかない場合、内部スチューデント化残差の分布に関する上記の式は適用されません。この場合、t _{i は}すべて +1 または -1 のいずれかとなり、それぞれの確率は 50% になります。 ${\displaystyle \scriptstyle -{\sqrt {3}}}$${\displaystyle \scriptstyle +{\sqrt {3}}}$

内部スチューデント化残差の分布の標準偏差は常に 1 ですが、これは特定の実験のすべてのt _iの標準偏差が 1 であることを意味するものではありません。たとえば、(0, 0) から点 (1, 4)、(2, −1)、(2, −1) に至る直線をフィッティングする場合の内部スチューデント化残差は であり、これらの標準偏差は 1 ではありません。 ${\displaystyle {\sqrt {2}},\ -{\sqrt {5}}/5,\ -{\sqrt {5}}/5}$

スチューデント化残差t _iとt _j (ただし)の任意のペアはiid ではないことに注意してください。これらは同じ分布を持ちますが、残差の合計が 0 になる必要があり、計画行列に直交する必要があるという制約により、独立ではありません。 ${\displaystyle i\neq j}$

R、Pythonなどの多くのプログラムや統計パッケージには、スチューデント化残差の実装が含まれています。

• クックの距離– 観測値が削除されたときの回帰係数の変化の尺度
• グラブスのテスト
• 正規化（統計）
• サミュエルソンの不等式
• 標準スコア
• ウィリアム・シーリー・ゴセット

• Cook, R. Dennis; Weisberg, Sanford (1982) 。Residuals and Influence in Regression (Repr. ed.)。ニューヨーク: Chapman and Hall。ISBN 041224280X. 2013年2月23日閲覧。