クックの距離

統計学において、クックの距離またはクックのDは、最小二乗回帰分析を実行する際にデータポイントの影響力を推定するためによく使用されます。^[1]実際の通常の最小二乗分析では、クックの距離は、特に妥当性を確認する価値がある影響力のあるデータポイントを示すため、またはより多くのデータポイントを取得できることが望ましい設計空間の領域を示すために、いくつかの方法で使用できます。これは、1977年にこの概念を導入したアメリカの統計学者R.デニスクックにちなんで名付けられました。 ^{[2] [3]}

大きな残差(外れ値) や高いレバレッジを持つデータ ポイントは、回帰の結果と精度を歪める可能性があります。Cook の距離は、特定の観測値を削除した場合の影響を測定します。Cook の距離が大きいポイントは、分析でより詳しく調べる価値があると見なされます。

代数式では、まず定義する

${\displaystyle {\underset {n\times 1}{\mathbf {y} }}={\underset {n\times p}{\mathbf {X} }}\quad {\underset {p\times 1}{\boldsymbol {\beta }}}\quad +\quad {\underset {n\times 1}{\boldsymbol {\varepsilon }}}}$

ここで、は誤差項、は係数行列、は各観測値の共変量または予測変数の数、 は定数を含む計画行列です。最小二乗推定量は であり、したがって の平均の適合（予測）値は ${\displaystyle {\boldsymbol {\varepsilon}}\sim {\mathcal {N}}\left(0,\sigma ^{2}\mathbf {I} \right)}$${\displaystyle {\boldsymbol {\beta }}=\left[\beta _{0}\,\beta _{1}\dots \beta _{p-1}\right]^{\​​mathsf {T}}}$${\displaystyle p}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {b} =\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$${\displaystyle \mathbf {y} }$

${\displaystyle \mathbf {\widehat {y}} =\mathbf {X} \mathbf {b} =\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} =\mathbf {H} \mathbf {y} }$

ここで、 は射影行列（またはハット行列）である 。の - 番目の対角要素は で与えられ、^{[4] は}- 番目の観測値のてこ比として知られている。同様に、残差ベクトルの - 番目の要素は で表される。 ${\displaystyle \mathbf {H} \equiv \mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}}$${\displaystyle i}$${\displaystyle \mathbf {H} \,}$${\displaystyle h_{ii}\equiv \mathbf {x} _{i}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {x} _{i}}$${\displaystyle i}$${\displaystyle i}$${\displaystyle \mathbf {e} =\mathbf {y} -\mathbf {\widehat {y\,}} =\left(\mathbf {I} -\mathbf {H} \right)\mathbf {y} }$${\displaystyle e_{i}}$

クックの観測距離は、回帰モデルから観測を取り除いたときの回帰モデルのすべての変化の合計として定義される^[5]${\displaystyle D_{i}}$${\displaystyle i\;({\text{for }}i=1,\dots ,n)}$${\displaystyle i}$

${\displaystyle D_{i}={\frac {\sum _{j=1}^{n}\left({\widehat {y\,}}_{j}-{\widehat {y\,}}_{j(i)}\right)^{2}}{ps^{2}}}}$

ここでpはモデルの順位（すなわち、設計行列内の独立変数の数）であり、はを除外したときに得られる適合応答値であり、は回帰モデルの平均二乗誤差である。 ^[6]${\displaystyle {\widehat {y\,}}_{j(i)}}$${\displaystyle i}$${\displaystyle s^{2}={\frac {\mathbf {e} ^{\top }\mathbf {e} }{np}}}$

同様に、レバレッジ^[5]（）を使用して表現することもできます。 ${\displaystyle h_{ii}}$

${\displaystyle D_{i}={\frac {e_{i}^{2}}{ps^{2}}}\left[{\frac {h_{ii}}{(1-h_{ii})^{2}}}\right].}$

非常に影響力のある点を見つけるためにどのようなカットオフ値を使用するかについてはさまざまな意見があります。クックの距離は、（上記の計画行列で定義されているように）自由度が と であるF分布の測定基準であるため、中央値（つまり、）をカットオフとして使用できます。^[7]この値は が大きい場合に1に近づくため、 の簡単な操作ガイドラインが提案されています。^[8]${\displaystyle p}$${\displaystyle np}$${\displaystyle \mathbf {X} }$${\displaystyle F_{0.5}(p,n-p)}$${\displaystyle n}$${\displaystyle D_{i}>1}$

次元ランダムベクトル は、 - 番目の観測値の削除によるの変化であり、ランク 1 の共分散行列を持ち、したがって- 次元空間の 1 次元部分空間 (直線、たとえば )全体に分布します。 前述の の分布特性は、によって提供される - 番目の観測値 の影響に関する情報は、直線の外部からではなく、直線自体から取得される必要があることを意味します。 しかし、クックの距離の導入では、フルランクのスケーリング行列が選択され、結果として は 次元の空間全体に分布するランダムベクトルであるかのように扱われます。 これは、クックの距離を通じてによって提供される - 番目の観測値の影響に関する情報が、次元の空間全体から得られることを意味します。 したがって、クックの距離の尺度は、観測値の実際の影響を歪め、影響力のある観測値の正しい識別を誤らせる可能性があります。^{[9] [10]}${\displaystyle p}$${\displaystyle \mathbf {b} -\mathbf {b\,} _{(i)}}$${\displaystyle \mathbf {b} }$${\displaystyle i}$${\displaystyle L}$${\displaystyle p}$${\displaystyle \mathbf {b} -\mathbf {b\,} _{(i)}}$${\displaystyle i}$${\displaystyle \mathbf {b} -\mathbf {b\,} _{(i)}}$${\displaystyle L}$${\displaystyle L}$${\displaystyle p}$${\displaystyle \mathbf {b} -\mathbf {b\,} _{(i)}}$${\displaystyle p}$${\displaystyle i}$${\displaystyle \mathbf {b} -\mathbf {b\,} _{(i)}}$${\displaystyle p}$

${\displaystyle D_{i}}$^{は、てこ比[5]}（ ）と内部スチューデント化残差（ ）の二乗を用いて次のように表される。 ${\displaystyle 0\leq h_{ii}\leq 1}$ ${\displaystyle 0\leq t_{i}^{2}}$

${\displaystyle {\begin{aligned}D_{i}&={\frac {e_{i}^{2}}{ps^{2}}}\cdot {\frac {h_{ii}}{(1-h_{ii})^{2}}}={\frac {1}{p}}\cdot {\frac {e_{i}^{2}}{{1 \over n-p}\sum _{j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}(1-h_{ii})}}\cdot {\frac {h_{ii}}{1-h_{ii}}}\\[5pt]&={\frac {1}{p}}\cdot t_{i}^{2}\cdot {\frac {h_{ii}}{1-h_{ii}}}.\end{aligned}}}$

最後の定式化の利点は、との関係が明確に示されていることです（p と n はすべての観測値で同じです）。が大きい場合、 は（ の値が極端でない場合）増加します。が 0 に近い場合は は小さくなり、 が1 に近い場合は は非常に大きくなります（、つまり、観測値が観測値なしで適合された回帰直線上に正確に存在しない限り）。 ${\displaystyle t_{i}^{2}}$${\displaystyle h_{ii}}$${\displaystyle D_{i}}$${\displaystyle t_{i}^{2}}$${\displaystyle h_{ii}}$${\displaystyle D_{i}}$${\displaystyle h_{ii}}$${\displaystyle D_{i}}$${\displaystyle h_{ii}}$${\displaystyle D_{i}}$${\displaystyle t_{i}^{2}>0}$${\displaystyle i}$${\displaystyle i}$

${\displaystyle D_{i}}$は、次の関係を通じてDFFITSと関連しています（ は外部スチューデント化残差であり、 はここで定義されていることに注意してください）。 ${\displaystyle {{\widehat {\sigma }} \over {\widehat {\sigma }}_{(i)}}t_{i}=t_{i(i)}}$${\displaystyle {\widehat {\sigma }},{\widehat {\sigma }}_{(i)}}$

${\displaystyle {\begin{aligned}D_{i}&={\frac {1}{p}}\cdot t_{i}^{2}\cdot {\frac {h_{ii}}{1-h_{ii}}}\\&={\frac {1}{p}}\cdot {\frac {{\widehat {\sigma }}_{(i)}^{2}}{{\widehat {\sigma }}^{2}}}\cdot {\frac {{\widehat {\sigma }}^{2}}{{\widehat {\sigma }}_{(i)}^{2}}}\cdot t_{i}^{2}\cdot {\frac {h_{ii}}{1-h_{ii}}}={\frac {1}{p}}\cdot {\frac {{\widehat {\sigma }}_{(i)}^{2}}{{\widehat {\sigma }}^{2}}}\cdot \left(t_{i(i)}{\sqrt {\frac {h_{ii}}{1-h_{ii}}}}\right)^{2}\\&={\frac {1}{p}}\cdot {\frac {{\widehat {\sigma }}_{(i)}^{2}}{{\widehat {\sigma }}^{2}}}\cdot {\text{DFFITS}}^{2}\end{aligned}}}$

${\displaystyle D_{i}}$パラメータの妥当な値の領域を表す信頼楕円体内での推定値の移動する距離として解釈できます。^{[説明が必要]}これは、特定の観測が回帰分析に含まれるか除外されるかのケース間の回帰パラメータの推定値の変化に関して、クックの距離の代替的だが同等の表現によって示されます。

の代替案が提案されています。単一の観測がモデル全体に​​及ぼす影響を考慮する代わりに、統計は、元のデータセット内の各観測の削除に対して、番目の観測の予測がどの程度敏感であるかの尺度として機能します。これは、すべてのデータポイントのの重み付き線形結合として定式化できます。ここでも、必要な重みを取得する計算に 投影行列が含まれます。${\displaystyle D_{i}}$${\displaystyle S_{i}}$${\displaystyle i}$${\displaystyle D_{j}}$

${\displaystyle S_{i}={\frac {\sum _{j=1}^{n}\left({\widehat {y}}_{i}-{{\widehat {y}}_{i}}_{(j)}\right)^{2}}{ps^{2}h_{ii}}}=\sum _{j=1}^{n}{\frac {h_{ij}^{2}\cdot D_{j}}{h_{ii}\cdot h_{jj}}}=\sum _{j=1}^{n}\rho _{ij}^{2}\cdot D_{j}}$

この文脈では、（ ）は予測値と^[a]の相関に似ています。 とは対照的に、大きなサンプルサイズと多くの予測変数を持つモデルでは、の分布は漸近的に正規分布します。外れ値がない場合、の期待値はおよそ です。影響力のある観測値は、次の場合に特定できます。 ${\displaystyle \rho _{ij}}$${\displaystyle \leq 1}$${\displaystyle {\widehat {y\,}}_{i}}$${\displaystyle {\widehat {y\,}}_{j}}$
${\displaystyle D_{i}}$${\displaystyle S_{i}}$${\displaystyle S_{i}}$${\displaystyle p^{-1}}$

${\displaystyle \left|S_{i}-\operatorname {med} (S)\right|\geq 4.5\cdot \operatorname {MAD} (S)}$

は元のデータセット内のすべての値の中央値、中央絶対偏差は として表されます。つまり、の分布の位置と規模の堅牢な尺度です。係数 4.5 は、その中心の周りのの約 3標準偏差をカバーします。 クックの距離と比較すると、 は、が失敗したマスキング効果が存在する場合でも、高および中程度のてこ比の外れ値に対して優れたパフォーマンスを発揮することがわかりました。^[12] 興味深いことに、と は密接に関連しています。これは、どちらも、番目のデータポイントの削除が 番目の予測に与える影響を保持する行列で表すことができるためです。 ${\displaystyle \operatorname {med} (S)}$${\displaystyle \operatorname {MAD} (S)}$${\displaystyle S}$${\displaystyle S_{i}}$${\displaystyle S}$
${\displaystyle S_{i}}$${\displaystyle D_{i}}$
${\displaystyle D_{i}}$${\displaystyle S_{i}}$${\displaystyle \mathbf {T} }$${\displaystyle j}$${\displaystyle i}$

${\displaystyle {\begin{aligned}&\mathbf {T} =\left[{\begin{matrix}{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(1\right)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(2\right)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(3\right)}&\cdots &{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(n-1\right)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(n\right)}\\{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(1\right)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(2\right)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(3\right)}&\cdots &{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(n-1\right)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(n\right)}\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(1\right)}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(2\right)}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(3\right)}&\cdots &{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(n-1\right)}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(n\right)}\\{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(1\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(2\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(3\right)}&\cdots &{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(n-1\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(n\right)}\end{matrix}}\right]\\\\&\ \ =\mathbf {H} \mathbf {E} \mathbf {G} =\mathbf {H} \left[{\begin{matrix}e_{1}&0&0&\cdots &0&0\\0&e_{2}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &e_{n-1}&0\\0&0&0&\cdots &0&e_{n}\end{matrix}}\right]\left[{\begin{matrix}{\frac {1}{1-h_{11}}}&0&0&\cdots &0&0\\0&{\frac {1}{1-h_{22}}}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &{\frac {1}{1-h_{n-1,n-1}}}&0\\0&0&0&\cdots &0&{\frac {1}{1-h_{nn}}}\end{matrix}}\right]\end{aligned}}}$

手元にあるのは、次の式で与えられます。 ${\displaystyle \mathbf {T} }$${\displaystyle \mathbf {D} }$

${\displaystyle \mathbf {D} =\left[{\begin{matrix}D_{1}\\D_{2}\\\vdots \\D_{n-1}\\D_{n}\end{matrix}}\right]={\frac {1}{ps^{2}}}\operatorname {diag} \left(\mathbf {T} ^{\mathsf {T}}\mathbf {T} \right)={\frac {1}{ps^{2}}}\operatorname {diag} \left(\mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\mathbf {H} \mathbf {E} \mathbf {G} \right)=\operatorname {diag} (\mathbf {M} )}$

ここで、は対称かつべき等ですが、必ずしもそうとは限りません。対照的に、は次のように計算できます。 ${\displaystyle \mathbf {H} ^{\mathsf {T}}\mathbf {H} =\mathbf {H} }$${\displaystyle \mathbf {H} }$${\displaystyle \mathbf {S} }$

${\displaystyle {\begin{aligned}&\mathbf {S} =\left[{\begin{matrix}S_{1}\\S_{2}\\\vdots \\S_{n-1}\\S_{n}\end{matrix}}\right]={\frac {1}{ps^{2}}}\mathbf {F} \operatorname {diag} \left(\mathbf {T} \mathbf {T} ^{\mathsf {T}}\right)={\frac {1}{ps^{2}}}\left[{\begin{matrix}{\frac {1}{h_{11}}}&0&0&\cdots &0&0\\0&{\frac {1}{h_{22}}}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &{\frac {1}{h_{n-1n-1}}}&0\\0&0&0&\cdots &0&{\frac {1}{h_{nn}}}\end{matrix}}\right]\operatorname {diag} \left(\mathbf {T} \mathbf {T} ^{\mathsf {T}}\right)\\\\&\ \ ={\frac {1}{ps^{2}}}\mathbf {F} \operatorname {diag} \left(\mathbf {H} \mathbf {E} \mathbf {G} \mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\right)=\mathbf {F} \operatorname {diag} (\mathbf {P} )\end{aligned}}}$

ここで、は正方行列の主対角成分を抽出します。この文脈では、は影響行列と呼ばれ、はいわゆる感度行列に似ています。と の固有ベクトル解析は、どちらも同じ固有値を共有しており、外れ値検出のツールとして機能しますが、感度行列の固有ベクトルの方が強力です。^[13]${\displaystyle \operatorname {diag} (\mathbf {A} )}$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {M} =p^{-1}s^{-2}\mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\mathbf {H} \mathbf {E} \mathbf {G} }$${\displaystyle \mathbf {P} =p^{-1}s^{-2}\mathbf {H} \mathbf {E} \mathbf {G} \mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}}$${\displaystyle \mathbf {M} }$${\displaystyle \mathbf {P} }$

R、Python、Juliaなどの多くのプログラムや統計パッケージには、Cook の距離の実装が含まれています。

高次元影響尺度（HIM）は、クックの距離の代替手段です（つまり、観測値よりも予測変数が多い場合）。^[14]クックの距離は、最小二乗回帰係数推定値に対する個々の観測値の影響を定量化しますが、HIMは、観測値が限界相関に与える影響を測定します。 ${\displaystyle p>n}$

• 外れ値
• レバレッジ（統計）
• 部分的レバレッジ
• DFFITS
• スチューデント化残差

• アトキンソン、アンソニー、リアニ、マルコ (2000)。「欠失診断」。ロバスト診断と回帰分析。ニューヨーク: シュプリンガー。pp. 22–25。ISBN 0-387-95017-6。
• Heiberger, Richard M.; Holland, Burt (2013)。「ケース統計」。統計分析とデータ表示。Springer Science & Business Media。pp. 312–27。ISBN 9781475742848。
• Krasker, William S.; Kuh, Edwin ; Welsch, Roy E. (1983). 「ダーティデータと欠陥のあるモデルの推定」.計量経済学ハンドブック. 第 1 巻. Elsevier. pp. 651–698. doi :10.1016/S1573-4412(83)01015-6. ISBN 9780444861856。
• Aguinis, Herman; Gottfredson, Ryan K.; Joo, Harry (2013). 「外れ値の定義、識別、および処理に関するベストプラクティスの推奨事項」。Organizational Research Methods . 16 (2). Sage: 270–301. doi :10.1177/1094428112470848. S2CID  54916947 . 2015年12月4日閲覧。