投影行列

統計学では、射影行列${\displaystyle (\mathbf {P} )}$[ ^{1 ]}影響行列^{[ 2 ]}またはハット行列とも呼ばれる^。${\displaystyle (\mathbf {H} )}$は、応答値のベクトル（従属変数の値）を適合値のベクトル（または予測値）にマッピングします。これは、各応答値が各適合値に与える影響を記述します。 ^{[ 3 ] [ 4 ]}射影行列の対角要素はレバレッジであり、同じ観測値に対する各応答値が適合値に与える影響を記述します。

応答値のベクトルを次のように表すと${\displaystyle \mathbf {y} }$そして適合値のベクトルは${\displaystyle \mathbf {\hat {y}} }$、

${\displaystyle \mathbf {\hat {y}} =\mathbf {P} \mathbf {y} .}$

として${\displaystyle \mathbf {\hat {y}} }$通常は「y-hat」と発音される射影行列${\displaystyle \mathbf {P} }$また、ハットマトリックスとも呼ばれ、「帽子をかぶせる」という意味です。${\displaystyle \mathbf {y} }$「。

残差ベクトルの式${\displaystyle \mathbf {r} }$射影行列を用いて簡潔に表現することもできる。

${\displaystyle \mathbf {r} =\mathbf {y} -\mathbf {\hat {y}} =\mathbf {y} -\mathbf {P} \mathbf {y} =\left(\mathbf {I} -\mathbf {P} \right)\mathbf {y} .}$

どこ${\displaystyle \mathbf {I} }$は単位行列です。${\displaystyle \mathbf {M}$ :=\mathbf {I} -\mathbf {P} } は、残余マーカー行列または消滅行列と呼ばれることがあります。

残差の共分散行列${\displaystyle \mathbf {r} }$誤差伝播により、等しい

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)}$、

どこ${\displaystyle \mathbf {\Sigma } }$は誤差ベクトル（そして拡張して応答ベクトルも）の共分散行列です。独立かつ同一の分布に従う誤差を持つ線形モデルの場合、${\displaystyle \mathbf {\Sigma } =\sigma ^{2}\mathbf {I} }$、これは以下のように簡略化されます。^{[ 3 ]}

$\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}}$。

図から、ベクトルから最も近い点が${\displaystyle \mathbf {b} }$列空間に${\displaystyle \mathbf {A} }$、 は${\displaystyle \mathbf {Ax} }$、そして、列空間に直交する線を引くことができるものの一つです。${\displaystyle \mathbf {A} }$行列の列空間に直交するベクトルは、行列の転置の零空間にあるので、

${\displaystyle \mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax} )=0}$。

そこから、並べ替えて、

${\displaystyle {\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0\\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} \end{aligned}}}$。

したがって、${\displaystyle \mathbf {Ax} }$列空間にある${\displaystyle \mathbf {A} }$射影行列は、${\displaystyle \mathbf {b} }$に${\displaystyle \mathbf {A} \mathbf {x} }$、 は${\displaystyle \mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}}$。

線形最小二乗法を用いて線形モデルを推定したいと仮定します。モデルは次のように記述できます。

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}$

どこ${\displaystyle \mathbf {X} }$は説明変数の行列（設計行列）、βは推定すべき未知のパラメータのベクトル、εは誤差ベクトルです。

この定式化は、多くの種類のモデルや手法に適用されます。例としては、線形最小二乗法、平滑化スプライン、回帰スプライン、局所回帰、カーネル回帰、線形フィルタリングなどが挙げられます。

射影行列は、多くの有用な代数的性質を持つ。^{[ 5 ] [ 6 ]}線形代数の言葉で言えば、射影行列は、設計行列の列空間への直交射影である。${\displaystyle \mathbf {X} }$[ ^{4 ]}（注^：${\displaystyle \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$はX の擬似逆行列です。）この設定における射影行列のいくつかの事実は次のようにまとめられます。^{[ 4 ]}

• ${\displaystyle \mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,}$そして${\displaystyle \mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .}$
• ${\displaystyle \mathbf {P} }$は対称であり、${\displaystyle \mathbf {M}$ :=\mathbf {I} -\mathbf {P} } 。
• ${\displaystyle \mathbf {P} }$冪等性を持つ：${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$、そして${\displaystyle \mathbf {M} }$。
• もし${\displaystyle \mathbf {X} }$はn × r行列で、${\displaystyle \operatorname {rank} (\mathbf {X} )=r}$、 それから${\displaystyle \operatorname {rank} (\mathbf {P} )=r}$
• の固有値​${\displaystyle \mathbf {P} }$r個の 1 とn − r個の 0から構成される一方、${\displaystyle \mathbf {M} }$n − r個の 1 とr個の 0から構成される。^{[ 7 ]}
• ${\displaystyle \mathbf {X} }$不変である${\displaystyle \mathbf {P} }$ :${\displaystyle \mathbf {PX} =\mathbf {X} ,}$したがって${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0} }$。
• ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .}$
• ${\displaystyle \mathbf {P} }$特定のサブスペースに固有のものである。

線形モデルに対応する射影行列は対称かつ冪等である。すなわち、${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$しかし、これは常に当てはまるわけではありません。例えば、局所加重散布図平滑化（LOESS）では、ハット行列は一般に対称でも冪等でもありません。

線形モデルの場合、射影行列のトレースはランクに等しい。${\displaystyle \mathbf {X} }$これは、線形モデルの独立パラメータの数です。^{[ 8 ]} LOESS など、観測値に対して線形である他のモデルの場合${\displaystyle \mathbf {y} }$射影行列は、モデルの実効自由度を定義するために使用できます。

回帰分析における射影行列の実際的な応用例としては、レバレッジやクックの距離などがあり、これらは影響力のある観測値、つまり回帰分析の結果に大きな影響を与える観測値を特定することに関係しています。

デザイン行列を仮定します${\displaystyle \mathbf {X} }$列ごとに分解できます${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}}$ハット演算子または射影演算子を次のように定義します。${\displaystyle \mathbf {P} [\mathbf {X} ]:=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$同様に、残差演算子を次のように定義する。${\displaystyle \mathbf {M} [\mathbf {X} ]:=\mathbf {I} -\mathbf {P} [\mathbf {X} ]}$すると、射影行列は次のように分解できます。^{[ 9 ]}

${\displaystyle \mathbf {P} [\mathbf {X} ]=\mathbf {P} [\mathbf {A} ]+\mathbf {P} {\big [}\mathbf {M} [\mathbf {A} ]\mathbf {B} {\big ]},}$

例えば、${\displaystyle \mathbf {P} [\mathbf {A} ]=\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}}$そして${\displaystyle \mathbf {M} [\mathbf {A} ]=\mathbf {I} -\mathbf {P} [\mathbf {A} ]}$このような分解には多くの応用例がある。古典的な応用例では、${\displaystyle \mathbf {A} }$は、すべて 1 の列であり、回帰に切片項を追加した場合の影響を分析できます。もう 1 つの用途は、固定効果モデルで、${\displaystyle \mathbf {A} }$は、固定効果項のダミー変数の大きな疎行列です。この分割を使用して、ハット行列を計算できます。${\displaystyle \mathbf {X} }$明示的に行列を形成することなく${\displaystyle \mathbf {X} }$これはコンピュータのメモリに収まらないほど大きい可能性がある。

ハット行列は、1972年にジョン・ワイルダーによって導入されました。ホーグリン、DC、ウェルシュ、REによる論文（1978年）では、この行列の特性と、その応用例が数多く紹介されています。

• スチューデント化残差
• 有効自由度
• 平均応答と予測応答