投影行列

統計学において、射影行列 ^[1]は、影響行列^[2]またはハット行列とも呼ばれ、応答値（従属変数値）のベクトルを適合値（または予測値）のベクトルにマッピングします。これは、各応答値が各適合値に与える影響を表します。^{[3] [4]}射影行列の対角要素はてこ比であり、同じ観測値に対する各応答値の影響を表します。 ${\displaystyle (\mathbf {P} )}$ ${\displaystyle (\mathbf {H} )}$

応答値のベクトルが で表され、適合値のベクトルが で表されている場合、 ${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {\hat {y}} }$

${\displaystyle \mathbf {\hat {y}} =\mathbf {P} \mathbf {y} .}$

通常「y-ハット」と発音されるように、投影行列は「帽子をかぶる」ことからハット行列とも呼ばれます。 ${\displaystyle \mathbf {\hat {y}} }$${\displaystyle \mathbf {P} }$${\displaystyle \mathbf {y} }$

残差 ベクトルの式は、射影行列を使用して簡潔に表現することもできます。 ${\displaystyle \mathbf {r} }$

${\displaystyle \mathbf {r} =\mathbf {y} -\mathbf {\hat {y}} =\mathbf {y} -\mathbf {P} \mathbf {y} =\left(\mathbf {I} -\mathbf {P} \right)\mathbf {y} .}$

ここで、は単位行列です。 この行列は、残差マーカー行列または消滅行列と呼ばれることもあります。 ${\displaystyle \mathbf {I} }$${\displaystyle \mathbf {M} :=\mathbf {I} -\mathbf {P} }$

残差の共分散行列は、誤差伝播により、 ${\displaystyle \mathbf {r} }$

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)}$、

ここで、は誤差ベクトルの共分散行列（拡張により、応答ベクトルも同様）である。において独立かつ同一に分布する誤差を持つ線形モデルの場合、これは次のように簡約される：^[3]${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {\Sigma } =\sigma ^{2}\mathbf {I} }$

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}}$。

図から、ベクトルからの列空間への最も近い点は であり、 の列空間に直交する線を引ける点であることがわかります。行列の列空間に直交するベクトルは、行列転置の零空間内にあるため、 ${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {Ax} }$${\displaystyle \mathbf {A} }$

${\displaystyle \mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax} )=0}$。

そこから並べ替えると

${\displaystyle {\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0 \\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1} \mathbf {A} ^{\textsf {T}}\mathbf {b} \end{整列}}}$。

したがって、は の列空間上にあるため、に写像する射影行列はです。 ${\displaystyle \mathbf {Ax} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}} }$

線形最小二乗法を使って線形モデルを推定したいとします。モデルは次のように記述できます。

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}$

ここで、は説明変数の行列（設計行列）、βは推定される未知のパラメータのベクトル、εは誤差ベクトルです。 ${\displaystyle \mathbf {X} }$

多くの種類のモデルと手法がこの定式化の対象となります。例としては、線形最小二乗法、平滑化スプライン、回帰スプライン、局所回帰、カーネル回帰、線形フィルタリングなどがあります。

各観測値の重みが同一で誤差が相関していない場合、推定パラメータは

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} ,}$

したがって適合値は

${\displaystyle {\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} .}$

したがって、射影行列（およびハット行列）は次のように表される。

${\displaystyle \mathbf {P} :=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}.}$

上記は、重みが同一でない場合や誤差が相関している場合にも一般化できる。誤差の共分散行列がΣであると仮定する。すると、

${\displaystyle {\hat {\mathbf {\beta } }}_{\text{GLS}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {y} }$。

帽子行列はこうなる

${\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}}$

そして再び であることが分かりますが、今度は対称ではなくなりました。 ${\displaystyle H^{2}=H\cdot H=H}$

射影行列には、いくつかの有用な代数的性質がある。^{[5] [6]}線型代数の言語では、射影行列は計画行列の列空間への直交射影である。^{[4] （は}Xの擬似逆行列であることに注意してください。）この設定での射影行列のいくつかの事実は、次のようにまとめられます。^[4]${\displaystyle \mathbf {X} }$${\displaystyle \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$

• ${\displaystyle \mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,}$そして${\displaystyle \mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .}$
• ${\displaystyle \mathbf {P} }$は対称であり、 も同様です。${\displaystyle \mathbf {M} :=\mathbf {I} -\mathbf {P} }$
• ${\displaystyle \mathbf {P} }$はべき等です: 、 も同様です。${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$${\displaystyle \mathbf {M} }$
• がn × r行列で、が成り立つ場合、${\displaystyle \mathbf {X} }$${\displaystyle \operatorname {rank} (\mathbf {X} )=r}$${\displaystyle \operatorname {rank} (\mathbf {P} )=r}$
• の固有値はr個の1とn − r個の0から構成され、の固有値はn − r個の1とr個の0から構成されます。^[7]${\displaystyle \mathbf {P} }$${\displaystyle \mathbf {M} }$
• ${\displaystyle \mathbf {X} }$は に関して不変です :したがって。${\displaystyle \mathbf {P} }$${\displaystyle \mathbf {PX} =\mathbf {X} ,}$${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0} }$
• ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .}$
• ${\displaystyle \mathbf {P} }$特定のサブスペースに対して一意です。

線形モデルに対応する投影行列は対称かつべき等です。つまり、です。ただし、常にそうであるとは限りません。たとえば、局所加重散布図平滑化 (LOESS)では、ハット行列は一般に対称でもべき等でもありません。 ${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$

線型モデルの場合、射影行列のトレースは の階数に等しく、これは線型モデルの独立したパラメータの数です。^[8]観測値において依然として線型であるLOESSなどの他のモデルの場合、射影行列を使用してモデルの 有効自由度を定義できます。${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {y} }$

回帰分析における投影行列の実際的な応用としては、影響力のある観測値、つまり回帰の結果に大きな影響を与える観測値 を特定することに関係するてこ比やクックの距離などがあります。

計画行列を列ごとに と分解できるとします。ハット演算子または射影演算子を と定義します。同様に、残差演算子を と定義します。すると、射影行列は次のように分解できます。^[9]${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}}$${\displaystyle \mathbf {P} [\mathbf {X} ]:=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$${\displaystyle \mathbf {M} [\mathbf {X} ]:=\mathbf {I} -\mathbf {P} [\mathbf {X} ]}$

${\displaystyle \mathbf {P} [\mathbf {X} ]=\mathbf {P} [\mathbf {A} ]+\mathbf {P} {\big [}\mathbf {M} [\mathbf {A} ]\mathbf {B} {\big ]},}$

ここで、例えば、およびです。このような分解には、さまざまな用途があります。古典的な用途では、すべて 1 の列が使用され、これを使用して、回帰に切片項を追加した場合の効果を分析できます。もう 1 つの用途は、固定効果モデルです。ここで、は固定効果項のダミー変数の大きな疎行列です。この分割を使用すると、行列 を明示的に形成せずに、のハット行列を計算できます。行列 は大きすぎてコンピュータのメモリに収まらない場合があります。 ${\displaystyle \mathbf {P} [\mathbf {A} ]=\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}}$${\displaystyle \mathbf {M} [\mathbf {A} ]=\mathbf {I} -\mathbf {P} [\mathbf {A} ]}$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$

ハット行列は 1972 年に John Wilder によって導入されました。Hoaglin, DC と Welsch, RE (1978) による論文では、この行列の特性とその応用例が多数紹介されています。

• 射影（線形代数）
• スチューデント化残差
• 有効自由度
• 平均および予測応答