主成分回帰

統計学において、主成分回帰（PCR）は主成分分析（PCA）に基づいた回帰分析手法です。PCRは縮小順位回帰の一種です。^{[1]より具体的には、PCRは}標準的な線形回帰モデルにおける未知の回帰係数を推定するために使用されます。

PCR では、従属変数を説明変数に直接回帰するのではなく、説明変数の主成分が回帰変数として使用されます。通常、回帰にはすべての主成分のサブセットのみを使用するため、PCR は一種の正規化手順であり、収縮推定量の一種でもあります。

多くの場合、分散の大きい主成分（説明変数のサンプル分散共分散行列のより高い固有値に対応する固有ベクトルに基づく主成分）が回帰変数として選択されます。ただし、結果を予測する目的では、分散の小さい主成分も重要であり、場合によってはさらに重要になることもあります。^[2]

PCRの主な用途の1つは、 2つ以上の説明変数がほぼ共線性である場合に生じる多重共線性の問題を克服することである。^[3] PCRは、回帰ステップで低分散の主成分の一部を除外することにより、このような状況に適切に対処することができる。さらに、通常はすべての主成分のサブセットのみに回帰することにより、PCRは、基礎となるモデルを特徴付けるパラメータの有効数を大幅に減らすことで次元削減をもたらすことができる。これは、高次元の共変量を持つ設定で特に有用である可能性がある。また、回帰に使用する主成分を適切に選択することにより、PCRは、想定されるモデルに基づいて結果を 効率的に予測することができる。

PCR 法は、大きく分けて 3 つの主要なステップに分けられます。

1. 説明変数の観測データ マトリックスに対してPCA を実行して主成分を取得し、その後、適切な基準に基づいて、取得した主成分のサブセットを (通常は) 選択してさらに使用します。${\displaystyle \;\;}$

2.次に、 通常の最小二乗回帰（線形回帰）を使用して、選択した主成分を共変量として観測された結果のベクトルを回帰し、推定回帰係数のベクトル（選択した主成分の数に等しい次元）を取得します。${\displaystyle \;\;}$

3. 次に、選択したPCA ローディング(選択した主成分に対応する固有ベクトル)を使用してこのベクトルを実際の共変量のスケールに変換し、元のモデルを特徴付ける回帰係数を推定するための最終的な PCR 推定値(共変量の合計数に等しい次元を持つ) を取得します。${\displaystyle \;\;}$

データ表現:は観測結果のベクトルを表し、 は観測共変量の対応するデータ行列を表します。ここで、および はそれぞれ観測サンプルのサイズと共変量の数を表します。の各行は次元共変量の観測値の 1 セットを表し、 の各エントリは対応する観測結果を表します。 ${\displaystyle \mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{T}}$${\displaystyle \mathbf {X} _{n\times p}=\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}\right)^{T}}$${\displaystyle n}$${\displaystyle p}$${\displaystyle n\geq p}$${\displaystyle n}$${\displaystyle \mathbf {X} }$${\displaystyle p}$ ${\displaystyle \mathbf {Y} }$

データの前処理:および の各列がすでに中心化されていて、すべての経験的平均値がゼロであると仮定します。PCRでは に対する PCA が使用され、PCA はデータの 中央化の影響を受けやすいため、この中心化の手順は重要です (少なくとも の列の場合)。${\displaystyle \mathbf {Y} }$${\displaystyle p}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$

基礎モデル:中心化に続いて、 の標準的なガウス・マルコフ 線形回帰モデルは次のように表すことができます。ここで、 は回帰係数の未知のパラメータベクトルを表し、 は未知の分散パラメータに対するランダム誤差のベクトルを表します。${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\;}$${\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{p}}$${\displaystyle {\boldsymbol {\varepsilon }}}$${\displaystyle \operatorname {E} \left({\boldsymbol {\varepsilon }}\right)=\mathbf {0} \;}$${\displaystyle \;\operatorname {Var} \left({\boldsymbol {\varepsilon }}\right)=\sigma ^{2}I_{n\times n}}$${\displaystyle \sigma ^{2}>0\;\;}$

目的:主な目標は、データに基づいてパラメータ の効率的な推定値を取得することです。このためによく使用される方法の 1 つは、 が フル列ランクであると仮定して の不偏推定値を与える通常の最小二乗回帰です。PCR は、 を推定する同じ目的で使用できる別の手法です。 ${\displaystyle {\widehat {\boldsymbol {\beta }}}}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \mathbf {X} }$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y} }$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle {\boldsymbol {\beta }}}$

PCA ステップ: PCR は、中心化データ行列 に対して PCA を実行することから始まります。このため、はの特異値分解を表します。ここで、 はの非負の特異値を表します。一方、 との列はどちらもベクトルの正規直交集合であり、それぞれの左特異ベクトルと右特異ベクトルを表します。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} =U\Delta V^{T}}$${\displaystyle \mathbf {X} }$${\displaystyle \Delta _{p\times p}=\operatorname {diag} \left[\delta _{1},\ldots ,\delta _{p}\right]}$${\displaystyle \delta _{1}\geq \cdots \geq \delta _{p}\geq 0}$${\displaystyle \mathbf {X} }$${\displaystyle U_{n\times p}=[\mathbf {u} _{1},\ldots ,\mathbf {u} _{p}]}$${\displaystyle V_{p\times p}=[\mathbf {v} _{1},\ldots ,\mathbf {v} _{p}]}$${\displaystyle \mathbf {X} }$

主成分: はのスペクトル分解を与えます。ここで、 はの非負の固有値 (主値とも呼ばれる)を表し、 の列は対応する固有ベクトルの正規直交セットを表します。次に、およびはそれぞれ、各 の最大主値に対応する主成分と主成分方向(またはPCA 負荷)を表します。 ${\displaystyle V\Lambda V^{T}}$${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$${\displaystyle \Lambda _{p\times p}=\operatorname {diag} \left[\lambda _{1},\ldots ,\lambda _{p}\right]=\operatorname {diag} \left[\delta _{1}^{2},\ldots ,\delta _{p}^{2}\right]=\Delta ^{2}}$${\displaystyle \lambda _{1}\geq \cdots \geq \lambda _{p}\geq 0}$${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$${\displaystyle V}$${\displaystyle \mathbf {X} \mathbf {v} _{j}}$${\displaystyle \mathbf {v} _{j}}$${\displaystyle j^{th}}$ ${\displaystyle j^{th}}$ ${\displaystyle j^{\text{th}}}$ ${\displaystyle \lambda _{j}}$${\displaystyle j\in \{1,\ldots ,p\}}$

導出された共変量:任意の について、の最初の列からなる正規直交列を持つ行列を で表します。列として最初の主成分を持つ行列を で表します。 は、元の共変量 の代わりに変換された共変量を使用して取得されたデータ行列として見ることができます。 ${\displaystyle k\in \{1,\ldots ,p\}}$${\displaystyle V_{k}}$${\displaystyle p\times k}$${\displaystyle k}$${\displaystyle V}$${\displaystyle W_{k}=\mathbf {X} V_{k}}$ ${\displaystyle =[\mathbf {X} \mathbf {v} _{1},\ldots ,\mathbf {X} \mathbf {v} _{k}]}$${\displaystyle n\times k}$${\displaystyle k}$${\displaystyle W}$${\displaystyle \mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i}\in \mathbb {R} ^{k}}$${\displaystyle \mathbf {x} _{i}\in \mathbb {R} ^{p}\;\;\forall \;\;1\leq i\leq n}$

PCR 推定量:応答ベクトルをデータ行列 に対して通常の最小二乗回帰によって求めた推定回帰係数のベクトルを とします。すると、任意の に対して、第 1 主成分を使用したの最終的な PCR 推定量は次のように求められます。 ${\displaystyle {\widehat {\gamma }}_{k}=(W_{k}^{T}W_{k})^{-1}W_{k}^{T}\mathbf {Y} \in \mathbb {R} ^{k}}$${\displaystyle \mathbf {Y} }$${\displaystyle W_{k}}$${\displaystyle k\in \{1,\ldots ,p\}}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle k}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}=V_{k}{\widehat {\gamma }}_{k}\in \mathbb {R} ^{p}}$

PCR 推定値を取得するためのフィッティング プロセスでは、主成分が互いに直交しているため、任意の直交列を持つ派生データ マトリックスに応答ベクトルを回帰します。したがって、回帰ステップでは、共変量として選択された主成分に対して多重線形回帰を共同で実行することは、共変量として選択された各主成分に対して個別に独立した単純線形回帰(または単変量回帰)を実行することと同じです。 ${\displaystyle W_{k}}$${\displaystyle k\in \{1,\ldots ,p\}}$${\displaystyle k}$${\displaystyle k}$${\displaystyle k}$

すべての主成分が回帰のために選択され、 となる場合、PCR 推定量は通常の最小二乗推定量と同等になります。したがって、 となります。これは、 であり であるという事実から簡単にわかります。また、は直交行列であることも観察されます。 ${\displaystyle k=p}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{p}={\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }}$${\displaystyle W_{p}=\mathbf {X} V_{p}=\mathbf {X} V}$${\displaystyle V}$

任意の に対して、 の分散は次のように与えられる。 ${\displaystyle k\in \{1,\ldots ,p\}}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\sigma ^{2}\;V_{k}(W_{k}^{T}W_{k})^{-1}V_{k}^{T}=\sigma ^{2}\;V_{k}\;\operatorname {diag} \left(\lambda _{1}^{-1},\ldots ,\lambda _{k}^{-1}\right)V_{k}^{T}=\sigma ^{2}\sideset {}{}\sum _{j=1}^{k}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.}$

特に：

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{p})=\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })=\sigma ^{2}\sideset {}{}\sum _{j=1}^{p}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.}$

したがって、私たちが持っているものすべてについて： ${\displaystyle k\in \{1,\ldots ,p-1\}}$

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\sigma ^{2}\sideset {}{}\sum _{j=k+1}^{p}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.}$

したがって、私たちが持っているものすべてについて： ${\displaystyle k\in \{1,\ldots ,p\}}$

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0}$

ここで、は正方対称行列が非負定値であることを示します。その結果、PCR 推定量の任意の線形形式は、通常の最小二乗推定量の 同じ線形形式と比較して分散が低くなります。${\displaystyle A\succeq 0}$${\displaystyle A}$

多重共線性の下では、2 つ以上の共変量に高い相関があるため、1 つを他の共変量から非自明な精度で線形予測できます。その結果、これらの共変量の観測値に対応するデータ マトリックスの列は線形従属になる傾向があり、そのため、完全な列ランク構造を失ってランク落ちになる傾向があります。より定量的に言えば、このような状況では、 の 1 つ以上の小さな固有値がに非常に近づくか、 とまったく等しくなります。上記の分散式は、これらの小さな固有値が最小二乗推定量の分散に最大のインフレーション効果をもたらし、に近い場合に推定量を大幅に不安定にすることを示しています。この問題は、これらの小さな固有値に対応する主成分を除外することによって取得される PCR 推定量を使用することで効果的に対処できます。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$${\displaystyle 0}$${\displaystyle 0}$

PCR は次元削減を実行するためにも使用できます。これを確認するには、任意の に対して正規直交列を持つ任意の行列を で表します。ここで、あるに対して、ランク線形変換によって共変量観測値のそれぞれを近似するとします。 ${\displaystyle L_{k}}$${\displaystyle p\times k}$${\displaystyle k\in \{1,\ldots ,p\}.}$${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle k}$ ${\displaystyle L_{k}\mathbf {z} _{i}}$${\displaystyle \mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)}$

すると、

${\displaystyle \sum _{i=1}^{n}\left\|\mathbf {x} _{i}-L_{k}\mathbf {z} _{i}\right\|^{2}}$

は、第1主成分の方向を列として持つ行列と、それに対応する次元導出共変量で最小化されます。したがって、次元主成分は、観測されたデータ行列のランクの最良の線形近似を提供します。 ${\displaystyle L_{k}=V_{k},}$${\displaystyle k}$${\displaystyle \mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},}$${\displaystyle k}$${\displaystyle k}$${\displaystyle k}$${\displaystyle \mathbf {X} }$

対応する再構築エラーは次のように与えられます。

${\displaystyle \sum _{i=1}^{n}\left\|\mathbf {x} _{i}-V_{k}\mathbf {x} _{i}^{k}\right\|^{2}={\begin{cases}\sum _{j=k+1}^{n}\lambda _{j}&1\leqslant k<p\\0&k=p\end{cases}}}$

したがって、 の固有値の累積和に適切な閾値を設定することにより、使用する主成分の数 を選択することにより、潜在的な次元削減を実現できます。より小さい固有値は累積和に大きく寄与しないため、目的の閾値制限を超えない限り、対応する主成分は引き続き削除できます。同じ基準は、多重共線性の問題に対処するためにも使用できます。つまり、閾値制限が維持される限り、より小さい固有値に対応する主成分を無視できます。 ${\displaystyle k}$${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$

PCR 推定量は通常、回帰にすべての主成分のサブセットのみを使用するため、ある種の正規化された手順として見ることができます。より具体的には、任意の に対して、PCR 推定量は次の制約付き最小化問題の正規化された解を表します。 ${\displaystyle 1\leqslant k<p}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$

${\displaystyle \min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\left\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\right\|^{2}\quad {\text{ subject to }}\quad {\boldsymbol {\beta }}_{*}\perp \{\mathbf {v} _{k+1},\ldots ,\mathbf {v} _{p}\}.}$

この制約は次のように記述することもできます。

${\displaystyle V_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} ,}$

どこ：

${\displaystyle V_{(p-k)}=\left[\mathbf {v} _{k+1},\ldots ,\mathbf {v} _{p}\right]_{p\times (p-k)}.}$

したがって、すべての主成分の適切なサブセットのみが回帰のために選択される場合、そのようにして得られる PCR 推定値は、結果として得られる解を選択された主成分の方向の列空間に制約し、その結果として除外された方向に対して直交するように制限する厳密な形式の正則化に基づいています。

上記で定義された制約付き最小化問題を前提として、次の一般化されたバージョンを検討します。

${\displaystyle \min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\|^{2}\quad {\text{ subject to }}\quad L_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} }$

ここで、 は、の位数を持つ任意の列ランク行列を表します。 ${\displaystyle L_{(p-k)}}$${\displaystyle p\times (p-k)}$${\displaystyle 1\leqslant k<p}$

対応する解を とします。 したがって${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L}}$

${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L}=\arg \min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\|^{2}\quad {\text{ subject to }}\quad L_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} .}$

すると、対応する推定値が最小の予測誤差を達成する制限行列の最適な選択は次のように与えられる: ^[4]${\displaystyle L_{(p-k)}}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L}}$

${\displaystyle L_{(p-k)}^{*}=V_{(p-k)}\Lambda _{(p-k)}^{1/2},}$

どこ

${\displaystyle \Lambda _{(p-k)}^{1/2}=\operatorname {diag} \left(\lambda _{k+1}^{1/2},\ldots ,\lambda _{p}^{1/2}\right).}$

明らかに、結果として得られる最適な推定値は、第 1主成分 に基づくPCR 推定値によって単純に与えられます。${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L^{*}}}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$${\displaystyle k}$

通常の最小二乗推定量はに対して不偏なので、 ${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })=\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }),}$

ここで、MSEは平均二乗誤差を表します。ある に対して、さらに が成り立つ場合、対応するもに対して不偏となり、したがって ${\displaystyle k\in \{1,\ldots ,p\}}$${\displaystyle V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0} }$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k}).}$

すでに見てきたように

${\displaystyle \forall j\in \{1,\ldots ,p\}:\quad \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{j})\succeq 0,}$

これは次のことを意味します:

${\displaystyle \operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0}$

特定の に対して となります。したがって、その場合、平均二乗誤差をパフォーマンス基準として使用すると、 と比較してに対応するがより効率的な の推定値になります。さらに、に対応する の任意の線形形式は、の同じ線形形式と比較して、平均二乗誤差が低くなります。 ${\displaystyle k}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }}$

ここで、与えられた に対して であると仮定します。すると、対応する はに対してバイアスされます。しかし、 ${\displaystyle k\in \{1,\ldots ,p\},V_{(p-k)}^{T}{\boldsymbol {\beta }}\neq \mathbf {0} }$${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle \forall k\in \{1,\ldots ,p\}:\quad \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0,}$

特に が、除外された主成分がより小さな固有値に対応するようなものである場合、バイアスが低くなる可能性がある。 ${\displaystyle \operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0}$${\displaystyle k}$

PCR を の推定量として効率的に推定および予測できるようにするために、Park (1981) ^{[4] は、}回帰に使用する主成分を選択するための次のガイドラインを提案しています。主成分を削除するのは、次の場合のみです。このガイドラインを実際に実装するには、もちろん、未知のモデルパラメータとの推定値が必要です。 一般に、それらは元の完全モデルから得られた無制限の最小二乗推定値を使用して推定できます。 ただし、Park (1981) は、この目的に適した、わずかに修正された推定値のセットを提供しています。^[4]${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle j^{th}}$${\displaystyle \lambda _{j}<(p\sigma ^{2})/{\boldsymbol {\beta }}^{T}{\boldsymbol {\beta }}.}$${\displaystyle \sigma ^{2}}$${\displaystyle {\boldsymbol {\beta }}}$

多重共線性の問題に対処し、次元削減を実行するのにより適していると思われる の固有値の累積和に基づく基準とは異なり、上記の基準は、回帰ステップで使用する主成分を選択するプロセスに結果と共変量の両方を含めることで、PCR 推定量の予測と推定の効率を改善しようとしています。同様の目標を持つ代替アプローチには、クロス検証またはMallow の C _p基準に基づく主成分の選択があります。多くの場合、主成分は結果との 関連度に基づいても選択されます。${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$

一般に、PCR は本質的に収縮推定量であり、通常は高分散主成分 ( の高固有値に対応) をモデルの共変量として保持し、残りの低分散成分 ( の低固有値に対応) を破棄します。したがって、低分散成分に対して離散的な収縮効果を発揮し、元のモデルにおけるその寄与を完全に無効にします。対照的に、リッジ回帰推定量は、その構築に本質的に含まれる正則化パラメーター(または調整パラメーター)を通じて滑らかな収縮効果を発揮します。いずれの成分も完全に破棄することはありませんが、すべての成分に対して連続的に収縮効果を発揮し、収縮の程度は低分散成分に対して高く、高分散成分に対しては低くなります。フランクとフリードマン（1993）^[5]は、予測自体の目的においては、滑らかな収縮効果を持つリッジ推定量の方が、離散的な収縮効果を持つPCR推定量よりもおそらくより良い選択であると結論付けています。 ${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$

さらに、主成分は、説明変数のみの観測値を含むの固有分解から得られます。したがって、これらの主成分を共変量として使用して得られた PCR 推定値は、必ずしも結果に対して満足のいく予測性能を持つ必要はありません。この問題をその構造自体によって解決しようとする、いくぶん類似した推定値が、部分最小二乗法(PLS) 推定値です。PCR と同様に、PLS も低次元の導出共変量を使用します。ただし、PCR とは異なり、PLS の導出共変量は、結果と共変量の両方を使用することに基づいて得られます。PCR は共変量の空間内で高分散方向を探しますが、PLS は共変量空間内で結果の予測に最も役立つ方向を探します。 ${\displaystyle \mathbf {X} }$

2006 年に、古典的な PCR の変形である教師ありPCRが提案されました。^[6] PLS と同様の考え方で、これは、結果と共変量の両方を含む基準に基づいて、より低い次元の導出共変量を取得しようとします。この方法では、結果ベクトルが各共変量に 1 つずつ個別に回帰される一連の単純線形回帰(または単変量回帰) を実行することから始まります。次に、いくつかの について、結果と最も相関していることが判明した最初の共変量 (対応する推定回帰係数の有意度に基づく) が、さらに使用するために選択されます。次に、前述の従来の PCR が実行されますが、今度は、選択された共変量の観測値に対応するデータ マトリックスのみに基づいています。使用される共変量の数:と、その後に使用される主成分の数:は、通常、クロス バリデーションによって選択されます。 ${\displaystyle p}$ ${\displaystyle p}$${\displaystyle m\in \{1,\ldots ,p\}}$${\displaystyle m}$${\displaystyle n\times m}$${\displaystyle m\in \{1,\ldots ,p\}}$${\displaystyle k\in \{1,\ldots ,m\}}$

上で説明した古典的な PCR 法は、古典的な PCAに基づいており、共変量に基づいて結果を予測するための線形回帰モデルを考慮します。ただし、これはカーネル マシン設定に簡単に一般化できます。カーネル マシン設定では、回帰関数は共変量に対して必ずしも線形である必要はなく、任意の (非線形の場合もある)対称正定値カーネルに関連付けられた再生カーネル ヒルベルト空間に属することができます。カーネル関数として線形カーネルを選択した場合、線形回帰モデルはこの設定の特殊なケースになります。

一般に、カーネルマシン設定では、共変量のベクトルは、まず、選択されたカーネル関数によって特徴付けられる高次元（潜在的に無限次元）の特徴空間にマッピングされます。このようにして得られたマッピングは特徴マップと呼ばれ、その各座標（特徴要素とも呼ばれる）は、共変量の 1 つの特徴（線形または非線形）に対応します。次に、回帰関数は、これらの特徴要素の線形結合であると想定されます。したがって、カーネルマシン設定の基礎となる回帰モデルは、元の共変量セットの代わりに、特徴マップを使用して実際の共変量を変換することによって取得された特徴要素のベクトル（潜在的に無限次元）によって予測子が与えられるという理解のもと、本質的には線形回帰モデルです。

しかし、カーネルトリックを使用すると、実際に特徴マップを明示的に計算することなく、特徴空間で操作することができます。観測された共変量ベクトルの特徴マップ間のペアワイズ内積を計算するだけで十分であり、これらの内積は、共変量ベクトルの対応するペアで評価されたカーネル関数の値によって単純に与えられます。このようにして得られたペアワイズ内積は、カーネル行列とも呼ばれる対称非負定値行列の形式で表すことができます。 ${\displaystyle n\times n}$

カーネルマシン設定での PCR は、まずこのカーネル行列(K など) を特徴空間に対して適切に中心化し、次に中心化されたカーネル行列(K' など)に対してカーネル PCA を実行して K' の固有分解を取得することによって実装できるようになりました。次に、カーネル PCR は (通常) そのようにして得られたすべての固有ベクトルのサブセットを選択し、次にこれらの選択された固有ベクトルに対して結果ベクトルの標準的な線形回帰を実行します。回帰に使用する固有ベクトルは、通常、交差検証を使用して選択されます。推定された回帰係数 (選択された固有ベクトルの数と同じ次元を持つ) と対応する選択された固有ベクトルは、将来の観測の結果を予測するために使用されます。機械学習では、この手法はスペクトル回帰とも呼ばれます。

明らかに、カーネル PCR は K' の固有ベクトルに離散的な縮小効果をもたらします。これは、前述のように、従来の PCR が主成分に及ぼす離散的な縮小効果と非常によく似ています。ただし、選択されたカーネルに関連付けられた特徴マップは潜在的に無限次元である可能性があり、したがって、対応する主成分と主成分の方向も無限次元である可能性があります。したがって、これらの量は、カーネル マシン設定では実際には扱いにくいことがよくあります。カーネル PCR は、基本的に、関連するカーネル マトリックスのスペクトル分解を使用することに基づく同等のデュアル定式化を検討することで、この問題を回避します。線形回帰モデル (カーネル関数を線形カーネルとして選択することに対応) では、これは、対応するカーネル マトリックスのスペクトル分解を考慮し、得られた の固有ベクトルの選択されたサブセットに結果ベクトルを回帰することになります。これは、従来の PCR のコンテキストで定義されているように、対応する主成分 (この場合は有限次元) に結果ベクトルを回帰することと同じであることが簡単に示されます。したがって、線形カーネルの場合、デュアル定式化に基づくカーネル PCR は、プライマル定式化に基づく従来の PCR とまったく同じです。ただし、任意の (場合によっては非線形の) カーネルの場合、関連する特徴マップの無限次元のため、このプライマル定式化は扱いにくくなる可能性があります。したがって、その場合、従来の PCR は実質的に実行不可能になりますが、デュアル定式化に基づくカーネル PCR は依然として有効であり、計算上スケーラブルです。 ${\displaystyle n\times n}$${\displaystyle \mathbf {X} \mathbf {X} ^{T}}$${\displaystyle \mathbf {X} \mathbf {X} ^{T}}$

• 主成分分析
• 部分最小二乗回帰
• リッジ回帰
• 正準相関
• デミング回帰
• 総平方和

• 雨宮武（1985年）『先進計量経済学』ハーバード大学出版局、pp.57-60、ISBN 978-0-674-00560-0。
• テイル、アンリ（1971）。計量経済学の原理。ワイリー。pp.46-55。ISBN 978-0-471-85845-4。