主成分分析

主成分分析( PCA ) は、探索的データ分析、視覚化、およびデータ前処理に応用される線形 次元削減手法です。

データは新しい座標系に線形変換され、データ内の最大の変動を捉える方向 (主成分) を簡単に識別できるようになります。

実座標空間における点の集合の主成分は、単位ベクトルの列であり、ここで、 - 番目のベクトルは、最初のベクトルに直交しながらデータに最もよく適合する直線の方向である。ここで、最もよく適合する直線は、点から直線への垂直距離の二乗の平均を最小化する直線として定義される。これらの方向（すなわち、主成分）は、データの異なる個々の次元が線形に無相関である正規直交基底を構成する。多くの研究では、最初の 2 つの主成分を使用して、データを 2 次元でプロットし、密接に関連するデータ ポイントのクラスターを視覚的に識別している。^[1]${\displaystyle p}$ ${\displaystyle i}$${\displaystyle i-1}$

主成分分析は、集団遺伝学、マイクロバイオーム研究、大気科学など多くの分野に応用されています。

PCA を実行する場合、変数セットの最初の主成分は、最も分散を説明する元の変数の線形結合として形成される派生変数です。2 番目の主成分は、最初の成分の影響を取り除いた後に残ったものの中で最も分散を説明するもので、すべての分散が説明されるまで反復処理を進めることができます。PCA は、多くの変数が互いに高度に相関しており、それらの数を独立したセットに減らすことが望ましい場合に最もよく使用されます。最初の主成分は、投影されたデータの分散を最大化する方向として同等に定義できます。番目の主成分は、投影されたデータの分散を最大化する最初の主成分 に直交する方向としてとらえることができます。${\displaystyle p}$${\displaystyle p}$${\displaystyle i}$${\displaystyle i-1}$

どちらの目的においても、主成分はデータの共分散行列の固有ベクトルであることが示せます。したがって、主成分は多くの場合、データ共分散行列の固有分解またはデータ行列の特異値分解によって計算されます。 PCA は、真の固有ベクトルベースの多変量解析の中で最も単純であり、因子分析と密接に関連しています。因子分析では通常、基礎となる構造に関するよりドメイン固有の仮定が組み込まれ、わずかに異なる行列の固有ベクトルが解かれます。 PCA は、正準相関分析 (CCA)とも関連しています。 CCA は、2 つのデータセット間の相互共分散を最適に記述する座標系を定義しますが、PCA は、単一のデータセット内の分散を最適に記述する新しい直交座標系を定義します。^{[2] [3] [4] [5]標準 PCA の}堅牢なL1ノルムベースのバリアントも提案されています。^{[6] [7] [8] [5]}

PCAは1901年にカール・ピアソン[ ^{9]によって力学における}主軸定理の類似物として発明され、その後1930年代にハロルド・ホテリングによって独立して開発され命名されました。 ^[10]応用分野によって、信号処理における離散カルフーネン・レーヴ変換（KLT）、多変量品質管理におけるホテリング変換、機械工学における固有直交分解（POD）、 Xの特異値分解（SVD）（19世紀最後の四半期に発明された^[11]）、線型代数におけるX ^T Xの固有値分解（EVD） 、因子分析（PCAと因子分析の違いについては、ジョリフの主成分分析の第7章を参照）、^[12]エッカート・ヤングの定理（ハーマン、1960）、気象科学における経験的直交関数（EOF）（ローレンツ、1956）、経験的固有関数分解（シロヴィッチ、1987）、準調和モード（ブルックスら、1960）などとも呼ばれる。 1988年）、騒音と振動におけるスペクトル分解、構造力学における 経験的モード解析など。

PCA は、 p次元の楕円体をデータに当てはめるものと考えることができます。楕円体の各軸は主成分を表します。楕円体のいずれかの軸が小さい場合、その軸に沿った分散も小さくなります。

楕円体の軸を見つけるには、まず、データセット内の各変数の値を、変数の観測値の平均を各値から減算して 0 に中心を合わせる必要があります。これらの変換された値は、各変数の元の観測値の代わりに使用されます。次に、データの共分散行列を計算し、この共分散行列の固有値と対応する固有ベクトルを計算します。次に、直交する各固有ベクトルを正規化して単位ベクトルに変換する必要があります。これが完了すると、相互に直交する各単位固有ベクトルは、データに適合した楕円体の軸として解釈できます。この基底の選択により、共分散行列は対角化された形式に変換され、対角要素は各軸の分散を表します。各固有ベクトルが表す分散の割合は、その固有ベクトルに対応する固有値をすべての固有値の合計で割ることによって計算できます。

バイプロットとスクリープロット（説明された分散の度合い）は、PCA の結果を解釈するために使用されます。

PCAは、実内積空間上の直交 線形変換として定義され、データのスカラー投影による最大分散が最初の座標（第1主成分と呼ばれる）に配置され、2番目に大きい分散が2番目の座標に配置されるようにデータを新しい座標系に変換します。^[12]

列ごとの経験的平均がゼロであるデータ行列X （各列のサンプル平均はゼロにシフトされている）を考えます。ここで、 n 行のそれぞれは実験の異なる繰り返しを表し、p列のそれぞれは特定の種類の特徴（たとえば、特定のセンサーからの結果）を示します。 ${\displaystyle n\times p}$

数学的には、変換は、 Xの各行ベクトルを主成分スコアの新しいベクトルにマッピングするp次元の重みまたは係数のベクトルのセットによって定義され、次のよう に表されます。${\displaystyle l}$${\displaystyle \mathbf {w} _{(k)}=(w_{1},\dots ,w_{p})_{(k)}}$${\displaystyle \mathbf {x} _{(i)}=(x_{1},\dots ,x_{p})_{(i)}}$ ${\displaystyle \mathbf {t} _{(i)}=(t_{1},\dots ,t_{l})_{(i)}}$

${\displaystyle {t_{k}}_{(i)}=\mathbf {x} _{(i)}\cdot \mathbf {w} _{(k)}\qquad \mathrm {for} \qquad i=1,\dots ,n\qquad k=1,\dots ,l}$

データ セット全体で考慮されるtの個々の変数は、Xから可能な最大の分散を連続的に継承し、各係数ベクトルw は単位ベクトルになるように制約されます(ただし、次元を削減するためには通常、より小さくなるように選択されます)。 ${\displaystyle t_{1},\dots ,t_{l}}$${\displaystyle l}$${\displaystyle p}$

上記は、行列形式で次のように書くこともできる。

${\displaystyle \mathbf {T} =\mathbf {X} \mathbf {W} }$

ここで 、、、 およびです 。 ${\displaystyle {\mathbf {T} }_{ik}={t_{k}}_{(i)}}$${\displaystyle {\mathbf {X} }_{ij}={x_{j}}_{(i)}}$${\displaystyle {\mathbf {W} }_{jk}={w_{j}}_{(k)}}$

分散を最大化するために、最初の重みベクトルw ₍₁₎は次式を満たす必要がある。

${\displaystyle \mathbf {w} _{(1)}=\arg \max _{\Vert \mathbf {w} \Vert =1}\,\left\{\sum _{i}(t_{1})_{(i)}^{2}\right\}=\arg \max _{\Vert \mathbf {w} \Vert =1}\,\left\{\sum _{i}\left(\mathbf {x} _{(i)}\cdot \mathbf {w} \right)^{2}\right\}}$

同様に、これを行列形式で書くと、

${\displaystyle \mathbf {w} _{(1)}=\arg \max _{\left\|\mathbf {w} \right\|=1}\left\{\left\|\mathbf {Xw} \right\|^{2}\right\}=\arg \max _{\left\|\mathbf {w} \right\|=1}\left\{\mathbf {w} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {Xw} \right\}}$

w _(1)は単位ベクトルとして定義されている ので、これは等価的に次式も満たす。

${\displaystyle \mathbf {w} _{(1)}=\arg \max \left\{{\frac {\mathbf {w} ^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {Xw} }{\mathbf {w} ^{\mathsf {T}}\mathbf {w} }}\right\}}$

最大化される量はレイリー商として認識できます。X ^T Xなどの半正定値行列の標準的な結果は、商の最大値が行列の最大固有値であり、w が対応する固有ベクトルであるときに発生することです。

w ₍₁₎が見つかったら、データベクトルx _{( i )}の最初の主成分は、変換された座標のスコアt _{1( i )} = x _{( i )} ⋅w ₍₁₎として、または元の変数の対応するベクトル{ x ₍ i ₎ ⋅w ₍₁₎ } w _{(1)として与え}られます。

k番目の成分は、 Xから最初のk  − 1 個の主成分を減算することで求められます。

${\displaystyle \mathbf {\hat {X}} _{k}=\mathbf {X} -\sum _{s=1}^{k-1}\mathbf {X} \mathbf {w} _{(s)}\mathbf {w} _{(s)}^{\mathsf {T}}}$

そして、この新しいデータ行列から最大の分散を抽出する重みベクトルを見つける

${\displaystyle \mathbf {w} _{(k)}=\mathop {\operatorname {arg\,max} } _{\left\|\mathbf {w} \right\|=1}\left\{\left\|\mathbf {\hat {X}} _{k}\mathbf {w} \right\|^{2}\right\}=\arg \max \left\{{\tfrac {\mathbf {w} ^{\mathsf {T}}\mathbf {\hat {X}} _{k}^{\mathsf {T}}\mathbf {\hat {X}} _{k}\mathbf {w} }{\mathbf {w} ^{T}\mathbf {w} }}\right\}}$

これにより、X ^T Xの残りの固有ベクトルが得られ、括弧内の量の最大値は、対応する固有値によって与えられます。したがって、重みベクトルはX ^T Xの固有ベクトルです。

したがって、データベクトルx _{( i )}のk番目の主成分は、変換された座標のスコアtk(i)=x(i)⋅w(k)として与えることができます。_{または、元}の_{変数の空間内}の_{対応するベクトル}{ x ₍ i ₎ ⋅w _{( k )} } w _{( k )}として^{与えることが}_できます_。ここで、w ₍ k _)はXTXのk番目の固有ベクトルです。

したがって、 Xの完全な主成分分解は次のように表される。

${\displaystyle \mathbf {T} =\mathbf {X} \mathbf {W} }$

ここで、Wはp行p列の重み行列であり、その列はX ^T Xの固有ベクトルです。 Wの転置は、白色化変換または球面化変換と呼ばれることもあります。Wの列に対応する固有値の平方根、つまり分散によって拡大された固有ベクトルを乗算したものは、 PCA または因子分析では負荷量と呼ばれます。

X ^T X自体はデータセットX ^Tの経験的標本共分散行列に比例すると認識できる。^{[12] : 30–31}

データセット上の 2 つの異なる主成分間の 標本共分散Q は次のように表されます。

${\displaystyle {\begin{aligned}Q(\mathrm {PC} _{(j)},\mathrm {PC} _{(k)})&\propto (\mathbf {X} \mathbf {w} _{(j)})^{\mathsf {T}}(\mathbf {X} \mathbf {w} _{(k)})\\&=\mathbf {w} _{(j)}^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} \mathbf {w} _{(k)}\\&=\mathbf {w} _{(j)}^{\mathsf {T}}\lambda _{(k)}\mathbf {w} _{(k)}\\&=\lambda _{(k)}\mathbf {w} _{(j)}^{\mathsf {T}}\mathbf {w} _{(k)}\end{aligned}}}$

ここで、 w _{( k )}の固有値特性は、2 行目から 3 行目に移動するために使用されています。ただし、対称行列の固有値に対応する固有ベクトルw _{( j )}とw _{( k )}は直交しています (固有値が異なる場合)。または、直交化できます (ベクトルがたまたま同じ繰り返し値を共有している場合)。最終行の積はしたがってゼロです。つまり、データセット上の異なる主成分間の標本共分散はありません。

したがって、主成分変換を特徴付ける別の方法は、経験的標本共分散行列を対角化する座標への変換として行うことです。

行列形式では、元の変数の経験的共分散行列は次のように表される。

${\displaystyle \mathbf {Q} \propto \mathbf {X} ^{\mathsf {T}}\mathbf {X} =\mathbf {W} \mathbf {\Lambda } \mathbf {W} ^{\mathsf {T}}}$

主成分間の経験的共分散行列は

${\displaystyle \mathbf {W} ^{\mathsf {T}}\mathbf {Q} \mathbf {W} \propto \mathbf {W} ^{\mathsf {T}}\mathbf {W} \,\mathbf {\Lambda } \,\mathbf {W} ^{\mathsf {T}}\mathbf {W} =\mathbf {\Lambda } }$

ここで、ΛはXTXの固有値λ _{( k )}の対角行列です。λ ( _{k )は、各成分}kに関連付けられたデータセットの平方の合計に等しく、つまり、λ ⁽ _{k )} = Σ _i t _k ² _{( i ) =} Σ _i ( x _{( i )} ⋅w _{( k )} ) ²です。

変換T = X Wは、データベクトルx _{( i )を}p変数の元の空間から、データセット全体で相関のないp変数の新しい空間にマッピングします。ただし、すべての主成分を保持する必要はありません。最初のL個の固有ベクトルのみを使用して生成された最初のL個の主成分のみを保持すると、切り捨てられた変換が得られます 。

${\displaystyle \mathbf {T} _{L}=\mathbf {X} \mathbf {W} _{L}}$

ここで、行列T _{L は}n行ですが、列はL列しかありません。言い換えると、PCA は、p × L行列の列が相関のないL個の特徴 (表現tのコンポーネント)の直交基底を形成する線形変換を学習します。 ^{[13]構築により、} L列のみを持つすべての変換されたデータ行列の中で、このスコア行列は、保持された元のデータの分散を最大化し、総二乗再構成誤差またはを最小化します。 ${\displaystyle t=W_{L}^{\mathsf {T}}x,x\in \mathbb {R} ^{p},t\in \mathbb {R} ^{L},}$${\displaystyle W_{L}}$${\displaystyle \|\mathbf {T} \mathbf {W} ^{T}-\mathbf {T} _{L}\mathbf {W} _{L}^{T}\|_{2}^{2}}$${\displaystyle \|\mathbf {X} -\mathbf {X} _{L}\|_{2}^{2}}$

このような次元削減は、データセットの分散を可能な限り保持しながら、高次元データセットを視覚化および処理するための非常に便利なステップです。たとえば、L  = 2 を選択し、最初の 2 つの主成分のみを保持すると、データが最も広がっている高次元データセットの 2 次元平面が見つかります。そのため、データにクラスターが含まれている場合は、これらも最も広がっている可能性があり、したがって 2 次元図にプロットすると最も見やすくなります。一方、データの 2 つの方向 (または元の変数の 2 つ) がランダムに選択された場合、クラスターは互いにそれほど離れておらず、実際には互いに大きく重なり合って区別がつかなくなる可能性が高くなります。

同様に、回帰分析では、許容される説明変数の数が多いほど、モデルが過剰適合する可能性が高くなり、他のデータセットに一般化できない結論が生成されます。特に、さまざまな説明変数の間に強い相関関係がある場合、1 つの方法は、それらをいくつかの主成分に減らし、それらに対して回帰を実行することです。この方法は、主成分回帰と呼ばれます。

次元削減は、データセット内の変数にノイズがある場合にも適切である可能性があります。データセットの各列に独立した同一分布のガウスノイズが含まれている場合、Tの列にも同様に同一分布のガウスノイズが含まれます (このような分布は、座標軸の高次元回転と考えることができる行列 W の影響下では不変です)。ただし、同じノイズ分散と比較して、最初のいくつかの主成分に総分散の多くを集中させると、ノイズの比例効果は少なくなります。つまり、最初のいくつかの成分はより高い信号対ノイズ比を実現します。したがって、PCA は、最初のいくつかの主成分に多くの信号を集中させる効果があり、次元削減によって有効に捕捉できます。一方、後の主成分はノイズに支配されている可能性があるため、大きな損失なしに処分できます。データセットが大きすぎない場合は、保持する主成分の数を決定するための補助として、パラメトリックブートストラップを使用して主成分の重要性をテストできます。 ^[14]

主成分変換は、別の行列分解、Xの特異値分解（SVD）とも関連付けることができます。

${\displaystyle \mathbf {X} =\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{T}}$

ここで、Σ は、 Xの特異値と呼ばれる正の数σ _{( k )の}n行p列の 矩形対角行列です。U は、列が長さ n の直交単位ベクトルでXの左特異ベクトルと呼ばれるn行 n 列の行列です。W は、列が長さpの直交単位ベクトルでXの右特異ベクトルと呼ばれるp行p列の行列です。

この因数分解では、行列X ^T Xは次のように表される。

${\displaystyle {\begin{aligned}\mathbf {X} ^{T}\mathbf {X} &=\mathbf {W} \mathbf {\Sigma } ^{\mathsf {T}}\mathbf {U} ^{\mathsf {T}}\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\\&=\mathbf {W} \mathbf {\Sigma } ^{\mathsf {T}}\mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\\&=\mathbf {W} \mathbf {\hat {\Sigma }} ^{2}\mathbf {W} ^{\mathsf {T}}\end{aligned}}}$

ここで、 は、 Xの特異値と余分なゼロを切り落とした正方対角行列で、 を満たします。 X ^T Xの固有ベクトル分解と比較すると、 Xの右特異ベクトルW はX ^T Xの固有ベクトルに等しく、の特異値σ _{( k )は}X ^T Xの固有値λ _{( k )}の平方根に等しいことがわかります。 ${\displaystyle \mathbf {\hat {\Sigma }} }$ ${\displaystyle \mathbf {{\hat {\Sigma }}^{2}} =\mathbf {\Sigma } ^{\mathsf {T}}\mathbf {\Sigma } }$ ${\displaystyle \mathbf {X} }$

特異値分解を用いると、スコア行列Tは次のように表される。

${\displaystyle {\begin{aligned}\mathbf {T} &=\mathbf {X} \mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathsf {T}}\mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \end{aligned}}}$

したがって、 Tの各列は、Xの左特異ベクトルの1つに、対応する特異値を乗じたものです。 この形式は、Tの極分解でもあります。

行列XTX^を形成せずにXのSVDを計算する効率的なアルゴリズムが存在するため、SVDを計算することは、少数の成分のみが必要な場合を除き 、データ行列から主成分分析を計算する標準的な方法となっています^{[15] 。}

固有値分解と同様に、最初のL個の最大特異値とその特異ベクトルのみを考慮することで、 切り捨てられたn × Lスコア行列T _{Lを得ることができます。}

${\displaystyle \mathbf {T} _{L}=\mathbf {U} _{L}\mathbf {\Sigma } _{L}=\mathbf {X} \mathbf {W} _{L}}$

このように切り捨て特異値分解を用いて行列MまたはTを切り捨てると、2つの行列の差が可能な限り最小のフロベニウスノルムを持つという意味で、元の行列に最も近いランク Lの行列である切り捨て行列が生成され、この結果はエッカート・ヤングの定理[1936]として知られています。

特異値 ( Σ内) は、行列X ^T Xの固有値の平方根です。各固有値は、各固有ベクトルに関連付けられた「分散」(より正確には、ポイントの多次元平均からの二乗距離の合計) の部分に比例します。すべての固有値の合計は、ポイントの多次元平均からの二乗距離の合計に等しくなります。PCA は基本的に、ポイントのセットを平均を中心に回転させて、主成分に合わせます。これにより、分散の可能な限り多くが (直交変換を使用して) 最初のいくつかの次元に移動します。したがって、残りの次元の値は小さくなる傾向があり、情報の損失を最小限に抑えて削除できます (以下を参照)。PCA は、次元削減のためにこの方法で使用されることがよくあります。PCA は、最大の「分散」 (上記で定義) を持つサブスペースを保持するための最適な直交変換であるという特徴があります。ただし、この利点は、たとえば、適用可能な場合には離散コサイン変換、特に単に「DCT」と呼ばれる DCT-II と比較した場合、計算要件が大きくなるという代償を伴います。非線形次元削減手法は、PCA よりも計算要件が大きくなる傾向があります。

PCA は変数のスケーリングに敏感です。変数が 2 つだけあり、それらのサンプル分散が同じで完全に相関している場合、PCA は 45° 回転し、主成分に対する 2 つの変数の「重み」(回転のコサイン) は等しくなります。ただし、最初の変数のすべての値に 100 を掛けると、最初の主成分はその変数とほぼ同じになり、他の変数からの寄与はわずかですが、2 番目の成分は元の 2 番目の変数とほぼ一致します。つまり、異なる変数の単位が異なる場合 (温度や質量など)、PCA は多少恣意的な分析方法になります (たとえば、摂氏ではなく華氏を使用した場合、異なる結果が得られます)。ピアソンの最初の論文のタイトルは「空間内の点のシステムに最も近い線と平面について」でした。「空間内」とは、そのような懸念が生じない物理的なユークリッド空間を意味します。 PCA の恣意性を減らす 1 つの方法は、データを標準化して単位分散になるようにスケーリングされた変数を使用し、PCA の基礎として自己共分散行列ではなく自己相関行列を使用することです。ただし、これにより、信号空間のすべての次元の変動が単位分散に圧縮 (または拡張) されます。

平均減算（別名「平均中心化」）は、古典的なPCAを実行する際に、第一主成分が最大分散の方向を表すことを保証するために必要です。平均減算が実行されない場合、第一主成分は、代わりにデータの平均に多かれ少なかれ対応する可能性があります。データの近似値の平均二乗誤差を最小化する基底を見つけるには、平均がゼロである必要があります。^[16]

相関行列に対して主成分分析を実行する場合、相関を計算した後でデータはすでに中心化されているため、平均中心化は不要です。相関は、2 つの標準スコア (Z スコア) または統計モーメントの外積から得られます (そのため、ピアソン積率相関と呼ばれます)。Kromrey と Foster-Johnson (1998) による記事「Mean-centering in Moderated Regression: Much Ado About Nothing」も参照してください。共分散は正規化された変数( Z スコアまたは標準スコア) の相関であるため、 Xの相関行列に基づく PCA は、 Xの標準化バージョンであるZの共分散行列に基づく PCA と等しくなります。

PCAはパターン認識における一般的な基本的手法である。しかし、クラスの分離可能性については最適化されていない。^[17]しかし、主成分空間で各クラスの質量中心を計算し、2つ以上のクラスの質量中心間のユークリッド距離を報告することによって、2つ以上のクラス間の距離を定量化するために使用されている。^[18]線形判別分析は、クラスの分離可能性について最適化された代替手段である。

PCAの特性には以下のものがある: ^{[12] [ページが必要]}

性質1：任意の整数q（1 ≤q≤p）に対して、直交線形変換

${\displaystyle y=\mathbf {B'} x}$

ここで、はq 要素ベクトル、は ( q × p ) 行列であり、は の分散共分散行列とします。すると、のトレースはを取ることで最大化されます。ここで、 はの最初のq列で構成され、は の転置です。(はここでは定義されません)${\displaystyle y}$${\displaystyle \mathbf {B'} }$${\displaystyle \mathbf {\Sigma } _{y}=\mathbf {B'} \mathbf {\Sigma } \mathbf {B} }$${\displaystyle y}$${\displaystyle \mathbf {\Sigma } _{y}}$${\displaystyle \operatorname {tr} (\mathbf {\Sigma } _{y})}$${\displaystyle \mathbf {B} =\mathbf {A} _{q}}$${\displaystyle \mathbf {A} _{q}}$${\displaystyle \mathbf {A} }$ ${\displaystyle (\mathbf {B'} }$${\displaystyle \mathbf {B} )}$${\displaystyle \mathbf {A} }$

性質2 :再び正規直交変換

${\displaystyle y=\mathbf {B'} x}$

およびは前と同じように定義されます。次に、の最後のq列で構成されるをとることで最小化されます。${\displaystyle x,\mathbf {B} ,\mathbf {A} }$${\displaystyle \mathbf {\Sigma } _{y}}$${\displaystyle \operatorname {tr} (\mathbf {\Sigma } _{y})}$${\displaystyle \mathbf {B} =\mathbf {A} _{q}^{*},}$${\displaystyle \mathbf {A} _{q}^{*}}$${\displaystyle \mathbf {A} }$

この特性の統計的意味は、最後のいくつかの PC が、重要な PC を取り除いた後の単なる構造化されていない残り物ではないということです。これらの最後の PC は分散が可能な限り小さいため、それ自体が有用です。これらは、 xの要素間の予想外のほぼ一定の線形関係を検出するのに役立ちます。また、回帰、 xからの変数のサブセットの選択、および外れ値の検出にも有用です。

性質3 : ( Σのスペクトル分解)

${\displaystyle \mathbf {\Sigma } =\lambda _{1}\alpha _{1}\alpha _{1}'+\cdots +\lambda _{p}\alpha _{p}\alpha _{p}'}$

使い方を見る前に、まず対角要素を見てみましょう。

${\displaystyle \operatorname {Var} (x_{j})=\sum _{k=1}^{P}\lambda _{k}\alpha _{kj}^{2}}$

そして、おそらくこの結果の主な統計的意味は、 xのすべての要素の複合分散を各 PC による減少する寄与に分解できるだけでなく、共分散行列全体を各 PC からの寄与に分解できることです。の要素は厳密には減少しませんが、が増加するにつれて小さくなる傾向があり、が増加しても は増加しません。一方、 の要素は正規化制約によりほぼ同じサイズに留まる傾向があります。 ${\displaystyle \lambda _{k}\alpha _{k}\alpha _{k}'}$${\displaystyle \lambda _{k}\alpha _{k}\alpha _{k}'}$${\displaystyle k}$${\displaystyle \lambda _{k}\alpha _{k}\alpha _{k}'}$${\displaystyle k}$${\displaystyle \alpha _{k}}$${\displaystyle \alpha _{k}'\alpha _{k}=1,k=1,\dots ,p}$

上で述べたように、PCAの結果は変数のスケーリングに依存します。これは、各特徴をその標準偏差でスケーリングすることで解決でき、最終的には単位分散を持つ無次元の特徴が得られます。^[19]

上で説明したPCAの適用性は、その導出時になされた特定の（暗黙の）仮定^[20]によって制限されます。特に、PCAは特徴間の線形相関を捉えることができますが、この仮定が破られると失敗します（参考文献の図6aを参照）。場合によっては、座標変換によって線形性の仮定を復元し、PCAを適用することができます（カーネルPCAを参照）。

もう一つの制限は、PCAの共分散行列を構築する前の平均除去プロセスです。天文学などの分野では、すべての信号が非負であり、平均除去プロセスによって一部の天体物理学的露出の平均がゼロになり、結果として非物理的な負のフラックスが作成されます。^[21]そして、信号の真の大きさを回復するには、フォワードモデリングを実行する必要があります。^[22]代わりの方法として、行列内の非負要素のみに焦点を当てた非負行列因子分解があり、これは天体物理学的観測に適しています。^{[23] [24] [25]}詳細については、「PCAと非負行列因子分解の関係」を参照してください。

PCAは、アルゴリズムを適用する前にデータが標準化されていない場合は不利です。PCAは元のデータをそのデータの主成分に関連するデータに変換します。つまり、新しいデータ変数は元のデータと同じように解釈することはできません。それらは元の変数の線形解釈です。また、PCAが適切に実行されない場合、情報損失の可能性が高くなります。^[26]

PCA は線形モデルに依存しています。データセットに非線形のパターンが隠れている場合、PCA は分析を進行とはまったく逆の方向に導く可能性があります。^{[27] [ページが必要]}カンザス州立大学の研究者は、実験のサンプリング エラーが PCA 結果の偏りに影響することを発見しました。「被験者またはブロックの数が 30 未満の場合、および/または研究者が最初の PC 以降に興味がある場合は、PCA を実行する前に、まずシリアル相関を修正する方がよい場合があります」。^[28]カンザス州立大学の研究者はまた、PCA が「データの自己相関構造が正しく処理されていない場合、深刻な偏りが生じる可能性がある」ことも発見しました。^[28]

一般的に、次元削減は情報の損失をもたらします。PCA ベースの次元削減は、特定の信号およびノイズ モデルの下で、その情報損失を最小限に抑える傾向があります。

という仮定のもとで

${\displaystyle \mathbf {x} =\mathbf {s} +\mathbf {n} ,}$

つまり、データ ベクトルは、必要な情報を含む信号とノイズ信号の合計であるため、情報理論の観点から、PCA が次元削減に最適であることがわかります。 ${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {n} }$

特に、リンスカーは、がガウス分布で、共分散行列が単位行列に比例するガウスノイズである場合、PCAは目的の情報と次元削減された出力との間の相互情報量を最大化することを示した。^[29]${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {n} }$ ${\displaystyle I(\mathbf {y} ;\mathbf {s} )}$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {y} =\mathbf {W} _{L}^{T}\mathbf {x} }$

ノイズが依然としてガウス分布であり、共分散行列が単位行列に比例する（つまり、ベクトルの成分がiidである）が、情報伝達信号が非ガウス分布である場合（これは一般的なシナリオである）、PCAは少なくとも情報損失の上限を最小化する。これは次のように定義される^{[30] [31]}${\displaystyle \mathbf {n} }$${\displaystyle \mathbf {s} }$

${\displaystyle I(\mathbf {x} ;\mathbf {s} )-I(\mathbf {y} ;\mathbf {s} ).}$

PCAの最適性は、ノイズがiidで、情報信号よりも少なくともガウス分布（カルバック・ライブラー・ダイバージェンスの観点から）である場合にも維持されます。^[32]一般に、上記の信号モデルが成り立っていても、ノイズが依存的になるとすぐにPCAは情報理論的最適性を失います。 ${\displaystyle \mathbf {n} }$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {n} }$

^{以下は相関法[34]}ではなく共分散法^[33]を用いたPCAの詳細な説明である。

目標は、次元pの与えられたデータセットX を、より小さい次元Lの代替データセットYに変換することです。同様に、行列Y を見つけようとしています。ここで、Y は行列Xのカルーネン・レーブ変換 (KLT)です。

$${\displaystyle \mathbf {Y} =\mathbb {KLT} \{\mathbf {X} \}}$$

1. データセットを整理する

   p 個の変数の観測値のセットを含むデータがあり、各観測値がL個の変数のみ(L < p)で記述できるようにデータを削減するとします。さらに、データがn個のデータ ベクトルのセットとして配置され、各データ ベクトルがp 個の変数の単一のグループ化された観測値を表すとします。 ${\displaystyle \mathbf {x} _{1}\ldots \mathbf {x} _{n}}$${\displaystyle \mathbf {x} _{i}}$

   • それぞれp個の要素を持つ行ベクトルとして記述します。${\displaystyle \mathbf {x} _{1}\ldots \mathbf {x} _{n}}$
   • 行ベクトルをn × p次元の単一行列Xに配置します。
2. 経験的平均を計算する
   • 各列j = 1, ...,  pに沿った経験的平均を求めます。
   • 計算された平均値を次元p × 1の経験的平均ベクトルuに配置します。$${\displaystyle u_{j}={\frac {1}{n}}\sum _{i=1}^{n}X_{ij}}$$
3. 平均からの偏差を計算する

   平均減算は、データを近似する際の平均二乗誤差を最小化する主成分基底を見つけるための解法の不可欠な部分です。^[35]したがって、次のようにデータの中心化を進めます。

   • データ行列Xの各行から経験平均ベクトルを減算します。${\displaystyle \mathbf {u} ^{T}}$
   • 平均を減算したデータをn × p行列Bに格納します。ここで、h はすべて 1 のn × 1列ベクトルです。$${\displaystyle \mathbf {B} =\mathbf {X} -\mathbf {h} \mathbf {u} ^{T}}$$$${\displaystyle h_{i}=1\,\qquad \qquad {\text{for }}i=1,\ldots ,n}$$

   いくつかのアプリケーションでは、各変数（Bの列）は、分散が1になるようにスケーリングされることもあります（Zスコアを参照）。^[36]このステップは計算された主成分に影響を与えますが、主成分はさまざまな変数を測定するために使用される単位から独立しています。

4. 共分散行列を求める
   • 行列Bからp × pの経験的共分散行列 Cを求めます。ここで は共役転置演算子です。多くのアプリケーションでそうであるように、 B がすべて実数で構成されている場合、「共役転置」は通常の転置と同じです。$${\displaystyle \mathbf {C} ={1 \over {n-1}}\mathbf {B} ^{*}\mathbf {B} }$$${\displaystyle *}$
   • 共分散を計算するためにnの代わりにn − 1を使用する理由は、ベッセル補正です。
5. 共分散行列の固有ベクトルと固有値を求める
   • 共分散行列Cを対角化する固有ベクトルの行列V を計算します。ここでD はCの固有値の対角行列です。このステップでは通常、固有ベクトルと固有値を計算するためのコンピュータベースのアルゴリズムが使用されます。これらのアルゴリズムは、 SAS、^[37] R、MATLAB、^{[38] [39]} Mathematica、^[40] SciPy、IDL ( Interactive Data Language )、GNU Octave 、 OpenCVなど、ほとんどの行列代数システムのサブコンポーネントとして簡単に入手できます。$${\displaystyle \mathbf {V} ^{-1}\mathbf {C} \mathbf {V} =\mathbf {D} }$$
   • 行列Dはp × p対角行列の形をとり、共分散行列Cのj番目の固有値であり、$${\displaystyle D_{k\ell }=\lambda _{k}\qquad {\text{for }}k=\ell }$$$${\displaystyle D_{k\ell }=0\qquad {\text{for }}k\neq \ell .}$$
   • 行列Vも次元p × pであり、それぞれの長さpのp列ベクトルを含み、これらは共分散行列Cのp 個の固有ベクトルを表します。
   • 固有値と固有ベクトルは順序付けられ、ペアになっています。j番目の固有値はj番目の固有ベクトルに対応します。
   • 行列V は、右固有ベクトルの行列を表します(左固有ベクトルの行列とは対照的です)。一般に、右固有ベクトルの行列は、左固有ベクトルの行列の (共役) 転置である必要はありません。
6. 固有ベクトルと固有値を並べ替える
   • 固有ベクトル行列Vと固有値行列Dの列を固有値の降順で並べ替えます。
   • 各マトリックス内の列間の正しいペアリングを維持するようにしてください。
7. 各固有ベクトルの累積エネルギー量を計算する
   • 固有値は、各固有ベクトル間のソース データのエネルギー^{[明確化が必要]}の分布を表します。ここで、固有ベクトルはデータの基礎を形成します。j番目の固有ベクトルの累積エネルギー量gは、1 からjまでのすべての固有値のエネルギー量の合計です。^{[引用が必要]} $${\displaystyle g_{j}=\sum _{k=1}^{j}D_{kk}\qquad {\text{for }}j=1,\dots ,p}$$
8. 固有ベクトルのサブセットを基底ベクトルとして選択する
   • Vの最初のL列をp × L行列Wとして保存します。ここで$${\displaystyle W_{kl}=V_{k\ell }\qquad {\text{for }}k=1,\dots ,p\qquad \ell =1,\dots ,L}$$$${\displaystyle 1\leq L\leq p.}$$
   • ベクトルg をガイドとして、Lの適切な値を選択します。目標は、パーセンテージベースでgの値が十分に高い値になるように、 Lの値をできるだけ小さくすることです。たとえば、累積エネルギーg が90 パーセントなどの特定のしきい値を超えるようにL を選択する場合があります。この場合、 Lの最小値を選択します。$${\displaystyle {\frac {g_{L}}{g_{p}}}\geq 0.9}$$
9. データを新しい基盤に投影する
   • 投影されたデータポイントは行列の行である$${\displaystyle \mathbf {T} =\mathbf {B} \cdot \mathbf {W} }$$
   つまり、 の最初の列はデータ ポイントの最初の主成分への投影であり、 2 番目の列は 2 番目の主成分への投影、というようになります。 ${\displaystyle \mathbf {T} }$

X を列ベクトルとして表現されたd次元のランダムベクトルとします。一般性を失うことなく、X の平均はゼロであると仮定します。

PX が対角共分散行列を持つように (つまり、PX がすべての異なる成分がペアで相関しないランダム ベクトルになるように) d × d 正規直交変換行列Pを見つけます。${\displaystyle (\ast )}$

単位元を 仮定した簡単な計算は次のようになります。${\displaystyle P}$

${\displaystyle {\begin{aligned}\operatorname {cov} (PX)&=\operatorname {E} [PX~(PX)^{*}]\\&=\operatorname {E} [PX~X^{*}P^{*}]\\&=P\operatorname {E} [XX^{*}]P^{*}\\&=P\operatorname {cov} (X)P^{-1}\\\end{aligned}}}$

したがって、が によって対角化可能である場合に限り が成立します。 ${\displaystyle (\ast )}$${\displaystyle \operatorname {cov} (X)}$${\displaystyle P}$

これは非常に建設的です。cov( X ) は非負の定数値行列であることが保証されており、したがって何らかのユニタリ行列によって対角化可能であることが保証されているからです。

実際の実装では、特に高次元データ( pが大きい) の場合、単純な共分散法は、共分散行列を明示的に決定するための計算コストとメモリコストが高く、効率的ではないため、ほとんど使用されません。共分散フリーのアプローチでは、共分散行列X ^T Xを明示的に計算して保存するnp ^{2 回}の演算を回避し、代わりに、たとえば、 2 np 回の演算を犠牲にして積X ^T (X r)を評価する関数に基づく行列フリーの方法の 1 つを使用します。

第一主成分を効率的に計算する一つの方法^[41]は、共分散行列を計算せずに、平均がゼロの データ行列Xに対して次の疑似コードで示されています。

r = 長さp
のランダムベクトルr = r / norm( r )c回
実行:
       s = 0 (長さpのベクトル)
       Xの各行xについて
            s = s + ( x ⋅ r ) x
       λ = r T s  // λ は固有値
      error = |λ ⋅ r − s | 
      r = s / norm( s ) 
      error < tolerance の場合は終了
return λ, r

このべき乗反復アルゴリズムは、ベクトルX ^T (X r)を計算し、正規化して、結果をrに戻すだけです。固有値はr ^T (X ^T X) rで近似されます。これは、共分散行列X ^T Xの単位ベクトルrのレイリー商です。最大の特異値が次に大きい特異値から十分に離れている場合、ベクトルr は、総コスト2cnpで、 pに比べて小さい反復回数c以内に、 Xの最初の主成分に近づきます。Lanczosアルゴリズムや Locally Optimal Block Preconditioned Conjugate Gradient (LOBPCG ) 法などのより高度なマトリックスフリー方法を使用すると、反復あたりのコストが小さいことを著しく犠牲にすることなく、べき乗反復の収束を加速できます。

後続の主成分は、デフレーションによって 1 つずつ計算することも、ブロックとして同時に計算することもできます。前者のアプローチでは、すでに計算された近似主成分の不正確さが、その後に計算される主成分の精度に加算的に影響するため、新しい計算ごとに誤差が増加します。ブロック パワー法における後者のアプローチでは、単一ベクトルrとsをブロック ベクトル、行列RとSに置き換えます。 Rの各列は主要な主成分の 1 つを近似しますが、すべての列が同時に反復されます。主な計算は、積X ^T (XR)の評価です。たとえば、LOBPCGに実装されている効率的なブロック化により、誤差の蓄積がなくなり、高レベルのBLAS行列間積関数を使用できるようになり、通常、単一ベクトルの 1 つずつの手法に比べて収束が速くなります。

非線形反復部分最小二乗法 (NIPALS)は、減算による行列デフレーションを伴う従来のべき乗反復の変形であり、主成分分析または部分最小二乗法分析の最初のいくつかの成分を計算するために実装されています。オミクス科学 (ゲノミクス、メタボロミクスなど) で生成されるような非常に高次元のデータセットの場合、通常は最初のいくつかの PC を計算するだけで済みます。非線形反復部分最小二乗法(NIPALS) アルゴリズムは、反復ごとに左側と右側にX を乗じてべき乗反復によって主要なスコアとローディングt ₁およびr ₁ ^Tへの反復近似値を更新します。つまり、積 X T (X r) = ((X r) T X) T を評価する関数に基づいて、 X T X へのべき乗反復の行列を使用しない実装と同様に、共^分散行列^の計算は^回避さ^れます。

減算による行列収縮は、外積t ₁ r ₁ ^{T を}Xから減算することによって実行され、収縮された残差行列が後続の主要 PC の計算に使用されます。^[42] 大規模なデータ行列、または列の共線性が高い行列の場合、NIPALS では、各反復で蓄積されるマシン精度の丸め誤差と減算による行列収縮により、PC の直交性が失われます。 ^[43]この直交性の損失を排除するために、各反復ステップでスコアとローディングの両方にGram–Schmidt再直交化アルゴリズムが適用されます。^{[44] NIPALS は単一ベクトル乗算に依存しているため、高レベル}BLASを利用できず、クラスター化された主要特異値の収束が遅くなります。これらの欠陥は両方とも、Locally Optimal Block Preconditioned Conjugate Gradient ( LOBPCG ) 法などのより洗練された行列フリーのブロック ソルバーで解決されます。

データが単一のバッチで保存されるのではなく、少しずつ到着する「オンライン」または「ストリーミング」の状況では、順次更新できるPCA投影の推定値を作成することが有用である。これは効率的に実行できるが、異なるアルゴリズムが必要である。^[45]

PCA では、補足要素として質的変数を導入することが一般的です。たとえば、植物では多くの量的変数が測定されています。これらの植物では、たとえば植物が属する種などの質的変数が利用できます。これらのデータは量的変数の PCA にかけられました。結果を分析する場合、主成分を質的変数の種に結び付けるのが最適です。このため、次の結果が生成されます。

• たとえば、異なる色を使用して、因子平面上で異なる種を識別します。
• 同じ種に属する植物の重心を階乗平面で表したもの。
• 各重心と各軸について、重心と原点の差の有意性を判断するp値。

これらの結果は、質的変数を補足要素として導入すると呼ばれるものです。この手順については、Husson、Lê、Pagès (2009) および Pagès (2013) で詳しく説明されています。このオプションを「自動」で提供するソフトウェアはほとんどありません。歴史的に、 Ludovic Lebartの研究に続いてこのオプションを最初に提案した SPAD と、R パッケージ FactoMineR がこれに該当します。

因子分析の最も初期の応用は、人間の知能の構成要素を特定し、測定することであった。知能には空間知能、言語知能、帰納的思考、演繹的思考など、互いに関連しないさまざまな構成要素があり、因子分析によってさまざまなテストの結果からこれらのスコアを導き出し、知能指数( IQ) として知られる単一の指標を算出できると考えられていた。統計心理学のパイオニアであるスピアマンは、1904 年に知能の2 因子理論のために因子分析を実際に開発し、心理測定学の科学に正式な手法を加えた。1924 年にサーストンは知能の 56 の因子を探し、精神年齢の概念を発展させた。今日の標準的な IQ テストは、この初期の研究に基づいている。^[46]

1949年、シェフキーとウィリアムズは因子生態学の理論を提唱し、これは1950年代から1970年代にかけての居住地差別化研究の主流となった。^[47]都市内の近隣地域は様々な特徴によって認識可能であったり、互いに区別可能であったりしたが、これらの特徴は因子分析によって3つに減らすことができた。これらは「社会的地位」（職業的地位の指標）、「家族主義」または家族規模、「民族」として知られていた。そして、クラスター分析を適用して、3つの主要な因子変数の値に応じて都市をクラスターまたは地区に分割することができた。都市地理学における因子生態学に関する広範な文献が作成されたが、このアプローチは方法論的に原始的でポストモダンの地理パラダイムにほとんど余地がないとして、1980年以降は廃れていった。

因子分析の問題の 1 つは、さまざまな人為的要因に説得力のある名前を見つけることです。2000 年に、フラッドは因子生態学アプローチを復活させ、主成分分析は因子ローテーションに頼ることなく、実際に意味のある答えを直接与えることを示した。主成分は、実際には都市で人々を近づけたり引き離したりする「力」の二重変数または影の価格でした。最初の要素は「アクセス性」で、これは移動の需要と空間の需要の間の古典的なトレードオフであり、古典的な都市経済学の基礎となっています。次の 2 つの要素は「不利」で、これは同様の地位にある人々を別々の地域に留めておくものであり (計画によって仲介される)、民族性で、これは同様の民族的背景を持つ人々が共存しようとするものです。^[48]

ほぼ同じ時期に、オーストラリア統計局は、重要だと考えられる主要な変数セットの第一主成分をとった有利性と不利性の明確な指標を定義しました。これらのSEIFA指標は、さまざまな管轄区域で定期的に公開されており、空間分析で頻繁に使用されています。^[49]

PCAは指標開発のための正式な手法として使用できます。代替手段として、指標の開発と評価のための確認的複合分析が提案されています。^[50]

都市開発指数は、1996 年に世界 254 都市を対象に行われた調査で得られた都市の成果を示す約 200 の指標から PCA によって開発されました。第 1 主成分は反復回帰の対象となり、元の変数を個別に追加して、その変動の約 90% が説明されるまで続けました。この指数は最終的に約 15 の指標を使用しましたが、さらに多くの変数を予測するのに適しています。その比較値は、各都市の状態の主観的評価と非常によく一致しました。インフラストラクチャ項目の係数は、基礎となるサービスを提供する平均コストにほぼ比例しており、この指数は実際には都市への有効な物理的および社会的投資の尺度であることが示唆されています。

1990年以来公表され、開発研究で広く使用されているUNDPの国別人間開発指数（HDI）^[51]は、同様の指標に非常に類似した係数を持ち、もともとPCAを使用して構築されたことを強く示唆しています。

1978 年、カヴァッリ＝スフォルツァらは、主成分分析 (PCA) を利用して、地域間の人間の遺伝子頻度の変動に関するデータを要約する先駆者となった。成分は、勾配や正弦波などの特徴的なパターンを示した。彼らは、これらのパターンが特定の古代の移住イベントの結果であると解釈した。

それ以来、PCAは集団遺伝学の分野で広く用いられ、何千もの論文がPCAを表示メカニズムとして使用している。遺伝学は近接性によって大きく変化するため、最初の2つの主成分は実際には空間分布を示し、異なる集団グループの相対的な地理的位置をマッピングするために使用でき、それによって元の場所からさまよってきた個体を示すことができる。^[52]

遺伝学におけるPCAは、離散的な非正規変数やバイナリアレルマーカーに対して行われることが多いため、技術的に議論の的となっている。PCAには標準誤差の尺度がないため、より一貫した使用の妨げにもなっている。2022年8月、分子生物学者のエラン・エルハイクは、 12のPCAアプリケーションを分析した理論論文をScientific Reportsに発表した。彼は、この方法は操作が容易であり、彼の見解では「誤り、矛盾、不合理」な結果を生み出していると結論付けた。具体的には、集団遺伝学で得られた結果は、チェリーピッキングと循環論法によって特徴づけられると主張した。^[53]

市場調査ではPCAが広く利用されています。製品の顧客満足度や顧客ロイヤルティスコアを開発するために使用され、クラスタリングと組み合わせると、広告キャンペーンの対象となる市場セグメントを開発するために使用され、因子生態学が類似した特性を持つ地理的領域を特定するのとほぼ同じ方法です。^[54]

PCA は大量のデータをより小さく、理解しやすい変数に素早く変換し、より迅速かつ容易に分析できるようにします。消費者アンケートには、消費者の態度を引き出すために設計された一連の質問があり、主成分はこれらの態度の根底にある潜在的な変数を探します。たとえば、2013 年のオックスフォード インターネット調査では、2000 人の人々に態度と信念について質問し、アナリストはこれらから 4 つの主成分次元を抽出し、「逃避」、「ソーシャル ネットワーキング」、「効率」、「問題作成」と特定しました。^[55]

ジョー・フラッドが2008年に実施した別の例では、オーストラリアの2697世帯を対象とした全国調査で、28の態度に関する質問から住宅に対する態度指数を抽出した。第一主成分は、不動産と住宅所有に対する一般的な態度を表していた。この指数、または指数に含まれる態度に関する質問は、住宅保有選択の一般線形モデルに取り込むことができる。これまでのところ、民間賃貸の最も強力な決定要因は、収入、婚姻状況、世帯タイプではなく、態度指数であった。^[56]

定量的金融では、PCAは金融リスク管理 に使用されており^[57]、ポートフォリオ最適化などの他の問題にも適用されています。

PCA は、固定利付証券やポートフォリオ、金利デリバティブに関する問題でよく使用されます。ここでの評価は、多数の相関性の高い金融商品で構成されるイールドカーブ全体に依存し、PCA は、レートの動きを説明する一連のコンポーネントまたは要因を定義するために使用され、^[58] それによってモデリングが容易になります。一般的なリスク管理アプリケーションの 1 つは、 PCA をモンテカルロ シミュレーションに適用して、リスク値 (VaR) を計算することです。 ^[59] ここでは、シミュレーション サンプルごとに、コンポーネントにストレスがかけられ、レート、つまりオプション値が再構築されます。最後に、実行全体にわたって VaR が計算されます。PCA は、部分的な期間やその他の感応度 を考慮して、金利リスクへのエクスポージャーをヘッジするためにも使用されます。 ^{[58]どちらの場合も、システムの最初の 3 つの主成分 (「シフト」、「ねじれ」、および「曲率」}を表す) が重要です。これらの主成分は、定義済みの満期での 利回りの共分散行列の固有分解から導出されます。 ^[60] そして各成分の分散はその固有値である（そして成分は直交しているので、その後のモデリングでは相関を組み込む必要はない）。

株式の場合、最適ポートフォリオとは、与えられたリスクレベルで期待収益が最大化されるポートフォリオ、または与えられた収益でリスクが最小化されるポートフォリオです。議論については、マルコウィッツモデルを参照してください。したがって、1つのアプローチは、ポートフォリオリスクを軽減することであり、配分戦略は、基礎となる株式ではなく「主要ポートフォリオ」に適用されます。2番目のアプローチは、主要コンポーネントを使用して上昇の可能性がある企業の株式を選択し、ポートフォリオの収益を高めることです。 ^{[61] [62]} PCAは、国際株式市場間の関係や、市場内の業界またはセクターの企業グループ間の 関係を理解するためにも使用されています。 ^{[57 ]}

PCAはストレステストにも適用できる^[63]。本質的には、仮想的な不利な経済シナリオに耐える銀行の能力を分析するものである。その有用性は、「[いくつかの]マクロ経済変数に含まれる情報を、より扱いやすいデータセットに抽出し、それを[分析に]使用できるようにすること」にある。^{[63]ここでは、結果として得られる要因は、要因の}固有ベクトルの最大要素に基づいて、たとえば金利にリンクされ、各要因への「ショック」が各銀行の推定資産にどのように影響するかが観察される。

神経科学では、主成分分析の一種が、ニューロンが活動電位を生成する確率を高める刺激の特定の特性を識別するために使用されます。^{[64] [65]この手法は、}スパイクトリガー共分散分析として知られています。典型的な応用では、実験者は刺激としてホワイトノイズプロセスを提示し（通常は被験者への感覚入力として、またはニューロンに直接注入される電流として）、その結果ニューロンによって生成された一連の活動電位、つまりスパイクを記録します。おそらく、刺激の特定の特徴により、ニューロンがスパイクを起こしやすくなると考えられます。これらの特徴を抽出するために、実験者はスパイクトリガーアンサンブル、つまりスパイクの直前のすべての刺激（通常は100ミリ秒程度の有限の時間枠で定義および離散化される）の集合の共分散行列を計算します。スパイク誘発共分散行列と、以前の刺激アンサンブル(同じ長さの時間ウィンドウ上で定義されたすべての刺激のセット) の共分散行列の差の固有ベクトルは、刺激空間内でスパイク誘発アンサンブルの分散が以前の刺激アンサンブルの分散と最も異なる方向を示します。具体的には、最大の正の固有値を持つ固有ベクトルは、スパイク誘発アンサンブルの分散が以前の分散と比較して最大の正の変化を示した方向に対応します。これらは刺激の変化がスパイクにつながる方向であるため、多くの場合、求められている関連する刺激特性の良い近似値となります。

神経科学では、PCA は活動電位の形状からニューロンの ID を識別するためにも使用されます。スパイク ソーティングは、細胞外記録技術で複数のニューロンからの信号が拾われることが多いため、重要な手順です。スパイク ソーティングでは、まず PCA を使用して活動電位波形の空間の次元を減らし、次にクラスタリング分析を実行して特定の活動電位を個々のニューロンに関連付けます。

次元削減技術としてのPCAは、大規模な神経集団の協調活動を検出するのに特に適しています。脳内の相転移中の集団変数、つまり秩序パラメータを決定するために使用されています。 ^[66]

対応分析（CA）はJean-Paul Benzécri ^[67]によって開発され 、概念的にはPCAに似ていますが、行と列が同等に扱われるようにデータ（非負である必要があります）をスケーリングします。これは伝統的に分割表に適用されます。CAは、この表に関連付けられたカイ2乗統計量を直交因子に分解します。 ^[68] CAは記述的手法であるため、カイ2乗統計量が適切かどうかに関係なく表に適用できます。CAには、トレンド除去対応分析や正準対応分析など、いくつかのバリエーションがあります。特別な拡張の1つは多重対応分析であり、カテゴリデータの主成分分析に対応するものと見なすことができます。^[69]

主成分分析では、元の変数の線形結合である変数が作成されます。新しい変数は、すべての変数が直交するという特性を持ちます。PCA 変換は、クラスタリング前の前処理ステップとして役立ちます。PCA は、変数の共通分散と固有分散の両方をコンポーネントが反映する、変数の分散全体の再現を目指す分散重視のアプローチです。PCA は、一般にデータ削減 (つまり、変数空間を最適な因子空間に変換する) の目的には適していますが、潜在的な構成要素や因子を検出することが目的の場合は適していません。

因子分析は主成分分析に似ており、因子分析も変数の線形結合を伴います。PCAとは異なり、因子分析は相関に焦点を当てたアプローチであり、変数間の相互相関を再現しようとします。因子は「変数の共通分散を表し、固有の分散は除きます。」^[70]相関行列の観点では、これは対角外項（つまり、共有共分散）の説明に焦点を当てることに対応し、PCAは対角に位置する項の説明に焦点を当てています。ただし、副次的な結果として、対角項を再現しようとすると、PCAは対角外相関にも比較的よく適合する傾向があります。^{[12] : 158} PCAと因子分析によって得られる結果は、ほとんどの場合非常に似ていますが、常にそうであるとは限らず、結果が大幅に異なる問題もあります。因子分析は、研究目的がデータ構造（つまり、潜在的な構成要素または因子）の検出または因果モデリングである場合に一般的に使用されます。因子モデルが誤って定式化されていたり、仮定が満たされていなかったりすると、因子分析は誤った結果をもたらすことになる。^[71]

クラスター指標によって指定されるk平均クラスタリングの緩和された解は主成分によって与えられ、主方向によって張られるPCAサブスペースはクラスター重心サブスペースと同一であると主張されてきた。 ^{[72] [73]しかし、PCAが}k平均クラスタリングの有用な緩和であるということは新しい結果ではなく、^[74]クラスター重心サブスペースが主方向によって張られるという主張に対する反例を見つけるのは簡単である。^[75]

非負値行列因子分解（NMF）は、行列内の非負要素のみを使用する次元削減法であり、天文学では有望な方法である^{[23] [24] [25]}。これは、天体物理学的信号が非負であるという意味である。PCA成分は互いに直交しているが、NMF成分はすべて非負であるため、非直交基底が構築される。

PCAでは、各コンポーネントの寄与は、対応する固有値の大きさに基づいてランク付けされます。これは、経験的データを分析する際の分数残差分散（FRV）に相当します。^[21] NMFの場合、そのコンポーネントは経験的FRV曲線のみに基づいてランク付けされます。^[25] PCAの残差分数固有値プロット、つまり、コンポーネントの合計数を与えられたコンポーネント数の関数は、準静的ノイズを除去するためのデータがキャプチャされていない平坦なプラトーを持ち、その後、曲線は過剰適合（ランダムノイズ）の兆候として急速に低下します。^[21] NMFのFRV曲線は、NMFコンポーネントが順番に構築されるときに連続的に減少します^{[25] 。 [24} ]これは、準静的ノイズが継続的にキャプチャされていることを示しています。その後、PCAよりも高いレベルに収束します。^[25]これは、 NMFの過剰適合性が低いことを示しています。 ${\displaystyle 1-\sum _{i=1}^{k}\lambda _{i}{\Big /}\sum _{j=1}^{n}\lambda _{j}}$${\displaystyle k}$${\displaystyle n}$

データにさまざまな起源の変数が多数含まれている場合や、一部の変数が質的である場合、主成分の解釈は困難になることがよくあります。このため、PCA ユーザーはいくつかの変数を慎重に排除することになります。観測値または変数が軸の方向に過度の影響を与える場合は、それらを削除してから、補助要素として投影する必要があります。さらに、因子平面の中心に近い点間の近接性を解釈しないようにする必要があります。

一方、 相関関係の図像は軸のシステムへの投影ではないため、これらの欠点はありません。したがって、すべての変数を保持できます。

この図の原則は、相関マトリックスの「注目すべき」相関を実線（正の相関）または点線（負の相関）で強調することです。

強い相関関係は、それが直接的なものではなく、第 3 の変数の影響によって生じたものである場合、「顕著」ではありません。逆に、弱い相関関係は「顕著」である場合があります。たとえば、変数 Y が複数の独立変数に依存している場合、Y とそれらの各変数との相関関係は弱いですが、「顕著」です。

PCA の欠点は、主成分が通常、すべての入力変数の線形結合であることです。スパース PCA は、少数の入力変数のみを含む線形結合を見つけることでこの欠点を克服します。これは、入力変数にスパース制約を追加することで、データの次元を削減する主成分分析 (PCA) の古典的な方法を拡張します。次のようないくつかのアプローチが提案されています。

• 回帰フレームワーク、^[76]
• 凸緩和/半正定値計画フレームワーク、^[77]
• 一般化されたパワーメソッドフレームワーク^[78]
• 交互最大化フレームワーク^[79]
• 前方後方貪欲探索と分岐限定法を用いた正確な方法、^[80]
• ベイズ定式化フレームワーク。^[81]

スパースPCAの方法論的・理論的発展と科学的研究への応用は、最近調査論文でレビューされました。^[82]

非線形次元削減の最新の方法のほとんどは、理論的およびアルゴリズム的に PCA または K 平均法にそのルーツがあります。ピアソンの元々のアイデアは、データ ポイントのセットに「最もよく適合する」直線 (または平面) を取るというものでした。トレバーハスティーはこの概念を拡張し、PCA の幾何学的解釈の自然な拡張として主曲線^{[86]を提案しました。主曲線は、データ}近似の多様体を明示的に構築し、その上にポイントを投影します。弾性マップアルゴリズムと主測地線解析^[87]も参照してください。もう 1 つの一般的な一般化はカーネル PCAで、これは正定値カーネルに関連付けられた再生カーネル ヒルベルト空間で実行される PCA に対応します。

多重線形部分空間学習では、^{[88] [89] [90]} PCAは、テンソル表現から直接特徴を抽出する多重線形PCA（MPCA）に一般化されます。MPCAは、テンソルの各モードでPCAを反復的に実行することで解決されます。MPCAは、顔認識、歩行認識などに適用されています。MPCAはさらに、無相関MPCA、非負MPCA、ロバストMPCAに拡張されています。

N元主成分分析は、タッカー分解、PARAFAC、多因子分析、共慣性分析、STATIS、DISTATIS などのモデルを使用して実行できます。

PCAは数学的に最適な方法（二乗誤差を最小化するなど）を見つけますが、それでもデータ内の外れ値の影響は受けやすく、そもそもこの方法はそれを避けようとします。そのため、PCAを計算する前に外れ値を除去するのが一般的です。ただし、状況によっては外れ値の特定が難しい場合があります。^[91] たとえば、相関クラスタリングなどのデータマイニングアルゴリズムでは、クラスターと外れ値へのポイントの割り当ては事前にわかりません。最近提案された重み付きPCAに基づくPCAの一般化^[92]では、推定された関連性に基づいてデータオブジェクトに異なる重みを割り当てることで堅牢性が向上します。

L1ノルム定式化（L1-PCA）に基づいて、外れ値耐性のあるPCAの変種も提案されている。^{[6] [4]}

低ランクおよび疎行列の分解によるロバスト主成分分析（RPCA）は、PCAの修正版であり、著しく破損した観測値に対しても有効に機能します。^{[93] [94] [95]}

独立成分分析(ICA) は主成分分析と同様の問題を対象としていますが、逐次近似ではなく、加法的に分離可能な成分を見つけます。

行列 が与えられると、 となる 2 つの行列に分解しようとします。PCA や ICA などの手法との主な違いは、 のエントリの一部が0 に制限されることです。ここでは、 を規制層と呼びます。一般に、このような分解には複数の解がありますが、次の条件が満たされる場合は となることが証明されています。 ${\displaystyle E}$${\displaystyle E=AP}$${\displaystyle A}$${\displaystyle P}$

1. ${\displaystyle A}$完全な列ランクを持つ
2. の各列には、少なくとも0 が必要です。ここで、は の列数(または の行数) です。この基準の正当性は、ノードがそれに接続されているすべての出力ノードとともに調整層から削除された場合でも、結果は完全な列ランクを持つ接続マトリックスによって特徴付けられる必要があることです。${\displaystyle A}$${\displaystyle L-1}$${\displaystyle L}$${\displaystyle A}$${\displaystyle P}$
3. ${\displaystyle P}$完全な行ランクが必要です。

すると分解はスカラーによる乗算を除いて一意となる。^[96]

主成分判別分析（DAPC）は、遺伝的に関連する個人のクラスターを識別および記述するために使用される多変量法です。遺伝的変異は、グループ間の変異とグループ内の変異の2つの要素に分割され、前者を最大化します。線形判別式は、クラスターを最もよく分離する対立遺伝子の線形結合です。したがって、この判別に最も貢献する対立遺伝子は、グループ間で最も顕著に異なる対立遺伝子です。DAPCによって識別されたグループ分けへの対立遺伝子の寄与により、グループ間の遺伝的相違を推進しているゲノム領域を特定できます^[97] DAPCでは、最初に主成分分析（PCA）を使用してデータを変換し、次に判別分析（DA）を使用してクラスターを特定します。

DAPC は、Adegenet パッケージを使用して R 上で実現できます。(詳細情報: Web 上の adegenet)

方向成分分析（DCA）は、多変量データセットを分析するために大気科学で使用される手法です。^[98] PCAと同様に、大規模データセットの次元削減、視覚化の改善、解釈可能性の向上が可能です。また、PCAと同様に、入力データセットから得られた共分散行列に基づいています。PCAとDCAの違いは、DCAでは影響と呼ばれるベクトル方向の入力も必要になることです。PCAは説明された分散を最大化するのに対し、DCAは影響が与えられた場合の確率密度を最大化します。DCAの目的は、多変量データセットの可能性が高い（確率密度を使用して測定）かつ重要な（影響を使用して測定）成分を見つけることです。DCAは、気象予報アンサンブルで最も可能性が高く最も深刻な熱波パターンを見つけるために使用されてきました。^[99]また、気候変動による降雨量の最も可能性が高く最も影響のある変化を見つけるために使用されてきました。^[100]

• ALGLIB – PCA と切り捨て PCA を実装する C++ および C# ライブラリ
• Analytica – 組み込みの EigenDecomp 関数は主成分を計算します。
• ELKI – 投影用の PCA が含まれており、PCA の堅牢なバリアントや PCA ベースのクラスタリング アルゴリズムも含まれています。
• Gretl – 主成分分析は、pcaコマンドまたはprincomp()関数を介して実行できます。
• Julia – pcaMultivariateStatsパッケージの関数でPCAをサポートします
• KNIME – 分析用の Java ベースのノード配置ソフトウェア。PCA、PCA 計算、PCA 適用、PCA 逆と呼ばれるノードで簡単に実行できます。
• Maple (ソフトウェア) – PCA コマンドは、データセットに対して主成分分析を実行するために使用されます。
• Mathematica – 共分散法と相関法の両方を使用して、PrincipalComponents コマンドで主成分分析を実装します。
• MathPHP – PCA をサポートするPHP数学ライブラリ。
• MATLAB – SVD 関数は基本システムの一部です。統計ツールボックスでは、関数princompとpca(R2012b) は主成分を与え、関数はpcares低ランク PCA 近似の残差と再構成された行列を与えます。
• Matplotlib – Pythonライブラリには、.mlab モジュールに PCA パッケージがあります。
• mlpack – C++での主成分分析の実装を提供します。
• mrmath – DelphiおよびFreePascal用の高性能数学ライブラリで、堅牢なバリアントを含む PCA を実行できます。
• NAG ライブラリ– 主成分分析はg03aaルーチンを介して実装されます (ライブラリの Fortran バージョンの両方で使用可能)。
• NMath – .NET Framework用の PCA を含む独自の数値ライブラリ。
• GNU Octave – MATLAB とほぼ互換性のあるフリーソフトウェア計算環境。関数はprincomp主成分を提供します。
• オープンCV
• Oracle Database 12c –DBMS_DATA_MINING.SVDS_SCORING_MODE設定値を指定して実装SVDS_SCORING_PCA
• Orange (ソフトウェア) – ビジュアル プログラミング環境に PCA を統合します。PCA はスクリー プロット (説明された分散の度合い) を表示し、ユーザーはそこで主成分の数をインタラクティブに選択できます。
• Origin – Pro バージョンには PCA が含まれています。
• Qlucore – PCA を使用して即時応答で多変量データを分析するための商用ソフトウェア。
• R –無料の統計パッケージ。関数princompとを使用しprcompて主成分分析を行うことができます。特異値分解をprcomp使用するため、一般的に数値精度が向上します。R で PCA を実装するパッケージには、、、、、などがあります。ade4veganExPositiondimRedFactoMineR
• SAS – 独自ソフトウェア。例えば、^{[101]を参照。}
• scikit-learn – 分解モジュールに PCA、確率的 PCA、カーネル PCA、スパース PCA などのテクニックが含まれる機械学習用の Python ライブラリ。
• Scilab – 無料のオープンソース、クロスプラットフォームの数値計算パッケージ。関数はprincomp主成分分析を計算します。関数はpca標準化された変数を使用して主成分分析を計算します。
• SPSS – 社会科学者が PCA、因子分析、および関連するクラスター分析に最もよく使用する独自のソフトウェア。
• Weka – 主成分を計算するためのモジュールを含む機械学習用の Java ライブラリ。

• Jackson, JE (1991).主成分分析のユーザーガイド(Wiley).
• Jolliffe, IT (1986).主成分分析. Springer Series in Statistics. Springer-Verlag. pp. 487. CiteSeerX  10.1.1.149.8828 . doi :10.1007/b98835. ISBN 978-0-387-95442-4。
• Jolliffe, IT (2002). 主成分分析. Springer Series in Statistics. ニューヨーク: Springer-Verlag. doi :10.1007/b98835. ISBN 978-0-387-95442-4。
• ユッソン・フランソワ、レ・セバスチャン、パジェス・ジェローム (2009)。R を使用した例による探索的多変量解析。チャップマン&ホール/CRC The Rシリーズ、ロンドン。 224p。ISBN 978-2-7535-0938-2 
• Pagès Jérôme (2014). R を用いた例による多因子分析. Chapman & Hall/CRC The R Series London 272 ページ

• YouTubeの Rasmus Bro によるコペンハーゲン大学のビデオ
• Andrew Ng によるスタンフォード大学のビデオ ( YouTube)
• 主成分分析のチュートリアル
• YouTubeでの主成分分析の初心者向け入門(100 秒未満のビデオ)。
• StatQuest: StatQuest: 主成分分析 (PCA)、YouTubeでのステップバイステップの解説
• ソフトウェア実装のリストも参照してください