因子分析

因子分析は、相関関係にある観測変数間の変動を、因子と呼ばれる潜在的に少数の観測されない変数の観点から記述する統計的手法である。例えば、6 つの観測変数の変動は、主に 2 つの観測されない（基礎となる）変数の変動を反映している可能性がある。因子分析は、観測されない潜在変数に対するこのような共同変動を検索する。観測変数は、潜在的因子と「誤差」項の線形結合としてモデル化されるため、因子分析は変数誤差モデルの特殊なケースと考えることができる。^[1]

簡単に言えば、変数の因子負荷量は、変数が特定の因子とどの程度関連しているかを定量化します。^[2]

因子分析法の一般的な理論的根拠は、観測変数間の相互依存性について得られた情報を、後でデータセット内の変数セットを削減するために使用できるというものです。因子分析は、心理測定学、性格心理学、生物学、マーケティング、製品管理、オペレーションズリサーチ、金融、機械学習で一般的に使用されています。少数の基礎変数/潜在変数を反映していると考えられる観測変数が多数あるデータセットの処理に役立つ場合があります。これは最も一般的に使用される相互依存性手法の 1 つであり、関連する変数セットが体系的な相互依存性を示し、共通性を生み出す潜在因子を見つけることが目的である場合に使用されます。

このモデルは、各個体における観測値のセットを、ユニットあたりの因子の数がユニットあたりの観測値の数（ ）よりも少ない、一連の共通因子（ ）で説明しようとする。各個体は独自の共通因子を持ち、これらは因子負荷行列（）を介して観測値に関連付けられ、単一の観測値については、 ${\displaystyle p}$${\displaystyle n}$${\displaystyle k}$ ${\displaystyle f_{i,j}}$${\displaystyle k<p}$${\displaystyle k}$${\displaystyle L\in \mathbb {R} ^{p\times k}}$

${\displaystyle x_{i,m}-\mu _{i}=l_{i,1}f_{1,m}+\dots +l_{i,k}f_{k,m}+\varepsilon _{i,m}}$

どこ

• ${\displaystyle x_{i,m}}$は、 番目の個体の 番目の観測値であり、${\displaystyle i}$${\displaystyle m}$
• ${\displaystyle \mu _{i}}$は 番目の観測値の観測平均であり、${\displaystyle i}$
• ${\displaystyle l_{i,j}}$は、 番目の因子の 番目の観測値に対する負荷量であり、${\displaystyle i}$${\displaystyle j}$
• ${\displaystyle f_{j,m}}$は 番目の個体の 番目の因子の値であり、${\displaystyle j}$${\displaystyle m}$
• ${\displaystyle \varepsilon _{i,m}}$は、平均ゼロで分散が有限である番目の観測されない確率的誤差項です。${\displaystyle (i,m)}$

行列表記では

${\displaystyle X-\mathrm {M} =LF+\varepsilon }$

ここで、観測行列、負荷行列、因子行列、誤差項行列、および平均行列であり、番目の要素は単に です。 ${\displaystyle X\in \mathbb {R} ^{p\times n}}$${\displaystyle L\in \mathbb {R} ^{p\times k}}$${\displaystyle F\in \mathbb {R} ^{k\times n}}$${\displaystyle \varepsilon \in \mathbb {R} ^{p\times n}}$${\displaystyle \mathrm {M} \in \mathbb {R} ^{p\times n}}$${\displaystyle (i,m)}$${\displaystyle \mathrm {M} _{i,m}=\mu _{i}}$

また、 については以下の仮定を課します。 ${\displaystyle F}$

1. ${\displaystyle F}$そして独立しています。${\displaystyle \varepsilon }$
2. ${\displaystyle \mathrm {E} (F)=0}$;期待値はどこに ありますか${\displaystyle \mathrm {E} }$
3. ${\displaystyle \mathrm {Cov} (F)=I}$ここで、 は因子が無相関であることを確認するための共分散行列 であり、 は単位行列です。${\displaystyle \mathrm {Cov} }$${\displaystyle I}$

仮に とします。すると ${\displaystyle \mathrm {Cov} (X-\mathrm {M} )=\Sigma }$

${\displaystyle \Sigma =\mathrm {Cov} (X-\mathrm {M} )=\mathrm {Cov} (LF+\varepsilon ),\,}$

したがって、上に課された条件1と2、およびから、 ${\displaystyle F}$${\displaystyle E[LF]=LE[F]=0}$${\displaystyle Cov(LF+\epsilon )=Cov(LF)+Cov(\epsilon )}$

${\displaystyle \Sigma =L\mathrm {Cov} (F)L^{T}+\mathrm {Cov} (\varepsilon ),\,}$

または、設定、 ${\displaystyle \Psi :=\mathrm {Cov} (\varepsilon )}$

${\displaystyle \Sigma =LL^{T}+\Psi .\,}$

任意の直交行列 について、 およびと設定すると、因子と因子負荷量である基準は依然として保持されます。したがって、因子と因子負荷量の集合は、直交変換までしか一意ではありません。 ${\displaystyle Q}$${\displaystyle L^{\prime }=\ LQ}$${\displaystyle F^{\prime }=Q^{T}F}$

心理学者が、知能には「言語的知能」と「数学的知能」の 2 種類があり、どちらも直接観察できないという仮説を立てているとします。 ^{[注 1]この仮説の} 証拠は、10 の異なる学問分野における 1000 人の学生の試験の点数に求められます。各学生が大規模な母集団からランダムに選ばれた場合、各学生の 10 の点数はランダム変数です。心理学者の仮説では、10 の学問分野のそれぞれについて、言語的および数学的「知能」の共通の値を持つすべての学生のグループの平均点は、言語的知能レベルの定数倍と数学的知能レベルの別の定数倍、つまり、これら 2 つの「要因」の線形結合であるとされています。特定の科目について、2種類の知能を掛け合わせて期待スコアを得るための数値は、すべての知能レベルのペアで同じであると仮定されており、この科目の「因子負荷」と呼ばれています。^{[説明が必要]たとえば、この仮説では、}天文学 の分野における学生の平均的な適性は次のように予測されます。

{10 × 生徒の言語的知能} + {6 × 生徒の数学的知能}。

10 と 6 という数字は天文学に関連する因子負荷量です。他の学問分野では因子負荷量が異なる場合があります。

言語的知能と数学的知能が同程度であると想定される 2 人の学生が、天文学の測定された適性が異なることがあります。これは、個人の適性が平均適性 (上記で予測) と異なることと、測定誤差自体が原因です。このような差異は、総称して「誤差」と呼ばれます。これは、測定された個人が、その人の知能レベルの平均またはその知能レベルによって予測されるものとどの程度異なるかを表す統計用語です (統計の誤差と残差を参照)。

因子分析に用いられる観測可能なデータは、1,000 人の生徒それぞれについて 10 点ずつ、合計 10,000 個の数値です。各生徒の 2 種類の知能の因子負荷とレベルは、データから推測する必要があります。

以下では、マトリックスはインデックス付き変数で示されます。「主題」インデックスは、文字、および を使用して示され、値はからまでで、上記の例では に等しくなります。 「因子」インデックスは、文字、および を使用して示され、値は から までで、上記の例では に等しくなります。「インスタンス」または「サンプル」インデックスは、文字、およびを使用して示され、値はからまでです。上記の例では、サンプルの学生が試験に参加した場合、番目の学生の 番目の試験のスコアは で与えられます。因子分析の目的は、特定のインスタンスまたは観測セットである変数間の相関関係を特徴付けることです。変数が同等の立場にあるように、標準スコア に正規化されます。 ${\displaystyle a}$${\displaystyle b}$${\displaystyle c}$${\displaystyle 1}$${\displaystyle p}$${\displaystyle 10}$${\displaystyle p}$${\displaystyle q}$${\displaystyle r}$${\displaystyle 1}$${\displaystyle k}$${\displaystyle 2}$${\displaystyle i}$${\displaystyle j}$${\displaystyle k}$${\displaystyle 1}$${\displaystyle N}$${\displaystyle N=1000}$${\displaystyle p=10}$${\displaystyle i}$${\displaystyle a}$${\displaystyle x_{ai}}$${\displaystyle x_{a}}$${\displaystyle x_{ai}}$${\displaystyle z}$

${\displaystyle z_{ai}={\frac {x_{ai}-{\hat {\mu }}_{a}}{{\hat {\sigma }}_{a}}}}$

ここで標本平均は次のようになります。

${\displaystyle {\hat {\mu }}_{a}={\tfrac {1}{N}}\sum _{i}x_{ai}}$

標本分散は次のように表されます。

${\displaystyle {\hat {\sigma }}_{a}^{2}={\tfrac {1}{N-1}}\sum _{i}(x_{ai}-{\hat {\mu }}_{a})^{2}}$

この特定のサンプルの因子分析モデルは次のようになります。

${\displaystyle {\begin{matrix}z_{1,i}&=&\ell _{1,1}F_{1,i}&+&\ell _{1,2}F_{2,i}&+&\varepsilon _{1,i}\\\vdots &&\vdots &&\vdots &&\vdots \\z_{10,i}&=&\ell _{10,1}F_{1,i}&+&\ell _{10,2}F_{2,i}&+&\varepsilon _{10,i}\end{matrix}}}$

あるいは、もっと簡潔に言うと:

${\displaystyle z_{ai}=\sum _{p}\ell _{ap}F_{pi}+\varepsilon _{ai}}$

どこ

• ${\displaystyle F_{1i}}$は、生徒の「言語的知能」である。${\displaystyle i}$
• ${\displaystyle F_{2i}}$は、生徒の「数学的知能」である。${\displaystyle i}$
• ${\displaystyle \ell _{ap}}$は、 番目の被験者に対する因子負荷量です。${\displaystyle a}$${\displaystyle p=1,2}$

行列表記 では、

${\displaystyle Z=LF+\varepsilon }$

「言語的知能」（ の各列の最初の要素）を測定する尺度を 2 倍にし、同時に言語的知能の因子負荷を半分にしても、モデルに違いは生じないことに注目してください。したがって、言語的知能の因子の標準偏差が であると仮定しても、一般性は失われません。数学的知能についても同様です。さらに、同様の理由から、2 つの因子が互いに相関していないと仮定しても、一般性は失われません。言い換えると、 ${\displaystyle F}$${\displaystyle 1}$

${\displaystyle \sum _{i}F_{pi}F_{qi}=\delta _{pq}}$

ここで、はクロネッカーのデルタ（およびのとき）です。誤差は要因に依存しないと仮定されます。 ${\displaystyle \delta _{pq}}$${\displaystyle 0}$${\displaystyle p\neq q}$${\displaystyle 1}$${\displaystyle p=q}$

${\displaystyle \sum _{i}F_{pi}\varepsilon _{ai}=0}$

解の回転も解であるため、要因の解釈が難しくなります。欠点については以下を参照してください。この特定の例では、2 種類の知能が相関していないことを事前に知らなければ、2 つの要因を 2 つの異なる種類の知能として解釈することはできません。相関していない場合でも、外部の議論なしに、どの要因が言語的知能に対応し、どの要因が数学的知能に対応するかを判断することはできません。

観測データと（因子のレベルに関する仮定は与えられた に対して固定されている）が与えられた場合、負荷量、平均、および「誤差」の分散の値を推定する必要がある。上記の条件から「基本定理」を導くことができる。 ${\displaystyle L}$${\displaystyle \mu }$${\displaystyle \varepsilon }$${\displaystyle X}$${\displaystyle F}$${\displaystyle F}$

${\displaystyle \sum _{i}z_{ai}z_{bi}=\sum _{j}\ell _{aj}\ell _{bj}+\sum _{i}\varepsilon _{ai}\varepsilon _{bi}}$

左側の項は、観測データの相関行列 (標準化された観測の行列とその転置の積として導出される行列) の項であり、その対角要素はs になります。右側の 2 番目の項は、項が 1 未満の対角行列になります。右側の最初の項は「縮小相関行列」であり、対角値が 1 未満であることを除いて相関行列と等しくなります。縮小相関行列のこれらの対角要素は、「共通性」と呼ばれます (これは、要因によって説明される観測変数の分散の割合を表します)。 ${\displaystyle (a,b)}$${\displaystyle p\times p}$${\displaystyle p\times N}$${\displaystyle p}$${\displaystyle 1}$

${\displaystyle h_{a}^{2}=1-\psi _{a}=\sum _{j}\ell _{aj}\ell _{aj}}$

サンプルデータは、サンプリングエラーやモデルの不適切さなどにより、上記の基本方程式に厳密に従うわけではありません。上記のモデルの分析の目的は、データに「最適」な因子と負荷を見つけることです。因子分析では、最適とは相関行列の対角外残差の平均二乗誤差の最小値として定義されます。^[3]${\displaystyle z_{ai}}$${\displaystyle F_{pi}}$${\displaystyle \ell _{ap}}$

${\displaystyle \varepsilon ^{2}=\sum _{a\neq b}\left[\sum _{i}z_{ai}z_{bi}-\sum _{j}\ell _{aj}\ell _{bj}\right]^{2}}$

これは、モデル方程式では期待値がゼロである誤差共分散の非対角成分を最小化することと同等です。これは、すべての残差の平均二乗誤差を最小化しようとする主成分分析とは対照的です。^[3]高速コンピュータの出現以前は、特に他の手段で共通性を推定することに、問題の近似解を見つけるために多大な労力が費やされました。これにより、既知の縮小相関行列が生成され、問題が大幅に簡素化されました。次に、この相関行列を使用して因子と負荷が推定されました。高速コンピュータの出現により、最小化問題は十分な速度で反復的に解くことができ、共通性は事前に必要ではなく、プロセス内で計算されます。MinResアルゴリズムは特にこの問題に適していますが、解決策を見つけるための唯一の反復手段ではありません。

解の要素が相関することが許可されている場合（たとえば、「オブリミン」回転の場合）、対応する数学モデルは直交座標ではなく 斜め座標を使用します。

因子分析のパラメータと変数は、幾何学的に解釈することができます。データ ( )、因子 ( )、および誤差 ( ) は、それぞれ、およびとして表される - 次元ユークリッド空間 (標本空間)のベクトルとして見ることができます。データは標準化されているため、データ ベクトルは単位長 ( ) です。因子ベクトルは、この空間で - 次元線形部分空間 (つまり、超平面) を定義し、データ ベクトルはその上に直交投影されます。これは、モデル方程式から次のようになります。 ${\displaystyle z_{ai}}$${\displaystyle F_{pi}}$${\displaystyle \varepsilon _{ai}}$${\displaystyle N}$${\displaystyle \mathbf {z} _{a}}$${\displaystyle \mathbf {F} _{p}}$${\displaystyle {\boldsymbol {\varepsilon }}_{a}}$${\displaystyle ||\mathbf {z} _{a}||=1}$${\displaystyle k}$

${\displaystyle \mathbf {z} _{a}=\sum _{p}\ell _{ap}\mathbf {F} _{p}+{\boldsymbol {\varepsilon }}_{a}}$

因子と誤差の独立性は、次の式で表されます。上記の例では、超平面は2つの因子ベクトルによって定義される2次元平面です。データベクトルの超平面への投影は、次のように表されます。 ${\displaystyle \mathbf {F} _{p}\cdot {\boldsymbol {\varepsilon }}_{a}=0}$

${\displaystyle {\hat {\mathbf {z} }}_{a}=\sum _{p}\ell _{ap}\mathbf {F} _{p}}$

そして、誤差は、その投影された点からデータ点へのベクトルであり、超平面に垂直です。因子分析の目標は、ある意味でデータに「最もよく適合する」超平面を見つけることです。したがって、この超平面を定義する因子ベクトルが独立しており、超平面内にある限り、その選択方法は重要ではありません。一般性を失うことなく、それらを直交と正規 ( ) の両方として自由に指定できます。適切な因子セットが見つかった後、それらを超平面内で任意に回転することもできます。これにより、因子ベクトルの任意の回転は同じ超平面を定義し、解にもなります。結果として、フィッティング超平面が 2 次元である上記の例では、2 種類の知能が相関していないことを事前に知らなければ、2 つの因子を 2 つの異なる種類の知能として解釈することはできません。たとえ相関関係がなかったとしても、外部からの議論なしに、どの要因が言語的知能に対応し、どの要因が数学的知能に対応するのか、あるいは、要因が両方の線形結合であるのかを判断することはできません。 ${\displaystyle \mathbf {F} _{p}\cdot \mathbf {F} _{q}=\delta _{pq}}$

データ ベクトルの長さは単位です。データの相関行列の要素は で与えられます。相関行列は、2 つのデータ ベクトルと の間の角度の余弦として幾何学的に解釈できます。対角要素は明らかに s であり、対角要素以外の要素の絶対値は 1 以下になります。「縮小相関行列」は次のように定義されます。 ${\displaystyle \mathbf {z} _{a}}$${\displaystyle r_{ab}=\mathbf {z} _{a}\cdot \mathbf {z} _{b}}$${\displaystyle \mathbf {z} _{a}}$${\displaystyle \mathbf {z} _{b}}$${\displaystyle 1}$

${\displaystyle {\hat {r}}_{ab}={\hat {\mathbf {z} }}_{a}\cdot {\hat {\mathbf {z} }}_{b}}$。

因子分析の目標は、相関行列の対角要素が単位値を持つことがわかっている場合を除いて、縮小相関行列が相関行列を可能な限り再現するようにフィッティング超平面を選択することです。言い換えれば、目標はデータ内の相互相関を可能な限り正確に再現することです。具体的には、フィッティング超平面の場合、非対角成分の平均二乗誤差は

${\displaystyle \varepsilon ^{2}=\sum _{a\neq b}\left(r_{ab}-{\hat {r}}_{ab}\right)^{2}}$

を最小化する必要があるが、これは正規直交因子ベクトルの集合に関して最小化することによって達成される。

${\displaystyle r_{ab}-{\hat {r}}_{ab}={\boldsymbol {\varepsilon }}_{a}\cdot {\boldsymbol {\varepsilon }}_{b}}$

右側の項は、エラーの共分散です。モデルでは、エラー共分散は対角行列であると述べられているため、上記の最小化問題は、実際にはモデルに「最適」なものになります。つまり、平均二乗の意味で最小化された非対角成分を持つエラー共分散のサンプル推定値が得られます。データ ベクトルの直交投影であるため、その長さは投影されたデータ ベクトルの長さ (1) 以下であることがわかります。これらの長さの二乗は、縮小された相関行列の対角要素です。縮小された相関行列のこれらの対角要素は、「共通性」として知られています。 ${\displaystyle {\hat {z}}_{a}}$

${\displaystyle {h_{a}}^{2}=||{\hat {\mathbf {z} }}_{a}||^{2}=\sum _{p}{\ell _{ap}}^{2}}$

共通性の値が大きい場合、フィッティング超平面が相関行列をかなり正確に再現していることを示します。因子の平均値は 0 に制限される必要があり、その結果、誤差の平均値も 0 になります。

探索的因子分析（EFA）は、統一概念の一部である項目とグループ項目間の複雑な相互関係を識別するために使用されます。^{[4]研究者は、因子間の関係について}事前に仮定 を立てません。^[4]

確証的因子分析（CFA）は、項目が特定の因子と関連しているという仮説を検定する、より複雑なアプローチです。^[4] CFAは構造方程式モデリングを使用して測定モデルを検定し、因子への負荷によって観測変数と非観測変数の関係を評価できます。^[4] 構造方程式モデリング手法は測定誤差を許容でき、最小二乗推定よりも制約が少なくなります。^[4] 仮説モデルは実際のデータに対して検定され、分析によって観測変数の潜在変数（因子）への負荷と、潜在変数間の相関関係が示されます。^[4]

主成分分析（PCA）は、EFAの最初の段階である因子抽出に広く使用されている方法です。^[4]因子の重みは、可能な限り最大の分散を抽出するように計算され、意味のある分散がなくなるまで連続的に因子分解が続けられます。^[4]次に、因子モデルを回転させて分析する必要があります。^[4]

正準因子分析は、Rao の正準因子分解とも呼ばれ、主軸法を使用する PCA と同じモデルを計算する別の方法です。正準因子分析では、観測変数との正準相関が最も高い因子を探します。正準因子分析は、データの任意の再スケーリングの影響を受けません。

共通因子分析は、主因子分析(PFA) または主軸因数分解 (PAF)とも呼ばれ、一連の変数の共通分散 (相関) を説明できる最小の因子を探します。

イメージ因数分解は、実際の変数ではなく予測変数の相関行列に基づいており、各変数は多重回帰を使用して他の変数から予測されます。

アルファ因数分解は、変数が変数の集合からランダムにサンプリングされることを前提として、因子の信頼性を最大化することに基づいています。他のすべての方法では、ケースがサンプリングされ、変数が固定されることを前提としています。

因子回帰モデルは因子モデルと回帰モデルを組み合わせたモデルである。あるいは、因子が部分的にわかっている ハイブリッド因子モデル^{[5]とみなすこともできる。}

因子負荷量

共通性は、項目の標準化された外部負荷の二乗です。ピアソンの r二乗と同様に、二乗因子負荷は、その指標変数の分散のうち、因子によって説明される割合です。各因子によって説明されるすべての変数の分散の割合を取得するには、その因子 (列) の二乗因子負荷の合計を加算し、変数の数で割ります。(標準化された変数の分散は 1 であるため、変数の数は分散の合計に等しくなります。) これは、因子の固有値を変数の数で割ることと同じです。

解釈する際、確認的因子分析における経験則の 1 つとして、事前に特定された独立変数が特定の因子によって表されていることを確認するには、因子負荷が .7 以上である必要があります。その理由は、.7 レベルが、因子によって説明される指標の分散の約半分に相当するからです。ただし、.7 という基準は高い基準であり、実際のデータはこの基準を満たさない可能性があります。そのため、一部の研究者は、特に探索的な目的で、中心因子に .4、その他の因子に .25 などのより低いレベルを使用します。いずれにせよ、因子負荷は、恣意的なカットオフ レベルではなく、理論に照らして解釈する必要があります。

斜交回転では、パターン行列と構造行列の両方を調べることができます。構造行列は、直交回転の場合と同様に、単に因子負荷行列であり、測定された変数の分散を、因子によって一意の寄与と共通の寄与の両方に基づいて説明することを表します。対照的に、パターン行列には、一意の寄与のみを表す係数が含まれます。因子の数が多いほど、説明される分散への共通の寄与が増えるため、原則としてパターン係数は低くなります。斜交回転の場合、研究者は因子にラベルを付けるときに構造係数とパターン係数の両方を調べます。斜交回転の原理は、クロスエントロピーとそのデュアルエントロピーの両方から導き出すことができます。^[6]

共同体性

特定の変数 (行) のすべての因子の因子負荷量の二乗の合計は、すべての因子によって説明されるその変数の分散です。共通性は、すべての因子によって共同で説明される特定の変数の分散のパーセントを測定し、仮定される因子のコンテキストにおける指標の信頼性として解釈できます。

偽の解決策

共通性が 1.0 を超える場合、偽の解が存在し、これはサンプルが小さすぎるか、抽出する因子が多すぎるか少なすぎることを反映している可能性があります。

変数の一意性

変数の変動性からその共通性を引いたもの。

固有値/特性根

固有値は、各要因によって説明されるサンプル全体の変動量を測定し、固有値の比率は、変数に対する要因の説明的重要性の比率です。要因の固有値が低い場合、その要因は変数の変動の説明にほとんど貢献しておらず、より高い固有値を持つ要因よりも重要度が低いため無視できます。

抽出二乗負荷量の合計

初期固有値と抽出後の固有値 (SPSS では「抽出二乗負荷の合計」としてリストされます) は、PCA 抽出の場合は同じですが、他の抽出方法では、抽出後の固有値は初期固有値よりも低くなります。SPSS は「回転二乗負荷の合計」も出力しますが、PCA の場合でも、これらの固有値は初期固有値および抽出固有値とは異なりますが、合計は同じになります。

因子スコア

コンポーネントスコア（PCA）

因子分析の観点ではなく、PCA の観点から説明されています。

各要因 (列) に対する各ケース (行) のスコア。特定の要因に対する特定のケースの因子スコアを計算するには、各変数に対するケースの標準化スコアを取得し、特定の要因に対する変数の対応する負荷を乗算して、これらの積を合計します。因子スコアを計算すると、因子の外れ値を探すことができます。また、因子スコアは、後続のモデリングで変数として使用することもできます。

研究者は、因子保持に関する「自分にとって意味がある」といった主観的または恣意的な基準を避けたいと考えています。この問題を解決するために、ユーザーが調査するソリューションの適切な範囲を決定できる客観的な方法が数多く開発されています。^[7]しかし、これらの異なる方法では、保持すべき因子の数に関して意見が一致しないことがよくあります。たとえば、並列分析では 5 つの因子が提案されるのに対し、Velicer の MAP では 6 つの因子が提案される場合があり、研究者は 5 因子ソリューションと 6 因子ソリューションの両方を要求し、それぞれを外部データと理論との関係で議論することがあります。

ホーンの並列分析(PA): ^[8]観測された固有値を相関のない正規変数から得られた固有値と比較するモンテカルロベースのシミュレーション方法。関連する固有値がランダムデータから得られた固有値の分布の 95 パーセンタイルより大きい場合、因子またはコンポーネントは保持されます。PA は保持するコンポーネントの数を決定するための最も一般的に推奨されるルールの 1 つですが、^{[7] [9]}多くのプログラムではこのオプションが含まれていません (注目すべき例外はRです)。^[10]ただし、フォルマンは、そのパフォーマンスがサンプルサイズ、項目の識別、相関係数の種類によって大きく左右されるため、多くの場合、PA の適用は適切ではない可能性があるという理論的および経験的証拠を提供しました。^[11]

Velicer (1976) の MAP テスト^[12]は、Courtney (2013) ^[13]が説明しているように、「完全な主成分分析と、それに続く一連の偏相関行列の検査を含む」(p. 397 (ただし、この引用は Velicer (1976) にはなく、引用されているページ番号は引用のページ外にあります)。ステップ「0」の二乗相関 (図 4 を参照) は、偏りのない相関行列の平均二乗オフ対角相関です。ステップ 1 では、最初の主成分とそれに関連する項目が分割されます。その後、後続の相関行列の平均二乗オフ対角相関がステップ 1 に対して計算されます。ステップ 2 では、最初の 2 つの主成分が分割され、結果として得られる平均二乗オフ対角相関が再度計算されます。計算は、k マイナス 1 ステップ (k は行列内の変数の総数) に対して実行されます。その後、平均二乗オフ対角相関がすべて計算されます。各ステップの相関関係を並べ、平均二乗偏相関が最も低かった分析のステップ番号によって、保持する成分または因子の数が決まります。^[12]この方法では、相関行列の分散が残差分散や誤差分散ではなく系統的分散を表している限り、成分は保持されます。方法論的には主成分分析に似ていますが、MAP手法は複数のシミュレーション研究で保持する因子の数を決定する際に非常に優れたパフォーマンスを発揮することが示されています。^{[7] [14] [15] [16]}この手順は、SPSSのユーザーインターフェイス^[13]や、Rプログラミング言語のpsychパッケージを通じて利用できます。^{[17] [18]}

カイザー基準：カイザールールは、固有値が 1.0 未満のすべてのコンポーネントを除外することです。これは、平均的な単一項目によって説明される情報に等しい固有値です。^[19]カイザー基準は、SPSSおよびほとんどの統計ソフトウェアのデフォルトですが、因子数を推定するための唯一のカットオフ基準として使用することは推奨されません。因子を過剰に抽出する傾向があるためです。^[20]この方法のバリエーションが作成され、研究者が各固有値の信頼区間を計算し、信頼区間全体が 1.0 を超える因子のみを保持します。^{[14] [21]}

スクリープロット: ^[22] キャッテルのスクリーテストでは、X軸に成分、Y軸にそれに対応する固有値をプロットします。右に移動するにつれて、後の成分に向かって固有値は下がります。下降が止まり、曲線が緩やかな下降に向かって曲がると、キャッテルのスクリーテストでは、曲がった部分から始まる成分以降のすべての成分を除外するように指示します。このルールは、研究者が制御する「ごまかし」に弱いと批判されることがあります。つまり、曲線に複数の曲がったり滑らかな曲線になったりするため、「曲がった部分」の選択は主観的になる可能性があるため、研究者は研究計画で必要な因子の数でカットオフを設定する誘惑に駆られる可能性があります。^[要出典]

変動の説明基準: 一部の研究者は、変動の 90% (場合によっては 80%) を説明するのに十分な要因を保持するというルールを単純に使用します。研究者の目標が簡素化(できるだけ少ない要因で変動を説明する) を重視する場合、基準は 50​​% まで低くなる可能性があります。

潜在因子の数に事前分布を当てはめ、ベイズの定理を適用することで、ベイズモデルは潜在因子の数に対する確率分布を返すことができます。これは、インドビュッフェプロセス^[23]を使用してモデル化されていますが、任意の離散事前分布（たとえば、負の二項分布）を成分の数に当てはめるだけで、より簡単にモデル化できます。

PCA の出力は、まず最初の要因によって説明される分散を最大化し、次に 2 番目の要因によって説明される分散を最大化します。この手順の欠点は、ほとんどの項目が初期の要因にロードされるのに対し、後の変数にロードされる項目はごくわずかであることです。すべての質問が最初のいくつかのコンポーネントと強く相関しているのに対し、最後のいくつかのコンポーネントと強く相関している質問はごくわずかであるため、質問とロードのリストを読み取って要因を解釈することは困難です。

回転は、出力の解釈を容易にする役割を果たします。同じ主成分に対して異なる基準を選択すること、つまり、同じ相関構造を表現するために異なる要因を選択することで、より簡単に解釈できる変数を作成できます。

回転は直交または斜め回転が可能であり、斜め回転では因子を相関させることができます。 ^[24]この柔軟性の向上は、より多くの回転が可能であることを意味し、そのうちのいくつかは特定の目標を達成するのに適している可能性があります。ただし、一部の情報が「二重にカウント」され、異なるコンポーネントに複数回含まれるため、因子の解釈が難しくなる可能性もあります。一部の因子は互いにほぼ重複しているように見える場合もあります。

直交回転には、スパース行 (各行がケース、つまり主題) を探すものと、スパース列 (各列が変数) を探すものの 2 つの大まかなクラスがあります。

• 単純な因子: これらの回転は、いくつかの重要な変数のみを使用してすべての因子を説明しようとします。この効果は、バリマックス(最も一般的な回転) を使用することで実現できます。
• 単純な変数: これらの回転は、いくつかの重要な要因のみを使用してすべての変数を説明しようとします。この効果は、Quartimaxまたは PCA の回転されていないコンポーネントのいずれかを使用して実現できます。
• 両方: これらのローテーションは、上記の両方の目標の間で妥協しようとしますが、その過程で、両方のタスクで適合性が不十分になる可能性があります。そのため、上記の方法に比べて人気がありません。Equamaxは、そのようなローテーションの 1 つです。

各変数が複数の因子に負荷をかけている場合、因子構造を解釈することは困難です。データの小さな変化が因子回転基準のバランスを崩し、まったく異なる因子回転が生じることがあります。これにより、異なる実験の結果を比較することが困難になることがあります。この問題は、世界中の文化の違いに関するさまざまな研究の比較によって示されます。各研究は、文化変数の異なる尺度を使用し、異なる回転の因子分析結果を生み出しました。各研究の著者は、何か新しいものを発見したと信じ、発見した因子に新しい名前をつけました。その後の研究の比較では、回転していない結果を比較すると、結果がかなり似ていることがわかりました。因子回転の一般的な慣行により、さまざまな研究の結果の類似性が不明瞭になっています。^[25]

高次因子分析は、因子分析、斜交回転、回転因子の因子分析という手順を繰り返す統計手法です。そのメリットは、研究者が研究対象とする現象の階層構造を見ることができることです。結果を解釈するには、主因子パターン行列に高次因子パターン行列を乗算し(Gorsuch、1983)、その結果にバリマックス回転を適用する (Thompson、1990) か、主因子から二次因子への変動を帰属させる Schmid-Leiman 解法 (SLS、Schmid & Leiman、1957、Schmid-Leiman 変換とも呼ばれる) を使用します。

因子分析は主成分分析(PCA) と関連しているが、両者は同一ではない。^[26]この分野では、この 2 つの手法の違いについて大きな論争があった。PCA は、高速コンピュータの出現以前の初期に開発された探索的因子分析(EFA) のより基本的なバージョンと考えることができる。PCA と因子分析はどちらもデータセットの次元を削減することを目的としていますが、そのためのアプローチは 2 つの手法で異なる。因子分析は明らかに、観測変数から特定の観測不可能な因子を特定することを目的として設計されているが、PCA はこの目的に直接取り組むものではなく、せいぜい PCA は必要な因子の近似値を提供するに過ぎない。^[27]探索的分析の観点から見ると、 PCA の固有値は、誤差分散で汚染された、膨張した成分負荷である。^{[28] [29] [30] [31] [32] [33]}

EFAとPCA は統計学のいくつかの分野では同義の手法として扱われているが、これは批判されてきた。 ^{[34] [35]因子分析は「}根底にある因果構造の仮定を扱います。つまり、観測変数の共変動は、これらの観測変数に因果的影響を及ぼす 1 つ以上の潜在変数 (因子) の存在によるものであると仮定します」。^[36]対照的に、PCA はそのような根底にある因果関係を仮定することも、それに依存することもありません。研究者は、2 つの手法の違いは、分析の目的に基づいて、一方を他方よりも優先することに客観的な利点があることを意味する可能性があると主張してきました。因子モデルが誤って定式化されていたり、仮定が満たされていない場合、因子分析は誤った結果をもたらします。因子分析は、システムを十分に理解して適切な初期モデル定式化が可能な場合に効果的に使用されてきました。PCA は、共分散行列の形式に関する仮定なしに、元のデータへの数学的変換を使用します。 PCAの目的は、元の変数の線形結合を決定し、多くの情報を失うことなくデータセットを要約するために使用できるいくつかの変数を選択することです。^[37]

ファブリガーら（1999）^[34]は、 PCAが因子分析と同等ではないことを示唆するいくつかの理由を述べている。

1. PCA は因子分析よりも計算が速く、必要なリソースも少ないと示唆されることがあります。Fabrigar らは、容易に利用できるコンピュータ リソースによってこの実際的な懸念は無関係になったと示唆しています。
2. PCA と因子分析は、同様の結果を生み出すことができます。この点は、Fabrigar らも指摘しています。共通性が低い場合 (例: 0.4) など、特定のケースでは、2 つの手法で異なる結果が生成されます。実際、Fabrigar らは、データが共通因子モデルの仮定に一致する場合、PCA の結果は不正確な結果になると主張しています。
3. 因子分析によって「ヘイウッド事例」が発生する特定のケースがあります。これには、測定された変数の分散の 100% 以上がモデルによって説明されると推定される状況が含まれます。Fabrigar らは、これらの事例は研究者にとって実際に有益であり、モデルが誤って指定されているか、共通因子モデルに違反していることを示しています。PCA アプローチではヘイウッド事例がないため、このような問題が見過ごされる可能性があります。
4. 研究者は、PCA アプローチから、特定のコンポーネントに関する個人のスコアなどの追加情報を得ることができます。このような情報は因子分析からは得られません。しかし、Fabrigar らが主張するように、因子分析の一般的な目的 (つまり、測定された変数間の相関関係の構造を説明する因子を特定すること) には因子スコアの知識は必要ないため、この利点は打ち消されます。因子分析から因子スコアを計算することもできます。

因子分析は測定に内在するランダム誤差を考慮に入れますが、PCAはそれを考慮に入れません。この点はBrown (2009) ^[38]によって例示されており、彼は計算に含まれる相関行列に関して次のように述べています。

「PCA では、1.00 が対角線上に配置され、行列内のすべての分散 (各変数固有の分散、変数間で共通の分散、およびエラー分散を含む) が考慮されることを意味します。したがって、定義上、変数内のすべての分散が含まれます。対照的に、EFA では、共通性が対角線上に配置され、他の変数と共有される分散のみ (各変数固有の分散とエラー分散を除く) が考慮されることを意味します。したがって、定義上、変数間で共通の分散のみが含まれます。」

— ブラウン (2009)、主成分分析と探索的因子分析 – 定義、相違点、選択肢

このため、Brown (2009) は、変数間の関係についての理論的な考えが存在する場合には因子分析を使用することを推奨していますが、研究者の目標がデータ内のパターンを探索することである場合は PCA を使用する必要があります。

PCAと因子分析（FA）の違いは、Suhr（2009）によってさらに説明されている。^[35]

• PCA は、観測変数の最大分散量を説明する主成分を生成し、FA はデータ内の共通分散を説明します。
• PCA は相関行列の対角に 1 を挿入します。FA は相関行列の対角を固有の因子で調整します。
• PCA は、コンポーネント軸に対する垂直距離の二乗の合計を最小化します。FA は、観測された変数に対する応答に影響を与える要因を推定します。
• PCA のコンポーネント スコアは、固有ベクトルによって重み付けされた観測変数の線形結合を表します。FA の観測変数は、基礎となる要因と固有の要因の線形結合です。
• PCA では、生成されたコンポーネントは解釈不能であり、つまり基礎となる「構成要素」を表しません。一方、FA では、正確なモデル仕様が与えられれば、基礎となる構成要素にラベルを付けて簡単に解釈できます。

チャールズ・スピアマンは共通因子分析について議論した最初の心理学者であり^[39]、1904年の論文^[40]で議論しました。その論文では彼の方法についての詳細はほとんど示されておらず、単一因子モデルに焦点を当てていました。^[41]彼は、一見無関係に思えるさまざまな科目における学童の成績が正の相関関係にあることを発見し、単一の一般的な精神的能力、つまりgが人間の認知能力の根底にあり、それを形作っているという仮説を立てました。

複数の因子を用いた共通因子分析の初期の開発は、ルイス・サーストンが1930年代初頭に2つの論文で発表し、^{[42] [43]} 1935年の著書『心のベクトル』にまとめられました。^[44]サーストンは、共通性、独自性、ローテーションなど、いくつかの重要な因子分析の概念を導入しました。^[45]彼は「単純な構造」を提唱し、そのような構造を実現する方法として使用できるローテーションの方法を考案しました。^[39]

Q法において、スピアマンの弟子であるウィリアム・スティーブンソンは、個人間の差異の研究を志向したR因子分析と、主観的な個人内の差異を志向したQ因子分析を区別している。 ^{[46] [47]}

レイモンド・キャッテルは因子分析と心理測定学の強力な支持者であり、サーストンの多因子理論を用いて知能を説明しました。キャッテルはスクリーテストと類似性係数も開発しました。

因子分析は、さまざまなテストのさまざまな結果を説明する「要因」を特定するために使用されます。たとえば、知能研究では、言語能力のテストで高得点を取る人は、言語能力を必要とする他のテストでも優秀であることがわかりました。研究者は、因子分析を使用して、言語能力を含む問題を解く能力の程度を表す、しばしば言語知能と呼ばれる 1 つの要因を分離することでこれを説明しました。^{[引用が必要]}

心理学における因子分析は、知能研究と関連付けられることが最も多い。しかし、性格、態度、信念など、幅広い領域の因子を見つけるためにも使用されている。因子分析は心理測定学と関連しており、機器が仮定された因子を実際に測定しているかどうかを調べることで機器の妥当性を評価できる。^[要出典]

• 2 つ以上の変数を 1 つの因子に組み合わせることによって、変数の数を減らします。たとえば、ランニング、ボール投げ、バッティング、ジャンプ、ウェイトリフティングのパフォーマンスは、一般的な運動能力などの 1 つの因子に組み合わせることができます。通常、項目別人マトリックスでは、関連する項目をグループ化して因子を選択します。Q 因子分析手法では、マトリックスを転置し、関連する人をグループ化して因子を作成します。たとえば、リベラル、リバタリアン、保守、社会主義者は、別々のグループを形成する可能性があります。
• 相互に関連する変数のグループを識別し、それらが互いにどのように関連しているかを確認します。たとえば、キャロルは因子分析を使用して3 層理論を構築しました。彼は、「広い視覚知覚」と呼ばれる因子が、視覚タスクにおける個人の優秀さに関連していることを発見しました。また、聴覚タスク能力に関連する「広い聴覚知覚」因子も発見しました。さらに、彼は「広い視覚知覚」と「広い聴覚知覚」の両方に関連する「g」または一般知能と呼ばれるグローバル因子を発見しました。これは、「g」が高い人は「視覚知覚」能力と「聴覚知覚」能力の両方が高い可能性が高く、したがって「g」は、その人がこれらの両方の領域で優れているか劣っているかの大部分を説明することを意味します。

• 「...それぞれの方向は数学的には同等に受け入れられます。しかし、異なる因子理論は、与えられたソリューションに対する因子軸の方向に関して、他の点と同様に大きく異なることが判明したため、モデルフィッティングは理論を区別するのに役立たないことが判明しました。」（Sternberg、1977 ^[48]）。これは、すべての回転が異なる基礎プロセスを表すが、すべての回転が標準的な因子分析最適化の同等に有効な結果であることを意味します。したがって、因子分析のみを使用して適切な回転を選択することは不可能です。
• 因子分析は、データが許す限りにおいてのみ有効です。心理学では、研究者は自己報告などの妥当性や信頼性の低い尺度に頼らざるを得ないことが多いため、これが問題となることがあります。
• 因子分析の解釈は、「ヒューリスティック」の使用に基づいています。これは、「絶対に真実ではないとしても便利な」解決策です。^[49]同じデータを同じ方法で因子分解すると、複数の解釈が可能になり、因子分析では因果関係を特定できません。

因子分析は異文化研究で頻繁に使用される手法である。その目的は文化的次元を抽出することである。最もよく知られている文化的次元モデルは、ヘルト・ホフステード、ロナルド・イングルハート、クリスチャン・ウェルツェル、シャローム・シュワルツ、マイケル・ミンコフによって開発されたものである。よく使われる視覚化は、イングルハートとウェルツェルの世界文化地図である。^[25]

1965年初頭の研究では、世界中の政治システムが因子分析によって調査され、関連する理論モデルと研究が構築され、政治システムの比較が行われ、類型的なカテゴリーが作成されました。^[50]これらの目的のために、この研究では、さまざまな政治行動に関連する7つの基本的な政治的次元が特定されています。これらの次元は、アクセス、差別化、コンセンサス、セクショナリズム、正当化、利益、リーダーシップの理論と研究です。

他の政治学者は、1988年の全国選挙調査に追加された4つの新しい質問を使用して、内部の政治的効力の測定を調査しています。因子分析により、これらの項目は外部の効力や政治的信頼とは異なる単一の概念を測定しており、これらの4つの質問は、その時点では内部の政治的効力を最もよく測定するものであることが分かりました。^[51]

基本的な手順は次のとおりです。

• 消費者がこのカテゴリーの製品を評価するために使用する顕著な属性を特定します。
• 定量的なマーケティング調査手法 (アンケートなど)を使用して、すべての製品属性の評価に関する潜在顧客のサンプルからデータを収集します。
• データを統計プログラムに入力し、因子分析手順を実行します。コンピューターは基礎となる属性 (または因子) のセットを生成します。
• これらの要素を使用して、知覚マップやその他の製品ポジショニングデバイスを構築します。

データ収集段階は通常、マーケティング調査の専門家によって行われます。調査の質問では、回答者に製品サンプルまたは製品コンセプトの説明をさまざまな属性に基づいて評価するよう求めます。5 から 20 の属性が選択されます。使いやすさ、重量、精度、耐久性、色彩、価格、サイズなどが含まれます。選択される属性は、調査対象の製品によって異なります。調査対象のすべての製品について同じ質問が行われます。複数の製品のデータはコード化され、R、SPSS、SAS、Stata、STATISTICA、JMP、SYSTAT などの統計プログラムに入力されます。

この分析では、関連のマトリックスを使用して、データを説明する根本的な要因を分離します。^[52]因子分析は相互依存性の手法です。相互依存関係の完全なセットが調べられます。従属変数、独立変数、または因果関係の指定はありません。因子分析では、さまざまな属性のすべての評価データをいくつかの重要な次元にまで削減できることを前提としています。この削減が可能なのは、一部の属性が互いに関連している可能性があるためです。いずれかの属性に与えられた評価は、部分的には他の属性の影響の結果です。統計アルゴリズムは、評価 (生のスコアと呼ばれる) をさまざまなコンポーネントに分解し、部分的なスコアを根本的な因子スコアに再構築します。最初の生のスコアと最終的な因子スコアの相関の度合いは、因子負荷と呼ばれます。

• 主観的属性をスコアに変換できる場合は、客観的属性と主観的属性の両方を使用できます。
• 因子分析では、直接的な分析では識別できない潜在的な次元や構成を識別できます。
• 簡単で安価です。

• 有用性は、研究者が十分な製品属性のセットを収集できるかどうかによって決まります。重要な属性が除外されたり無視されたりすると、手順の価値は低下します。
• 観測変数のセットが互いに非常に類似しており、他の項目と異なる場合、因子分析ではそれらに単一の因子が割り当てられます。これにより、より興味深い関係を表す因子が不明瞭になる可能性があります。^{[説明が必要]}
• 一見異なる属性が未知の理由で強く相関する可能性があるため、命名要素には理論の知識が必要になる場合があります。

因子分析は、地球化学、 水化学、^[53] 天体物理学、宇宙論などの物理科学だけでなく、生態学、分子生物学、神経科学、生化学などの生物科学でも広く使用されています。

地下水の水質管理においては、異なる化学的パラメータの空間分布を、異なる化学的特徴を持つさまざまな可能性のある発生源に関連付けることが重要です。たとえば、硫化物鉱山は、高レベルの酸性度、溶解した硫酸塩、遷移金属と関連している可能性があります。これらの特徴は、Rモード因子分析によって因子として識別でき、因子スコアを等高線化することで、可能性のある発生源の位置を示唆できます。^[54]

地球化学では、異なる因子が異なる鉱物の組み合わせに対応し、したがって鉱化に対応する可能性がある。^[55]

因子分析は、 Affymetrix GeneChipsのプローブレベルで高密度オリゴヌクレオチド DNAマイクロアレイデータを要約するために使用できます。この場合、潜在変数はサンプル中のRNA濃度に対応します。 ^[56]

因子分析は 1980 年代以降、いくつかの統計分析プログラムに実装されてきました。

• BMDP
• JMP（統計ソフトウェア）
• [Mplus（統計ソフト）]
• Python : モジュールscikit-learn ^[57]
• R (パッケージpsychの基本関数factanalまたはfa関数を使用)。回転はGPArotation R パッケージで実装されています。
• SAS (PROC FACTOR または PROC CALIS を使用)
• ＳＰＳＳ^[58]
• スタタ

• 因子[1] -ロビラ・イ・ヴィルジリ大学が開発した無料の因子分析ソフトウェア

• チャイルド、デニス（2006）、因子分析の基本（第3版）、コンティニュアムインターナショナル、ISBN 978-0-8264-8000-2。
• Fabrigar, LR; Wegener, DT; MacCallum, RC ; Strahan, EJ (1999 年 9 月)。「心理学研究における探索的因子分析の使用の評価」。心理学的方法。4 (3): 272–299。doi : 10.1037 /1082-989X.4.3.272。
• BT Gray (1997) 高次因子分析 (会議論文)
• Jennrich, Robert I.、「コンポーネント損失関数を使用した単純荷重への回転: 斜交の場合」、Psychometrika、第 71 巻、第 1 号、pp. 173-191、2006 年 3 月。
• Katz, Jeffrey Owen、Rohlf, F. James。「一次製品機能平面：単純な構造への斜め回転」。多変量行動研究、1975年4月、第10巻、pp. 219-232。
• Katz, Jeffrey Owen、Rohlf, F. James。Functionplane: 単純な構造の回転に対する新しいアプローチ。Psychometrika 、 1974 年 3 月、第 39 巻、第 1 号、37 ～ 51 ページ。
• Katz, Jeffrey Owen、Rohlf, F. James。機能ポイントクラスター分析。Systematic Zoology、1973年9月、第22巻、第3号、pp. 295-301。
• Mulaik, SA (2010)、因子分析の基礎、Chapman & Hall。
• Preacher, KJ; MacCallum, RC (2003). 「Tom Swift の電気因子分析マシンの修理」(PDF) .統計の理解. 2 (1): 13–43. doi :10.1207/S15328031US0201_02. hdl : 1808/1492 .
• J.シュミットとJMレイマン（1957）階層的因子解法の開発Psychometrika、22（1）、53-61。
• トンプソン、B.（2004）、探索的因子分析と確証的因子分析：概念と応用の理解、ワシントンDC：アメリカ心理学会、ISBN 978-1591470939。

• Hans-Georg Wolff、Katja Preising (2005) シュミット・ライマン解法による項目および高次因子構造の探索: SPSS および SAS の構文コード行動研究方法、機器、コンピュータ、37 (1)、48-58

• 因子分析の初心者ガイド
• 探索的因子分析。タッカー、L.とマッカラムR.（1993）による本の原稿。2006年6月8日取得。[2] 2013年5月23日、Wayback Machineでアーカイブ
• Garson, G. David、「因子分析」、Statnotes: 多変量解析のトピックより。2009 年 4 月 13 日に StatNotes: 多変量解析のトピック、ノースカロライナ州立大学、行政プログラムの G. David Garson より取得。
• 因子分析100 — 会議資料
• FARMS — 堅牢なマイクロアレイ要約のための因子分析、R パッケージ