因子分析

このモデルは、一連の${\displaystyle p}$それぞれの観察結果${\displaystyle n}$一連の${\displaystyle k}$共通因子（${\displaystyle f_{i,j}}$) 単位あたりの要因数が単位あたりの観測数より少ない場合 (${\displaystyle k<p}$)各個人は${\displaystyle k}$それぞれの共通因子であり、これらは因子負荷行列を介して観測値と関連付けられています（$\displaystyle L\in \mathbb {R} ^{p\times k}}$）単一の観測値については、

${\displaystyle x_{i,m}-\mu _{i}=l_{i,1}f_{1,m}+\dots +l_{i,k}f_{k,m}+\varepsilon _{i,m}}$

どこ

• ${\displaystyle x_{i,m}}$の値は${\displaystyle i}$の th 観測${\displaystyle m}$th 個人、
• $\displaystyle \mu _{i}}$観測平均は${\displaystyle i}$th 観測、
• ${\displaystyle l_{i,j}}$の読み込みは${\displaystyle i}$の th 観測${\displaystyle j}$第 1 要因、
• ${\displaystyle f_{j,m}}$の値は${\displaystyle j}$の 番目の要因${\displaystyle m}$個人、そして
• ${\displaystyle \varepsilon _{i,m}}$は${\displaystyle (i,m)}$平均がゼロで有限の分散を持つ、観測されない確率的誤差項。

行列表記では

${\displaystyle X-\mathrm {M} =LF+\varepsilon }$

観測行列${\displaystyle X\in \mathbb {R} ^{p\times n}}$、負荷行列$\displaystyle L\in \mathbb {R} ^{p\times k}}$因子行列${\displaystyle F\in \mathbb {R} ^{k\times n}}$誤差項行列$\displaystyle \varepsilon \in \mathbb {R} ^{p\times n}}$平均行列${\displaystyle \mathrm {M} \in \mathbb {R} ^{p\times n}}$これにより${\displaystyle (i,m)}$th要素は単に${\displaystyle \mathrm {M} _{i,m}=\mu _{i}}$。

また、以下の仮定を課します。${\displaystyle F}$:

1. ${\displaystyle F}$そして${\displaystyle \varepsilon }$独立している。
2. ${\displaystyle \mathrm {E} (F)=0}$; どこ${\displaystyle \mathrm {E} }$ 期待​
3. ${\displaystyle \mathrm {Cov} (F)=I}$どこ${\displaystyle \mathrm {Cov} }$は共分散行列 であり、因子が無相関であることを確認するために、${\displaystyle I}$は単位行列です。

仮定する${\displaystyle \mathrm {Cov} (X-\mathrm {M} )=\Sigma }$。 それから

${\displaystyle \Sigma =\mathrm {Cov} (X-\mathrm {M} )=\mathrm {Cov} (LF+\varepsilon ),\,}$

したがって、条件1と2から、${\displaystyle F}$その上、${\displaystyle E[LF]=LE[F]=0}$そして${\displaystyle \mathrm {Cov} (LF+\epsilon )=\mathrm {Cov} (LF)+\mathrm {Cov} (\epsilon )}$与える

${\displaystyle \Sigma =L\mathrm {Cov} (F)L^{T}+\mathrm {Cov} (\varepsilon ),\,}$

または、設定${\displaystyle \Psi$ :=\mathrm {Cov} (\varepsilon )} 、

${\displaystyle \Sigma =LL^{T}+\Psi .\,}$

任意の直交行列に対して${\displaystyle Q}$設定すると${\displaystyle L^{\prime }=\ LQ}$そして${\displaystyle F^{\prime }=Q^{T}F}$因子および因子負荷量の基準は依然として有効である。したがって、因子および因子負荷量のセットは、直交変換を除いて一意である。

ある心理学者が、「言語的知能」と「数学的知能」という2種類の知能が存在し、どちらも直接観察できないという仮説を立てたとします。 ^{[注1 ]}この仮説の証拠は、10種類の異なる学問分野に在籍する1000人の学生の試験結果から探されます。各学生が大規模な母集団から無作為に選ばれた場合、各学生の10個のスコアは確率変数となります。心理学者の仮説では、10種類の学問分野それぞれについて、言語的知能と数学的知能の共通の値を持つ学生のグループの平均スコアは、言語的知能のレベルに定数を掛けたものと、数学的知能のレベルに定数を掛けたものの合計、つまり、これら2つの「因子」の線形結合であるとされています。特定の科目について、2種類の知能を掛け合わせて期待スコアを得る数値は、すべての知能レベルのペアで同じであると仮説によって想定されており、この科目の「因子負荷量」と呼ばれます。 例えば、天文学分野における平均的な学生の適性は、次のような仮説を立てることができる。

{10 × 生徒の言語的知能} + {6 × 生徒の数学的知能}。

10と6は、天文学に関連する因子負荷量です。他の学問分野では、異なる因子負荷量を持つ場合があります。

言語能力と数学能力が同程度であると想定される2人の学生が、天文学の適性において異なる測定値を示す可能性がある。これは、個々の適性が平均的な適性（上記で予測したもの）と異なること、および測定誤差そのものによるものである。こうした差異は総称して「誤差」と呼ばれる。誤差とは、測定された個人の値が、その個人の知能レベルにおける平均値または予測値とどの程度異なるかを示す統計用語である（統計学における誤差と残差を参照）。

因子分析に用いる観測データは、1000人の生徒それぞれについて得られた10個のスコア、合計10,000個の数値である。各生徒の2種類の知能の因子負荷量とレベルは、このデータから推測する必要がある。

以下では、行列は添え字付き変数で示されます。「学術科目」の添え字は文字で示されます。${\displaystyle a}$、${\displaystyle b}$そして${\displaystyle c}$値は${\displaystyle 1}$に${\displaystyle p}$これは${\displaystyle 10}$上記の例では、「因子」のインデックスは文字で示されます。${\displaystyle p}$、${\displaystyle q}$そして${\displaystyle r}$値は${\displaystyle 1}$に${\displaystyle k}$これは${\displaystyle 2}$上記の例では、「インスタンス」または「サンプル」のインデックスは文字で示されます。${\displaystyle i}$、${\displaystyle j}$そして${\displaystyle k}$値は${\displaystyle 1}$に${\displaystyle N}$上記の例では、サンプルが${\displaystyle N=1000}$学生たちは参加しました${\displaystyle p=10}$試験、${\displaystyle i}$学生の得点${\displaystyle a}$試験は${\displaystyle x_{ai}}$因子分析の目的は、変数間の相関関係を明らかにすることである。${\displaystyle x_{a}}$そのうち${\displaystyle x_{ai}}$これらは特定の事例、または一連の観測値です。変数を同等にするために、標準スコアに正規化されます。${\displaystyle z}$:

${\displaystyle z_{ai}={\frac {x_{ai}-{\hat {\mu }}_{a}}{{\hat {\sigma }}_{a}}}}$

ここで、標本平均は次のようになります。

${\displaystyle {\hat {\mu }}_{a}={\tfrac {1}{N}}\sum _{i}x_{ai}}$

標本分散は次のように表されます。

${\displaystyle {\hat {\sigma }}_{a}^{2}={\tfrac {1}{N-1}}\sum _{i}(x_{ai}-{\hat {\mu }}_{a})^{2}}$

この特定のサンプルに対する因子分析モデルは次のようになります。

${\displaystyle {\begin{matrix}z_{1,i}&=&\ell _{1,1}F_{1,i}&+&\ell _{1,2}F_{2,i}&+&\varepsilon _{1,i}\\\vdots &&\vdots &&\vdots &&\vdots \\z_{10,i}&=&\ell _{10,1}F_{1,i}&+&\ell _{10,2}F_{2,i}&+&\varepsilon _{10,i}\end{matrix}}}$

あるいは、もっと簡潔に言うと：

${\displaystyle z_{ai}=\sum _{p}\ell _{ap}F_{pi}+\varepsilon _{ai}}$

どこ

• ${\displaystyle F_{1i}}$は${\displaystyle i}$生徒の「言語知能」
• ${\displaystyle F_{2i}}$は${\displaystyle i}$生徒の「数学的知能」
• ${\displaystyle \ell _{ap}}$は、${\displaystyle a}$第 1 主題、${\displaystyle p=1,2}$。

行列表記では、

${\displaystyle Z=LF+\varepsilon }$

「言語的知能」の尺度を2倍にすることで、各列の最初の要素が${\displaystyle F}$—は測定され、同時に言語知能の因子負荷量を半分にしてもモデルに違いはありません。したがって、言語知能の因子の標準偏差が${\displaystyle 1}$数学的知能についても同様である。さらに、同様の理由から、これら2つの要素が互いに無相関であると仮定しても、一般性は失われない。言い換えれば、次のようになる。

${\displaystyle \sum _{i}F_{pi}F_{qi}=\delta _{pq}}$

どこ${\displaystyle \delta _{pq}}$はクロネッカーデルタ（${\displaystyle 0}$いつ${\displaystyle p\neq q}$そして${\displaystyle 1}$いつ${\displaystyle p=q}$誤差は、以下の要因とは無関係であると仮定します。

${\displaystyle \sum _{i}F_{pi}\varepsilon _{ai}=0}$

解のどの回転も解となるため、このことが要因の解釈を困難にしています。以下の欠点を参照してください。この例では、2種類の知能が無相関であることを事前に知らなければ、2つの要因を2種類の異なる知能として解釈することはできません。たとえ無相関であっても、外部の議論なしに、どちらの要因が言語的知能に対応し、どちらが数学的知能に対応するのかを判断することはできません。

ローディングの値${\displaystyle L}$平均値${\displaystyle \mu }$、そして「誤差」の分散${\displaystyle \varepsilon }$観測データに基づいて推定する必要がある${\displaystyle X}$そして${\displaystyle F}$（要因のレベルに関する仮定は、特定の条件に対して固定されている）${\displaystyle F}$上記の条件から「基本定理」を導き出すことができる。

${\displaystyle \sum _{i}z_{ai}z_{bi}=\sum _{j}\ell _{aj}\ell _{bj}+\sum _{i}\varepsilon _{ai}\varepsilon _{bi}}$

左側の用語は${\displaystyle (a,b)}$相関行列の項 (a${\displaystyle p\times p}$行列は、${\displaystyle p\times N}$観測データの標準化された観測値の行列とその転置行列、およびその${\displaystyle p}$対角要素は${\displaystyle 1}$右辺の2番目の項は、1未満の項を持つ対角行列になります。右辺の1番目の項は「縮小相関行列」であり、対角値が1未満である点を除いて相関行列と等しくなります。縮小相関行列のこれらの対角要素は「共通性」（観測変数の分散のうち、因子によって説明される割合を表す）と呼ばれます。

${\displaystyle h_{a}^{2}=1-\psi _{a}=\sum _{j}\ell _{aj}\ell _{aj}}$

サンプルデータ${\displaystyle z_{ai}}$サンプリング誤差やモデルの不備などにより、上記の基本方程式に厳密には従わない。上記のモデルの分析の目的は、要因を見つけることである。${\displaystyle F_{pi}}$積載量${\displaystyle \ell _{ap}}$これはデータに「最適適合」を与えるものです。因子分析では、最適適合は相関行列の非対角残差の平均二乗誤差の最小値として定義されます。^{[ 3 ]}

${\displaystyle \varepsilon ^{2}=\sum _{a\neq b}\left[\sum _{i}z_{ai}z_{bi}-\sum _{j}\ell _{aj}\ell _{bj}\right]^{2}}$

これは、モデル方程式では期待値がゼロである誤差共分散の非対角成分を最小化することに相当します。これは、すべての残差の平均二乗誤差を最小化しようとする主成分分析とは対照的です。^{[ 3 ]}高速コンピュータの登場以前は、特に他の手段で共通性を推定することに、この問題の近似解を見つけるためにかなりの努力が費やされ、その結果、既知の縮小相関行列が得られ、問題が大幅に単純化されました。その後、これを使用して因子と負荷量を推定しました。高速コンピュータの登場により、最小化問題を十分な速度で反復的に解くことができ、共通性は事前に必要とするのではなく、その過程で計算されます。MinResアルゴリズムはこの問題に特に適していますが、解を見つけるための反復手段はこれだけではありません。

解の因子が相関していることが許容される場合（例えば、「オブリミン」回転の場合など）、対応する数学モデルは直交座標ではなく歪座標を使用します。

因子分析のパラメータと変数には幾何学的な解釈を与えることができる。データ（${\displaystyle z_{ai}}$）、要因（${\displaystyle F_{pi}}$）とエラー（${\displaystyle \varepsilon _{ai}}$）は、${\displaystyle N}$次元ユークリッド空間（サンプル空間）は、次のように表される。${\displaystyle \mathbf {z} _{a}}$、${\displaystyle \mathbf {F} _{p}}$そして${\displaystyle {\boldsymbol {\varepsilon }}_{a}}$それぞれ。データは標準化されているため、データベクトルの長さは単位長です（${\displaystyle ||\mathbf {z} _{a}||=1}$) 因子ベクトルは、${\displaystyle k}$この空間には、データベクトルが直交投影される次元線形部分空間（すなわち超平面）が存在する。これはモデル方程式から導かれる。

${\displaystyle \mathbf {z} _{a}=\sum _{p}\ell _{ap}\mathbf {F} _{p}+{\boldsymbol {\varepsilon }}_{a}}$

そして、要因と誤差の独立性：${\displaystyle \mathbf {F} _{p}\cdot {\boldsymbol {\varepsilon }}_{a}=0}$上記の例では、超平面は2つの因子ベクトルによって定義される2次元平面です。データベクトルの超平面への投影は次のように表されます。

${\displaystyle {\hat {\mathbf {z} }}_{a}=\sum _{p}\ell _{ap}\mathbf {F} _{p}}$

誤差は、その投影点からデータ点へのベクトルであり、超平面に垂直です。因子分析の目標は、ある意味でデータに「最適適合」する超平面を見つけることなので、この超平面を定義する因子ベクトルの選択方法は、それらが独立していて超平面内にある限り、問題ではありません。直交性と正規性の両方として指定できます（${\displaystyle \mathbf {F} _{p}\cdot \mathbf {F} _{q}=\delta _{pq}}$）一般性を失うことなく。適切な因子のセットが見つかった後、それらは超平面内で任意に回転することもできるため、因子ベクトルの任意の回転は同じ超平面を定義し、解にもなります。結果として、上記の例では、適合する超平面が 2 次元であるため、2 種類の知能が相関していないことを事前に知らなければ、2 つの因子を 2 種類の異なる知能として解釈することはできません。相関がないとしても、外部の議論なしに、どちらの因子が言語的知能に対応し、どちらが数学的知能に対応しているか、あるいは因子が両方の線形結合であるかどうかを判断することはできません。

データベクトル${\displaystyle \mathbf {z} _{a}}$単位長を持つ。データの相関行列の要素は次のように与えられる。${\displaystyle r_{ab}=\mathbf {z} _{a}\cdot \mathbf {z} _{b}}$相関行列は、2つのデータベクトル間の角度のコサインとして幾何学的に解釈できる。${\displaystyle \mathbf {z} _{a}}$そして${\displaystyle \mathbf {z} _{b}}$対角要素は明らかに${\displaystyle 1}$s と非対角要素の絶対値は 1 以下になります。「縮小相関行列」は次のように定義されます。

${\displaystyle {\hat {r}}_{ab}={\hat {\mathbf {z} }}_{a}\cdot {\hat {\mathbf {z} }}_{b}}$。

因子分析の目的は、相関行列の対角要素（単位値を持つことが知られている）を除いて、縮約された相関行列が相関行列をできる限り忠実に再現するような適合超平面を選択することです。言い換えれば、データの相互相関をできる限り正確に再現することが目的です。具体的には、適合超平面について、非対角成分の平均二乗誤差が

${\displaystyle \varepsilon ^{2}=\sum _{a\neq b}\left(r_{ab}-{\hat {r}}_{ab}\right)^{2}}$

を最小化することが目的であり、これは正規直交因子ベクトルの集合に関して最小化することによって達成される。

${\displaystyle r_{ab}-{\hat {r}}_{ab}={\boldsymbol {\varepsilon }}_{a}\cdot {\boldsymbol {\varepsilon }}_{b}}$

右辺の項は誤差の共分散です。モデルでは、誤差共分散は対角行列であるとされているため、上記の最小化問題は実際にはモデルへの「最適適合」をもたらします。つまり、平均二乗の意味で非対角成分が最小化された誤差共分散のサンプル推定値が得られます。${\displaystyle {\hat {z}}_{a}}$これらはデータベクトルの直交射影であり、その長さは射影されたデータベクトルの長さ（1）以下になります。これらの長さの2乗は、縮小相関行列の対角要素に相当します。縮小相関行列のこれらの対角要素は「共通性」と呼ばれます。

${\displaystyle {h_{a}}^{2}=||{\hat {\mathbf {z} }}_{a}||^{2}=\sum _{p}{\ell _{ap}}^{2}}$

共通性の値が大きいほど、フィッティングされた超平面が相関行列をかなり正確に再現していることを示します。また、因子の平均値はゼロに制約する必要があり、そこから誤差の平均値もゼロになることがわかります。

主成分分析（PCA）は、EFAの最初の段階である因子抽出に広く用いられている手法です。^{[ 4 ]}因子の重みは、可能な限り最大の分散を抽出するように計算され、意味のある分散がなくなるまで因子抽出が続けられます。^{[ 4 ]}その後、因子モデルを回転させて分析する必要があります。^{[ 4 ]}

正準因子分析（ラオの正準因子分析とも呼ばれる）は、主軸法を用いる主成分分析（PCA）とは異なる方法で同じモデルを計算する手法です。正準因子分析は、観測変数との正準相関が最も高い因子を探索します。また、正準因子分析は、データの任意の再スケーリングの影響を受けません。

共通因子分析（主因子分析（PFA）または主軸因子分析（PAF）とも呼ばれる）は、一連の変数の共通分散（相関）を説明できる最小限の因子を求める手法である。

画像ファクタリングは、実際の変数ではなく、予測された変数の相関行列に基づいており、各変数は多重回帰を使用して他の変数から予測されます。

アルファファクター法は、変数群からランダムに変数を抽出し、因子の信頼性を最大化することを基本としています。他のすべての方法は、事例を抽出し、変数を固定することを前提としています。

因子回帰モデルは、因子モデルと回帰モデルの組み合わせモデルです。あるいは、因子が部分的に既知であるハイブリッド因子モデル^{[ 5 ]}と見なすこともできます。

因子負荷量

共通性とは、項目の標準化された外側負荷の二乗です。ピアソンのr二乗に類似して、二乗因子負荷は、その指標変数の分散のうち、因子によって説明される割合です。各因子によって説明されるすべての変数の分散の割合を取得するには、その因子（列）の二乗因子負荷の合計を加算し、変数の数で割ります。（標準化された変数の分散は1であるため、変数の数はそれらの分散の合計に等しくなります。）これは、因子の固有値を変数の数で割ることと同じです。

確認的因子分析における経験則の一つとして、因子負荷量は0.7以上であるべきとされています。これは、事前に特定された独立変数が特定の因子によって表されていることを確認するためです。0.7という値は、指標の分散の約半分がその因子によって説明されることを意味します。しかし、0.7という基準は高く、実際のデータは必ずしもこの基準を満たさない可能性があります。そのため、特に探索的な目的においては、中心因子には0.4、その他の因子には0.25といった低い値を用いる研究者もいます。いずれにせよ、因子負荷量は理論に基づいて解釈されるべきであり、恣意的なカットオフ値に基づいて解釈されるべきではありません。

斜交回転では、パターン行列と構造行列の両方を調べることができます。構造行列は、直交回転の場合と同様に、測定変数の分散を、固有寄与と共通寄与の両方に基づいて因子によって説明できる因子負荷行列です。一方、パターン行列には、固有寄与のみを表す係数が含まれています。一般的に、因子の数が多いほど、分散の説明に対する共通寄与が増えるため、パターン係数は低くなります。斜交回転では、研究者は因子にラベルを割り当てる際に、構造係数とパターン係数の両方を調べます。斜交回転の原理は、交差エントロピーとその双対エントロピーの両方から導き出すことができます。^{[ 6 ]}

共通性

ある変数（行）について、すべての因子の因子負荷量の二乗の合計は、その変数の分散のうち、すべての因子によって説明される部分を表します。共通性は、ある変数の分散のうち、すべての因子によって共同で説明される割合を測定するものであり、想定される因子の文脈における指標の信頼性として解釈できます。

偽の解

共通性が1.0を超える場合、偽の解が存在することになり、これはサンプルサイズが小さすぎるか、抽出する因子が多すぎるか少なすぎるかのいずれかを反映している可能性があります。

変数の一意性

変数の変動性からその変数の共通性を引いた値。

固有値／特性根

固有値は、各因子がサンプル全体の変動のうちどれだけを説明できるかを示す指標です。固有値の比率は、変数に対する因子の説明力の比率を表します。因子の固有値が低い場合、その因子は変数の分散の説明にほとんど寄与しておらず、固有値の高い因子よりも重要度が低いとみなされ、無視される可能性があります。

二乗負荷量の和の抽出

PCA抽出の場合、初期固有値と抽出後の固有値（SPSSでは「抽出二乗負荷量の和」として表示されます）は同じですが、他の抽出方法では、抽出後の固有値は初期固有値よりも低くなります。SPSSは「回転二乗負荷量の和」も表示しますが、PCAの場合でも、これらの固有値は初期固有値や抽出後の固有値とは異なりますが、合計値は同じになります。

因子スコア

主成分分析における成分スコア

各ケース（行）の各因子（列）に対するスコア。特定のケースの特定の因子に対する因子スコアを計算するには、各変数におけるケースの標準化スコアに、該当する因子に対する変数の負荷量を乗じ、これらの積を合計します。因子スコアを計算することで、因子の外れ値を特定できます。また、因子スコアは、後続のモデリングにおける変数として使用することもできます。

研究者は、「私には理にかなっているように思えた」といった主観的または恣意的な因子保持基準を避けたいと考えている。この問題を解決するために、ユーザーが調査する適切なソリューションの範囲を決定できる客観的な方法が数多く開発されている。^{[ 7 ]}しかし、これらの異なる方法は、保持すべき因子の数に関して互いに矛盾することが多い。たとえば、並行分析では5つの因子が示唆されるのに対し、VelicerのMAPでは6つの因子が示唆される場合があるため、研究者は5因子と6因子の両方のソリューションを要求し、それぞれを外部データや理論との関連で議論する可能性がある。

主成分分析（PCA）の出力は、まず第1因子、次に第2因子、といった順に、説明される分散を最大化します。この手順の欠点は、ほとんどの項目が最初の因子に負荷がかかる一方で、後の因子に負荷がかかる項目はごくわずかであることです。そのため、すべての質問が最初の数個の主成分と強く相関しているのに対し、最後の数個の主成分と強く相関する質問はごくわずかであるため、質問と負荷量の一覧を読み進めて因子を解釈することは困難になります。

回転は、出力結果をより解釈しやすくする効果があります。同じ主成分に対して異なる基底を選択する、つまり同じ相関構造を表現するために異なる因子を選択することで、より解釈しやすい変数を作成することが可能です。  

回転は直交回転または斜回転のいずれかであり、斜回転では因子間の相関が可能になります。^{[ 24 ]}この柔軟性の向上により、より多くの回転が可能になり、その中には特定の目標の達成により適したものもあるかもしれません。しかし、一部の情報が「二重カウント」され、異なるコンポーネントに複数回含まれるため、因子の解釈がより困難になる場合もあります。また、一部の因子は互いにほぼ重複しているように見えることさえあります。

高次因子分析は、因子分析、斜交回転、回転因子の因子分析という手順を繰り返す統計的手法です。その利点は、研究対象の現象の階層構造を研究者が把握できる点にあります。結果を解釈するには、主因子パターン行列に高次因子パターン行列を右から乗算し（Gorsuch、1983）、場合によっては結果にバリマックス回転を適用する（Thompson、1990）か、主因子の変動を二次因子に帰属させるシュミット・ライマン解（SLS、Schmid & Leiman、1957、シュミット・ライマン変換とも呼ばれる）を用いるかのいずれかの方法があります。

Fabrigarら（1999）^{[ 34 ]}は、PCAが因子分析と同等ではないと示唆するいくつかの理由について論じている。

1. 主成分分析（PCA）は因子分析よりも計算が速く、必要なリソースも少ないと指摘されることがある。しかし、Fabrigarらは、コンピュータ資源が容易に入手できるようになったことで、この実際的な懸念はもはや問題ではなくなったと述べている。
2. 主成分分析（PCA）と因子分析は類似した結果を生み出す可能性がある。この点についてはFabrigarらも指摘しており、共通性が低い場合（例えば0.4）には、両手法で異なる結果が得られるとしている。実際、Fabrigarらは、データが共通因子モデルの仮定に合致する場合、PCAの結果は不正確であると主張している。
3. 因子分析によって「ヘイウッドケース」が生じる場合がある。これは、測定変数の分散の100%以上がモデルによって説明されると推定される状況を指す。Fabrigarらは、これらのケースは実際には研究者にとって有益な情報であり、モデルの指定が誤っているか、共通因子モデルに違反していることを示していると指摘している。PCAアプローチではヘイウッドケースが発生しないため、こうした問題が見過ごされる可能性がある。
4. 研究者は、主成分分析（PCA）アプローチから、特定の成分における個人のスコアなど、追加情報を得ることができます。このような情報は因子分析からは得られません。しかし、Fabrigarらが主張するように、因子分析の典型的な目的、すなわち測定変数間の相関構造を説明する因子を決定することは、因子スコアの知識を必要としないため、この利点は相殺されます。因子分析から因子スコアを計算することも可能である。

因子分析は測定に内在するランダム誤差を考慮に入れるが、主成分分析はそうではない。この点は、ブラウン（2009）^{[ 38 ]}によって例示されており、彼は計算に関わる相関行列に関して次のように述べている。

「PCAでは、1.00が対角成分に配置されます。これは、行列内のすべての分散（各変数固有の分散、変数間で共通する分散、および誤差分散を含む）を考慮することを意味します。したがって、定義上、変数内のすべての分散が含まれます。一方、EFAでは、共通性が対角成分に配置されます。これは、他の変数と共有する分散のみを考慮することを意味します（各変数固有の分散と誤差分散を除く）。したがって、定義上、変数間で共通する分散のみが含まれます。」

このため、ブラウン（2009）は、変数間の関係についての理論的な考えが存在する場合には因子分析を使用することを推奨し、研究者の目的がデータのパターンを探索することである場合は主成分分析を使用することを推奨している。

PCAと因子分析（FA）の違いは、Suhr（2009）によってさらに説明されています。^{[ 35 ]}

• 主成分分析（PCA）は、観測変数の分散を最大限説明する主成分を導き出す。一方、因子分析（FA）は、データにおける共通分散を説明する。
• PCAは相関行列の対角成分に1を挿入し、FAは相関行列の対角成分を固有因子で調整します。
• 主成分分析（PCA）は、成分軸への垂直距離の二乗和を最小化する。因子分析（FA）は、観測変数に対する応答に影響を与える因子を推定する。
• 主成分分析（PCA）における成分スコアは、固有ベクトルで重み付けされた観測変数の線形結合を表します。一方、因子分析（FA）における観測変数は、基礎となる固有因子の線形結合です。
• 主成分分析（PCA）では、得られる成分は解釈不可能であり、つまり、根底にある「構成概念」を表していません。一方、因子分析（FA）では、正確なモデル仕様が与えられれば、根底にある構成概念にラベルを付けて容易に解釈することができます。

チャールズ・スピアマンは、共通因子分析について論じた最初の心理学者であり^{[ 39 ]}、1904年の論文でそれを論じた^{[ 40 ]} 。その論文では、彼の方法についての詳細はほとんど示されておらず、単一因子モデルに関するものであった^{[ 41 ]} 。彼は、一見無関係に見えるさまざまな科目における学童の得点が正の相関関係にあることを発見し、このことから、単一の一般的な精神能力、すなわちgが人間の認知能力の根底にあり、それを形作っていると仮定した。

複数の因子を用いた共通因子分析の初期開発は、1930年代初頭にルイス・サーストンが2つの論文で発表し、 ^{[ 42 ] [ 43 ]} 1935年の著書『The Vector of Mind 』にまとめられている。^{[ 44 ]}サーストンは、共通性、独自性、回転など、いくつかの重要な因子分析の概念を導入した。^{[ 45 ]}彼は「単純な構造」を提唱し、そのような構造を実現する方法として使用できる回転法を開発した。^{[ 39 ]}

Qメソッドでは、スピアマンの弟子であるウィリアム・スティーブンソンが、個人間の違いの研究を目的としたR因子分析と、主観的な個人内の違いを目的としたQ因子分析を区別している。^{[ 46 ] [ 47 ]}

レイモンド・キャッテルは因子分析と心理測定学の強力な提唱者であり、サーストンの多因子理論を用いて知能を説明しようとした。キャッテルはまた、スクリーテストと類似度係数を開発した。

因子分析は、さまざまなテストにおける多様な結果を説明する「因子」を特定するために用いられます。例えば、知能に関する研究では、言語能力テストで高得点を取った人は、言語能力を必要とする他のテストでも優れた成績を収めることが分かっています。研究者たちは、因子分析を用いて、言語能力を必要とする問題を解決する能力の度合いを表す因子（しばしば「言語知能」と呼ばれる）を分離することで、この現象を説明しました。

心理学における因子分析は、知能研究と最も関連付けられることが多い。しかし、性格、態度、信念など、幅広い領域における因子の発見にも用いられてきた。因子分析は心理測定学とも関連しており、測定器が想定された因子を実際に測定しているかどうかを検証することで、測定器の妥当性を評価できる。

• 2つ以上の変数を1つの因子に統合することで、変数の数を削減します。たとえば、ランニング、ボール投げ、バッティング、ジャンプ、重量挙げのパフォーマンスを、総合的な運動能力といった単一の因子に統合することができます。通常、項目と人のマトリックスでは、関連する項目をグループ化することで因子が選択されます。Q因子分析手法では、マトリックスを転置し、関連する人をグループ化することで因子を作成します。たとえば、リベラル派、リバタリアン派、保守派、社会主義者は、それぞれ別のグループに分けられる可能性があります。
• 相互に関連する変数のグループを特定し、それらが互いにどのように関連しているかを調べます。たとえば、キャロルは因子分析を使用して、3層理論を構築しました。彼は、「広範な視覚知覚」と呼ばれる因子が、個人の視覚タスクの能力と関連していることを発見しました。また、聴覚タスクの能力に関連する「広範な聴覚知覚」因子も発見しました。さらに、彼は「g」または一般知能と呼ばれる全体的な因子を発見し、これは「広範な視覚知覚」と「広範な聴覚知覚」の両方に関連しています。これは、「g」が高い人は「視覚知覚」能力と「聴覚知覚」能力の両方が高い可能性が高く、「g」が、人が両方の領域で優れているか劣っているかの理由の大部分を説明することを意味します。

• 「…どの向きも数学的には等しく受け入れられる。しかし、異なる因子理論は、与えられた解に対する因子軸の向きに関して、他のどの点においても同様に異なっていることが判明したため、モデル適合は理論間の区別に役立つとは証明されなかった。」(Sternberg、1977 ^{[ 48 ]} )。これは、すべての回転が異なる基礎的なプロセスを表すが、すべての回転は標準的な因子分析最適化の等しく有効な結果であることを意味する。したがって、因子分析のみを使用して適切な回転を選択することは不可能である。
• 因子分析の精度は、データの質に左右される。心理学においては、研究者は自己申告など、妥当性や信頼性の低い測定方法に頼らざるを得ない場合が多いため、これは問題となる可能性がある。
• 因子分析の解釈は、「絶対的に正しいかどうかは別として便利な」解決策である「ヒューリスティック」の使用に基づいています。^{[ 49 ]}同じ方法で因子化された同じデータに対して複数の解釈が可能であり、因子分析では因果関係を特定することはできません。

データ収集段階は通常、マーケティングリサーチの専門家によって行われます。調査質問では、回答者に製品サンプルまたは製品コンセプトの説明をさまざまな属性に基づいて評価するよう求めます。属性は5つから20個まで選択されます。例えば、使いやすさ、重量、精度、耐久性、色彩、価格、サイズなどです。選択される属性は、調査対象の製品によって異なります。調査対象のすべての製品について同じ質問がされます。複数の製品のデータはコード化され、R、SPSS、SAS、Stata、STATISTICA、JMP、SYSTATなどの統計プログラムに入力されます。

分析では、関連性のマトリックスを使用してデータを説明する根本的な要因を分離します。^{[ 52 ]}因子分析は相互依存性の手法です。相互依存関係の完全なセットが調べられます。従属変数、独立変数、または因果関係の指定はありません。因子分析は、さまざまな属性に関するすべての評価データをいくつかの重要な次元に縮小できると仮定します。この縮小は、いくつかの属性が互いに関連している可能性があるため可能です。任意の1つの属性に与えられた評価は、部分的に他の属性の影響の結果です。統計アルゴリズムは、評価（生スコアと呼ばれる）をさまざまなコンポーネントに分解し、部分スコアを根本的な因子スコアに再構築します。最初の生スコアと最終的な因子スコアの間の相関の度合いは、因子負荷量と呼ばれます。

• 客観的属性と主観的属性の両方を使用できるが、主観的属性はスコアに変換できる必要がある。
• 因子分析は、直接分析では特定できない潜在的な次元や構成概念を特定することができる。
• 簡単で費用もかかりません。

• 有用性は、研究者が十分な製品属性を収集できるかどうかにかかっている。重要な属性が除外されたり無視されたりすると、その手法の価値は低下する。
• 観測された変数群が互いに非常に類似しており、他の項目とは明確に区別される場合、因子分析ではそれらに単一の因子が割り当てられます。しかし、これはより興味深い関係性を表す因子を覆い隠してしまう可能性があります。
• 要因を特定するには理論的な知識が必要となる場合がある。なぜなら、一見異質な属性でも、未知の理由で強い相関関係を示すことがあるからだ。

• 要素-ロビラ・イ・ビルジリ大学が開発した無料の因子分析ソフトウェア