多重相関係数

統計学において、多重相関係数は、特定の変数が他の変数の集合の線形関数を使用してどれだけ正確に予測できるかを測る尺度です。これは、変数の値と予測変数から線形に計算できる最良の予測値との間の相関関係です。 ^[1]

多重相関係数は0から1の間の値を取ります。値が高いほど、独立変数からの従属変数の予測可能性が高くなることを示し、値が1の場合は予測が正確に正しいことを示し、値が0の場合は独立変数の線形結合が従属変数の固定平均よりも優れた予測子ではないことを示します。^[2]

多重相関係数は決定係数の平方根として知られていますが、切片が含まれ、可能な限り最良の線形予測子が使用されるという特定の仮定の下では、決定係数は、非線形予測の場合や予測値がモデルフィッティング手順から導出されていない場合など、より一般的なケースに対して定義されます。

多重相関係数（Rと表記）は、切片を含む線形回帰モデルにおける従属変数の予測値と実際値の間のピアソン相関係数として定義されるスカラーです。

多重相関係数の2乗は、予測変数（独立変数）と目標変数（従属変数）間の相関のベクトル と、予測変数間の相関の相関行列を使用して計算できます。 ${\displaystyle \mathbf {c} ={(r_{x_{1}y},r_{x_{2}y},\dots ,r_{x_{N}y})}^{\top }}$ ${\displaystyle r_{x_{n}y}}$${\displaystyle x_{n}}$${\displaystyle y}$ ${\displaystyle R_{xx}}$

${\displaystyle R^{2}=\mathbf {c} ^{\top }R_{xx}^{-1}\,\mathbf {c} ,}$

ここで はの転置行列であり、 はの 逆行列である。${\displaystyle \mathbf {c} ^{\top}}$${\displaystyle \mathbf {c} }$${\displaystyle R_{xx}^{-1}}$

${\displaystyle R_{xx}=\left({\begin{array}{cccc}r_{x_{1}x_{1}}&r_{x_{1}x_{2}}&\dots &r_{x_{1}x_{N}}\\r_{x_{2}x_{1}}&\ddots &&\vdots \\\vdots &&\ddots &\\r_{x_{N}x_{1}}&\dots &&r_{x_{N}x_{N}}\end{array}}\right).}$

すべての予測変数に相関がない場合、行列は単位行列となり、従属変数との相関の二乗の合計 に等しくなります。予測変数同士が相関している場合、相関行列の逆行列によってこれが考慮されます。 ${\displaystyle R_{xx}}$${\displaystyle R^{2}}$${\displaystyle \mathbf {c} ^{\top }\,\mathbf {c} }$${\displaystyle R_{xx}}$

多重相関係数の二乗は、独立変数によって説明される従属変数の分散の割合として計算することもできます。これは、1 から説明できない割合を引いたものです。説明できない割合は、残差の二乗の合計、つまり予測誤差の二乗の合計を、従属変数の値とその期待値との偏差の二乗の合計で割って計算できます。

3 つ以上の変数が相互に関連している場合、多重相関係数の値は従属変数の選択によって異なります。および に対するの回帰は一般に を持ちますが、および に対するの回帰はを持ちます。 たとえば、特定のサンプルで、変数 がおよび の両方と無相関であるのに対し、と は互いに線形関係にあるとします。 この場合、および に対するの回帰では 0 のが得られ、およびに対するの回帰では厳密に正の が得られます。 これは、および に基づく の最善の予測子とのの相関が、のみに基づく の最善の予測子とのの相関とすべてのケースで少なくとも同じ大きさであるためです。 この場合、 は説明力を提供しないため、 はまったく同じ大きさになります。 ${\displaystyle y}$${\displaystyle x}$${\displaystyle z}$${\displaystyle R}$${\displaystyle z}$${\displaystyle x}$${\displaystyle y}$${\displaystyle z}$${\displaystyle x}$${\displaystyle y}$${\displaystyle x}$${\displaystyle y}$${\displaystyle z}$${\displaystyle y}$${\displaystyle x}$${\displaystyle R}$${\displaystyle y}$${\displaystyle x}$${\displaystyle z}$${\displaystyle R}$${\displaystyle y}$${\displaystyle x}$${\displaystyle z}$${\displaystyle y}$${\displaystyle x}$${\displaystyle z}$

• アリソン、ポール D. (1998)。多重回帰：入門。ロンドン：セージ出版。ISBN 9780761985334 
• Cohen, Jacob, et al. (2002).応用多重回帰分析: 行動科学のための相関分析. ISBN 0805822232 
• クラウン、ウィリアム H. (1998)。社会科学と行動科学のための統計モデル: 多重回帰と限定従属変数モデル。ISBN 0275953165 
• エドワーズ、アレン・ルイス（1985年）。多重回帰と分散・共分散分析。ISBN 0716710811 
• キース、ティモシー (2006)。『多重回帰とその先』ボストン: ピアソン エデュケーション。
• Fred N. Kerlinger、 Elazar J. Pedhazur (1973)。多重回帰分析による行動研究。ニューヨーク：Holt Rinehart Winston。ISBN 9780030862113 
• スタントン、ジェフリー・M. (2001)。「ガルトン、ピアソン、そしてピーズ：統計教師のための線形回帰の簡潔な歴史」、統計教育ジャーナル、9 (3)。