
統計学において、相関関係または従属関係とは、因果関係があるかどうかに関わらず、2 つのランダム変数または2 変量データ間の統計的関係のことです。最も広い意味では、「相関関係」はあらゆる種類の関連性を示しますが、統計学では通常、一対の変数が線形に関連している度合いを指します。従属現象のよく知られた例としては、親と子の身長の相関関係や、いわゆる需要曲線で示される商品の価格と消費者が購入したい数量の相関関係などがあります。
相関関係は、実際に活用できる予測関係を示すことができるため便利です。たとえば、電力会社は、電力需要と天候の相関関係に基づいて、穏やかな日に発電量を減らすことがあります。この例では、異常気象により人々は暖房や冷房に多くの電気を使用するため、因果関係が存在します。ただし、一般に、相関関係の存在は因果関係の存在を推測するのに十分ではありません (つまり、相関関係は因果関係を意味するものではありません)。
正式には、ランダム変数は、確率的独立性という数学的特性を満たさない場合、従属変数と呼ばれます。非公式な用語では、相関は依存性と同義です。ただし、専門的な意味で使用される場合、相関は、一方の変数に対する他方の変数の条件付き期待値が、条件変数が変化するときに一定ではない場合の数学的関係の特定のタイプのいずれかを指します。広義では、この特定の意味での相関は、が何らかの方法(線形、単調、または対数などの特定の関数形式に従うなど)で に関連付けられている場合に使用されます。基本的に、相関とは、2 つ以上の変数が互いにどのように関連しているかを示す尺度です。相関の度合いを測定する相関係数はいくつかあり、多くの場合または と表記されます。これらの最も一般的なものはピアソン相関係数で、これは 2 つの変数間の線形関係(一方の変数が他方の変数の非線形関数である場合でも存在する可能性があります)にのみ影響されます。スピアマンの順位相関などの他の相関係数は、ピアソンの相関係数よりも堅牢になるように、つまり非線形関係に対してより敏感になるように開発されました。 [1] [2] [3]相互情報量は、 2つの変数間の依存関係を測定するためにも適用できます。
ピアソンの積率係数

2 つの量の間の依存関係を測る最も一般的な指標は、ピアソンの積率相関係数(PPMCC)、または「ピアソンの相関係数」で、一般的には単に「相関係数」と呼ばれます。これは、数値データセットの対象となる 2 つの変数の共分散の比率を、それらの分散の平方根に正規化して取得します。数学的には、 2 つの変数の共分散をそれらの標準偏差の積で単純に割ります。カール ピアソンは、フランシス ゴルトンの類似しているがわずかに異なるアイデアからこの係数を開発しました。[4]
ピアソンの積率相関係数は、基本的に期待値を並べることで、2 つの変数のデータセットを通して最もよく合う線を確立しようとします。その結果得られるピアソンの相関係数は、実際のデータセットが期待値からどれだけ離れているかを示します。ピアソンの相関係数の符号に応じて、データセットの変数間に何らかの関係がある場合、負の相関または正の相関のいずれかになります。[引用が必要]
期待値と標準偏差を持つ2 つのランダム変数と間の母集団相関係数は、次のように定義されます。
ここで、は期待値演算子、は共分散、 は相関係数の広く使用されている代替表記です。ピアソン相関は、両方の標準偏差が有限かつ正である場合にのみ定義されます。純粋にモーメントに関する代替式は次のようになります。
相関と独立性
コーシー・シュワルツの不等式の帰結として、ピアソン相関係数の絶対値は1 より大きくならない。したがって、相関係数の値は -1 から +1 の間となる。相関係数は、完全な直線(増加)線形関係(相関)の場合は +1、完全な逆(減少)線形関係(反相関)の場合は -1 となり、[5] 、その他の場合はすべて開いた区間 内の値となり、変数間の線形従属の度合いを示す。ゼロに近づくほど、関係は弱くなる(無相関に近づく)。係数が -1 または 1 に近いほど、変数間の相関は強くなる。
変数が独立している場合、ピアソンの相関係数は 0 です。ただし、相関係数は 2 つの変数間の線形依存関係のみを検出するため、その逆は必ずしも真ではありません。相関係数が 0 だからといって、変数が独立していることを意味するわけではありません[引用が必要]。
たとえば、ランダム変数がゼロを中心に対称的に分布し、 であるとします。 すると、は によって完全に決定されるため、と は完全に従属していますが、相関はゼロです。つまり、 は無相関です。 ただし、と が一緒に正規分布する特殊なケースでは、無相関は独立性と同等です。
相関のないデータは必ずしも独立性を意味するわけではありませんが、相互情報量が 0 であればランダム変数が独立しているかどうかを確認できます。
サンプル相関係数
でインデックス付けされたペアの一連の測定値が与えられた場合、標本相関係数を使用して、と間の母集団ピアソン相関を推定することができます。標本相関係数は次のように定義されます。
ここで、 および はおよびの標本平均であり、および はおよびの補正標本標準偏差です。
の同等の表現は
ここで、およびは、およびの補正されていないサンプル標準偏差です。
およびが測定誤差を含む測定結果である場合、相関係数の現実的な限界は-1から+1ではなく、より狭い範囲になります。 [6]単一の独立変数を持つ線形モデルの場合、決定係数(Rの二乗)はピアソンの積率係数 の二乗です。
例
下の表に示されている XとYの結合確率分布を考えます。
この結合分布の場合、周辺分布は次のようになります。
これにより、次の期待値と差異が得られます。
したがって:
順位相関係数
順位相関係数、例えばスピアマンの順位相関係数やケンドールの順位相関係数 (τ) は、ある変数が増加すると他の変数が増加する傾向にある程度を測定しますが、その増加が線形関係で表される必要はありません。ある変数が増加すると他の変数が減少する場合、順位相関係数は負になります。これらの順位相関係数は、計算量を減らすか、分布の非正規性に対する係数の感度を低下させるために使用されるピアソン係数の代替として見なされるのが一般的です。しかし、この見方には数学的根拠がほとんどありません。順位相関係数はピアソンの積率相関係数とは異なるタイプの関係を測定し、母集団相関係数の代替指標としてではなく、異なるタイプの関連性の指標として見るのが最適です。[7] [8]
順位相関の性質と線形相関との違いを説明するために、次の 4 つの数値のペアを考えてみましょう。
- (0, 1)、(10, 100)、(101, 500)、(102, 2000)。
各ペアから次のペアに進むにつれてが増加し、 も増加します。 の増加は常に の増加を伴うという意味で、この関係は完全です。 これは、完全な順位相関があり、スピアマンとケンドールの相関係数は両方とも 1 であることを意味しますが、この例ではピアソンの積率相関係数は 0.7544 であり、点が直線から遠く離れていることを示しています。 同様に、 が増加すると が常に減少する場合、順位相関係数は -1 になりますが、ピアソンの積率相関係数は、点が直線にどれだけ近いかによって、-1 に近くなることもあれば、近くないこともあります。 完全な順位相関の極端なケースでは、2 つの係数が両方とも等しくなりますが (両方とも +1 または両方とも -1)、通常はそうではないため、2 つの係数の値を意味のある形で比較することはできません。[7]例えば、(1, 1) (2, 3) (3, 2)の3つのペアの場合、スピアマンの係数は1/2ですが、ケンドールの係数は1/3です。
ランダム変数間の依存関係のその他の尺度
相関係数によって得られる情報は、ランダム変数間の依存関係を定義するのに十分ではありません。相関係数は、分布が多変量正規分布である場合など、非常に特殊な場合にのみ依存関係を完全に定義します。(上の図を参照)楕円分布の場合、相関係数は密度が等しい(超)楕円を特徴付けますが、依存関係を完全には特徴付けません(たとえば、多変量 t 分布の自由度によって裾の依存関係のレベルが決まります)。
連続変数については、従属ランダム変数に対してピアソンの相関がゼロになることがあるという欠点に対処するため、複数の代替的な依存性の尺度が導入されました(概要については[9]とその中の参考文献を参照)。 それらはすべて、ゼロの値は独立性を意味するという重要な特性を共有しています。 このため、一部の著者[9] [10]は、特に距離相関を日常的に使用することを推奨しています。[11] [12]別の代替尺度は、ランダム化依存係数です。[13] RDCは、計算効率の高い、コピュラベースの多変量ランダム変数間の依存性の尺度であり、ランダム変数の非線形スケーリングに対して不変です。
代替のより一般的な尺度の重要な欠点の 1 つは、2 つの変数が関連しているかどうかをテストするために使用する場合、データが多変量正規分布に従う場合、ピアソンの相関に比べて検出力が低くなる傾向があることです。[9]これは、ノーフリーランチ定理の含意です。あらゆる種類の関係を検出するために、これらの尺度は、特にピアソンの相関が最適であるガウス周辺分布との線形関係という重要な特殊なケースでは、他の関係に対する検出力を犠牲にする必要があります。もう 1 つの問題は解釈に関するものです。パーソンの相関はすべての値に対して解釈できますが、代替の尺度は一般に極端な値でのみ意味のある解釈が可能です。[14]
2 つのバイナリ変数の場合、オッズ比はそれらの依存関係を測定し、範囲は負でない数値、場合によっては無限大です: 。ユールのYやユールのQなどの関連統計は、これを相関のような範囲 に正規化します。オッズ比は、ロジスティック モデルによって一般化され、従属変数が離散的で 1 つ以上の独立変数がある可能性があるケースをモデル化します。
相関比、エントロピーベースの相互情報量、総相関、双対総相関、ポリコリック相関はすべて、それらの間のコピュラを考慮することで、より一般的な依存関係を検出することができます。一方、決定係数は、相関係数を多重回帰に一般化します。
データ分布に対する感度
変数XとY の間の依存度は、変数が表現される尺度に依存しません。つまり、XとYの関係を分析する場合、ほとんどの相関指標は、X をa + bXに、Y をc + dYに変換しても影響を受けません。ここで、a、b、c、およびdは定数です ( bとdは正)。これは、一部の相関統計とその母集団類似物に当てはまります。順位相関係数などの一部の相関統計も、 XやYの周辺分布の単調変換の影響を受けません。

ほとんどの相関指標は、 XとYのサンプリング方法に敏感です。依存関係は、より広い範囲の値で見ると強くなる傾向があります。したがって、すべての成人男性における父親と息子の身長の相関係数を考え、父親の身長を 165 cm から 170 cm の間で選択したときに計算された同じ相関係数と比較すると、後者の場合の方が相関は弱くなります。1 つまたは両方の変数の範囲制限を修正しようとするいくつかの手法が開発されており、メタ分析でよく使用されます。最も一般的なのは、ソーンダイクのケース II とケース III の方程式です。[15]
使用されているさまざまな相関指標は、 XとYの特定の結合分布に対して定義されていない可能性があります。たとえば、ピアソンの相関係数はモーメントで定義されるため、モーメントが定義されていない場合は定義されません。分位数に基づく依存性の指標は常に定義されます。依存性の母集団指標を推定することを目的としたサンプルベースの統計は、データがサンプリングされた母集団の空間構造に基づいて、 偏りがない、または漸近的に一貫しているなどの望ましい統計特性を持つことも、持たないこともあります。
データ分布に対する感度は有利に利用することができます。例えば、スケール相関は、時系列の高速成分間の相関関係を拾い出すために範囲に対する感度を使用するように設計されています。[16]制御された方法で値の範囲を縮小することにより、長い時間スケールでの相関関係が除去され、短い時間スケールでの相関関係のみが明らかになります。
相関行列
ランダム変数の相関行列は、その要素が
したがって、対角要素はすべて1です。相関の尺度として積率係数が使用される場合、相関行列はの標準化されたランダム変数の共分散行列と同じになります。これは、母集団相関行列(この場合 は母集団標準偏差)と標本相関行列(この場合 は標本標準偏差を表します)の両方に適用されます。したがって、それぞれは必然的に半正定値行列 になります。さらに、どの変数もそのすべての値を他の変数の値の線形関数として正確に生成できない場合、相関行列は厳密に正定値です。
と間の相関は と 間の相関と同じなので、相関行列は対称です。
相関行列は、例えば、多重回帰分析における適合度の尺度である多重決定係数の式の 1 つに現れます。
統計モデリングでは、変数間の関係を表す相関行列は、推定に必要なパラメータの数などの要因によって区別されるさまざまな相関構造に分類されます。たとえば、交換可能な相関行列では、すべての変数のペアが同じ相関を持つようにモデル化されるため、行列の非対角要素はすべて互いに等しくなります。一方、変数が時系列を表す場合は、測定値が時間的に近いほど相関が大きくなる傾向があるため、自己回帰行列がよく使用されます。その他の例としては、独立、非構造化、M 従属、Toeplitz などがあります。
探索的データ分析では、相関関係の図像は、相関マトリックスを、"注目すべき" 相関関係が実線 (正の相関関係) または点線 (負の相関関係) で表される図に置き換えることで構成されます。
最も近い有効な相関行列
一部のアプリケーション (たとえば、部分的に観測されたデータからのみデータ モデルを構築する場合) では、「近似」相関行列 (たとえば、計算方法により通常は半定正値性がない行列) に「最も近い」相関行列を見つけることが望まれます。
2002年にハイアム[17]はフロベニウスノルムを用いて近接性の概念を定式化し、ダイクストラの射影アルゴリズムを用いて最も近い相関行列を計算する方法を提供した。このアルゴリズムの実装はオンラインWeb APIとして利用可能である。[18]
これにより、このテーマへの関心が高まり、その後数年間で新たな理論的(例えば、因子構造を持つ最も近い相関行列の計算[19] )および数値的(例えば、最も近い相関行列を計算するためのニュートン法の使用[20])結果が得られました。
確率過程の非相関性と独立性
同様に、2つの確率過程とについても、それらが独立している場合、それらは無相関です。[21] : p. 151 このステートメントの反対は真ではない可能性があります。2つの変数が無相関であっても、それらは互いに独立していない可能性があります。
よくある誤解
相関関係と因果関係
「相関は因果関係を意味しない」という従来の格言は、相関だけでは変数間の因果関係を推測できないことを意味します。[22]この格言は、相関が因果関係の潜在的な存在を示すことができないという意味に解釈されるべきではありません。しかし、相関の根底にある原因は、もしあったとしても間接的で未知の可能性があり、高い相関は因果プロセスが存在しない同一関係(トートロジー)と重なることもあります。したがって、2つの変数間の相関は、因果関係(どちらの方向でも)を確立するための十分な条件ではありません。
子供の年齢と身長の相関関係は因果関係がかなり明白ですが、人間の気分と健康の相関関係はそれほど明白ではありません。気分が良くなれば健康も良くなるのでしょうか、それとも健康が良いと気分が良くなるのでしょうか、それともその両方でしょうか。それとも、両方の根底には他の要因があるのでしょうか。言い換えれば、相関関係は因果関係の可能性の証拠としてとらえることができますが、因果関係があるとしても、それが何であるかを示すことはできません。
単純な線形相関

ピアソン相関係数は2 つの変数間の線形関係の強さを示しますが、その値は通常、それらの関係を完全に特徴付けるものではありません。特に、と表記されるの条件付き平均が において線形でない場合、相関係数は の形を完全には決定しません。
隣の画像は、フランシス・アンスコムによって作成された4つの異なる変数のペアのセットであるアンスコムのカルテットの散布図を示しています。[23] 4つの変数の平均(7.5)、分散(4.12)、相関(0.816)、回帰直線()は同じです。しかし、プロットからわかるように、変数の分布は非常に異なります。最初のもの(左上)は正規分布しているようで、相関のある2つの変数を考え、正規性の仮定に従う場合に予想されるものと一致します。2つ目(右上)は正規分布していません。2つの変数の間に明らかな関係が見られますが、線形ではありません。この場合、ピアソンの相関係数は正確な機能的関係があることを示しているわけではなく、その関係を線形関係で近似できる範囲のみを示しています。3番目のケース(左下)では、相関係数を1から0.816に下げるのに十分な影響を及ぼしている1つの外れ値を除いて、線形関係は完璧です。最後に、4 番目の例 (右下) は、2 つの変数の関係が線形ではないにもかかわらず、1 つの外れ値で高い相関係数が得られる別の例を示しています。
これらの例は、相関係数が要約統計量として、データの目視検査の代わりにはならないことを示しています。これらの例は、ピアソンの相関関係ではデータが正規分布に従うと仮定していることを示していると言われることもありますが、これは部分的にしか正しくありません。[4]ピアソンの相関関係は、実際に遭遇するほとんどの分布を含む、有限の共分散行列を持つ任意の分布に対して正確に計算できます。ただし、ピアソンの相関係数(サンプル平均と分散と合わせて)は、データが多変量正規分布から抽出された場合にのみ十分な統計量となります。その結果、ピアソンの相関係数は、データが多変量正規分布から抽出された場合にのみ、変数間の関係を完全に特徴付けます。
二変量正規分布
1 組のランダム変数が2 変量正規分布に従う場合、条件付き平均は の線形関数であり、条件付き平均は の線形関数です。との間の相関係数と、 および の周辺平均と分散によって、この線形関係が決まります。
ここで、およびはそれぞれおよびの期待値であり、およびはそれぞれおよびの標準偏差です。
経験的相関は相関係数の推定値であり、分布推定値は次のように与えられる。
ここで はガウス超幾何関数です。
この密度はベイズ事後密度であると同時に正確な最適信頼分布密度でもある。[24] [25]
参照
参考文献
- ^ クロクストン、フレデリック・エモリー、カウデン、ダドリー・ジョンストン、クライン、シドニー(1968)応用一般統計、ピットマン。ISBN 9780273403159 (625ページ)
- ^ディートリッヒ、コーネリアス・フランク ( 1991)不確実性、較正、確率:科学的および工業的測定の統計第2版、A.ヒグラー。ISBN 9780750300605(331ページ)
- ^ Aitken, Alexander Craig (1957)統計数学第 8 版。Oliver & Boyd。ISBN 9780050013007 (95 ページ)
- ^ ab Rodgers, JL; Nicewander, WA (1988). 「相関係数を見る13の方法」. The American Statistician . 42 (1): 59– 66. doi :10.1080/00031305.1988.10475524. JSTOR 2685263.
- ^ Dowdy, S.および Wearden, S. (1983)。「Statistics for Research」、Wiley。ISBN 0-471-08602-9 pp 230
- ^ Francis, DP; Coats AJ; Gibson D (1999). 「相関係数はどのくらい高くなるか?」Int J Cardiol . 69 (2): 185– 199. doi :10.1016/S0167-5273(99)00028-5. PMID 10549842.
- ^ ab Yule, GU および Kendall, MG (1950)、「統計理論入門」、第 14 版 (第 5 刷 1968 年)。Charles Griffin & Co. pp 258–270
- ^ Kendall, MG (1955)「順位相関法」、Charles Griffin & Co.
- ^ abc Karch, Julian D.; Perez-Alonso, Andres F.; Bergsma, Wicher P. (2024-08-04). 「ピアソンの相関を超えて:心理学研究のための現代のノンパラメトリック独立性テスト」.多変量行動研究. 59 (5): 957– 977. doi :10.1080/00273171.2024.2347960. hdl : 1887/4108931 . PMID 39097830.
{{cite journal}}: CS1 maint: date and year (link) - ^ Simon, Noah; Tibshirani, Robert (2014). 「Reshefらによる「大規模データセットにおける新規関連性の検出」に関するコメント、Science、2011年12月16日」p. 3. arXiv : 1401.7645 [stat.ME].
- ^ Székely, GJ Rizzo; Bakirov, NK (2007). 「距離の相関による独立性の測定とテスト」Annals of Statistics . 35 (6): 2769– 2794. arXiv : 0803.4101 . doi :10.1214/009053607000000505. S2CID 5661488.
- ^ Székely, GJ; Rizzo, ML (2009). 「ブラウン距離共分散」. Annals of Applied Statistics . 3 (4): 1233– 1303. arXiv : 1010.0297 . doi :10.1214/09-AOAS312. PMC 2889501. PMID 20574547 .
- ^ Lopez-Paz D.、Hennig P.、Schölkopf B. (2013)。「ランダム化依存係数」、『ニューラル情報処理システムに関する会議』再版
- ^ Reimherr, Matthew; Nicolae, Dan L. (2013). 「依存性の定量化について: 解釈可能な尺度を開発するためのフレームワーク」.統計科学. 28 (1): 116– 130. arXiv : 1302.5233 . doi :10.1214/12-STS405.
- ^ ソーンダイク、ロバート・ラッド (1947)。研究の問題と技術 (報告書第3号)。ワシントンDC:米国政府印刷。
- ^ Nikolić, D; Muresan, RC; Feng, W; Singer, W (2012). 「スケール相関分析: クロスコレログラムを計算するためのより良い方法」. European Journal of Neuroscience . 35 (5): 1– 21. doi :10.1111/j.1460-9568.2011.07987.x. PMID 22324876. S2CID 4694570.
- ^ Higham, Nicholas J. (2002). 「最も近い相関行列の計算 - 金融の問題」IMA Journal of Numerical Analysis . 22 (3): 329– 343. CiteSeerX 10.1.1.661.2180 . doi :10.1093/imanum/22.3.329.
- ^ 「ポートフォリオオプティマイザー」。portfoliooptimizer.io 。2021年1月30日閲覧。
- ^ Borsdorf, Rudiger; Higham, Nicholas J.; Raydan, Marcos (2010). 「因子構造による最も近い相関行列の計算」(PDF) . SIAM J. Matrix Anal. Appl . 31 (5): 2603– 2622. doi :10.1137/090776718.
- ^ Qi, HOUDUO; Sun, DEFENG (2006). 「最も近い相関行列を計算するための二次収束ニュートン法」SIAM J. Matrix Anal. Appl . 28 (2): 360– 385. doi :10.1137/050624509.
- ^ Park, Kun Il (2018).確率過程の基礎と通信への応用. Springer. ISBN 978-3-319-68074-3。
- ^ Aldrich, John (1995). 「PearsonとYuleにおける本物と偽物の相関関係」.統計科学. 10 (4): 364– 376. doi : 10.1214/ss/1177009870 . JSTOR 2246135.
- ^ Anscombe, Francis J. (1973). 「統計分析におけるグラフ」.アメリカ統計学者. 27 (1): 17– 21. doi :10.2307/2682899. JSTOR 2682899.
- ^ Taraldsen, Gunnar (2021). 「相関の信頼密度」. Sankhya A. 85 : 600–616 . doi : 10.1007 /s13171-021-00267-y . ISSN 0976-8378. S2CID 244594067.
- ^ タラルセン、グンナール (2020).相関関係への信頼。Researchgate.net (プレプリント)。土井:10.13140/RG.2.2.23673.49769。
さらに読む
- Cohen, J.; Cohen P.; West, SG & Aiken, LS (2002)。行動科学のための応用多重回帰/相関分析(第3版)。Psychology Press。ISBN 978-0-8058-2223-6。
- 「相関関係(統計学)」、数学百科事典、EMS Press、2001 [1994]
- Oestreicher, J. & DR (2015 年 2 月 26 日)。Plague of Equals: 国際的な病気、政治、新薬発見を描いた科学スリラー。カリフォルニア州: Omega Cat Press。p. 408。ISBN 978-0963175540。
外部リンク
- サンプルの(相互)相関係数に関する MathWorld ページ
- 2 つの相関値を比較するために、2 つの相関間の有意性を計算します。
- 「加重相関係数を計算するためのMATLABツールボックス」。2021年4月24日時点のオリジナルよりアーカイブ。
- 標本二変量相関がプラスマイナス1の限界を持つことの証明
- Juha Puranen による、正規分布する 2 つの変数の相関に関するインタラクティブな Flash シミュレーション。
- 相関分析。生物医学統計
- R-Psychologist 2つの数値変数間の相関関係の視覚化
