多重共線性

統計学において、多重共線性または共線性とは、回帰モデルの予測変数が線形従属している状況を指します。

完全な多重共線性とは、予測変数が正確な線形関係にある状況を指します。完全な共線性がある場合、計画行列はフル ランク未満であるため、モーメント行列を反転することはできません。この状況では、方程式系に無限の解があるため、回帰のパラメータ推定値は明確に定義されません。 ${\displaystyle X}$ ${\displaystyle X^{\mathsf {T}}X}$

不完全な多重共線性とは、予測変数がほぼ正確な線形関係を持つ状況を指します。

一般に信じられていることとは反対に、ガウス・マルコフの定理も、通常の最小二乗法のより一般的な最大尤度による正当化も、従属予測変数間の相関構造に依存していません^{[1] [2] [3]}（ただし、完全な共線性は一部のソフトウェアで問題を引き起こす可能性があります）。

回帰分析の一環として共線変数を除去する行為は正当ではなく、^{[1] [4] [5] [6] [7]}、そうすることは科学的不正行為となる可能性がある。共線変数を含めても、モデル全体の予測力や信頼性は低下せず、 ^[6]係数推定値の精度も低下しない。^[1]

共線性が高いということは、共線変数をすべて含めることが極めて重要であることを示しています。共線変数を除外すると、係数推定値が悪化し、交絡が強くなり、標準誤差の推定値が下方に偏ることになります。^[2]

データセットの高い共線性に対処するには、分散拡大係数を使用して予測変数の共線性を識別することができます。

完全多重共線性とは、予測変数が線形従属している状況を指す（1つが他の予測変数の正確な線形関数として記述できる）。^[8] 通常の最小二乗法では、行列を反転する必要がある。ここで ${\displaystyle X^{\mathsf {T}}X}$

${\displaystyle X={\begin{bmatrix}1&X_{11}&\cdots &X_{k1}\\\vdots &\vdots &&\vdots \\1&X_{1N}&\cdots &X_{kN}\end{bmatrix}}}$

は行列であり、 は観測値の数、は説明変数の数、 です。独立変数間に正確な線形関係がある場合、 の列の少なくとも 1 つは他の列の線形結合であるため、の階数(したがって の階数) は 未満となり、行列は逆行列になりません。 ${\displaystyle N\times (k+1)}$${\displaystyle N}$${\displaystyle k}$${\displaystyle N\geq k+1}$${\displaystyle X}$${\displaystyle X}$${\displaystyle X^{\mathsf {T}}X}$${\displaystyle k+1}$${\displaystyle X^{\mathsf {T}}X}$

完全共線性は、通常、回帰分析に冗長な変数を含めることで発生します。たとえば、データセットには、収入、支出、貯蓄の変数が含まれている場合があります。ただし、定義上、収入は支出と貯蓄の合計に等しいため、回帰分析に 3 つの変数すべてを同時に含めることは正しくありません。同様に、すべてのカテゴリ (夏、秋、冬、春など) にダミー変数と切片項を含めると、完全共線性が生じます。これはダミー変数トラップとして知られています。^[9]

完全な共線性を引き起こすもう 1 つの一般的な原因は、非常に幅広いデータセット (観測値よりも変数が多いデータセット) を扱うときに、通常の最小二乗法を使用しようとすることです。この場合、意味のある結果を生成するには、ベイズ階層モデリングなどのより高度なデータ分析手法が必要です。 ^{[引用が必要]}

場合によっては、変数がほぼ共線的になります。この場合、行列には​​逆行列がありますが、条件が悪くなります。コンピュータ アルゴリズムでは、近似逆行列を計算できる場合とできない場合があります。計算できたとしても、結果として得られる逆行列には大きな丸め誤差が生じる可能性があります。 ${\displaystyle X_{j}}$${\displaystyle X^{\mathsf {T}}X}$

行列の悪条件の標準的な尺度は条件指数です。これは、行列の逆行列が有限精度の数値で数値的に不安定であるかどうかを決定し、計算された逆行列が元の行列の小さな変化に対して潜在的に敏感であることを示します。条件数は、計画行列の最大特異値を最小特異値で割ることによって計算されます。^[10]共線変数のコンテキストでは、分散膨張係数は特定の係数の条件数です。

推定における数値問題は、線形代数の標準的な手法を適用して方程式をより正確に推定する ことで解決できます。

1. 予測変数の標準化 。相互作用項（すなわち、）を含む多項式項（例えば、を扱うと、多重共線性が生じる可能性があります。これは、問題となる変数の範囲が限られている場合に特に当てはまります。予測変数を標準化すると、3次までの多項式に対してこの特殊な多重共線性を排除できます。 ^[11]${\displaystyle x_{1}}$${\displaystyle x_{1}^{2}}$${\displaystyle x_{1}\times x_{2}}$
   • 高次多項式の場合、直交多項式表現は一般に共線性の問題を修正します。^[12]しかし、多項式回帰は一般に不安定であるため、ノンパラメトリック回帰には適さず、スムージングスプライン、LOESS、またはガウス過程回帰に基づく新しい方法よりも劣ります。^[13]
2. データの直交表現を使用します。^{[12]統計ソフトウェアが適切に記述されていない場合、変数の相関が強いと正しい表現に収束しないことがあります。ただし、}基底の変更を実行することで、相関のない変数のみを使用するように回帰式を書き直すことは可能です。
   • 特に多項式項については、直交多項式を使用して、回帰を相関のない変数の関数として書き直すことが可能です。

不完全な共線性は数値的な問題を引き起こすだけでなく、変数の正確な推定を困難にします。言い換えると、相関の高い変数は推定値の精度を低下させ、標準誤差を大きくします。

たとえば、アリスが雨が降っているときはいつもブーツを履いていて、雨が降っているときは水たまりしかないことに気づいたとします。すると、アリスがブーツを履いているのは、雨が足にかからないようにするためなのか、水たまりに足を踏み入れたときに足が濡れないようにするためなのかはわかりません。

2 つの変数のそれぞれがどの程度重要であるかを特定しようとする場合の問題は、それらが互いに混同されていることです。つまり、観察結果はどちらの変数でも同じように説明されるため、観察された相関関係の原因がどちらであるかはわかりません。

この情報を見つけるには 2 つの方法があります。

1. 事前情報または理論の使用。たとえば、アリスが水たまりに足を踏み入れないことに気付いた場合、水たまりを避けるためにブーツは必要ないので、水たまりがアリスがブーツを履く理由ではないと合理的に主張できます。
2. より多くのデータを収集します。アリスを十分な回数観察すると、最終的には水たまりはあるが雨が降っていない日（たとえば、アリスが家を出る前に雨が止むなど）に彼女が現れるようになります。

この交絡は、研究者が回帰分析からこれらの変数を除外して無視または抑制しようとすると、大幅に悪化します(「#誤用」を参照)。回帰分析から多重共線変数を除外すると、因果推論が無効になり、重要な交絡因子が除去されて推定値が悪くなります。

事前に計画を立てることで、多重共線性が結果に影響するのを防ぐ方法は多数あります。ただし、これらの方法では、データが収集される前に研究者が手順と分析を決定する必要があります(事後分析と #Misuse を参照)。

多くの回帰法は、多重共線性に対して本質的に「堅牢」であり、変数が独立している場合でも、通常の最小二乗回帰よりも一般的にパフォーマンスが優れています。リッジ回帰、LASSO、弾性ネット回帰、スパイクアンドスラブ回帰などの正規化回帰手法は、共線性の一般的な原因である「役に立たない」予測子を含めることに対してそれほど敏感ではありません。これらの手法は、問題を回避するためにこれらの予測子を自動的に検出して削除できます。ベイジアン階層モデル( BRMSなどのソフトウェアによって提供) は、データから有益な事前分布を学習して、このような正規化を自動的に実行できます。

頻度主義的推定の使用によって生じる問題は、しばしば、多重共線性に関連していると誤解されたり、誤診されたりします。^[3]研究者は、多重共線性ではなく、回帰分析に適切な事前情報を組み込むことができないことに苛立ちを感じます。たとえば、係数に「間違った符号」がある、または信頼区間に「非現実的な値が含まれている」という苦情は、モデルに組み込まれていない重要な事前情報があることを示しています。この情報が利用できる場合は、ベイズ回帰手法を使用して事前情報に組み込む必要があります。^[3]

ステップワイズ回帰（「共線的」または「重要でない」変数を除外する手順）は、多重共線性に対して特に脆弱であり、多重共線性によって完全に無効になる数少ない手順の1つです（共線性があると、推定値に大きく偏りが生じ、p値が無効になります）。^[2]

研究者が予測変数を制御できる実験を実施する場合、研究者は統計学者と相談して 最適な実験設計を選択することで共線性を回避できる場合がよくあります。

上記の戦略は、状況によっては有効ですが、通常は大きな効果はありません。より高度な技術でも、依然として大きな標準誤差が生じる可能性があります。したがって、多重共線性に対する最も一般的な対応は、「何もしない」ことです。^[1]科学的プロセスでは、結果がゼロまたは不確定な結果になることがよくあります。すべての実験が、研究者の当初の仮説を決定的に裏付けるという意味で「成功」するわけではありません。

エドワード・リーマーは、「弱い証拠の問題に対する解決策は、より多くの、より良いデータである。与えられたデータセットの範囲内では、弱い証拠に対してできることは何もない」と指摘している。^[3]回帰結果に問題があると考える研究者は、尤度関数ではなく事前確率を見る必要がある。

Damodar Gujarati は、「[私たちのデータ] は、関心のあるパラメータについてあまり有益ではないことがあることを正しく受け入れるべきです」と書いています。^[1] Olivier Blanchard は、 「多重共線性は神の意志であり、 OLSの問題ではありません」と皮肉っています。 ^[7]言い換えれば、観測データを扱う場合、研究者は多重共線性を「修正」することはできず、受け入れることしかできないということです。

分散膨張係数は、ステップワイズ回帰分析（変数の包含/除外など）の基準として誤用されることが多く、その使用法は「論理的根拠を欠いているだけでなく、経験則としても根本的に誤解を招く」ものです。^[2]

共線変数を除外すると標準誤差の推定値が不自然に小さくなるが、回帰係数の真の（推定値ではない）標準誤差は減少しない。^[1]また、分散膨張係数の高い変数を除外すると、回帰分析の結果を事後分析に変えることで、計算された標準誤差とp値が無効になる。^[14]

共線性は大きな標準誤差と p 値をもたらし、論文の出版を困難にする可能性があるため、一部の研究者は、回帰分析から強く相関する変数を削除することで、不都合なデータを抑制しようとします。この手順は、 p ハッキング、データ ドレッジング、事後分析という広いカテゴリに分類されます。（有用な）共線予測子を削除すると、通常、モデルと係数の推定値の精度が低下します。

同様に、共線性を「処理」できるモデルや推定手順 (通常の最小二乗法、リッジ回帰など) が見つかるまで、さまざまなモデルや推定手順を試すと、分岐パスの問題が発生します。事後分析から得られた P 値と信頼区間は、モデル選択手順の不確実性を無視することで無効になります。

重要でない予測因子が結果にほとんど影響を与えないかまったく影響を与えないことが事前にわかっている場合は、その予測因子を除外するのが妥当です。たとえば、地元のチーズ生産量を高層ビルの高さの予測に使用すべきではありません。ただし、これは、データを観察する前に最初にモデルを指定するときに行う必要があり、潜在的に有益な変数は常に含める必要があります。

• 条件の悪いマトリックス
• 線形依存性

• Belsley, David A.; Kuh, Edwin ; Welsch, Roy E. (1980)。回帰診断: 影響力のあるデータと共線性の原因の特定。ニューヨーク: Wiley。ISBN 978-0-471-05856-4。
• ゴールドバーガー、アーサー S. (1991)。「多重共線性」。計量経済学講座。ケンブリッジ: ハーバード大学出版局。245～253 ページ。ISBN 9780674175440。
• Hill, R. Carter; Adkins, Lee C. (2001)。「共線性」。Baltagi, Badi H. (編)。『理論計量経済学入門』。Blackwell。pp. 256–278。doi :10.1002 / 9780470996249.ch13。ISBN 978-0-631-21254-6。
• ジョンストン、ジョン（1972年）。計量経済学的方法（第2版）。ニューヨーク：マグロウヒル。pp.159-168。ISBN 9780070326798。
• Kalnins, Arturs (2022)。「多重共線性はいつ係数にバイアスをかけ、タイプ 1 エラーを引き起こすのか? Lindner、Puck、Verbeke (2020) と Kalnins (2018) の調和」。国際ビジネス研究ジャーナル。53 (7): 1536–1548。doi : 10.1057 /s41267-022-00531-9。S2CID 249323519  。
• クメンタ、ヤン(1986)。『計量経済学の要素』（第2版）。ニューヨーク：マクミラン。pp. 430–442。ISBN 978-0-02-365070-3。
• マダラ, GS ;ラヒリ、カジャル (2009)。計量経済学入門(第 4 版)。チチェスター: ワイリーです。 279–312ページ。ISBN 978-0-470-01512-4。
• Tomaschek, Fabian; Hendrix, Peter; Baayen, R. Harald (2018). 「多変量言語データにおける共線性に対処するための戦略」Journal of Phonetics . 71 : 249–267. doi : 10.1016/j.wocn.2018.09.004 .

• Thoma, Mark (2011年3月2日). 「計量経済学講義（トピック：多重共線性）」.オレゴン大学. 2021年12月12日時点のオリジナルよりアーカイブ – YouTube経由。
• 最も古い使用例: 多重共線性の項目には、歴史的な情報が記載されています。