分散インフレ係数

統計学 において、分散拡大係数（VIF）とは、他のパラメータを含む完全なモデルを当てはめる際のパラメータ推定値の分散と、そのモデルをパラメータのみで当てはめた場合のパラメータ推定値の分散との比（商）である。[1] VIFは、共線性によって推定された回帰係数の分散^（推定値の標準偏差の2乗）が どの程度増加するかを測定する指標を提供する。

カスバート・ダニエルは、分散インフレーション係数の概念を発明したと主張しているが、その名前を思いついたわけではない。^[2]

k 個の独立変数を持つ次の線形モデルを考えます。

Y = β ₀ + β ₁ X ₁ + β ₂ X ₂ + ... + β _k X _k + ε。

β _jの推定値の標準誤差は、 s ² ( X ′ X ) ^−1のj  + 1 対角要素の平方根です。ここで、s は二乗平均平方根誤差 (RMSE)です(RMSE ²は、誤差項の真の分散の一貫した推定値であることに注意してください) 。Xは回帰設計行列です。つまり、X _{i , j +1が}i^番目のケースまたは観測値のj^番目の独立変数の値であり、切片項に関連付けられた予測ベクトルX _{i ,1がすべての}iに対して 1 に等しい行列です。この標準誤差の二乗、つまりβ _jの推定値の分散は、次のように同等に表現できます。^{[3] [4]}${\displaystyle \sigma ^{2}}$

${\displaystyle {\widehat {\operatorname {var} }}({\hat {\beta }}_{j})={\frac {s^{2}}{(n-1){\widehat {\operatorname {var} }}(X_{j})}}\cdot {\frac {1}{1-R_{j}^{2}}},}$

ここで、R _j ^{2 は、}X _jの他の共変量に対する回帰分析（応答変数Yを含まない回帰分析） の倍数R ²であり、は係数推定値、id est は の推定値です 。この恒等式は、係数推定値の分散に対する複数の異なる要因の影響を分離します。 ${\displaystyle {\hat {\beta }}_{j}}$${\displaystyle {\beta}_{j}}$

• s ² : 回帰面の周りのデータの散らばりが大きいほど、係数推定値の分散が比例して大きくなる
• n : サンプルサイズが大きいほど、係数推定値の分散は比例して小さくなる
• ${\displaystyle {\widehat {\operatorname {var} }}(X_{j})}$: 特定の共変量の変動が大きいほど、対応する係数推定値の変動は比例して小さくなる。

残りの項 1 / (1 −  R _j ² ) は VIF です。これは、係数推定値の不確実性に影響を与える他のすべての要因を反映します。ベクトルX _{j が、}他の共変量に対するX _jの回帰の設計行列の各列に直交している場合、VIF は 1 になります。対照的に、ベクトルX _{j が}、他の共変量に対するX _jの回帰の設計行列のすべての列に直交していない場合、VIF は 1 より大きくなります。最後に、VIF は変数のスケーリングに対して不変であることに注意してください (つまり、VIF を変更せずに、各変数X _jを定数c _jでスケーリングできます)。

${\displaystyle {\widehat {\operatorname {var} }}({\hat {\beta }}_{j})=s^{2}[(X^{T}X)^{-1}]_{jj}}$

ここで、一般性を失うことなく、 Xの列を並べ替えて最初の列を${\displaystyle r=X^{T}X}$${\displaystyle X_{j}}$

${\displaystyle r^{-1}={\begin{bmatrix}r_{j,j}&r_{j,-j}\\r_{-j,j}&r_{-j,-j}\end{bmatrix}}^{-1}}$

${\displaystyle r_{j,j}=X_{j}^{T}X_{j},r_{j,-j}=X_{j}^{T}X_{-j},r_{-j,j}=X_{-j}^{T}X_{j},r_{-j,-j}=X_{-j}^{T}X_{-j}}}$。

シューア補数を用いると、 の最初の行の最初の列の要素は、 ${\displaystyle r^{-1}}$

${\displaystyle r_{1,1}^{-1}=[r_{j,j}-r_{j,-j}r_{-j,-j}^{-1}r_{-j,j}]^{-1}}$

そして、

${\displaystyle {\begin{aligned}&{\widehat {\operatorname {var} }}({\hat {\beta }}_{j})=s^{2}[(X^{T}X)^{-1}]_{jj}=s^{2}r_{1,1}^{-1}\\={}&s^{2}[X_{j}^{T}X_{j}-X_{j}^{T}X_{-j}(X_{-j}^{T}X_{-j})^{-1}X_{-j}^{T}X_{j}]^{-1}\\={}&s^{2}[X_{j}^{T}X_{j}-X_{j}^{T}X_{-j}(X_{-j}^{T}X_{-j})^{-1}(X_{-j}^{T}X_{-j})(X_{-j}^{T}X_{-j})^{-1}X_{-j}^{T}X_{j}]^{-1}\\={}&s^{2}[X_{j}^{T}X_{j}-{\hat {\beta }}_{*j}^{T}(X_{-j}^{T}X_{-j}){\hat {\beta }}_{*j}]^{-1}\\={}&s^{2}{\frac {1}{\mathrm {RSS} _{j}}}\\={}&{\frac {s^{2}}{(n-1){\widehat {\operatorname {var} }}(X_{j})}}\cdot {\frac {1}{1-R_{j}^{2}}}\end{aligned}}}$

ここで、は従属変数の共変量に対する回帰係数です。は対応する残差二乗和です。 ${\displaystyle {\hat {\beta }}_{*j}}$${\displaystyle X_{j}}$${\displaystyle X_{-j}}$${\displaystyle \mathrm {RSS} _{j}}$

次の3つのステップで、 k 個の異なる VIF (各X _iごとに 1 つ)を計算できます。

まず、 X _{i を}最初の式における他のすべての説明変数の関数とする通常の最小二乗回帰を実行します。たとえば、 i
= 1の場合、式は次のようになります。

${\displaystyle X_{1}=\alpha _{0}+\alpha _{2}X_{2}+\alpha _{3}X_{3}+\cdots +\alpha _{k}X_{k}+\varepsilon }$

ここで は定数、 は誤差項です。 ${\displaystyle \alpha _{0}}$${\displaystyle \varepsilon }$

次に、次の式を使用して VIF 係数を計算します。${\displaystyle {\hat {\alpha }}_{i}}$

${\displaystyle \mathrm {VIF} _{i}={\frac {1}{1-R_{i}^{2}}}}$

ここで、R ² _{i は}ステップ 1 の回帰方程式の決定係数であり、左側に 、右側に他のすべての予測変数 (他のすべての X 変数) があります。 ${\displaystyle X_{i}}$

の大きさを考慮して多重共線性の大きさを分析します。経験則では、 の場合、多重共線性は高いといえます^[5] (カットオフ 5 もよく使用されます^[6] )。ただし、予測変数の傾きの分散が誇張されない VIF の値が 1 を超えることはありません。結果として、直交していない (つまり相関 = 0 である) 2 つ以上の変数を多重回帰に含めると、予測変数間で共有される分散があり、その分散を 1 つに一意に帰属させることができないため、互いの傾き、傾きの SE、および P 値が変わります^[7]${\displaystyle \operatorname {VIF} ({\hat {\alpha }}_{i})}$${\displaystyle \operatorname {VIF} ({\hat {\alpha }}_{i})>10}$

一部のソフトウェアでは、代わりに VIF の逆数である許容値を計算します。どちらを使用するかは個人の好みの問題です。

分散拡大係数の平方根は、その変数がモデル内の他の予測変数と相関が 0 の場合と比較して、標準誤差がどれだけ大きくなるかを示します。

例
予測変数の分散膨張係数が 5.27 (√5.27 = 2.3) の場合、その予測変数の係数の標準誤差は、その予測変数が他の予測変数と 0 の相関関係にある場合よりも 2.3 倍大きいことを意味します。

• vif車のRパッケージの機能
• ols_vif_tololsrr Rパッケージの関数
• PROC REGSASシステム
• variance_inflation_factorstatsmodels Pythonパッケージの関数
• estat vifスタタで
• GRASS GIS用の r.vif アドオン
• vifStatsModels Juliaプログラミング言語における(非カテゴリ) およびgvif(カテゴリデータ) 関数

• Allison, PD (1999) 「多重回帰：入門」サウザンドオークス、カリフォルニア州：Pine Forge Press。p. 142。
• Hair, JF; Anderson, R.; Tatham, RL; Black, WC (2006).多変量データ解析. Upper Saddle River, NJ: Prentice Hall.
• Kutner, MH; Nachtsheim, CJ; Neter, J. (2004).応用線形回帰モデル(第 4 版). McGraw-Hill Irwin.
• Longnecker, MT; Ott, RL (2004)。統計手法入門。トムソン・ブルックス/コール。615 ページ。
• Marquardt, DW (1970). 「一般化逆行列、リッジ回帰、バイアス線形推定、および非線形推定」. Technometrics . 12 (3): 591–612 [pp. 605–7]. doi :10.1080/00401706.1970.10488699.
• Studenmund, AH (2006).計量経済学の利用: 実践ガイド(第 5 版). ピアソンインターナショナル. pp. 258–259.
• Zuur, AF; Ieno, EN; Elphick, CS (2010). 「一般的な統計的問題を回避するためのデータ探索プロトコル」. Methods in Ecology and Evolution . 1 : 3–14. doi : 10.1111/j.2041-210X.2009.00001.x . S2CID  18814132.

• デザイン効果