省略変数バイアス

統計学では、統計モデルが 1 つ以上の関連変数を省略すると、省略変数バイアス( OVB ) が発生します。このバイアスにより、モデルは、欠落した変数の効果を、含まれている変数に帰属させます。

より具体的には、OVB は、従属変数の決定要因であり、含まれる 1 つ以上の独立変数と相関する独立変数を省略するという点で想定された仕様が間違っている場合に、回帰分析のパラメーターの推定値に現れるバイアスです。

真の因果関係が次のように表されると仮定します。

${\displaystyle y=a+bx+cz+u}$

パラメータはa、b、c、従属変数y、独立変数xとz、誤差項uです。 x自体がyに与える影響を知りたいのです（つまり、bの推定値を取得したいのです）。

線形回帰において省略変数バイアスが存在するためには、次の 2 つの条件が満たされている必要があります。

• 省略された変数は従属変数の決定要因でなければならない（すなわち、その真の回帰係数はゼロであってはならない）。
• 省略された変数は、回帰分析で指定された独立変数と相関している必要があります（つまり、cov( z , x )はゼロであってはなりません）。

回帰からzを省略し、 xとzの関係が次のように表されると 仮定する。

${\displaystyle z=d+fx+e}$

パラメータd、f、誤差項eである。2番目の式を最初の式に代入すると、

${\displaystyle y=(a+cd)+(b+cf)x+(u+ce).}$

yの回帰がxのみに対して行われる場合、この最後の式が推定値であり、xの回帰係数は実際には ( b  +  cf )の推定値であり、 xのyに対する望ましい直接効果( b ) の推定値だけでなく、間接効果 ( xのzに対する効果fとzのyに対する効果cの積) との合計の推定値も示します。したがって、回帰から変数z を省略することで、 y のxに関する偏導関数ではなく、xに関する全導関数を推定しています。 cとfが両方とも ゼロでない 場合、これらは異なります。

バイアスの方向と程度は両方ともcfに含まれています。これは、求められる効果はbですが、回帰ではb+cfと推定されるためです。バイアスの程度はcfの絶対値であり、バイアスの方向は、cf > 0 の場合 ( yとz の相関の方向がxとzの相関の方向と同じ場合) は上向き (より正の値またはより負の値の少ない方向) になり、それ以外の場合は下向きになります。

例として、次のような 線形モデルを考えてみましょう。

${\displaystyle y_{i}=x_{i}\beta +z_{i}\delta +u_{i},\qquad i=1,\dots ,n}$

どこ

• x _{i は}、i番目の時点またはi ^{番目の研究参加者で観測された}p個の独立変数の値の1×  p行ベクトルである。
• βは_推定される観測不可能なパラメータ（ xi内のp個の独立変数 のそれぞれに対する従属変数の応答係数）のp ×1列ベクトルである。
• z _{i は}スカラーであり、 i番目の時点またはi ^番目の研究参加者で観測される別の独立変数の値です。
• δはスカラーであり、推定される観測不可能なパラメータ（従属変数のz _{iに対する応答係数）である。}
• u _{i は}、 i番目の時点またはi ^番目の研究参加者に発生する観測不可能な誤差項であり、期待値0（ x _iおよびz _i の条件付き）を持つランダム変数の観測不可能な実現値である。
• y _{i は}、i番目の時点またはi ^{番目の研究参加者における}従属変数の観測値です。

i = 1, ..., nの添え字が付いたすべての変数の観測値を収集し、それらを積み重ねて、行列 Xとベクトル Y、Z、Uを取得します。

${\displaystyle X=\left[{\begin{array}{c}x_{1}\\\vdots \\x_{n}\end{array}}\right]\in \mathbb {R} ^{n\times p},}$

そして

${\displaystyle Y=\left[{\begin{array}{c}y_{1}\\\vdots \\y_{n}\end{array}}\right],\quad Z=\left[{\begin{array}{c}z_{1}\\\vdots \\z_{n}\end{array}}\right],\quad U=\left[{\begin{array}{c}u_{1}\\\vdots \\u_{n}\end{array}}\right]\in \mathbb {R} ^{n\times 1}.}$

独立変数zが回帰から省略された場合、他の独立変数の応答パラメータの推定値は通常の最小二乗計算によって与えられます。

${\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'Y\,}$

(ここで、「プライム」表記は行列の転置を意味し、上付き文字 -1 は行列の反転を意味します)。

仮定した線形モデルに基づいて Yを代入すると、

${\displaystyle {\begin{aligned}{\widehat {\beta }}&=(X'X)^{-1}X'(X\beta +Z\delta +U)\\&=(X'X)^{-1}X'X\beta +(X'X)^{-1}X'Z\delta +(X'X)^{-1}X'U\\&=\beta +(X'X)^{-1}X'Z\delta +(X'X)^{-1}X'U.\end{aligned}}}$

期待値を取ると、最終項の寄与はゼロになります。これは、 U が回帰変数Xと無相関であるという仮定から生じます。残りの項を簡略化すると、次のようになります。

${\displaystyle {\begin{aligned}E[{\widehat {\beta }}\mid X]&=\beta +(X'X)^{-1}E[X'Z\mid X]\delta \\&=\beta +{\text{bias}}.\end{aligned}}}$

この場合、等号の後の 2 番目の項は省略変数バイアスであり、省略変数z が行列Xに含まれる変数のいずれかと相関している場合(つまり、X′Z がゼロのベクトルと等しくない場合)、これはゼロ以外になります。バイアスは、 x _iによって「説明」されるz _iの加重部分に等しいことに注意してください。

ガウス・マルコフの定理によれば、古典的な線形回帰モデルの仮定を満たす回帰モデルは、最も効率的で線形かつ不偏の推定値を提供します。通常の最小二乗法では、古典的な線形回帰モデルの関連する仮定は、誤差項が回帰変数と無相関であるということです。

省略変数のバイアスが存在すると、この特定の仮定に違反します。違反により、OLS 推定量はバイアスがかかり、一貫性がなくなります。バイアスの方向は推定量と、回帰変数と省略変数間の共分散に依存します。省略変数と回帰変数および従属変数の両方の共分散が正の場合、含まれる回帰変数の係数の OLS 推定値は、その係数の真の値よりも大きくなります。この影響は、前のセクションで示したように、パラメータの期待値を取ることで確認できます。

• 交絡変数

• Barreto、Howland (2006)。「省略変数バイアス」。入門計量経済学: Microsoft Excel によるモンテカルロ シミュレーションの使用。ケンブリッジ大学出版局。
• クラーク、ケビンA. ( 2005)。「ファントムメナス：計量経済研究における変数バイアスの省略」。紛争管理と平和科学。22 (4): 341– 352。doi :10.1080/07388940500339183。
• Greene, WH (1993).計量経済分析（第2版）. マクミラン. pp.  245– 246.
• Wooldridge, Jeffrey M. (2009)。「省略変数バイアス:単純なケース」。入門計量経済学: 現代的アプローチ。オハイオ州メイソン: Cengage Learning。pp.  89– 93。ISBN 9780324660548。