等分散性と異分散性

統計学では、一連のランダム変数がすべて同じ有限分散を持つ場合、そのランダム変数のシーケンスは等分散性( / ˌ h oʊ m oʊ s k ə ˈ d æ s t ɪ k / ) であると言われます。これは、分散の等質性とも呼ばれます。相補的な概念は、分散の異質性とも呼ばれ、homos k edasticityおよびheteros k edasticityという綴りもよく使用されます。「Skedasticity」は、古代ギリシャ語の「skedánnymi」に由来し、「散らす」を意味します。^{[1] [2] [3]} 実際には異分散（/ ˌ h ɛ t ər oʊ s k ə ˈ d æ s t ɪ k / ）である変数を等分散であると仮定すると、偏りのない非効率的な点推定値と標準誤差の偏った推定値が得られ、ピアソン係数で測定される適合度を過大評価する可能性があります。

不均一分散性の存在は、 回帰分析や分散分析における大きな懸念事項です。これは、モデリング誤差がすべて同じ分散を持つと仮定する統計的有意性検定が無効になるためです。通常の最小二乗推定量は不均一分散性があっても偏りがありませんが、非効率的であり、均一分散性の仮定に基づく推論は誤解を招きます。その場合、一般化最小二乗法(GLS) が過去に頻繁に使用されていました。^{[4] [5]}現在、計量経済学の標準的な方法は、 GLS を使用する代わりに不均一分散性整合標準誤差を含めることです。これは、実際の分散関数が不明な場合、GLS が小さなサンプルで強いバイアスを示す可能性があるためです。^[6]

異分散性は誤差の2次モーメントの期待値に関係するため、その存在は2次の誤指定と呼ばれます。 ^[7]

計量経済学者 ロバート・エングルは、不均一分散性が存在する場合の回帰分析に関する研究により、 2003年のノーベル経済学賞を受賞しました。この研究は、自己回帰条件付き不均一分散性（ARCH）モデリング手法の定式化につながりました。^[8]

従属ランダム変数が決定論的変数と係数の積に平均 0 のランダム外乱項を加えた値に等しい線形回帰方程式を考えます。 の分散が定数 の場合、外乱は等分散です。それ以外の場合は、不等分散です。特に、 の分散がまたは の値に依存する場合、外乱は不等分散です。 が不等分散になる 1 つの例は、 （分散関数の例）の場合で、分散は の値に比例します。 ${\displaystyle y_{i}=x_{i}\beta _{i}+\varepsilon _{i},\ i=1,\ldots ,N,}$${\displaystyle y_{i}}$${\displaystyle x_{i}}$${\displaystyle \beta_{i}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \sigma ^{2}}$${\displaystyle \varepsilon _{i}}$${\displaystyle i}$${\displaystyle x_{i}}$${\displaystyle \sigma _{i}^{2}=x_{i}\sigma ^{2}}$${\displaystyle x}$

より一般的には、にわたる擾乱の分散共分散行列の対角が定数でない場合、その擾乱は異分散です。^[9] 以下の行列は、時間にわたって観測値が 3 つしかない場合の共分散です。行列 A の擾乱は等分散です。これは、OLS が最良の線形不偏推定量となる単純なケースです。行列 B と C の擾乱は異分散です。行列 B では、分散は時間とともに変化し、時間とともに着実に増加します。行列 C では、分散は の値に依存します。行列 D の擾乱は、対角分散が一定であるにもかかわらず、対角外の共分散がゼロでなく、通常の最小二乗法が別の理由、つまり連続相関のために非効率的であるため、等分散です。 ${\displaystyle \varepsilon _{i}}$${\displaystyle i}$${\displaystyle x}$

${\displaystyle {\begin{aligned}A&=\sigma ^{2}{\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\\\end{bmatrix}}&B&=\sigma ^{2}{\begin{bmatrix}1&0&0\\0&2&0\\0&0&3\\\end{bmatrix}}&C&=\sigma ^{2}{\begin{bmatrix}x_{1}&0&0\\0&x_{2}&0\\0&0&x_{3}\\\end{bmatrix}}&D&=\sigma ^{2}{\begin{bmatrix}1&\rho &\rho ^{2}\\\rho &1&\rho \\\rho ^{2}&\rho &1\\\end{bmatrix}}\end{aligned}}}$

観測値のサイズに大きな差がある場合、不均一分散が発生することがよくあります。

異分散性の典型的な例は、収入と食費の関係です。裕福な人は、時には安価な食べ物を食べ、時には高価な食べ物を食べることがあります。貧しい人はほとんど常に安価な食べ物を食べます。したがって、収入が高い人ほど食費の変動が大きくなります。

ロケットの打ち上げ時には、観測者がロケットの移動距離を 1 秒に 1 回測定します。最初の数秒間は、測定値は 1 センチメートル単位の精度になります。5 分後には、距離の増加、大気の歪み、その他のさまざまな要因により、測定値の精度は 100 メートルまでしか良くありません。そのため、距離の測定値に不均一な分散が現れることがあります。

従来の線形回帰モデルの仮定の 1 つは、不均一分散がないことです。この仮定が崩れると、ガウス・マルコフ定理が適用されないことになり、OLS推定量は最良線形不偏推定量 (BLUE)ではなく、その分散は他のすべての不偏推定量の中で最低ではありません。不均一分散によって通常の最小二乗係数推定値が偏ることはありませんが、係数の分散 (したがって標準誤差) の通常の最小二乗推定値が偏り、真の母分散よりも上または下になる可能性があります。したがって、不均一分散データを使用した回帰分析では、予測変数と結果の関係について依然として不偏推定値が得られますが、標準誤差、したがってデータ分析から得られる推論は疑わしいものになります。偏った標準誤差は偏った推論につながるため、仮説検定の結果が間違っている可能性があります。たとえば、OLS を異分散データ セットで実行して偏った標準誤差推定を生成した場合、研究者は、その帰無仮説が実際の母集団の特性と一致しないにもかかわらず、特定の有意水準で帰無仮説を棄却できない可能性があります (タイプ II の誤りを犯す)。

特定の仮定の下では、OLS 推定量は、適切に正規化され中心化されている場合 (データが正規分布から取得されていない場合でも)、正規漸近分布を持ちます。この結果は、仮説検定を行うときに、正規分布、またはカイ 2 乗分布(検定統計量の計算方法によって異なります)を使用することを正当化するために使用されます。これは、不均一分散下でも当てはまります。より正確には、不均一分散下における OLS 推定量は、適切に正規化され中心化されている場合、漸近的に正規であり、分散共分散行列は等分散の場合とは異なります。1980 年に、White はOLS 推定量の漸近分布の分散共分散行列に対する整合した推定量を提案しました。 ^[2]これにより、不均一分散下における OLS 推定量と White の分散共分散推定量を使用した仮説検定の使用が検証されます。

異分散性もまた、分散分析の問題で遭遇する大きな実用上の問題である。^[10] F検定は 状況によっては依然として使用できる。^[11]

しかし、計量経済学を学ぶ学生は、不均一分散性に過剰反応すべきではないと言われています。 ^[3]ある著者は、「不均一な誤差分散は、問題が深刻な場合にのみ修正する価値があります。」と書いています。^[12]さらに、「不均一分散性は、それ以外は優れたモデルを放棄する理由にはなりません。」という警告の言葉もありました。 ^{[3] [13]}不均一分散性に一致する標準誤差の出現により、条件付き第 2 モーメント誤差項を指定せずに推論が可能になり、条件付き等分散性のテストは以前ほど重要ではなくなりました。^[6]

しかし、非線形モデル（例えばロジットモデルやプロビットモデル）では、異分散性はより深刻な結果をもたらします。つまり、パラメータの最大尤度推定値（MLE）は、通常、偏りがあり、矛盾も生じます（尤度関数が異分散性の正確な形式を正しく考慮するように変更されるか、分布が線形指数族のメンバーであり、条件付き期待値関数が正しく指定されている場合を除きます）。^{[14] [15]しかし、バイナリ選択モデル（}ロジットまたはプロビット）のコンテキストでは、異分散性は、誤って指定されたMLE（つまり、異分散性を無視するモデル）の漸近平均に対してのみ正のスケーリング効果をもたらします。^[16]その結果、誤って指定されたMLEに基づく予測は正しいままになります。さらに、誤って指定されたプロビットおよびロジットMLEは漸近的に正規分布するため、通常の有意性検定（適切な分散共分散行列を使用）を実行できます。しかし、一般的な仮説検定に関しては、グリーンが指摘しているように、「一貫性のない推定値に対して堅牢な共分散行列を計算するだけでは、それが救済されるわけではない。したがって、この設定での堅牢な共分散行列の利点は不明である。」^[17]

不均一分散に対する一般的な修正方法がいくつかあります。

• データの安定化変換、たとえば対数化されたデータ。指数関数的に増加する非対数化された系列は、時間の経過とともに系列が増加するにつれて変動が増加するように見えることがよくあります。ただし、パーセンテージで表した変動は、むしろ安定している可能性があります。
• モデルに異なる仕様を使用します (異なるX変数、またはX変数の非線形変換など)。
• 加重最小二乗推定法を適用する。この方法では、OLSをXとYの変換値または加重値に適用する。加重は観測値ごとに異なり、通常は誤差分散の変化に依存する。あるバリエーションでは、加重は従属変数の大きさに直接関連しており、これは最小二乗パーセンテージ回帰に対応する。^[18]
• 不均一分散整合標準誤差(HCSE) は、依然としてバイアスはあるものの、OLS 推定値よりも優れています。^[2] HCSE は、不均一分散のある回帰モデルにおける標準誤差の整合推定量です。この方法は、係数の値を変更せずに不均一分散を修正します。この方法は、不均一分散が存在する場合はそれを修正しますが、データが等分散である場合は、標準誤差は OLS によって推定される従来の標準誤差と同等であるため、通常の OLS よりも優れている可能性があります。不均一分散整合標準誤差を計算する White 法のいくつかの修正は、優れた有限サンプル特性を持つ修正として提案されています。
• ワイルド ブートストラッピングは、エラー項の条件付き分散の差を尊重するリサンプリング方法として使用できます。別の方法としては、エラーではなく観測値を再サンプリングする方法があります。観測値の関連値を考慮せずにエラーを再サンプリングすると、等分散性が強制され、誤った推論が生じることに注意してください。
• MINQUEまたは慣例的な推定量（それぞれ観測値を持つ独立サンプル用）を使用すると、サンプルあたりの観測値の数が多い場合（特に独立サンプルの数が少ない場合）、効率の低下は大きくありません。^[19]${\textstyle s_{i}^{2}=(n_{i}-1)^{-1}\sum _{j}\left(y_{ij}-{\bar {y}}_{i}\right)^{2}}$${\displaystyle i=1,2,...,k}$${\displaystyle j=1,2,...,n_{i}}$${\displaystyle n_{i}>5}$

残差は、 Breusch–Pagan検定^[20]を使用して等分散性について検定することができます。この検定は、独立変数の残差の二乗の補助回帰を実行します。この補助回帰から、説明される二乗和が保持され、2で割られ、自由度が独立変数の数に等しいカイ二乗分布の検定統計量になります。^[21]このカイ二乗検定の帰無仮説は等分散性であり、対立仮説は異分散性を示します。Breusch–Pagan検定は正規性からの逸脱や小さなサンプルサイズの影響を受けやすいため、代わりにKoenker–Bassett検定または「一般化Breusch–Pagan」検定が一般的に使用されます。^{[22] [追加の引用が必要]}補助回帰から、R二乗値が保持され、サンプルサイズが乗じられ、カイ二乗分布の検定統計量になります（同じ自由度を使用します）。Koenker–Bassett検定では必須ではありませんが、Breusch–Pagan検定では、二乗残差をサンプルサイズで割った残差二乗和で割ることも必要です。^{[22]グループごとの異分散性の検定は}、Goldfeld–Quandt検定で行うことができます。^[23]

異分散性整合標準誤差の標準的な使用と事前検定の問題のため、今日では計量経済学者は条件付き異分散性の検定をほとんど使用しない。^[6]

グループ間の異分散性の検定は、正式には回帰モデル内の検定の特殊なケースと見なすことができますが、一部の検定にはこのケースに固有の構造があります。

2つ以上の正規分布は、共分散行列で同じ対角要素を共有し、非対角要素がゼロである場合、両方とも等分散であり、シリアル相関がありません。等分散分布は、統計パターン認識および機械学習アルゴリズムを導出するために特に役立ちます。等分散性を仮定するアルゴリズムの一般的な例の1つは、フィッシャーの線形判別分析です。等分散性の概念は、球面上の分布に適用できます。^[27]${\displaystyle N(\mu _{1},\Sigma _{1}),N(\mu _{2},\Sigma _{2}),}$${\displaystyle \Sigma _{1}{ii}=\Sigma _{2}{jj},\ \forall i=j.}$

ホーム分散性と異分散性の研究は、スカラー観測値の分散の代わりにベクトル観測値の共分散を扱う多変量の場合に一般化されている。その1つのバージョンは、共分散行列を多変量分散の尺度として使用することである。何人かの著者は、回帰とグループ化されたデータの両方の状況で、この文脈での検定を検討した。^{[28] [29]} 単変量の場合で最も一般的に使用されるグループ化されたデータ間の異分散性のバートレット検定は、多変量の場合にも拡張されているが、扱いやすい解は2つのグループに対してのみ存在する。 ^{[30] 2つ以上のグループに対しては近似値が存在し、それらは両方とも}ボックスのM検定と呼ばれている。

• 異質性
• 球面誤差
• 不均一分散性整合標準誤差

ほとんどの統計学の教科書には、等分散性と異分散性に関する内容が少なくともいくらか含まれています。例をいくつか挙げます。

• アステリオウ、ディミトロス、ホール、スティーブン G. (2011)。応用計量経済学 (第 2 版)。パルグレイブ マクミラン。pp. 109–147。ISBN 978-0-230-27182-1。
• デイビッドソン、ラッセル、マッキノン、ジェームズ G. (1993)。計量経済学における推定と推論。ニューヨーク：オックスフォード大学出版局。pp. 547–582。ISBN 978-0-19-506011-9。
• ドハティ、クリストファー（2011年）。計量経済学入門。ニューヨーク：オックスフォード大学出版局。pp. 280–299。ISBN 978-0-19-956708-9。
• グジャラーティ、ダモダール N. ;ポーター、ドーン C. (2009)。基礎計量経済学 (第 5 版)。ニューヨーク: マグロウヒル アーウィン。pp. 365–411。ISBN 978-0-07-337577-9。
• クメンタ、ヤン(1986)。『計量経済学の要素』（第2版）。ニューヨーク：マクミラン。pp. 269–298。ISBN 978-0-02-365070-3。
• Maddala, GS ; Lahiri, Kajal (2009). 計量経済学入門（第4版）. ニューヨーク: Wiley. pp. 211–238. ISBN 978-0-470-01512-4。

• マーク・トーマによるYouTubeでの計量経済学講義 (トピック: 異分散性)