不均一分散性整合標準誤差

不均一分散性整合（HC）標準誤差という話題は、統計学や計量経済学において、線型回帰や時系列分析の文脈で登場する。これらは、不均一分散性ロバスト標準誤差（または単にロバスト標準誤差）、アイカー・フーバー・ホワイト標準誤差（フーバー・ホワイト標準誤差またはホワイト標準誤差とも呼ばれる）^{[1]とも呼ばれ、} Friedhelm Eicker、^[2]、 Peter J. Huber、^[3]、Halbert White ^[4]の貢献を認めている。

回帰および時系列モデリングでは、モデルの基本形式は、誤差または外乱u _{i が}すべての観測点にわたって同じ分散を持つという仮定を利用します。これが当てはまらない場合、誤差は異分散である、または異分散性を持つと言われ、この動作は適合モデルから推定される残差に反映されます。異分散性整合標準誤差は、異分散残差を含むモデルの適合を可能にするために使用されます。このようなアプローチの最初の提案は Huber (1967) によって行われ、それ以来、横断的データ、時系列データ、およびGARCH 推定用にさらに改良された手順が作成されています。 ${\textstyle {\widehat {u}}_{i}}$

従来の標準誤差と異なる不均一分散性整合標準誤差は、モデルの誤指定を示している可能性があります。不均一分散性整合標準誤差を代用しても、この誤指定は解決されず、係数のバイアスにつながる可能性があります。ほとんどの場合、問題を見つけて修正する必要があります。^[5]クラスター化標準誤差やHAC標準誤差などの他の種類の標準誤差調整は、HC標準誤差の拡張として考えることができます。

不均一分散整合標準誤差はフリードヘルム・アイカー[ ^{6] [7]によって導入され、計量経済学では}ハルバート・ホワイトによって普及しました。

スカラーの線形回帰モデルを考えます。 ${\displaystyle y}$

${\displaystyle y=\mathbf {x} ^{\top }{\boldsymbol {\beta }}+\varepsilon ,\,}$

ここで、は説明変数（特徴）のk ×1列ベクトル、は推定されるパラメータのk ×1列ベクトル、は残差誤差です。 ${\displaystyle \mathbf {x} }$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \epsilon }$

通常の最小二乗法（OLS）推定量は

${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} .\,}$

ここで、は観測値のベクトルであり、はデータ内で観測された 積み重ねられた値の行列を表します。${\displaystyle \mathbf {y} }$${\displaystyle y_{i}}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {x} _{i}}$

標本誤差が等分散で無相関である場合、 の最小二乗推定値はBLUE (最良線形不偏推定値)となり、その分散は次のように推定される。 ${\displaystyle \sigma ^{2}}$${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=s^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\quad s^{2}={\frac {\sum _{i}{\widehat {\varepsilon }}_{i}^{2}}{nk}}}$

回帰残差は どこにありますか。${\displaystyle {\widehat {\varepsilon }}_{i}=y_{i}-\mathbf {x} _{i}^{\top }{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }}$

誤差項の分散が一定でない場合（つまり、 の仮定が成り立たない場合）、OLS 推定量は望ましい特性を失います。分散の式は簡略化できません。 ${\displaystyle \mathbb {E} [\mathbf {u} \mathbf {u} ^{\top }]=\sigma ^{2}\mathbf {I} _{n}}$

${\displaystyle \mathbb {V} \left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=\mathbb {V} {\big [}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} {\big ]}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Sigma } \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$

どこ${\displaystyle \mathbf {\Sigma } =\mathbb {V} [\mathbf {u} ].}$

OLS ポイント推定量は偏りがないままですが、平均二乗誤差が最小であるという意味で「最良」ではなく、OLS 分散推定量はOLS 推定値の分散の一貫した推定値を提供しません。 ${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]}$

しかし、非線形モデル（ロジットモデルやプロビットモデルなど）では、異分散性はより深刻な結果をもたらします。パラメータの最大尤度推定値は（未知の方向に）偏り、一貫性もなくなります（尤度関数が異分散性の正確な形を正しく考慮するように変更されない限り）。 ^{[8] [9]} Greeneが指摘したように、「一貫性のない推定値に対して堅牢な共分散行列を計算するだけでは、救済にはなりません。」^[10]

回帰誤差が独立しているが、異なる分散 を持つ場合、で推定できます。これにより、White (1980) の推定量、つまりHCE (異分散整合推定量) が得られます。 ${\displaystyle \varepsilon _{i}}$${\displaystyle \sigma _{i}^{2}}$${\displaystyle \mathbf {\Sigma } =\operatorname {diag} (\sigma _{1}^{2},\ldots ,\sigma _{n}^{2})}$${\displaystyle {\widehat {\sigma }}_{i}^{2}={\widehat {\varepsilon }}_{i}^{2}}$

${\displaystyle {\begin{aligned}{\hat {\mathbb {V} }}_{\text{HCE}}{\big [}{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}{\big ]}&={\frac {1}{n}}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\end{aligned}}}$

ここで、上記はデータから積み重ねられた値の行列を表します。推定値は一般化モーメント法(GMM) に基づいて導出できます。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {x} _{i}^{\top }}$

また、文献（ホワイトの論文を含む）で頻繁に議論されているのは、 -consistent 極限分布の共分散行列です。 ${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}}$${\displaystyle {\sqrt {n}}}$

${\displaystyle {\sqrt {n}}({\widehat {\boldsymbol {\beta }}}_{n}-{\boldsymbol {\beta }})\,\xrightarrow {d} \,{\mathcal {N}}(\mathbf {0} ,\mathbf {\Omega } ),}$

どこ

${\displaystyle \mathbf {\Omega } =\mathbb {E} [\mathbf {X} \mathbf {X} ^{\top }]^{-1}\mathbb {V} [\mathbf {X} {\boldsymbol {\varepsilon }}]\operatorname {\mathbb {E} } [\mathbf {X} \mathbf {X} ^{\top }]^{-1},}$

そして

${\displaystyle {\begin{aligned}{\widehat {\mathbf {\Omega } }}_{n}&={\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=n(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\end{aligned}}}$

したがって、

${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}=n\cdot {\hat {\mathbb {V} }}_{\text{HCE}}[{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}]}$

そして

${\displaystyle {\widehat {\mathbb {V} }}[\mathbf {X} {\boldsymbol {\varepsilon }}]={\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}={\frac {1}{n}}\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} .}$

正確にどの共分散行列が問題となるかは、状況によって異なります。

MacKinnon & White (1985)では、異なるレバレッジによる回帰残差の不等分散を修正する代替推定量が提案されている。^[11]漸近的White推定量とは異なり、データが等分散である場合、彼らの推定量は不偏である。

広く利用可能な4つの異なるオプション（HC0-HC3と表記されることが多い）のうち、HC3仕様が最も効果的であるように思われ、HC3推定量に依存するテストは、特に小さなサンプルでは、​​より優れた検出力と目標サイズへの近さを特徴としています。サンプルが大きくなるほど、異なる推定量間の差は小さくなります。^[12]

異分散性を明示的にモデル化する代わりに、ワイルドブートストラップなどの再サンプリング法を使用する方法があります。再サンプリングされた統計量をその標準誤差で標準化するスチューデント化ブートストラップによって漸近的な改良が得られることを考えると、 ^[13]異分散性に頑健な標準誤差はそれでもなお有用です。

異分散誤差を考慮する代わりに、ほとんどの線形モデルは、等分散誤差項を特徴とするように変換できます (線形確率モデルなど、誤差項が構造上異分散である場合を除く)。これを行う 1 つの方法は、効率特性も向上した 加重最小二乗法を使用することです。

• EViews : EViewsバージョン8では、ロバスト最小二乗法としてM推定法（Huber, 1973）、S推定法（Rousseeuw and Yohai, 1984）、MM推定法（Yohai 1987）の3つの手法が提供されています。^[14]
• Julia：このCovarianceMatricesパッケージは、異分散ロバスト分散共分散行列のためのいくつかの方法を提供します。^[15]
• MATLAB :hac計量経済学ツールボックスの関数を参照。^[16]
• Python : Statsmodel パッケージは、さまざまな堅牢な標準誤差推定値を提供します。詳細については、statsmodels.regression.linear_model.RegressionResults を参照してください。
• R :サンドイッチvcovHC()パッケージからのコマンド。^{[17] [18]}
• RATS : robusterrorsオプションは、多くの回帰コマンドおよび最適化コマンド ( linreg、nllsなど) で使用できます。
• Stata：robust多くの疑似尤度ベースの手順に適用可能なオプション。^[19]
• Gretl ：横断的データセットのコンテキストで--robustいくつかの推定コマンド（など）のオプションを使用すると、堅牢な標準誤差が生成されます。 ^[20]ols

• フリードマン、デビッド A. (2006) 「いわゆる「フーバーサンドイッチ推定値」と「ロバスト標準誤差」について「アメリカ統計学者.60 (4):299–302.doi : 10.1198 / 000313006X152207.S2CID6222876  .
• ハーディン、ジェームズ W. (2003)。「サンドイッチ分散推定」。フォンビー、トーマス B.、ヒル、R. カーター (編)。「誤って指定されたモデルの最大尤度推定: 20 年後」。アムステルダム: エルゼビア。pp. 45–74。ISBN 0-7623-1075-8。
• Hayes, Andrew F.; Cai, Li (2007). 「OLS 回帰における異分散性整合標準誤差推定量の使用: 概要とソフトウェア実装」.行動研究方法. 39 (4): 709–722. doi : 10.3758/BF0​​3192961. PMID 18183883  .
• キング、ゲイリー、ロバーツ、マーガレット E. (2015)。「ロバスト標準誤差は、解決されていない方法論上の問題をどのように明らかにし、それに対して何をすべきか」。政治分析。23 ( 2): 159–179。doi :10.1093/pan/mpu015。
• Wooldridge, Jeffrey M. (2009)。「OLS 推定後の不均一分散ロバスト推論」。入門計量経済学: 現代的アプローチ(第 4 版)。メイソン: サウスウェスタン。265 ～ 271 ページ。ISBN 978-0-324-66054-8。
• Buja, Andreas 他「近似値としてのモデル - 回帰分析における古典的な推論に対するランダム回帰変数とモデル偏差の陰謀」統計科学 (2015): 1. pdf