ガウス・マルコフの定理

統計学において、ガウス・マルコフの定理（あるいは単にガウスの定理）^{[ 1 ]}は、線形回帰モデルの誤差が無相関で、分散が等しく、期待値がゼロである場合、通常の最小二乗法（OLS）推定量は、線形不偏推定量のクラスの中で最小の標本分散（標本間の推定量の分散）を持つと述べています。[ 2 ]誤差は正規分布である必要^は^なく^、独立同分布である必要もありません（平均がゼロで無相関であり、有限の分散を持つ等分散性のみが必要です）。推定量が不偏であるという要件は、分散が低い偏りのある推定量が存在するため、削除することはできません。たとえば、ジェームズ・スタイン推定量（線形性も削除）、リッジ回帰、または単に任意の退化推定量を参照してください。

この定理はカール・フリードリヒ・ガウスとアンドレイ・マルコフにちなんで名付けられましたが、ガウスの研究はマルコフの研究よりもかなり前に行われています。^{[ 3 ]}しかし、ガウスは独立性と正規性の仮定の下で結果を導き出しましたが、マルコフは上記の形式に仮定を縮小しました。^{[ 4 ]}非球形誤差へのさらなる一般化はアレクサンダー・エイトケンによって与えられました。^{[ 5 ]}

スカラーケースステートメント

2つのランダム変数が与えられたと仮定します $X,Y$ そして、我々は以下の最適な線形推定量を見つけたいと考えている。 $Y$ 与えられた $X$ 最適な線形推定器を使用する ${\hat {Y}}=\alpha X+\mu ,$ パラメータ $\alpha$ そして $\mu$ 両方とも実数です。

このような推定器 ${\hat {Y}}$ 平均と標準偏差は同じになるだろう $Y$ つまり、 $\mu _{\hat {Y}}=\mu _{Y},\sigma _{\hat {Y}}=\sigma _{Y}$ 。

したがって、ベクトルが $X$ それぞれ平均値と標準偏差を持つ $\displaystyle \mu _{x},\sigma _{x}}$ 最適な線形推定量は ${\hat {Y}}=\sigma _{y}{\frac {(X-\mu _{x})}{\sigma _{x}}}+\mu _{y},$ 以来 ${\hat {Y}}$ 平均値と標準偏差が同じである $Y$ 。

声明

行列表記で線形関係が与えられていると仮定します。 $y=X\beta +\varepsilon ,\quad (y,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K}{\text{ および }}X\in \mathbb {R} ^{n\times K}),$ どこ $\displaystyle \beta _{j}}$ 非ランダムだが観測不可能なパラメータである。 $X_{ij}$ これらは非ランダムで観測可能であり（「説明変数」と呼ばれる）、 $\varepsilon _{i}$ ランダムなので、 $\displaystyle y_{i}}$ ランダムです。 $\varepsilon _{i}$ これらは「擾乱」、「ノイズ」、または単に「誤差」と呼ばれます（後ほど「残差」と対比されます。統計学における誤差と残差を参照してください）。上記のモデルに定数を含めるには、定数を変数として導入することもできます。 $\displaystyle \beta _{K+1}}$ 新たに導入された最後の列 $X$ 統一性、すなわち、 $X_{i(K+1)}=1$ すべての人々のために $i$ ただし、 $\displaystyle y_{i}}$ サンプル応答として、観察可能であり、仮定、証明、その他を含む以下の記述と議論は、知っているという唯一の条件の下で仮定される。 $X_{ij},$ しかしそうではない $y_{i}.$

ガウス・マルコフ仮定は、誤差確率変数の集合に関するものである。 $\varepsilon _{i}$ :

それらの平均値はゼロです。 $\operatorname {E} [\varepsilon _{i}]=0.$
これらは等分散性を持つ、つまり、すべて同じ有限の分散を持つ。 $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ すべての人々のために $i$ 。
異なる誤差項は無相関である。 $\operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.$

線形推定量 $\displaystyle \beta _{j}}$ 線形結合 ${\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n},$ 係数 $c_{ij}$ 基礎となる係数に依存してはならない $\displaystyle \beta _{j}}$ それらは観測できないが、値に依存することが許されている $X_{ij}$ これらのデータは観測可能であるため。（各係数の依存性） $X_{ij}$ は一般的に非線形である。推定器は各に関して線形である。 $\displaystyle y_{i}}$ したがって各ランダム $\varepsilon ,$ （これが「線形」回帰と呼ばれる理由です。）推定量は、以下の条件を満たす場合に限り、不偏であると言われます。 $\operatorname {E} [{\hat {\beta }}_{j}]=\beta _{j}$ 値に関係なく $X_{ij}$ さあ、 ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ は係数の線形結合である。すると、対応する推定値の 平均二乗誤差は $\operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}({\hat {\beta }}_{j}-\beta _{j})\right)^{2}\right],$ 言い換えれば、これは推定量と推定対象パラメータとの差の重み付き和（パラメータ全体にわたる）の二乗の期待値です。（すべてのパラメータ推定値が不偏である場合を考えているため、この平均二乗誤差は線形結合の分散と同じです。）ベクトルの最良線形不偏推定量（BLUE） $\beta$ パラメータの $\displaystyle \beta _{j}}$ 各ベクトルの平均二乗誤差が最小となるもの $\lambda$ 線形結合パラメータの。これは次の条件と同等です。 $\operatorname {Var} ({\tilde {\beta }})-\operatorname {Var} ({\hat {\beta }})$ 他のすべての線形不偏推定量に対しては、正半定値行列である。 ${\widetilde {\beta }}$ 。

最小二乗推定量（OLS）は次の関数です。 ${\widehat {\beta }}=(X^{\mathsf {T}}X)^{-1}X^{\mathsf {T}}y$ の $y$ そして $X$ （どこ $X^{\mathsf {T}}$ は、の転置を表します。 $X$ 残差の二乗和（予測誤差）を最小化する： $\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\hat {\beta }}_{j}X_{ij}\right)^{2}.$

この定理は、OLS推定量が最良線形不偏推定量（BLUE）であることを述べている。

証明の主な考え方は、最小二乗推定量がゼロのすべての線形不偏推定量、つまりすべての線形結合と無相関であるということである。 $a_{1}y_{1}+\cdots +a_{n}y_{n}$ その係数は観測不可能なものに依存しない $\beta$ しかし、その期待値は常にゼロである。

述べる

OLSが実際に残差の二乗和を最小化することの証明は、ヘッセ行列を計算し、それが正定値であることを示すことによって、次のように進めることができます。

最小化したいMSE関数は $f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}$ p個の変数を持つ重回帰モデルの場合、1階微分は ${\begin{aligned}{\frac {d}{d{\boldsymbol {\beta }}}}f&=-2X^{\operatorname {T} }\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&=\mathbf {0} _{p+1},\end{aligned}}$ どこ $X^{\operatorname {T} }$ デザインマトリックスは $X={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\&&\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1$

2階微分のヘッセ行列は ${\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{\operatorname {T} }X$

列を仮定すると $X$ 線形独立であるため、 $X^{\operatorname {T} }X$ は可逆である、 $X={\begin{bmatrix}\mathbf {v_{1}} &\mathbf {v_{2}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}$ 、それから $k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}=\mathbf {0} \iff k_{1}=\dots =k_{p+1}=0$

さあ $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ の固有ベクトルである ${\mathcal {H}}$ 。

$\mathbf {k} \neq \mathbf {0} \implies \left(k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}\right)^{2}>0$

ベクトル乗算の観点から言えば、これは ${\begin{bmatrix}k_{1}&\cdots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} \\\vdots \\\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf {k} ^{\operatorname {T} }{\mathcal {H}}\mathbf {k} =\lambda \mathbf {k} ^{\operatorname {T} }\mathbf {k} >0$ どこ $\lambda$ は、 $\mathbf {k}$ 。さらに、 $\mathbf {k} ^{\operatorname {T} }\mathbf {k} =\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0$

最後に、固有ベクトルとして $\mathbf {k}$ は任意であり、すべての固有値は ${\mathcal {H}}$ 正であるため ${\mathcal {H}}$ 正定値である。したがって、 ${\boldsymbol {\beta }}=\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }Y$ それは確かに世界的な最低基準である。

または、すべてのベクトルについて、 $\mathbf {v} ,\mathbf {v} ^{\operatorname {T} }X^{\operatorname {T} }X\mathbf {v} =\|\mathbf {X} \mathbf {v} \|^{2}\geq 0$ したがって、ヘッセ行列はフルランクであれば正定値行列となる。

証拠

させて ${\tilde {\beta }}=Cy$ の別の線形推定量である $\beta$ と $C=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D$ どこ $D$ は $K\times n$ 非ゼロ行列。不偏推定量に限定しているため、最小平均二乗誤差は最小分散を意味します。したがって、目標は、そのような推定量の分散が、以下の分散よりも小さくないことを示すことです。 ${\widehat {\beta }},$ OLS推定量。以下を計算します。

{\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)(X\beta +\varepsilon )\right]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta +\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}

したがって、 $\beta$ 観測不可能である、 ${\tilde {\beta }}$ 偏りがないのは、 $DX=0$ 。それから：

{\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C^{\operatorname {T} }\\&=\sigma ^{2}CC^{\operatorname {T} }\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\left(X(X^{\operatorname {T} }X)^{-1}+D^{\operatorname {T} }\right)\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}+(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }D^{\operatorname {T} }+DX(X^{\operatorname {T} }X)^{-1}+DD^{\operatorname {T} }\right)\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}(X^{\operatorname {T} }X)^{-1}(DX)^{\operatorname {T} }+\sigma ^{2}DX(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD^{\operatorname {T} }&&\sigma ^{2}(X^{\operatorname {T} }X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}

以来 $DD^{\operatorname {T} }$ は正定値半行列であり、 $\operatorname {Var} \left({\tilde {\beta }}\right)$ を超える $\operatorname {Var} \left({\widehat {\beta }}\right)$ 正定値半行列によって。

証明に関するコメント

先に述べたように、 $\operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)$ は正定値半正定値行列であり、これは最良線形不偏推定量が $\ell ^{\operatorname {T} }\beta$ は $\ell ^{\operatorname {T} }{\widehat {\beta }}$ （分散が最小という意味で最適）。これを確認するには、 $\ell ^{\operatorname {T} }{\tilde {\beta }}$ の別の線形不偏推定量 $\ell ^{\operatorname {T} }\beta$ 。

{\begin{aligned}\operatorname {Var} \left(\ell ^{\operatorname {T} }{\tilde {\beta }}\right)&=\ell ^{\operatorname {T} }\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell +\ell ^{\operatorname {T} }DD^{\operatorname {T} }\ell \\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+(D^{\operatorname {T} }\ell )^{\operatorname {T} }(D^{\operatorname {T} }\ell )\\&\geq \operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\end{aligned}}

さらに、等号が成立するのは、 $D^{\operatorname {T} }\ell =0$ 計算します

{\begin{aligned}\ell ^{\operatorname {T} }{\tilde {\beta }}&=\ell ^{\operatorname {T} }\left(((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D)Y\right)&&{\text{ from above}}\\&=\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }Y+\ell ^{\operatorname {T} }DY\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}+(D^{\operatorname {T} }\ell )^{\operatorname {T} }Y\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}&&D^{\operatorname {T} }\ell =0\end{aligned}}

これは、等号が成り立つのは、 $\ell ^{\operatorname {T} }{\tilde {\beta }}=\ell ^{\operatorname {T} }{\widehat {\beta }}$ これにより、OLS推定量がBLUEとして独自性を持つことになる。

一般化最小二乗推定量

Aitkenによって開発された一般化最小二乗法（GLS）[5]は、誤差ベクトルが^非^スカラー^共分散行列を持つ場合にガウス・マルコフの定理を拡張したものです。^[⁶^] Aitken推定量はBLUEでもあります。

計量経済学で述べられているガウス・マルコフの定理

OLSのほとんどの処理では、設計行列内の回帰変数（関心のあるパラメータ）は $\mathbf {X}$ 繰り返しサンプルでは固定されていると仮定される。この仮定は、計量経済学のような主に非実験的な科学には不適切であると考えられている。^{[ 7 ]}代わりに、ガウス・マルコフの定理の仮定は、以下の条件付きで述べられる。 $\mathbf {X}$ 。

線形性

従属変数は、モデルで指定された変数の線形関数であると仮定されます。仕様は、そのパラメータに関して線形である必要があります。これは、独立変数と従属変数の間に線形関係が存在する必要があるという意味ではありません。パラメータが線形である限り、独立変数は非線形形式をとることができます。方程式 $y=\beta _{0}+\beta _{1}x^{2},$ 線形として適格である一方 $y=\beta _{0}+\beta _{1}^{2}x$ を置き換えることで線形に変換できます $\beta _{1}^{2}$ 別のパラメータによって、例えば $\gamma$ 独立変数に依存するパラメータを持つ方程式は、線形とはみなされません。例えば、 $y=\beta _{0}+\beta _{1}(x)\cdot x$ 、どこ $\beta _{1}(x)$ は関数である $x$ 。

データ変換は、方程式を線形形式に変換するためによく用いられます。例えば、経済学でよく用いられるコブ・ダグラス関数は非線形関数です。

Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }

しかし、両辺の自然対数を取ることで線形形式で表すことができる。 ^{[ 8 ]}

\ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon

この仮定は仕様の問題もカバーしています。適切な関数形式が選択され、省略された変数がないことを仮定します。

ただし、変換後の式の残差を最小化するパラメータが、必ずしも元の式の残差を最小化するとは限らないことに注意する必要がある。

厳密な外生性

すべての人にとって $n$ 観測値では、回帰変数を条件とした誤差項の期待値はゼロである: ^{[ 9 ]}

\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x} _{1},\dots ,\mathbf {x} _{n}]=0.

どこ $\mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\cdots &x_{ik}\end{bmatrix}}^{\operatorname {T} }$ はi番目の観測値に対する回帰変数のデータベクトルであり、したがって $\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\operatorname {T} }&\mathbf {x} _{2}^{\operatorname {T} }&\cdots &\mathbf {x} _{n}^{\operatorname {T} }\end{bmatrix}}^{\operatorname {T} }$ これはデータ行列または設計行列です。

幾何学的に言えば、この仮定は $\mathbf {x} _{i}$ そして $\varepsilon _{i}$ それらは互いに直交しているので、それらの内積（つまり、それらの交差モーメント）はゼロになります。

\operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n

説明変数が誤差を伴って測定されている場合、または内生的である場合、この仮定は破られます。^{[ 10 ]}内生性は同時性の結果である可能性があり、その場合、因果関係は従属変数と独立変数の両方の間で行き来します。この問題に対処するために、操作変数法がよく使用されます。

フルランク

サンプルデータ行列 $\mathbf {X}$ 列ランクが完全である必要があります。

\operatorname {rank} (\mathbf {X} )=k

さもないと $\mathbf {X} ^{\operatorname {T} }\mathbf {X}$ 逆行列が存在しないため、OLS推定量を計算できません。

この仮定に違反するケースは、完全な多重共線性、つまりいくつかの説明変数が線形依存している状態です。このような状況が発生するシナリオの一つに、「ダミー変数トラップ」と呼ばれるものがあり、これは基本ダミー変数が省略されず、ダミー変数と定数項の間に完全な相関が生じる場合です。^{[ 11 ]}

多重共線性（「完全」でない限り）が存在すると、効率は低下するものの、依然として偏りのない推定値が得られます。推定値は精度が低くなり、特定のデータセットに対して非常に敏感になります。^{[ 12 ]}多重共線性は、条件数や分散膨張係数などのテストによって検出できます。

球面誤差

誤差ベクトルの外積は球面でなければならない。

\operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\operatorname {T} }\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0

これは、誤差項が均一分散（等分散性）を持ち、自己相関がないことを意味します。^{[ 13 ]}この仮定が満たされない場合でも、OLSは依然として不偏ですが、非効率的です。「球面誤差」という用語は、多変量正規分布を記述します。 $\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I}$ 多変量正規密度では、方程式 $f(\varepsilon )=c$ これは、n次元空間において中心μ、半径σの球を表す式である。 ^{[ 14 ]}

異分散性は、誤差の量が独立変数と相関している場合に発生します。例えば、食費と所得の回帰分析では、誤差は所得と相関しています。低所得者は一般的に食費に同程度の金額を費やしますが、高所得者は非常に高額を費やす場合もあれば、低所得者と同じくらい少額しか費やさない場合もあります。異分散性は、測定方法の変化によっても引き起こされることがあります。例えば、統計機関がデータを改善するにつれて測定誤差が減少し、誤差項は時間とともに減少します。

自己相関が存在する場合、この仮定は破られます。自己相関は、隣接する観測値も適合回帰線より上にある場合、特定の観測値が適合線より上にある可能性が高くなる場合に、データプロット上で視覚化できます。自己相関は、データ系列が「慣性」を経験する可能性のある時系列データでよく見られます。従属変数がショックを完全に吸収するのに時間がかかる場合。空間的自己相関も発生する可能性があり、地理的領域は同様のエラーを持つ可能性が高くなります。自己相関は、関数形式の選択の誤りなどの誤った仕様の結果である可能性があります。このような場合、仕様を修正することが、自己相関に対処する1つの可能な方法です。

球面誤差の仮定が破られる可能性がある場合、一般化最小二乗推定量はBLUEであることが示される。^{[ 6 ]}

参考文献

↑ Johnson, RA; Wichern, DW (2002). Applied multivariate statistical analysis . Vol. 5. Prentice hall.の第 7 章を参照
↑ Theil, Henri (1971). "最良線形不偏推定と予測". Principles of Econometrics . New York: John Wiley & Sons. pp. 119–124 . ISBN 0-471-85845-5。
↑ Plackett, RL (1949). "最小二乗法に関する歴史的考察". Biometrika . 36 (3/4): 458– 460. doi : 10.2307/2332682 .
↑ David, FN; Neyman, J. (1938). "最小二乗法におけるマルコフの定理の拡張". Statistical Research Memoirs . 2 : 105– 116. OCLC 4025782 .
1 2 Aitken, AC (1935). 「観測値の最小二乗法と線形結合について」。エジンバラ王立協会紀要。55 : 42–48。doi : 10.1017 / S0370164600014346。
1 2 Huang, David S. (1970).回帰分析と計量経済学的手法. ニューヨーク: John Wiley & Sons. pp. 127 –147. ISBN 0-471-41754-8。
↑林文雄（2000）『計量経済学』プリンストン大学出版局、 13ページ。ISBN 0-691-01018-8。
↑ウォルターズ、 AA（1970）。計量経済学入門。ニューヨーク：WWノートン。p.275。ISBN 0-393-09931-8。
↑林文雄（2000）『計量経済学』プリンストン大学出版局、7頁。ISBN 0-691-01018-8。
↑ジョンストン、ジョン（ 1972）。計量経済学的方法（第2版）。ニューヨーク：マグロウヒル。pp . 267–291。ISBN 0-07-032679-7。
↑ウールドリッジ、ジェフリー(2012).入門計量経済学（第5版国際版）. サウスウェスタン. p. 220. ISBN 978-1-111-53439-4。
↑ジョンストン、ジョン（ 1972）。計量経済学的方法（第2版）。ニューヨーク：マグロウヒル。pp . 159–168。ISBN 0-07-032679-7。
↑林文雄（2000）『計量経済学』プリンストン大学出版局、10ページ。ISBN 0-691-01018-8。
↑ Ramanathan, Ramu (1993). "非球面擾乱". Statistical Methods in Econometrics . Academic Press. pp. 330–351 . ISBN 0-12-576830-3。

さらに読む

デイビッドソン、ジェームズ（2000）。「回帰モデルの統計分析」。計量経済学理論。オックスフォード：ブラックウェル。17-36頁。ISBN 0-631-17837-6。
ゴールドバーガー、アーサー（1991）。「古典的回帰」。計量経済学入門。ケンブリッジ：ハーバード大学出版局。160～ 169頁。ISBN 0-674-17544-1。
Theil, Henri (1971). 「最小二乗法と標準線形モデル」『計量経済学の原理』ニューヨーク：John Wiley & Sons. pp. 101–162 . ISBN 0-471-85845-5。

外部リンク

数学用語の最も古い使用例：G（簡単な歴史と名称の説明）
多重線形回帰におけるガウス・マルコフ定理の証明（行列代数を使用）
幾何学を用いたガウス・マルコフ定理の証明

[1] Johnson, RA; Wichern, DW (2002). Applied multivariate statistical analysis . Vol. 5. Prentice hall.の第 7 章を参照

[2] Theil, Henri (1971). "最良線形不偏推定と予測". Principles of Econometrics . New York: John Wiley & Sons. pp. 119–124 . ISBN 0-471-85845-5。

[3] Plackett, RL (1949). "最小二乗法に関する歴史的考察". Biometrika . 36 (3/4): 458– 460. doi : 10.2307/2332682 .

[4] David, FN; Neyman, J. (1938). "最小二乗法におけるマルコフの定理の拡張". Statistical Research Memoirs . 2 : 105– 116. OCLC 4025782 .

[Aitken1935-5] 1 2 Aitken, AC (1935). 「観測値の最小二乗法と線形結合について」。エジンバラ王立協会紀要。55 : 42–48。doi : 10.1017 / S0370164600014346。

[Huang1970-6] 1 2 Huang, David S. (1970).回帰分析と計量経済学的手法. ニューヨーク: John Wiley & Sons. pp. 127 –147. ISBN 0-471-41754-8。

[7] 林文雄（2000）『計量経済学』プリンストン大学出版局、 13ページ。ISBN 0-691-01018-8。

[8] ウォルターズ、 AA（1970）。計量経済学入門。ニューヨーク：WWノートン。p.275。ISBN 0-393-09931-8。

[9] 林文雄（2000）『計量経済学』プリンストン大学出版局、7頁。ISBN 0-691-01018-8。

[10] ジョンストン、ジョン（ 1972）。計量経済学的方法（第2版）。ニューヨーク：マグロウヒル。pp . 267–291。ISBN 0-07-032679-7。

[11] ウールドリッジ、ジェフリー(2012).入門計量経済学（第5版国際版）. サウスウェスタン. p. 220. ISBN 978-1-111-53439-4。

[12] ジョンストン、ジョン（ 1972）。計量経済学的方法（第2版）。ニューヨーク：マグロウヒル。pp . 159–168。ISBN 0-07-032679-7。

[13] 林文雄（2000）『計量経済学』プリンストン大学出版局、10ページ。ISBN 0-691-01018-8。

[14] Ramanathan, Ramu (1993). "非球面擾乱". Statistical Methods in Econometrics . Academic Press. pp. 330–351 . ISBN 0-12-576830-3。

[ 1 ]

は

[ 3 ]

[ 4 ]

[ 5 ]

[

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]