ガウス・マルコフ定理

統計学において、ガウス・マルコフの定理（一部の著者は単にガウスの定理と呼ぶ） ^[1]は、線型回帰モデルの誤差が無相関で、等分散かつ期待値がゼロである場合、通常最小二乗法（OLS）推定量は線型不偏推定量のクラス内で最も低い標本分散を持つことを述べています。 [ ^2]誤差は正規分布である必要はなく、独立かつ同一に分布している必要もありません（平均がゼロで無相関であり、有限分散で等分散である場合のみ）。 より低い分散を持つ偏りのある推定量が存在するため、推定量が不偏であるという要件は省略できません。たとえば、ジェームズ・スタイン推定量（これも線型性を削除）、リッジ回帰、または単に任意の退化した推定量を参照してください。

この定理はカール・フリードリヒ・ガウスとアンドレイ・マルコフにちなんで名付けられたが、ガウスの研究はマルコフの研究よりかなり古い。 ^[3]しかし、ガウスは独立性と正規性の仮定の下で結果を導き出したのに対し、マルコフは上記の形に仮定を簡略化した。^[4]非球面誤差へのさらなる一般化はアレクサンダー・エイトケンによって与えられた。^[5]

2 つのランダム変数ベクトルが与えられており、 パラメータとが両方とも実数で ある最適線形推定量 を使用して、 与えられたの最適線形推定量を見つけたいとします。${\displaystyle X{\text{, }}Y\in \mathbb {R} ^{k}}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle {\hat {Y}}=\alpha X+\mu }$${\displaystyle \alpha}$${\displaystyle \mu}$

このような推定値はと同じ平均と標準偏差を持ちます。つまり、 となります。 ${\displaystyle {\hat {Y}}}$${\displaystyle Y}$${\displaystyle \mu _{\hat {Y}}=\mu _{Y},\sigma _{\hat {Y}}=\sigma _{Y}}$

したがって、ベクトルがそれぞれ平均と標準偏差を持つ場合、最良の線形推定量は ${\displaystyle X}$${\displaystyle \mu_{x},\sigma_{x}}$

${\displaystyle {\hat {Y}}=\sigma _{y}{\frac {(X-\mu _{x})}{\sigma _{x}}}+\mu _{y}}$

は と同じ平均と標準偏差を持つからです。 ${\displaystyle {\hat {Y}}}$${\displaystyle Y}$

行列表記で次の線形関係があるとする。

${\displaystyle y=X\beta +\varepsilon ,\quad (y,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K}{\text{ および }}X\in \mathbb {R} ^{n\times K})}$

拡大して、

${\displaystyle y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad \forall i=1,2,\ldots ,n}$

ここで、はランダムではないが観測不可能なパラメータであり、はランダムではないが観測可能（「説明変数」と呼ばれる）であり、はランダムであり、したがってランダムである。ランダム変数は「外乱」、「ノイズ」または単に「誤差」と呼ばれる（この記事の後半で「残差」と対比される。統計における誤差と残差を参照）。上記のモデルに定数を含めるには、定数を変数として導入し、 新たに導入された X の最後の列が 1 である（つまり、すべての に対して）ことを選択できることに注意する。サンプル応答として、は観測可能であるが、仮定、証明、およびその他のものを含む以下のステートメントと議論は、知っているが、知らないという唯一の条件の下で仮定していることに注意する。${\displaystyle \beta _{j}}$${\displaystyle X_{ij}}$${\displaystyle \varepsilon _{i}}$${\displaystyle y_{i}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \beta _{K+1}}$${\displaystyle X_{i(K+1)}=1}$${\displaystyle i}$${\displaystyle y_{i},}$${\displaystyle X_{ij},}$ ${\displaystyle y_{i}.}$

ガウス・マルコフ仮定は誤差確率変数の集合に関するものである。 ${\displaystyle \varepsilon _{i}}$

• それらの平均はゼロです:${\displaystyle \operatorname {E} [\varepsilon _{i}]=0.}$
• これらは等分散性であり、すべて同じ有限分散を持ちます。${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty }$${\displaystyle i}$
• 異なる誤差項は相関しません。${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.}$

の線形推定量は線形結合である ${\displaystyle \beta _{j}}$

${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$

ここで、係数は 基礎となる係数に依存することはできません。基礎となる係数は観測できないからです。しかし、これらのデータは観測できるため、値に依存することはできます。(係数のそれぞれの依存性は典型的には非線形です。推定量はそれぞれの、したがってそれぞれのランダムに対して線形です。これが「線形」回帰である理由です。) 推定量が不偏であるとは次の場合のみ言えます。${\displaystyle c_{ij}}$${\displaystyle \beta _{j}}$${\displaystyle X_{ij}}$${\displaystyle X_{ij}}$${\displaystyle y_{i}}$${\displaystyle \varepsilon ,}$

${\displaystyle \operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}}$

の値に関わらず。ここで、係数の線形結合を とします。すると、対応する推定値の 平均二乗誤差は${\displaystyle X_{ij}}$${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$

${\displaystyle \operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],}$

言い換えれば、推定量と推定される対応するパラメータ間の差の重み付き合計（パラメータ全体）の二乗の期待値です。（すべてのパラメータ推定値が不偏である場合を検討しているため、この平均二乗誤差は線形結合の分散と同じです。）パラメータベクトルの最良の線形不偏推定量（青）は、線形結合パラメータのすべてのベクトルの平均二乗誤差が最小のものです。これは、次の条件に相当します。 ${\displaystyle \beta }$${\displaystyle \beta _{j}}$${\displaystyle \lambda }$

${\displaystyle \operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$

は、他のすべての線形不偏推定量に対する半正定値行列です。 ${\displaystyle {\widetilde {\beta }}}$

通常の最小二乗推定量（OLS）は関数である

${\displaystyle {\widehat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

および（はの転置を表す）残差（予測誤差量） の二乗和を最小化する：${\displaystyle y}$${\displaystyle X}$${\displaystyle X^{\operatorname {T} }}$${\displaystyle X}$

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}$

この定理では、OLS 推定量が最良線形不偏推定量 (BLUE) であると述べられています。

証明の主な考え方は、最小二乗推定量は、ゼロのすべての線形不偏推定量、つまり、係数が観測不能なものに依存せず、期待値が常にゼロであるすべての線形結合と相関がないということです。 ${\displaystyle a_{1}y_{1}+\cdots +a_{n}y_{n}}$${\displaystyle \beta }$

OLS が残差の二乗和を実際に最小化することの証明は、ヘッセ行列を計算し、それが正定値であることを示すことによって次のように進めることができます。

最小化したいMSE関数は p変数 の多重回帰モデルです。1次導関数は、 設計行列です 。$${\displaystyle f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}$$$${\displaystyle {\begin{aligned}{\frac {d}{d{\boldsymbol {\beta }}}}f&=-2X^{\operatorname {T} }\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&=\mathbf {0} _{p+1},\end{aligned}}}$$${\displaystyle X^{\operatorname {T} }}$$${\displaystyle X={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\&&\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1}$$

2次導関数の ヘッセ行列は$${\displaystyle {\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{\operatorname {T} }X}$$

の列が線形独立で、逆行列が成り立つと仮定すると、 ${\displaystyle X}$${\displaystyle X^{\operatorname {T} }X}$${\displaystyle X={\begin{bmatrix}\mathbf {v_{1}} &\mathbf {v_{2}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}}$$${\displaystyle k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}=\mathbf {0} \iff k_{1}=\dots =k_{p+1}=0}$$

ここでを の固有ベクトルとします。 ${\displaystyle \mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}}$${\displaystyle {\mathcal {H}}}$

$${\displaystyle \mathbf {k} \neq \mathbf {0} \implies \left(k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}\right)^{2}>0}$$

ベクトルの乗算では、これは に対応する固有値で あることを意味します。さらに、 $${\displaystyle {\begin{bmatrix}k_{1}&\cdots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} \\\vdots \\\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf {k} ^{\operatorname {T} }{\mathcal {H}}\mathbf {k} =\lambda \mathbf {k} ^{\operatorname {T} }\mathbf {k} >0}$$${\displaystyle \lambda }$${\displaystyle \mathbf {k} }$$${\displaystyle \mathbf {k} ^{\operatorname {T} }\mathbf {k} =\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0}$$

最後に、固有ベクトルは任意であるため、 のすべての固有値は正であり、したがって は正定値であることを意味します。したがって、 は確かに大域的最小値です。 ${\displaystyle \mathbf {k} }$${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$$${\displaystyle {\boldsymbol {\beta }}=\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }Y}$$

または、すべてのベクトルについて を確認してください。したがって、ヘッセ行列はフルランクの場合に正定値です。 ${\displaystyle \mathbf {v} ,\mathbf {v} ^{\operatorname {T} }X^{\operatorname {T} }X\mathbf {v} =\|\mathbf {X} \mathbf {v} \|^{2}\geq 0}$

をの別の線形推定量とします。ここでは非ゼロ行列です。偏りのない推定量に限定しているため、平均二乗誤差が最小であれば分散も最小になります。したがって、目標は、そのような推定量の分散がOLS 推定量の分散よりも小さくないことを示すことです。計算は次のようになります。 ${\displaystyle {\tilde {\beta }}=Cy}$${\displaystyle \beta }$${\displaystyle C=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D}$${\displaystyle D}$${\displaystyle K\times n}$${\displaystyle {\widehat {\beta }},}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)(X\beta +\varepsilon )\right]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta +\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}}$

したがって、は観測不可能なので、の場合のみ、 は偏りがありません。この場合、 ${\displaystyle \beta }$${\displaystyle {\tilde {\beta }}}$${\displaystyle DX=0}$

${\displaystyle {\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C^{\operatorname {T} }\\&=\sigma ^{2}CC^{\operatorname {T} }\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\left(X(X^{\operatorname {T} }X)^{-1}+D^{\operatorname {T} }\right)\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}+(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }D^{\operatorname {T} }+DX(X^{\operatorname {T} }X)^{-1}+DD^{\operatorname {T} }\right)\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}(X^{\operatorname {T} }X)^{-1}(DX)^{\operatorname {T} }+\sigma ^{2}DX(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD^{\operatorname {T} }&&\sigma ^{2}(X^{\operatorname {T} }X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}}$

は半正定値行列なので、半正定値行列を 超えます。${\displaystyle DD^{\operatorname {T} }}$${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)}$${\displaystyle \operatorname {Var} \left({\widehat {\beta }}\right)}$

前に述べたように、 が半正定値行列であるという条件は、 の最良の線形不偏推定量が であるという性質と同等です(最小分散を持つという意味で最良です)。これを確認するには、の別の線形不偏推定量を考えます。 ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$${\displaystyle \ell ^{\operatorname {T} }\beta }$${\displaystyle \ell ^{\operatorname {T} }{\widehat {\beta }}}$${\displaystyle \ell ^{\operatorname {T} }{\tilde {\beta }}}$${\displaystyle \ell ^{\operatorname {T} }\beta }$

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\ell ^{\operatorname {T} }{\tilde {\beta }}\right)&=\ell ^{\operatorname {T} }\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell +\ell ^{\operatorname {T} }DD^{\operatorname {T} }\ell \\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+(D^{\operatorname {T} }\ell )^{\operatorname {T} }(D^{\operatorname {T} }\ell )&&\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell =\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+\|D^{\operatorname {T} }\ell \|\\&\geq \operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\end{aligned}}}$

さらに、等式は の場合にのみ成立する。 ${\displaystyle D^{\operatorname {T} }\ell =0}$

${\displaystyle {\begin{aligned}\ell ^{\operatorname {T} }{\tilde {\beta }}&=\ell ^{\operatorname {T} }\left(((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D)Y\right)&&{\text{ from above}}\\&=\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }Y+\ell ^{\operatorname {T} }DY\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}+(D^{\operatorname {T} }\ell )^{\operatorname {T} }Y\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}&&D^{\operatorname {T} }\ell =0\end{aligned}}}$

これは、OLS 推定値が BLUE として一意となる 場合にのみ等式が成立することを証明します。${\displaystyle \ell ^{\operatorname {T} }{\tilde {\beta }}=\ell ^{\operatorname {T} }{\widehat {\beta }}}$

Aitkenによって開発された一般化最小二乗法（GLS）^[5]は、誤差ベクトルが非スカラー共分散行列を持つ場合にガウス・マルコフ定理を拡張します。^[6] Aitken推定量もBLUEです。

OLSのほとんどの処理では、設計行列 の回帰変数（関心のあるパラメータ）は、反復サンプルで固定されていると仮定されます。この仮定は、計量経済学のような主に非実験的な科学には不適切であると考えられています。^[7]代わりに、ガウス・マルコフの定理の仮定は、を条件として述べられます。 ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$

従属変数は、モデルで指定された変数の線形関数であると想定されます。指定は、パラメータに関して線形である必要があります。これは、独立変数と従属変数の間に線形関係がなければならないという意味ではありません。パラメータが線形である限り、独立変数は非線形形式を取ることができます。方程式 は線形であると見なされますが、 は、たとえば別のパラメータ に置き換えることによって線形に変換できます。パラメータが独立変数に依存する方程式は、線形であると見なされません。たとえば、 はの関数です。 ${\displaystyle y=\beta _{0}+\beta _{1}x^{2},}$${\displaystyle y=\beta _{0}+\beta _{1}^{2}x}$${\displaystyle \beta _{1}^{2}}$${\displaystyle \gamma }$${\displaystyle y=\beta _{0}+\beta _{1}(x)\cdot x}$${\displaystyle \beta _{1}(x)}$${\displaystyle x}$

データ変換は、方程式を線形形式に変換するためによく使用されます。たとえば、経済学でよく使用されるコブ・ダグラス関数は非線形です。

${\displaystyle Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }}$

しかし、両辺の自然対数を取ることで線形形式で表現することができます。 ^[8]

${\displaystyle \ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon }$

この仮定は仕様の問題もカバーしており、適切な関数形式が選択され、省略された変数がないことを前提としています。

ただし、変換された方程式の残差を最小化するパラメータが、必ずしも元の方程式の残差を最小化するとは限らないことに注意する必要があります。

すべての観測値について、回帰変数を条件とする誤差項の期待値はゼロである：^[9]${\displaystyle n}$

${\displaystyle \operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x} _{1},\dots ,\mathbf {x} _{n}]=0.}$

ここで、はi番目の観測値の回帰変数のデータ ベクトルであり、したがって、はデータ マトリックスまたは設計マトリックスです。 ${\displaystyle \mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\cdots &x_{ik}\end{bmatrix}}^{\operatorname {T} }}$${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\operatorname {T} }&\mathbf {x} _{2}^{\operatorname {T} }&\cdots &\mathbf {x} _{n}^{\operatorname {T} }\end{bmatrix}}^{\operatorname {T} }}$

幾何学的には、この仮定は、とが互いに直交していることを意味し、そのため、それらの内積（つまり、交差モーメント）はゼロになります。 ${\displaystyle \mathbf {x} _{i}}$${\displaystyle \varepsilon _{i}}$

${\displaystyle \operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n}$

この仮定は、説明変数が誤差を伴って測定された場合、または内生的である場合に違反する。^[10]内生性は同時性の結果である可能性があり、この場合、因果関係は従属変数と独立変数の両方の間で行き来する。この問題に対処するために、道具変数法が一般的に使用される。

サンプルデータ行列には完全な列ランクが必要です。 ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {rank} (\mathbf {X} )=k}$

それ以外の場合は逆変換できず、OLS 推定値を計算できません。 ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$

この仮定に違反するのは完全な多重共線性、つまりいくつかの説明変数が線形従属関係にある場合である。これが発生するシナリオの1つは「ダミー変数トラップ」と呼ばれ、基本ダミー変数が省略されず、ダミー変数と定数項の間に完全な相関関係が生じる場合である。^[11]

多重共線性（「完全」でない限り）が存在する可能性があり、その結果、効率は低下しますが、偏りのない推定値が得られます。推定値は精度が低く、特定のデータセットに非常に敏感になります。^{[12]多重共線性は、}条件数や分散膨張係数などのテスト から検出できます。

誤差ベクトルの外積は球状でなければなりませ ん。

${\displaystyle \operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\operatorname {T} }\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0}$

これは、誤差項が均一な分散（等分散性）を持ち、シリアル相関がないことを意味します。^[13]この仮定に違反した場合、OLSは依然として偏りがありませんが、非効率的です。「球面誤差」という用語は、多変量正規分布を表します。多変量正規密度の場合、方程式はn次元空間でμを中心とし、半径σを持つ球の式です。 ^[14]${\displaystyle \operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I} }$${\displaystyle f(\varepsilon )=c}$

異分散性は、誤差の量が独立変数と相関している場合に発生します。たとえば、食費と収入の回帰分析では、誤差は収入と相関しています。低所得者は一般的に食費に同額を費やしますが、高所得者は食費に非常に多額の金額を費やすか、低所得者と同額しか費やさない場合があります。異分散性は、測定方法の変更によっても発生する可能性があります。たとえば、統計局がデータを改善すると、測定誤差が減少するため、誤差項は時間の経過とともに減少します。

この仮定は、自己相関がある場合には破綻します。 自己相関は、隣接する観測値も近似回帰直線より上にある場合、特定の観測値が近似直線より上にある可能性が高いときに、データ プロットで視覚化できます。 自己相関は、データ シリーズが「慣性」を経験する可能性がある時系列データでよく見られます。 従属変数がショックを完全に吸収するのに時間がかかる場合です。 空間的な自己相関も発生する可能性があり、地理的領域には同様のエラーが発生する可能性があります。 自己相関は、関数形式を誤って選択するなどの誤った指定の結果である可能性があります。 このような場合、指定を修正することが、自己相関に対処する 1 つの方法です。

球面誤差の仮定が破られる可能性がある場合、一般化最小二乗推定量は青であることが示されます。^[6]

• 独立かつ同一分布の確率変数
• 線形回帰
• 測定の不確かさ

• 最良線形不偏予測(BLUP)
• 最小分散不偏推定量(MVUE)

• デイビッドソン、ジェームズ (2000)。「回帰モデルの統計分析」。​​計量経済理論。オックスフォード: ブラックウェル。pp. 17–36。ISBN 0-631-17837-6。
• ゴールドバーガー、アーサー (1991)。「古典的回帰」。計量経済学講座。ケンブリッジ: ハーバード大学出版局。pp. 160–169。ISBN 0-674-17544-1。
• テイル、アンリ(1971)。「最小二乗法と標準線形モデル」。計量経済学の原理。ニューヨーク: ジョン ワイリー アンド サンズ。pp. 101–162。ISBN 0-471-85845-5。

• 数学用語の最も古い使用例: G (名前の簡単な歴史と説明)
• 多重線形回帰におけるガウス・マルコフ定理の証明（行列代数を利用）
• 幾何学を用いたガウス・マルコフ定理の証明