最小二乗法

統計学において、最小二乗法（OLS ）は、最小二乗の原理によって線形回帰モデルの未知のパラメータを選択する線形最小二乗法の一種です。最小二乗法とは、入力データセット内の観測された従属変数（観測される変数の値）と独立変数の（線形）関数の出力との差の二乗和を最小化することです。一部の資料では、OLSを線形回帰とみなしています。^[¹^]

幾何学的には、これは従属変数の軸に平行な、データセット内の各データ点と回帰曲面上の対応する点との間の距離の二乗の合計として表されます。この差が小さいほど、モデルはデータによく適合します。結果として得られる推定値は、特に回帰方程式の右辺に単一の説明変数がある単純線形回帰の場合、簡単な式で表すことができます。

OLS推定量は、回帰変数が外生的で完全な共線性（ランク条件）を形成する場合、レベル1の固定効果に対して一致性があり、回帰変数が有限の4次モーメントを持つ場合、残差の分散推定値に対して一致性があり^[²^]、誤差が等分散で自己相関がない場合、ガウス・マルコフの定理により、線形不偏推定量のクラスで最適です。これらの条件下では、誤差が有限の分散を持つ場合、OLS法は最小分散平均不偏推定を提供します。誤差が平均ゼロの正規分布に従うという追加の仮定の下では、OLSは、非線形不偏推定量を上回る最尤推定量です。

線形モデル

データが以下で構成されていると仮定します。 $n$ 観察結果 $\left\{\mathbf {x} _{i},y_{i}\right\}_{i=1}^{n}$ 各観測結果 $i$ スカラー応答を含む $\displaystyle y_{i}}$ 列ベクトル $\mathbf {x} _{i}$ の $p$ パラメータ（回帰変数）、すなわち、 $\mathbf {x} _{i}=\left[x_{i1},x_{i2},\dots ,x_{ip}\right]^{\operatorname {T} }$ 線形回帰モデルでは、応答変数は、 $\displaystyle y_{i}}$ は回帰変数の線形関数である。

y_{i}=\beta _{1}\ x_{i1}+\beta _{2}\ x_{i2}+\cdots +\beta _{p}\ x_{ip}+\varepsilon _{i},

またはベクター形式で、

y_{i}=\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}+\varepsilon _{i},\,

どこ $\mathbf {x} _{i}$ 前述のように、は列ベクトルです。 $i$ すべての説明変数の番目の観測値。 ${\boldsymbol {\beta }}$ は $p\times 1$ 未知のパラメータのベクトル、およびスカラー $\varepsilon _{i}$ は、観測されないランダム変数（誤差）を表します。 $i$ 第 1 番目の観測値。 $\varepsilon _{i}$ 反応への影響を説明する $\displaystyle y_{i}}$ 説明変数以外の情報源から $\mathbf {x} _{i}$ このモデルは行列表記でも次のように表すことができます。

\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,

どこ $\mathbf {y}$ そして ${\boldsymbol {\バレプシロン }}$ は $n\times 1$ 応答変数のベクトルと誤差 $n$ 観察結果、そして $\mathbf {X}$ は $n\times p$ 回帰変数の行列（デザイン行列とも呼ばれる）の行は $i$ は $\mathbf {x} _{i}^{\operatorname {T} }$ そして、 $i$ すべての説明変数に関する番目の観測値。

通常、定数項は回帰変数セットに含まれる。 $\mathbf {X}$ 例えば、 $x_{i1}=1$ すべての人々のために $i=1,\dots ,n$ 係数 $\displaystyle \beta _{1}}$ この回帰変数に対応する値を切片と呼びます。切片がない場合、適合線は原点を横切るように強制されます。 $x_{i}={\vec {0}}$ 。

推定の一貫性を確保するためには、回帰変数が独立している必要はありません。例えば、非線形依存であっても構いません。完全な多重共線性がない場合でも、パラメータ推定値は一貫性を保つことができます。ただし、多重共線性が高まるにつれて、推定値の標準誤差は大きくなり、推定値の精度は低下します。完全な多重共線性がある場合、関連する回帰変数の係数について一意の推定値を得ることはもはや不可能です。これらのパラメータの推定は収束しないため（したがって、一貫性を保つことはできません）。

回帰変数が非線形依存であるにもかかわらず推定が依然として一貫している具体的な例として、応答が値とその二乗の両方に線形に依存すると疑う場合を考えてみましょう。この場合、値が別の回帰変数の二乗である回帰変数を1つ含めます。この場合、モデルは2番目の回帰変数に関して二次式になりますが、それでもモデルはパラメータに関して線形であるため、線形モデルとみなされます（ ${\boldsymbol {\beta }}$ )

行列／ベクトル形式

過剰決定系を考える

\sum _{j=1}^{p}x_{ij}\beta _{j}=y_{i},\ (i=1,2,\dots ,n),

の $n$ 線形方程式 $p$ 未知の係数、 $\beta _{1},\beta _{2},\dots ,\beta _{p}$ 、と $n>p$ これは行列形式で次のように表すことができます。

\mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} ,

どこ

\mathbf {X} ={\begin{bmatrix}X_{11}&X_{12}&\cdots &X_{1p}\\X_{21}&X_{22}&\cdots &X_{2p}\\\vdots &\vdots &\ddots &\vdots \\X_{n1}&X_{n2}&\cdots &X_{np}\end{bmatrix}},\qquad {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\qquad \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}.

（注：上記のような線形モデルの場合、すべての要素が $\mathbf {X}$ データポイントに関する情報が含まれています。最初の列には 1 が入力されています。 $X_{i1}=1$ 他の列にのみ実際のデータが含まれています。 $p$ （回帰変数の数＋1に等しい）。

このようなシステムには通常、厳密解がないため、代わりに係数を求めることが目標となります。 ${\boldsymbol {\beta }}$ 二次最小化問題を解くという意味で、方程式に「最もよく適合する」もの

{\hat {\boldsymbol {\beta }}}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\,S({\boldsymbol {\beta }}),

目的関数

S

次のように与えられます。

S({\boldsymbol {\beta }})=\sum _{i=1}^{n}\left|y_{i}-\sum _{j=1}^{p}X_{ij}\beta _{j}\right|^{2}=\left\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right\|^{2}.

この基準を選択した理由は、以下の「特性」で説明します。この最小化問題は、以下の条件を満たす場合に一意の解を持ちます。 $p$ 行列の列 $\mathbf {X}$ これらは線形独立であり、いわゆる正規方程式を解くことによって得られる。

\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right){\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{\operatorname {T} }\mathbf {y} \ .

マトリックス $\mathbf {X} ^{\operatorname {T} }\mathbf {X}$ は正規行列またはグラム行列として知られており、行列は $\mathbf {X} ^{\operatorname {T} }\mathbf {y}$ これは、回帰変数による被回帰変数のモーメント行列として知られています。^{[ 3 ]}最後に、 ${\hat {\boldsymbol {\beta }}}$ は最小二乗超平面の係数ベクトルであり、次のように表される。

{\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} .

または

{\hat {\boldsymbol {\beta }}}={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}.

推定

bをパラメータベクトルβの「候補」値とします。i番目の観測値の残差と呼ばれる量 $y i - x i T b は$ 、データ点 $($ $x$ $i$ $,$ $y$ $i$ $)$ と超平面 $y$ $=$ $x$ $T$ $b$ の間の垂直距離を測定し、実際のデータとモデルとの適合度を評価します。残差の二乗和( SSR ) (誤差二乗和( ESS ) または残差二乗和( RSS ) とも呼ばれます) ^[⁴^]は、モデル全体の適合度を測る尺度です。

S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),

ここで、Tは行列の転置を表し、従属変数の特定の値に関連付けられたすべての独立変数の値を表すXの行はX _i = x _i^{Tです。この和を最小にする}bの値は、 βの OLS 推定量と呼ばれます。関数S ( b ) は、正定値ヘッセ行列を持つbの二次関数であり、したがってこの関数は、で一意のグローバル最小値を持ちます。 $b={\hat {\beta }}$ ^{これは明示的な式[ 5 ]}で与えられる^[証明]

{\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .

積N = X ^TXはグラム行列であり、その逆行列Q = N ⁻¹はβの共因子行列です[ ⁶^]^[⁷^]^[⁸^]共分散行列C _βと密接に関連しています。行列 ( X ^TX ) ⁻¹X ^T = Q X ^Tは^、 Xのムーア・ペンローズ擬似逆行列と呼ばれます。この定式化は、説明変数間に完全な多重共線性がない場合(グラム行列に逆行列が存在しない原因となる) に限り推定を実行できるという点を強調しています。

予測

βを推定した後、回帰から得られる適合値（または予測値）は次のようになります。

{\hat {y}}=X{\hat {\beta }}=Py,

ここで、P = X ( X ^TX ) ⁻¹X ^Tは、Xの列によって張られる空間Vへの射影行列です。この行列Pは、変数yに「帽子をかぶせる」ため、ハット行列と呼ばれることもあります。Pと密接に関連する別の行列は、消滅行列 $M$ $=$ $I$ $n$ $-$ $P$ です。これは、 Vに直交する空間への射影行列です。行列PとMはどちらも対称かつ冪等（つまり、 $P$ $2$ $=$ $P$ および $M$ $2$ $=$ $M$ ）であり、恒等式 $PX$ $=$ $X$ および $MX$ $= 0$ を介してデータ行列Xと関連付けられます。^[⁹^]行列M は、回帰からの残差を作成します。

{\hat {\varepsilon }}=y-{\hat {y}}=y-X{\hat {\beta }}=My=M(X\beta +\varepsilon )=(MX)\beta +M\varepsilon =M\varepsilon .

予測値の分散 $s_{{\hat {y}}_{i}}^{2}$ 予測値の分散共分散行列の主対角成分に見られるもの：

C_{\hat {y}}=s^{2}P,

ここで、Pは射影行列、s ²は標本分散である。^{[ 10 ]} 完全な行列は非常に大きいため、その対角要素は個別に次のように計算できる。

s_{{\hat {y}}_{i}}^{2}=s^{2}X_{i}(X^{T}X)^{-1}X_{i}^{T},

ここで、X _iは行列Xのi番目の行です。

サンプル統計

これらの残差を用いて、縮小カイ二乗統計量により標本分散s²^を推定することができる。

s^{2}={\frac {{\hat {\varepsilon }}^{\mathrm {T} }{\hat {\varepsilon }}}{n-p}}={\frac {(My)^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }M^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }My}{n-p}}={\frac {S({\hat {\beta }})}{n-p}},\qquad {\hat {\sigma }}^{2}={\frac {n-p}{n}}\;s^{2}

分母のn − pは統計的自由度です。最初の量s ^2はσ ²の OLS 推定値であり、2 番目の量は、 $\scriptstyle {\hat {\sigma }}^{2}$ はσ ²の最尤推定値です。 2 つの推定値は、サンプルが大きい場合、非常に似ています。最初の推定値は常に不偏ですが、2 番目の推定値は偏りがありますが、平均二乗誤差は小さくなります。実際には、仮説検定に便利なため、 s ^{2がより頻繁に使用されます。}s ²の平方根は、回帰標準誤差^{[ 11 ]} 、回帰の標準誤差^{[ 12 ]}^{[ 13 ]}、または方程式の標準誤差^[⁹^]と呼ばれます。

OLS回帰の適合度を評価するには、標本の初期変動をXに回帰することでどれだけ減らすことができるかを比較するのが一般的です。決定係数R ^{2は、回帰平方和が残差平方和に等しい場合、従属変数}yの「説明された」分散と「全」分散の比として定義されます。^{[ 14 ]}

R^{2}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}={\frac {y^{\mathrm {T} }P^{\mathrm {T} }LPy}{y^{\mathrm {T} }Ly}}=1-{\frac {y^{\mathrm {T} }My}{y^{\mathrm {T} }Ly}}=1-{\frac {\rm {RSS}}{\rm {TSS}}}

ここでTSSは従属変数の平方和の合計であり、 ${\textstyle L=I_{n}-{\frac {1}{n}}J_{n}}$ 、そして ${\textstyle J_{n}}$ は、 n × nの 1 からなる行列です。 $L$ R²は、定数に対する回帰に相当する中心化行列です。これは、変数から平均値を単純に減算します。R²^が意味を持つためには、回帰変数に関するデータの行列X に、係数が回帰切片である定数を表す 1 の列ベクトルが含まれている必要があります。この場合、R²^は常に 0 から 1 の間の数値となり、1 に近い値は適合度が高いことを示します。

単純線形回帰モデル

データ行列X に定数とスカラー回帰変数x _iの 2 つの変数のみが含まれる場合、これは「単純回帰モデル」と呼ばれます。このケースは、手計算にも適した非常に単純な式が得られるため、統計学の入門クラスでよく取り上げられます。パラメータは一般的に $(α, β)$ と表記されます。

y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.

この場合の最小二乗推定値は、簡単な式で与えられる。

{\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{n}{(x_{i}-{\bar {x}})^{2}}}}\\[2pt]{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}\ ,\end{aligned}}

代替派生語

前のセクションでは最小二乗推定量 ${\hat {\beta }}$ は、モデルの残差の二乗和を最小化する値として得られました。ただし、他のアプローチから同じ推定量を導出することも可能です。いずれの場合も、OLS推定量の式は $^β = (X T X) -1 X T y$ で同じです。唯一の違いは、この結果をどのように解釈するかです。

投影

{\displaystyle X_{1}} — OLS推定は、回帰変数によって張られる線形空間への射影と見なすことができる。（ここでは、各回帰変数は、 $X_{1}$ そして $X_{2}$ （データ行列の列を指します。）

数学者にとって、OLSは過決定線形方程式系 $Xβ \approx y$ の近似解であり、βは未知数です。この系を厳密に解くことができないと仮定すると（方程式の数nは未知数の数pよりもはるかに大きい）、右辺と左辺の間の誤差が最小になる解を探します。言い換えれば、次の条件を満たす解を探します。

{\hat {\beta }}={\rm {arg}}\min _{\beta }\,\lVert \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\rVert ^{2},

ここで $、‖ \cdot ‖$ はn次元ユークリッド空間R ⁿにおける標準L ² ノルムです。予測量Xβは、回帰変数のベクトルの特定の線形結合です。したがって、 y をXの列によって張られる線形部分空間に直交射影すると、残差ベクトル $y$ $-$ $Xβ の$ 長さが最小になります。OLS 推定量 ${\hat {\beta }}$ この場合、 $^$ $y$ $=$ $Py$ のベクトル分解の係数をXの基底に沿って解釈することができる。

言い換えれば、最小値における勾配方程式は次のように表せる。

(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }\mathbf {X} =0.

これらの方程式の幾何学的解釈は、残差ベクトルが、 $\mathbf {y} -X{\hat {\boldsymbol {\beta }}}$ はXの列空間に直交します。 $(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\cdot \mathbf {X} \mathbf {v}$ は任意の共形ベクトルvに対してゼロに等しい。これは、 $\mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}$ 可能なすべてのベクトルの中で最短である $\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}$ つまり、残差の分散が最小となる。これは右図に示されている。

ご紹介します ${\hat {\boldsymbol {\gamma }}}$ そして、行列Kは、行列が $[\mathbf {X} \ \mathbf {K} ]$ が非特異であり、K ^TX = 0 (直交射影を参照) である場合、残差ベクトルは次の式を満たす必要があります。

{\hat {\mathbf {r} }}:=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {K} {\hat {\boldsymbol {\gamma }}}.

線形最小二乗法の式と解は、以下のように記述される。

{\begin{aligned}\mathbf {y} &={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}{\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}},\\{}\Rightarrow {\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}}&={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}^{-1}\mathbf {y} ={\begin{bmatrix}\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\\\left(\mathbf {K} ^{\top }\mathbf {K} \right)^{-1}\mathbf {K} ^{\top }\end{bmatrix}}\mathbf {y} .\end{aligned}}

別の見方としては、回帰直線をデータセット内の任意の2点の組み合わせを通る直線の加重平均と考える方法がある。^{[ 15 ]}この計算方法は計算コストが高いが、OLSについてより直感的に理解できる。

最尤推定

誤差項の正規性仮定の下では、OLS推定量は最尤推定量（MLE）と同一である。 ^{[ 16 ]}^[証明]この正規性仮定は、 YuleとPearsonによる線形回帰分析の初期の研究の基礎となったため、歴史的に重要である。MLEの性質から、正規性仮定が満たされる場合、OLS推定量は漸近的に効率的である（分散のCramér–Rao限界を達成するという意味で）と推測できる。^[¹⁷^]

一般化モーメント法

独立同分布の場合、OLS推定量はモーメント条件から生じるGMM推定量とみなすこともできる。

\mathrm {E} {\big [}\,x_{i}\left(y_{i}-x_{i}^{\operatorname {T} }\beta \right)\,{\big ]}=0.

これらのモーメント条件は、回帰変数が誤差と無相関であるべきであることを示しています。x _iはp次元ベクトルであるため、モーメント条件の数はパラメータベクトルβの次元に等しくなり、したがってシステムは正確に識別されます。これは、推定量が重み行列の選択に依存しない、いわゆる古典的な GMM ケースです。

元の厳密な外生性仮定 $E[ε i | x i] = 0$ は、上記で述べたよりもはるかに豊富なモーメント条件を意味することに注意してください。特に、この仮定は、任意のベクトル関数 $ƒ$ に対して、モーメント条件 $E[ƒ (x i)\cdot ε i] = 0が成り立つことを意味します。しかし、$ ガウス・マルコフの定理を用いると、関数 $ƒ$ の最適な選択は $ƒ (x) = x$ とすることであることが示され、その結果、上記のモーメント方程式が得られます。

前提条件

線形回帰モデルをOLS法に適用するためには、いくつかの異なるフレームワークを用いることができます。これらの設定はいずれも同じ数式と結果をもたらします。唯一の違いは、解釈と、この手法が意味のある結果をもたらすために課される仮定です。適用可能なフレームワークの選択は、主に手元のデータの性質と、実行すべき推論タスクに依存します。

解釈の相違点の1つは、回帰変数を確率変数として扱うか、あらかじめ定義された定数として扱うかという点です。前者（ランダム設計）では、回帰変数x _iはランダムであり、観察研究のように、ある母集団からy _iとともにサンプリングされます。このアプローチにより、推定量の漸近特性をより自然に研究することができます。もう1つの解釈（固定設計）では、回帰変数Xは設計によって設定された既知の定数として扱われ、y は実験のようにXの値に基づいて条件付きでサンプリングされます。実際的な目的においては、推定と推論はXを条件として行われるため、この区別はしばしば重要ではありません。この記事で述べられているすべての結果は、ランダム設計の枠組み内にあります。

古典的なモデルは「有限標本」推定と推論に焦点を当てており、観測数nは固定されています。これは、OLS の漸近挙動を研究し、多数の標本における挙動を研究する他のアプローチとは対照的です。OLS 推定量の有限標本不偏性を証明するには、次の仮定が必要です。

{\displaystyle \mathbb {E} [y|x]} — 線形回帰の一種である三次多項式回帰の例。*多項式回帰は*データに曲線モデルを当てはめるが、統計的推定問題としては、条件付き期待関数が線形であるという意味で線形である。 $\mathbb {E} [y|x]$ 多項式回帰は、データから推定される未知のパラメータに関して線形関係にある。このため、多項式回帰は重回帰分析の特殊なケースとみなされる。

外生性。回帰変数は誤差項と共変動しない。 $\mathbb {E} [\varepsilon _{i}x_{i}]=0.$ これは、例えば、観測変数と共変動し、応答変数に影響を与える省略変数が存在しないことを要求します。数理統計学で線形回帰を説明する際によく必要とされる、別の（ただしより強い）記述は、予測変数x を確率変数ではなく固定値として扱うことができるというものです。このより強い形式は、例えば、予測変数が誤差のない、つまり測定誤差に汚染されていないと仮定することを意味します。この仮定は多くの状況で現実的ではありませんが、これを放棄すると、より複雑な誤差変数モデル、操作変数モデルなどにつながります。
線形性、または正しい仕様。これは、応答変数の平均が、パラメータ（回帰係数）と予測変数の線形結合であることを意味します。この仮定は、一見すると制約が多いように思えるかもしれませんが、実際にはそれほど制約的ではないことに注意してください。予測変数は固定値として扱われるため（上記参照）、線形性は実際にはパラメータに対する制約にすぎません。予測変数自体は任意に変換でき、実際には同じ基礎となる予測変数の複数のコピーを追加し、それぞれを異なる方法で変換することができます。この手法は、たとえば多項式回帰で使用されます。多項式回帰では、線形回帰を使用して、応答変数を予測変数の任意の多項式関数（指定された次数まで）として適合させます。このような柔軟性があるため、多項式回帰などのモデルは、データに過剰適合する傾向があるため、「検出力が強すぎる」ことがよくあります。その結果、推定プロセスから不合理な解が出てくるのを防ぐために、通常は何らかの正則化を使用する必要があります。一般的な例としては、リッジ回帰とラッソ回帰があります。ベイズ線形回帰も使用可能であり、その性質上、過学習の問題にほぼ耐性がある。（実際、リッジ回帰とラッソ回帰はどちらも、回帰係数に特定の種類の事前分布を適用したベイズ線形回帰の特殊なケースとみなすことができる。）
Matlabを使用して、100個のランダムに適合させた値に対する散布図で異分散性を可視化する。
等分散性または 等分散性。これは、誤差の分散が予測変数の値に依存しないことを意味します。 $\mathbb {E} [\varepsilon _{i}^{2}|x_{i}]=\sigma ^{2}.$ したがって、予測変数の固定値に対する応答の変動性は、応答の大小に関わらず同じです。これは多くの場合当てはまりません。平均が大きい変数は、平均が小さい変数よりも分散が大きくなるのが一般的です。たとえば、収入が10万ドルと予測される人は、実際の収入が8万ドルまたは12万ドルになる可能性があり、つまり標準偏差は約2万ドルになります。一方、収入が1万ドルと予測される別の人は、同じ2万ドルの標準偏差を持つ可能性は低いでしょう。なぜなら、それは実際の収入が-1万ドルから3万ドルの間で変動する可能性があることを意味するからです。（実際、この例が示すように、多くの場合、正規分布誤差の仮定が成り立たないケースでは、分散または標準偏差は一定ではなく、平均に比例すると予測されるべきです。）等分散性の欠如は、異分散性と呼ばれます。この仮定を確認するために、残差と予測値（または各予測変数の値）のプロットを調べて、「扇状効果」（つまり、プロット上で左から右に移動したときに垂直方向の広がりが増減する）がないか確認できます。絶対値または二乗残差と予測値（または各予測変数）のプロットを調べて、傾向や曲率を確認することもできます。正式な検定を使用することもできます。不均一分散性を参照してください。不均一分散性が存在すると、真の分散構造を考慮した推定値ではなく、分散の全体的な「平均」推定値が使用されることになります。これにより、パラメータ推定値の精度が低下し（ただし、通常の最小二乗法の場合は偏りはありません）、標準誤差に偏りが生じ、誤った検定や区間推定につながります。モデルの平均二乗誤差も間違っています。重み付き最小二乗法や不均一分散性に一貫性のある標準誤差の使用など、さまざまな推定手法により、不均一分散性をかなり一般的な方法で処理できます。ベイズ線形回帰手法は、分散が平均の関数であると仮定する場合にも使用できます。また、応答変数に変換を適用することで問題を解決できる場合もあります（例えば、線形回帰モデルを使用して応答変数の対数を当てはめると、応答変数自体が正規分布ではなく対数正規分布に従うことになります）。

誤差の無相関性。これは、応答変数の誤差が互いに無相関であることを前提としています。 $\mathbb {E} [\varepsilon _{i}\varepsilon _{j}|x_{i},x_{j}]=0.$ 一般化最小二乗法などの手法は相関のある誤差を扱うことができますが、相関のない誤差を仮定するようにモデルを偏らせる何らかの正則化を用いない限り、通常ははるかに多くのデータが必要となります。ベイズ線形回帰は、この問題に対処する一般的な方法です。完全な統計的独立性は、単なる相関がないという条件よりも強い条件であり、平均値の独立性を意味するものの、多くの場合必要ありません。
予測変数に完全な多重共線性がない。標準的な最小二乗推定法では、設計行列X は完全な列ランクpを持つ必要がある: ^{[ 18 ]} $\Pr \!{\big [}\,\operatorname {rank} (X)=p\,{\big ]}=1.$ この仮定が破られると、予測変数に完全な多重共線性が生じ、2 つ以上の予測変数間に線形関係が存在することになります。多重共線性は、データ内で変数を誤って重複させたり、元の変数とともに線形変換された変数を使用したり (例えば、華氏と摂氏で同じ温度測定値を表)、モデルに複数の変数の線形結合 (例えば、それらの平均値) を含めたりすることによって発生する可能性があります。また、推定するパラメータの数に比べて利用可能なデータが少なすぎる場合 (例えば、回帰係数よりもデータ点が少ない場合) にも発生する可能性があります。予測変数が高度に相関しているものの完全には相関していない、この仮定のほぼ違反は、パラメータ推定の精度を低下させる可能性があります (分散膨張係数を参照)。完全な多重共線性の場合、パラメータベクトルβ は識別不可能になります。つまり、一意の解が存在しません。このような場合、一部のパラメータのみを識別できます (つまり、その値は、完全なパラメータ空間R ^pの線形部分空間内でのみ推定できます)。部分最小二乗回帰を参照してください。多重共線性を持つ線形モデルを適合させる方法が開発されており、^{[ 19 ]}^{[ 20 ]}^{[ 21 ]}^{[ 22 ]}その中には、「効果の疎性」、つまり効果の大部分が正確にゼロであるという追加の仮定を必要とするものもあります。一般化線形モデルで使用されるような、パラメータ推定のための計算コストの高い反復アルゴリズムは、この問題の影響を受けないことに注意してください。

これらの仮定に違反すると、 βの推定値に偏りが生じ、標準誤差にも偏りが生じ、信頼区間や有意性検定も信頼できなくなる可能性があります。これらの仮定以外にも、データの他のいくつかの統計的特性が、さまざまな推定方法の性能に大きく影響します。

誤差項と回帰変数との統計的関係は、推定手順が偏りや一致性といった望ましい標本特性を備えているかどうかを判断する上で重要な役割を果たす。
予測変数xの配置、すなわち確率分布は、 βの推定精度に大きな影響を与えます。サンプリングと実験計画法は、統計学の高度に発達した分野であり、 βの正確な推定値を得るためのデータ収集方法に関する指針を提供します。

不動産

有限サンプル特性

まず、厳密な外生性仮定の下では、OLS推定量は $\scriptstyle {\hat {\beta }}$ s ²は不偏であり、その期待値はパラメータの真の値と一致します。^{[ 23 ]}^[証明]

\operatorname {E} [\,{\hat {\beta }}\mid X\,]=\beta ,\quad \operatorname {E} [\,s^{2}\mid X\,]=\sigma ^{2}.

厳密な外生性が成り立たない場合（多くの時系列モデルでは、外生性は過去のショックに関してのみ仮定され、将来のショックに関しては仮定されないため）、これらの推定量は有限サンプルでは偏りを持つことになる。

分散共分散行列（または単に共分散行列） $\scriptstyle {\hat {\beta }}$ ^[²⁴^]に等しい

\operatorname {Var} [\,{\hat {\beta }}\mid X\,]=\sigma ^{2}\left(X^{\operatorname {T} }X\right)^{-1}=\sigma ^{2}Q.

特に、各係数の標準誤差 $\scriptstyle {\hat {\beta }}_{j}$ これは、この行列のj番目の対角要素の平方根に等しい。この標準誤差の推定値は、未知量σ ^{2 を}その推定値s ²で置き換えることによって得られる。したがって、

{\widehat {\operatorname {s.\!e.} }}({\hat {\beta }}_{j})={\sqrt {s^{2}\left(X^{\operatorname {T} }X\right)_{jj}^{-1}}}

また、推定器は $\scriptstyle {\hat {\beta }}$ モデルの残差とは相関がない：^{[ 24 ]}

\operatorname {Cov} [\,{\hat {\beta }},{\hat {\varepsilon }}\mid X\,]=0.

ガウス・マルコフの定理によれば、球面誤差の仮定（つまり、誤差は無相関かつ等分散であるべき）の下では、推定量は $\scriptstyle {\hat {\beta }}$ これは線形不偏推定量のクラスにおいて効率的です。これは最良線形不偏推定量（BLUE）と呼ばれます。効率性とは、他の推定量を見つける場合と同等であると考えるべきです。 $\scriptstyle {\tilde {\beta }}$ これはyに関して線形であり、不偏であるため、^{[ 24 ]}

\operatorname {Var} [\,{\tilde {\beta }}\mid X\,]-\operatorname {Var} [\,{\hat {\beta }}\mid X\,]\geq 0

これは非負定値行列であるという意味で。この定理は、線形不偏推定量のクラスにおいてのみ最適性を確立するものであり、これはかなり制限的である。誤差項εの分布によっては、他の非線形推定量がOLSよりも優れた結果をもたらす可能性がある。

正規性を仮定する

これまで挙げた特性はすべて、誤差項の基礎となる分布に関係なく有効です。ただし、正規性仮定が成り立つ（つまり、 $ε ~ N (0, σ 2 I n)$ である）と仮定できる場合は、OLS推定量に関する追加の特性を述べることができます。

推定器 $\scriptstyle {\hat {\beta }}$ は正規分布に従い、平均と分散は前述のとおりです。^{[ 25 ]}

{\hat {\beta }}\ \sim \ {\mathcal {N}}{\big (}\beta ,\ \sigma ^{2}(X^{\mathrm {T} }X)^{-1}{\big )}.

この推定量はモデルのクラメール・ラオ限界に達するため、すべての不偏推定量のクラスの中で最適である。 ^{[ 17 ]}ガウス・マルコフの定理とは異なり、この結果は線形推定量と非線形推定量の両方の中で最適性を確立するが、誤差項が正規分布する場合に限られることに注意されたい。

推定値s ^2はカイ二乗分布に比例する: ^{[ 26 ]}

s^{2}\ \sim \ {\frac {\sigma ^{2}}{n-p}}\cdot \chi _{n-p}^{2}

この推定量の分散は $2 σ 4 /(n - p)に等しく、これは$ $2$ $σ$ $4$ $/$ $n$ のCramér–Rao 限界に達しません。しかし、推定量s ^{2の分散よりも小さい}σ ²の不偏推定量は存在しないことが示されています。^[²⁷^]偏りのある推定量を許容し、モデルの残差の二乗和 (SSR) に比例する推定量のクラスを考慮すると、このクラスで最良の (平均二乗誤差の意味で) 推定量は $~$ $σ$ $2$ $= SSR$ $/$ $($ $n$ $-$ $p$ $+$ $2)$ となり、回帰変数が 1 つしかない場合 ( p = 1 ) には Cramér–Rao 限界をも上回ります。^[²⁸^]

さらに、推定器は $\scriptstyle {\hat {\beta }}$ s ^2は独立しており、[ ^{29 ]この}事実は回帰の t 検定と F 検定を構築する際に役立ちます。

影響力のある観察結果

前述のとおり、推定器 ${\hat {\beta }}$ これはyに関して線形であり、従属変数y _iの線形結合を表します。この線形結合における重みは回帰変数Xの関数であり、一般的には等しくありません。重みが大きい観測値は、推定値に顕著な影響を与えるため、影響力のある観測値と呼ばれます。

どの観測値が影響力があるかを分析するために、特定のj番目の観測値を削除し、推定値がどれだけ変化するかを検討します (ジャックナイフ法と同様)。β のOLS推定値の変化は^[³⁰^]に等しくなることが示されます。

{\hat {\beta }}^{(j)}-{\hat {\beta }}=-{\frac {1}{1-h_{j}}}(X^{\mathrm {T} }X)^{-1}x_{j}^{\mathrm {T} }{\hat {\varepsilon }}_{j}\,,

ここで $、h j = x j T (X T X) -1 x j$ はハット行列Pのj番目の対角要素であり、x _jはj番目の観測値に対応する回帰変数のベクトルです。同様に、データセットからその観測値を省略することによって生じるj番目の観測値の予測値の変化は、^[³⁰^]に等しくなります。

{\hat {y}}_{j}^{(j)}-{\hat {y}}_{j}=x_{j}^{\mathrm {T} }{\hat {\beta }}^{(j)}-x_{j}^{\operatorname {T} }{\hat {\beta }}=-{\frac {h_{j}}{1-h_{j}}}\,{\hat {\varepsilon }}_{j}

ハット行列の特性から、 $0 \leq h j \leq 1$ であり、それらの合計はpになるので、平均的には $h j \approx p/n$ となります。これらの量h _jはレバレッジと呼ばれ、h _jが大きい観測値はレバレッジポイントと呼ばれます。^{[ 31 ]}通常、レバレッジが大きい観測値は、誤り、外れ値、またはデータセットの残りの部分とは異なる何らかの点で異常である可能性があるため、より注意深く精査する必要があります。

分割回帰

回帰分析における変数と対応するパラメータは、論理的に2つのグループに分割できる場合があり、回帰分析は次のような形式をとる。

y=X_{1}\beta _{1}+X_{2}\beta _{2}+\varepsilon ,

ここで、X ₁とX _{2 は}n × p ₁、n × p _{2 の}次元を持ち、β ₁、β _2はp ₁ ×1 およびp ₂ ×1 のベクトルであり、 $p 1 + p 2 = p$ である。

フリッシュ・ウォー・ラヴェル定理によれば、この回帰では残差は ${\hat {\varepsilon }}$ そしてOLS推定値 $\scriptstyle {\hat {\beta }}_{2}$ 次の回帰におけるβ ₂の残差およびOLS推定値と数値的に同一になります。 ^{[ 32 ]}

M_{1}y=M_{1}X_{2}\beta _{2}+\eta \,,

ここで、M _{1は回帰変数}X ₁の消滅行列である。

この定理は、多くの理論的結果を確立するために使用できます。例えば、定数項と別の説明変数を含む回帰分析は、従属変数と説明変数から平均値を差し引き、定数項を除いて平均値を差し引いた変数に対して回帰分析を実行することと同等です。

大規模サンプルの特性

最小二乗推定量は、線形回帰モデルのパラメータβの点推定値です。しかし、一般的には、これらの推定値がパラメータの真の値にどれだけ近いかを知りたいとも思います。言い換えれば、区間推定値を構築したいのです。

誤差項ε _iの分布について何の仮定もしていないため、推定量の分布を推測することは不可能である。 ${\hat {\beta }}$ そして ${\hat {\sigma }}^{2}$ しかしながら、中心極限定理を適用することで、標本サイズn が無限大に近づくときの漸近的性質を導出することができます。標本サイズは必然的に有限ですが、 OLS 推定量の真の分布がその漸近極限に近いほどnが「十分に大きい」と仮定するのが一般的です。

モデルの仮定の下では、 βの最小二乗推定量は一致性を持つ（つまり、 ${\hat {\beta }}$ 確率的にβに収束し、漸近的に正規分布に従う：^[証明]

({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}{\big (}0,\;\sigma ^{2}Q_{xx}^{-1}{\big )},

どこ $Q_{xx}=X^{\operatorname {T} }X.$

推論

この漸近分布を用いて、ベクトルのj番目の成分に対する近似的な両側信頼区間を求めます。 ${\hat {\beta }}$ 次のように構築できます

\beta _{j}\in {\bigg [}\ {\hat {\beta }}_{j}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}}}\ {\bigg ]}

1 - α

信頼水準では、

ここで、q は標準正規分布の分位関数を表し、[·] _jjは行列のj番目の対角要素です。

同様に、 σ ²の最小二乗推定量も一致性があり、漸近的に正規分布に従う（ ε _iの 4 次モーメントが存在する場合）。

({\hat {\sigma }}^{2}-\sigma ^{2})\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\operatorname {E} \left[\varepsilon _{i}^{4}\right]-\sigma ^{4}\right).

これらの漸近分布は、予測、仮説検定、他の推定量の構築などに使用できます。例として、予測の問題を考えてみましょう。 $x_{0}$ は回帰変数の分布領域内のどこかの点であり、その点における応答変数がどうなっていたかを知りたい。平均応答とは、 $y_{0}=x_{0}^{\mathrm {T} }\beta$ 予測される応答は ${\hat {y}}_{0}=x_{0}^{\mathrm {T} }{\hat {\beta }}$ 明らかに予測される応答は確率変数であり、その分布は ${\hat {\beta }}$ :

\left({\hat {y}}_{0}-y_{0}\right)\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\sigma ^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}\right),

これにより、平均応答の信頼区間を構築できます。 $y_{0}$ 建設予定：

y_{0}\in \left[\ x_{0}^{\mathrm {T} }{\hat {\beta }}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}}}\ \right]

1 - αの

信頼水準で。

仮説検定

特に広く用いられている仮説検定が2つあります。まず、推定された回帰方程式が、応答変数のすべての値が標本平均に等しいと単純に予測するよりも優れているかどうかを知りたい場合です（そうでない場合、説明力がないと言われます）。推定された回帰に説明力がないという帰無仮説は、 F検定を用いて検定されます。計算されたF値が、事前に選択した有意水準の臨界値を超えるほど大きい場合、帰無仮説は棄却され、回帰に説明力があるという対立仮説が採択されます。そうでない場合は、説明力がないという帰無仮説が採択されます。

第二に、関心のある各説明変数について、その推定係数がゼロと有意に異なるかどうか、つまり、その特定の説明変数が応答変数を予測する上で実際に説明力を持っているかどうかを知りたい。ここでの帰無仮説は、真の係数がゼロであるというものである。この仮説は、係数の推定値とその標準誤差の比であるt統計量を計算することによって検定される。t統計量があらかじめ定められた値よりも大きい場合、帰無仮説は棄却され、その変数は説明力を持っていると判断され、その係数はゼロと有意に異なる。そうでない場合は、真の係数がゼロであるという帰無仮説が受け入れられる。

さらに、Chow検定は、2つのサブサンプルが両方とも同じ真の係数値を持っているかどうかを検定するために使用されます。各サブセットおよび結合データセットに対する回帰の残差平方和をF統計量を計算することによって比較します。この値が臨界値を超えた場合、2つのサブセット間に差がないという帰無仮説は棄却され、そうでない場合は採択されます。

前提違反

時系列モデル

時系列モデルでは、確率過程{ x _i , y _i } が定常かつエルゴード的である必要があります。{ x _i , y _i } が非定常の場合、{ x _i , y _i } が共和分関係にない限り、OLS の結果はしばしば偏りがあります。^{[ 33 ]}

我々は依然として回帰変数が厳密に外生的であることを要求する：すべてのi = 1, ..., nに対して E[ x _i ε _i ] = 0 。それらが単に事前に決定されている場合、OLS は有限サンプルで偏りを持つ。

最後に、分散に関する仮定は、{ x _i ε _i } がマルチンゲール差分列であり、2 次モーメントの有限行列 $Q xxε ² = E[ε i 2 x i x i T]$ を持つという形をとります。

制約付き推定

回帰における係数が線形方程式系を満たすことがわかっていると仮定します。

A\colon \quad Q^{\operatorname {T} }\beta =c,\,

ここで、Qはフルランクのp × q行列であり、cは既知の定数のq × 1 ベクトルで、q < pです。この場合、最小二乗推定は、制約Aの下でモデルの残差の二乗和を最小化することと同等です。制約付き最小二乗 (CLS)推定量は、明示的な式で与えられます。^{[ 34 ]}

{\hat {\beta }}^{c}={\hat {\beta }}-(X^{\operatorname {T} }X)^{-1}Q{\Big (}Q^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}Q{\Big )}^{-1}(Q^{\operatorname {T} }{\hat {\beta }}-c).

この制約付き推定量の式は、行列X ^T Xが可逆である限り有効です。この記事の冒頭から、この行列はフルランクであると仮定し、ランク条件が満たされない場合、β は識別できないことを指摘しました。しかし、制約A を追加することでβが識別可能になる場合があり、その場合は推定量の式を見つけたいと考えます。推定量は^[³⁵^]に等しくなります。

{\hat {\beta }}^{c}=R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }y+{\Big (}I_{p}-R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }X{\Big )}Q(Q^{\operatorname {T} }Q)^{-1}c,

ここで、Rはp × ( p − q ) 行列であり、行列[ QR ]は非特異であり、R ^T Q = 0 である。このような行列は常に見つけることができるが、一般に一意ではない。2 番目の式は、 X ^T Xが可逆である場合に最初の式と一致する。^[³⁵^]

実データを用いた例

以下のデータセットは、30歳から39歳のアメリカ人女性の平均身長と体重を示しています（出典：『ワールド・アルマナック・アンド・ブック・オブ・ファクツ』1975年版）。

従属変数が1つだけモデル化されている場合、散布図は従属変数と回帰変数の関係の形式と強さを示唆します。また、外れ値、不均一分散、および適合した回帰モデルの解釈を複雑にする可能性のあるデータのその他の側面も明らかにする可能性があります。散布図は、関係が強く、二次関数として近似できることを示唆しています。OLSは、回帰変数HEIGHT ²を導入することで非線形関係を処理できます。回帰モデルは、多重線形モデルになります。

w_{i}=\beta _{1}+\beta _{2}h_{i}+\beta _{3}h_{i}^{2}+\varepsilon _{i}.

ほとんどの一般的な統計パッケージの出力は、以下のようなものになります。

この表では：

「値」列には、パラメータβjの最小二乗推定値が表示されます_。
「標準誤差」列には、各係数推定値の標準誤差が表示されます。 ${\hat {\sigma }}_{j}=\left({\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}\right)^{\frac {1}{2}}$
t統計量とp値の列は、係数のいずれかがゼロになる可能性があるかどうかを検定しています。t統計量は次のように単純に計算されます。 $t={\hat {\beta }}_{j}/{\hat {\sigma }}_{j}$ 誤差εが正規分布に従う場合、tはスチューデントのt分布に従います。より弱い条件では、tは漸近的に正規分布に従います。tの値が大きいほど、帰無仮説が棄却され、対応する係数がゼロではないことを示します。2列目のp値は、仮説検定の結果を有意水準として表します。慣例として、p値が0.05未満の場合、母集団係数がゼロではないという証拠とみなされます。
R二乗は、回帰分析の適合度を示す決定係数です。適合度が完璧な場合は1、説明変数Xに説明力がまったくない場合は0になります。これは母集団のR二乗の偏った推定値であり、たとえ無関係な説明変数を追加しても、決して減少することはありません。
調整済みR二乗は、 $R^{2}$ 回帰分析の説明力を高めない過剰な回帰変数に対してペナルティを課すように設計されている。この統計量は常に以下より小さい。 $R^{2}$ 、新たな回帰変数が追加されるにつれて減少する可能性があり、適合度の低いモデルでは負の値になることもあります。

{\overline {R}}^{2}=1-{\frac {n-1}{n-p}}(1-R^{2})

対数尤度は、誤差が正規分布に従うという仮定の下で計算されます。この仮定は必ずしも妥当とは言えませんが、この統計量は尤度比検定を行う際に依然として有用である可能性があります。
ダービン・ワトソン統計量は、残差間に自己相関が存在するかどうかを検定する。一般的に、2未満の値は正の相関を示す証拠となる。
赤池情報量規準とシュワルツ規準はどちらもモデル選択に使用されます。一般的に、2つの代替モデルを比較する場合、これらの規準のいずれかの値が小さいほど、より良いモデルであることを示します。^{[ 36 ]}
回帰の標準誤差は、誤差項の標準誤差σの推定値である。
総平方和、モデル平方和、および残差平方和は、サンプルにおける初期変動のうち、回帰によってどれだけ説明されたかを示します。
F統計量は、切片を除くすべての係数がゼロであるという仮説を検定します。この統計量は、帰無仮説と正規性の仮定の下でF ( p–1 , n–p )分布に従い、そのp値は仮説が真である確率を示します。誤差が正規分布に従わない場合、この統計量は無効となり、ワルド検定や尤度比検定などの他の検定を用いる必要があることに注意してください。

通常の最小二乗法分析では、データが想定されるモデルの形状から逸脱しているかどうかを検出するために設計された診断プロットがよく用いられます。以下に、一般的な診断プロットの例をいくつか示します。

モデル内の説明変数に対する残差。これらの変数間の非線形関係は、条件付き平均関数の線形性が成り立たない可能性を示唆しています。説明変数の異なるレベルにおける残差の変動レベルの違いは、異分散性の可能性を示唆しています。
モデルに含まれていない説明変数に対する残差。残差とこれらの変数との間に何らかの関係が見られる場合、これらの変数をモデルに含めることを検討すべきであることを示唆する。
適合値に対する残差、 ${\hat {y}}$ 。
残差と直前の残差の関係を示すグラフ。このグラフは、残差間の自己相関を特定するのに役立ちます。

回帰モデルを用いて統計的推論を行う際に重要な考慮事項の一つは、データのサンプリング方法です。この例では、データは個々の女性の測定値ではなく、平均値です。モデルの適合度は非常に良好ですが、これは個々の女性の体重を身長のみに基づいて高精度で予測できることを意味するものではありません。

丸めに対する感度

この例は、これらの計算によって決定される係数が、データの準備方法に影響を受けることも示しています。高さは元々最も近いインチに丸められて与えられており、変換されて最も近いセンチメートルに丸められています。変換係数は1インチ＝2.54cmであるため、これは正確な変換ではありません。Round(x/0.0254)を使用して元のインチを復元し、丸めずにメートル法に再変換することができます。これを行うと、結果は次のようになります。

身長5フィート6インチ（1.6764メートル）の女性の体重を予測するためにこれらの式のいずれかを使用すると、丸め処理ありの場合は62.94kg、丸め処理なしの場合は62.98kgと、ほぼ同じ値が得られます。つまり、一見小さなデータの違いが係数には大きな影響を与えますが、式の結果にはわずかな影響しか与えません。

これはデータ範囲の中央では無害に見えるかもしれませんが、極端な場合や、適合モデルを使用してデータ範囲外を予測する場合（外挿）には重要になる可能性があります。

これはよくある誤りを浮き彫りにしています。この例はOLSの誤用です。OLSでは、独立変数（この場合は身長）の誤差がゼロ、もしくは少なくとも無視できる程度であることが前提となっています。最初に最も近いインチに丸められた値と実際の測定誤差を合わせると、有限かつ無視できない誤差が生じます。その結果、推定されたパラメータは想定されているほど最良の推定値ではありません。完全に誤った誤差ではありませんが、推定誤差はx軸とy軸の誤差の相対的な大きさに依存します。

実データが少ない別の例

問題提起

極座標系における2体軌道の式を求めるには、最小二乗法を用いることができます。一般的に用いられる式は次のとおりです。 $r(\theta )={\frac {p}{1-e\cos(\theta )}}$ どこ $r(\theta )$ は、物体が物体の1つからどれだけ離れているかを示す半径です。方程式のパラメータは $p$ そして $e$ 軌道の経路を決定するために、以下のデータを測定しました。

最小二乗近似を見つける必要がある $e$ そして $p$ 与えられたデータに対して。

解決

まず、eとpを線形形式で表す必要があります。そこで、方程式を書き直します。 $r(\theta )$ として ${\frac {1}{r(\theta )}}={\frac {1}{p}}-{\frac {e}{p}}\cos(\theta )$ 。

さらに、拡張することでアプサイドに適合させることができる $\cos(\theta )$ 追加パラメータとして $\cos(\theta -\theta _{0})=\cos(\theta )\cos(\theta _{0})+\sin(\theta )\sin(\theta _{0})$ これは両方において線形である $\cos(\theta )$ そして追加の基底関数では $\sin(\theta )$ 。

観測データを表すために、元の2パラメータ形式を以下のように使用します。

$A^{T}A{\binom {x}{y}}=A^{T}b,$

どこ：

$x=1/p\,$ ; $y=e/p\,$ ; $A$ 係数を含む $1/p$ 最初の列はすべて 1 であり、係数は $e/p$ 2列目には、 $\cos(\theta )\,$ ; そして $b=1/r(\theta )$ 次のような場合：

$A={\begin{bmatrix}1&-0.731354\\1&-0.707107\\1&-0.615661\\1&\ 0.052336\\1&0.309017\\1&0.438371\end{bmatrix}},\quad b={\begin{bmatrix}0.21220\\0.21958\\0.24741\\0.45071\\0.52883\\0.56820\end{bmatrix}}.$

解くと次のようになります ${\binom {x}{y}}={\binom {0.43478}{0.30435}}\,$ 、

それで $p={\frac {1}{x}}=2.3000$ そして $e=p\cdot y=0.70001$

参考文献

↑ 「最小二乗法の仮定の起源」。特集コラム。2022年3月1日。 2024年5月16日閲覧。
↑ 「線形回帰における一般的な仮定の完全なリストは何ですか？」。Cross Validated 。 2022年9月28日取得。
↑ゴールドバーガー、アーサー・S. (1964). 「古典的線形回帰」 .計量経済学理論. ニューヨーク：ジョン・ワイリー・アンド・サンズ. pp . 158. ISBN 0-471-31101-4。{{cite book}}ISBN /日付の不一致（ヘルプ）
↑林文雄（2000）『計量経済学』プリンストン大学出版局、15頁。ISBN 9780691010182。
↑林（2000年、18ページ）。
↑ Ghilani, Charles D.; Wolf, Paul R. (2006年6月12日). Adjustment Computations: Spatial Data Analysis . John Wiley & Sons. ISBN 9780471697282。
↑ホフマン・ヴェレンホフ、ベルンハルト。リヒテネガー、ハーバート。エルマー、ワスル（2007 年 11 月 20 日）。GNSS – 全地球航法衛星システム: GPS、GLONASS、Galileo など。スプリンガー。ISBN 9783211730171。
↑ Xu, Guochang (2007年10月5日). GPS: 理論、アルゴリズム、および応用. Springer. ISBN 9783540727156。
1 2林（2000年、19ページ）
↑ Hoaglin, David C.; Welsch, Roy E. (1978). "回帰分析とANOVAにおけるハット行列" . The American Statistician . 32 (1): 17– 22. doi : 10.1080/00031305.1978.10479237 . hdl : 1721.1/1920 . ISSN 0003-1305 .
↑ Julian Faraway (2000)、R を用いた実践的な回帰分析と分散分析
↑ Kenney, J.; Keeping, ES (1963).統計学の数学. van Nostrand. p. 187.
↑ズウィリンガー、ダニエル（1995）。標準数学表と公式。チャップマン＆ホール/CRC。p. 626。ISBN 0-8493-2479-3。
↑林（2000年、20ページ）
↑ヴァハブのアクバルザデ（2014年5月7日）。「ライン推定」。
↑林（2000年、49ページ）
1 2林（2000年、52ページ）
↑林（2000年、10ページ）
↑ Tibshirani, Robert (1996). "Regression Shrinkage and Selection via the Lasso". Journal of the Royal Statistical Society, Series B. 58 ( 1): 267–288 . doi : 10.1111/j.2517-6161.1996.tb02080.x . JSTOR 2346178 .
↑ Efron, Bradley; Hastie, Trevor; Johnstone, Iain; Tibshirani, Robert (2004). "最小角度回帰". The Annals of Statistics . 32 (2): 407–451 . arXiv : math/0406456 . doi : 10.1214/009053604000000067 . JSTOR 3448465 . S2CID 204004121 .
↑ホーキンス、ダグラス M. (1973). 「主成分分析による代替回帰の調査について」。王立統計学会誌、シリーズ C . 22 (3): 275– 286. doi : 10.2307/2346776 . JSTOR 2346776 .
↑ Jolliffe, Ian T. (1982). "回帰分析における主成分分析の使用に関する注記". Journal of the Royal Statistical Society, Series C . 31 (3): 300– 303. doi : 10.2307/2348005 . JSTOR 2348005 .
↑林（2000年、27、30ページ）
1 2 3林（2000年、27ページ）
↑雨宮健（1985）『高度計量経済学』ハーバード大学出版局、 13ページ、ISBN 9780674005600。
↑雨宮（1985年、14ページ）
↑ Rao, CR (1973).線形統計推論とその応用（第2版）. ニューヨーク：J. Wiley & Sons. p. 319. ISBN 0-471-70823-2。
↑雨宮（1985年、20ページ）
↑雨宮（1985年、27ページ）
1 2 Davidson, Russell; MacKinnon, James G. (1993). Estimation and Inference in Econometrics . New York: Oxford University Press. p. 33. ISBN 0-19-506011-3。
↑デイビッドソン＆マッキノン（1993年、36ページ）
↑デイビッドソン＆マッキノン（1993年、20ページ）
↑ 「EViews出力に関するメモ」（PDF）。 2020年12月28日取得。
↑雨宮（1985年、21ページ）
1 2雨宮（1985年、22ページ）
↑ Burnham, Kenneth P.; Anderson, David R. (2002). Model Selection and Multi-Model Inference (2nd ed.). Springer. ISBN 0-387-95364-7。

さらに読む

ドハティ、クリストファー（2002）。計量経済学入門（第2 版）。ニューヨーク：オックスフォード大学出版局。48 ～ 113ページ。ISBN 0-19-877643-8。
Gujarati, Damodar N. ; Porter, Dawn C. (2009). Basic Econometrics (Fifth ed.). Boston: McGraw-Hill Irwin. pp. 55–96 . ISBN 978-0-07-337577-9。
Heij, クリスチャン;ボーア、ポール。フランシス、フィリップ・Ｈ．Kloek, テウン;ファン・ダイク、ハーマン K. (2004)。ビジネスと経済学に応用できる計量経済的手法(第 1 版)。オックスフォード: オックスフォード大学出版局。ページ76–115。ISBN 978-0-19-926801-6。
Hill, R. Carter; Griffiths, William E.; Lim, Guay C. (2008). Principles of Econometrics (3rd ed.). Hoboken, NJ: John Wiley & Sons. pp. 8–47 . ISBN 978-0-471-72360-8。
ウールドリッジ、ジェフリー（2008）。「単純回帰モデル」。入門計量経済学：現代的アプローチ（第4 版）。オハイオ州メイソン：センゲージラーニング。pp . 22–67。ISBN 978-0-324-58162-1。

[1] 「最小二乗法の仮定の起源」。特集コラム。2022年3月1日。 2024年5月16日閲覧。

[2] 「線形回帰における一般的な仮定の完全なリストは何ですか？」。Cross Validated 。 2022年9月28日取得。

[3] ゴールドバーガー、アーサー・S. (1964). 「古典的線形回帰」 .計量経済学理論. ニューヨーク：ジョン・ワイリー・アンド・サンズ. pp . 158. ISBN 0-471-31101-4。{{cite book}}ISBN /日付の不一致（ヘルプ）

[4] 林文雄（2000）『計量経済学』プリンストン大学出版局、15頁。ISBN 9780691010182。

[5] 林（2000年、18ページ）。

[6] Ghilani, Charles D.; Wolf, Paul R. (2006年6月12日). Adjustment Computations: Spatial Data Analysis . John Wiley & Sons. ISBN 9780471697282。

[7] ホフマン・ヴェレンホフ、ベルンハルト。リヒテネガー、ハーバート。エルマー、ワスル（2007 年 11 月 20 日）。GNSS – 全地球航法衛星システム: GPS、GLONASS、Galileo など。スプリンガー。ISBN 9783211730171。

[8] Xu, Guochang (2007年10月5日). GPS: 理論、アルゴリズム、および応用. Springer. ISBN 9783540727156。

[Hayashi_2000_loc=page_19-9] 1 2林（2000年、19ページ）

[q011-10] Hoaglin, David C.; Welsch, Roy E. (1978). "回帰分析とANOVAにおけるハット行列" . The American Statistician . 32 (1): 17– 22. doi : 10.1080/00031305.1978.10479237 . hdl : 1721.1/1920 . ISSN 0003-1305 .

[11] Julian Faraway (2000)、R を用いた実践的な回帰分析と分散分析

[12] Kenney, J.; Keeping, ES (1963).統計学の数学. van Nostrand. p. 187.

[13] ズウィリンガー、ダニエル（1995）。標準数学表と公式。チャップマン＆ホール/CRC。p. 626。ISBN 0-8493-2479-3。

[14] 林（2000年、20ページ）

[15] ヴァハブのアクバルザデ（2014年5月7日）。「ライン推定」。

[16] 林（2000年、49ページ）

[Hayashi_2000_loc=page_52-17] 1 2林（2000年、52ページ）

[Hayashi_2000_loc=page_10-18] 林（2000年、10ページ）

[Tibshirani-1996-19] Tibshirani, Robert (1996). "Regression Shrinkage and Selection via the Lasso". Journal of the Royal Statistical Society, Series B. 58 ( 1): 267–288 . doi : 10.1111/j.2517-6161.1996.tb02080.x . JSTOR 2346178 .

[Efron-2004-20] Efron, Bradley; Hastie, Trevor; Johnstone, Iain; Tibshirani, Robert (2004). "最小角度回帰". The Annals of Statistics . 32 (2): 407–451 . arXiv : math/0406456 . doi : 10.1214/009053604000000067 . JSTOR 3448465 . S2CID 204004121 .

[Hawkins-1973-21] ホーキンス、ダグラス M. (1973). 「主成分分析による代替回帰の調査について」。王立統計学会誌、シリーズ C . 22 (3): 275– 286. doi : 10.2307/2346776 . JSTOR 2346776 .

[Jolliffe-1982-22] Jolliffe, Ian T. (1982). "回帰分析における主成分分析の使用に関する注記". Journal of the Royal Statistical Society, Series C . 31 (3): 300– 303. doi : 10.2307/2348005 . JSTOR 2348005 .

[23] 林（2000年、27、30ページ）

[HayashiFSP-24] 1 2 3林（2000年、27ページ）

[25] 雨宮健（1985）『高度計量経済学』ハーバード大学出版局、 13ページ、ISBN 9780674005600。

[26] 雨宮（1985年、14ページ）

[27] Rao, CR (1973).線形統計推論とその応用（第2版）. ニューヨーク：J. Wiley & Sons. p. 319. ISBN 0-471-70823-2。

[28] 雨宮（1985年、20ページ）

[29] 雨宮（1985年、27ページ）

[DvdMck33-30] 1 2 Davidson, Russell; MacKinnon, James G. (1993). Estimation and Inference in Econometrics . New York: Oxford University Press. p. 33. ISBN 0-19-506011-3。

[31] デイビッドソン＆マッキノン（1993年、36ページ）

[32] デイビッドソン＆マッキノン（1993年、20ページ）

[33] 「EViews出力に関するメモ」（PDF）。 2020年12月28日取得。

[34] 雨宮（1985年、21ページ）

[Amemiya22-35] 1 2雨宮（1985年、22ページ）

[36] Burnham, Kenneth P.; Anderson, David R. (2002). Model Selection and Multi-Model Inference (2nd ed.). Springer. ISBN 0-387-95364-7。

[

[

[ 3 ]

[

これは明示的な式[ 5 ]

6

7

[

[

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[

[ 25 ]

[ 26 ]

[

[

29 ]この

[

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[

[ 36 ]