通常の最小二乗法

統計学において、通常最小二乗法（OLS）は、最小二乗原理によって線形回帰モデル（説明変数の集合の線形関数のレベル1 ^{[説明が必要]}効果が固定されている）の未知のパラメータを選択する線形最小二乗法の一種です。最小二乗原理とは、入力データセット内の観測された従属変数（観測される変数の値）と独立変数の（線形）関数の出力との差の二乗和を最小化するものです。OLSは線形回帰であると考える情報源もあります。^[1]

幾何学的には、これは、セット内の各データ ポイントと回帰面上の対応するポイントとの間の、従属変数の軸に平行な距離の二乗の合計として見られます。差が小さいほど、モデルがデータに適合していることになります。結果として得られる推定値は、特に回帰方程式の右側に 単一の回帰変数がある単純な線形回帰の場合、簡単な式で表すことができます。

OLS推定量は、回帰変数が外生的である場合にレベル1の固定効果と整合しており、完全な共線性（順位条件）を形成し、回帰変数が有限の4次モーメントを持つ場合^{[2]に残差の分散推定と整合しており、}ガウス・マルコフの定理により、誤差が等分散かつ連続的に無相関である場合に線形不偏推定量のクラスで最適です。これらの条件下では、誤差が有限分散を持つ場合、 OLS法は最小分散平均不偏推定を提供します。誤差が平均ゼロで正規分布するという追加の仮定の下では、OLSはあらゆる非線形不偏推定量よりも優れた最大尤度推定量です。

データが観測値で構成されているとします。各観測値には、スカラー応答とパラメータ (回帰変数)の列ベクトル、つまり が含まれます。線形回帰モデルでは、応答変数 は回帰変数の線形関数です。 ${\displaystyle n}$ ${\displaystyle \left\{\mathbf {x} _{i},y_{i}\right\}_{i=1}^{n}}$${\displaystyle i}$${\displaystyle y_{i}}$${\displaystyle \mathbf {x} _{i}}$${\displaystyle p}$${\displaystyle \mathbf {x} _{i}=\left[x_{i1},x_{i2},\dots ,x_{ip}\right]^{\operatorname {T} }}$${\displaystyle y_{i}}$

${\displaystyle y_{i}=\beta _{1}\ x_{i1}+\beta _{2}\ x_{i2}+\cdots +\beta _{p}\ x_{ip}+\varepsilon _{i},}$

またはベクトル形式では、

${\displaystyle y_{i}=\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}+\varepsilon _{i},\,}$

ここで、 は、前に紹介したように、すべての説明変数の - 番目の観測値の列ベクトルです。 は、未知のパラメータのベクトルです。そして、スカラーは- 番目の観測値の観測されていないランダム変数（誤差）を表します。は、説明変数以外のソースからの応答への影響を考慮します。このモデルは、次のように行列表記で書くこともできます。 ${\displaystyle \mathbf {x} _{i}}$${\displaystyle i}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle p\times 1}$${\displaystyle \varepsilon _{i}}$${\displaystyle i}$${\displaystyle \varepsilon _{i}}$${\displaystyle y_{i}}$${\displaystyle \mathbf {x} _{i}}$

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

ここで、 および は応答変数と観測値の誤差のベクトルであり、 は回帰変数の行列（設計行列とも呼ばれる）であり、その行はであり、すべての説明変数の 番目の観測値が含まれます。 ${\displaystyle \mathbf {y} }$${\displaystyle {\boldsymbol {\varepsilon }}}$${\displaystyle n\times 1}$${\displaystyle n}$${\displaystyle \mathbf {X} }$${\displaystyle n\times p}$${\displaystyle i}$${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }}$${\displaystyle i}$

通常、定数項は、すべての に対してをとることによって、回帰変数 のセットに含まれます。この回帰変数に対応する係数は、切片と呼ばれます。切片がないと、 のときに近似線は原点と交差することになります。 ${\displaystyle \mathbf {X} }$${\displaystyle x_{i1}=1}$${\displaystyle i=1,\dots ,n}$${\displaystyle \beta _{1}}$${\displaystyle x_{i}={\vec {0}}}$

推定値が一貫しているためには、回帰変数は独立している必要はなく、非線形に依存している場合もあります。完全な多重共線性がない場合でも、パラメータ推定値は一貫している可能性があります。ただし、多重共線性が高まると、そのような推定値の標準誤差が増加し、推定値の精度が低下します。完全な多重共線性がある場合、関連する回帰変数の係数の一意の推定値を取得することはできなくなります。これらのパラメータの推定値は収束できません (したがって、一貫していません)。

回帰変数が非線形に依存しているが推定値が依然として一貫している可能性がある具体的な例として、応答が値とその二乗の両方に線形に依存すると疑われる場合があります。その場合、値が別の回帰変数の二乗である 1 つの回帰変数を含めます。その場合、モデルは2 番目の回帰変数では2 次式になりますが、モデルはパラメーター ( ) に対して依然として線形であるため、それでも線形モデルと見なされます。 ${\displaystyle {\boldsymbol {\beta }}}$

過剰決定系を考える

${\displaystyle \sum _{j=1}^{p}x_{ij}\beta _{j}=y_{i},\ (i=1,2,\dots ,n),}$

未知の係数、、を持つ線形方程式。これは行列形式 で次のように表すことができます。${\displaystyle n}$ ${\displaystyle p}$${\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{p}}$${\displaystyle n>p}$

${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} ,}$

どこ

${\displaystyle \mathbf {X} ={\begin{bmatrix}X_{11}&X_{12}&\cdots &X_{1p}\\X_{21}&X_{22}&\cdots &X_{2p}\\\vdots &\vdots &\ddots &\vdots \\X_{n1}&X_{n2}&\cdots &X_{np}\end{bmatrix}},\qquad {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\qquad \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}.}$

(注: 上記のような線形モデルの場合、 のすべての要素にデータ ポイントの情報が含まれているわけではありません。最初の列には 1 が入力されます。他の列にのみ実際のデータが含まれます。したがって、ここでは は回帰変数の数に 1 を加えた数に等しくなります)。 ${\displaystyle \mathbf {X} }$${\displaystyle X_{i1}=1}$${\displaystyle p}$

このようなシステムは通常、正確な解を持たないため、代わりに、二次最小化問題を 解くという意味で、方程式に「最もよく」適合する係数を見つけることが目標となります。${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\,S({\boldsymbol {\beta }}),}$

ここで目的関数は次のように与えられる。 ${\displaystyle S}$

${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{n}\left|y_{i}-\sum _{j=1}^{p}X_{ij}\beta _{j}\right|^{2}=\left\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right\|^{2}.}$

この基準を選択する根拠は、以下のプロパティで示されています。この最小化問題には、行列の列が線形独立である場合に、いわゆる正規方程式を解くことによって与えられる一意の解があります。${\displaystyle p}$${\displaystyle \mathbf {X} }$

${\displaystyle \left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right){\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{\operatorname {T} }\mathbf {y} \ .}$

行列は正規行列またはグラム行列として知られ、行列は回帰行列と回帰子のモーメント行列として知られています。 ^[3]最後に、は最小二乗超平面の係数ベクトルであり、次のように表されます 。${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {y} }$${\displaystyle {\hat {\boldsymbol {\beta }}}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }\mathbf {y} .}$

または

${\displaystyle {\hat {\boldsymbol {\beta }}}={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }{\boldsymbol {\varepsilon }}.}$

b がパラメータベクトルβの「候補」値であると仮定します。i 番目の観測値の残差と呼ばれる量y i − x i _T bは_、^データポイント( x i 、 y i ) と超平面 y = x T b 間の垂直距離を測定し、実際_のデータと_モデルの適合度を評価^します。残差の二乗和( SSR ) (誤差二乗和( ESS ) または残差二乗和( RSS ) とも呼ばれる) ^[4]は、全体的なモデルの適合度の尺度です。

${\displaystyle S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),}$

ここで、T は行列転置を表し、Xの行は従属変数の特定の値に関連付けられたすべての独立変数の値を表し、X _i = x _i ^{Tです。この合計を最小化する}bの値は、βの OLS 推定量と呼ばれます。関数S ( b ) はbの 2 次関数で、正定値ヘッセ行列であるため、この関数は で一意の大域的最小値を持ち、明示的な式で表すことができます。^{[5] [証明]}${\displaystyle b={\hat {\beta }}}$

${\displaystyle {\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .}$

積N = X ^T Xはグラム行列であり、その逆行列Q = N ^–1はβの補因子行列であり、^{[6] [7] [8]}その共分散行列C _βと密接に関連している。行列 ( X ^T X ) ^–1 X ^T = Q X ^{Tは、 X の}ムーア・ペンローズ擬似逆行列と呼ばれる。この定式化は、説明変数間に完全な多重共線性がない場合にのみ推定を実行できるという点を強調している（この場合はグラム行列に逆行列がなくなる）。

βを推定した後、回帰分析から 得られた適合値（または予測値）は次のようになる。

${\displaystyle {\hat {y}}=X{\hat {\beta }}=Py,}$

ここでP = X ( X ^T X ) ⁻¹ X ^{T は、} Xの列によって張られる空間Vへの射影行列です。この行列P は、変数yに「帽子をかぶせる」ため、帽子行列と呼ばれることもあります。Pに密接に関連するもう1つの行列は、消滅行列M = I _n − Pです。これは、 Vに直交する空間への射影行列です。行列PとM は両方とも対称かつべき等であり（つまり、P ² = PおよびM ² = M ）、恒等性PX = XおよびMX = 0を介してデータ行列Xに関連します。^[9]行列M は回帰からの 残差を作成します。

${\displaystyle {\hat {\varepsilon }}=y-{\hat {y}}=y-X{\hat {\beta }}=My=M(X\beta +\varepsilon )=(MX)\beta +M\varepsilon =M\varepsilon .}$

これらの残差を使用して、縮小カイ二乗統計量を使用してσ ²の値を推定できます。

${\displaystyle s^{2}={\frac {{\hat {\varepsilon }}^{\mathrm {T} }{\hat {\varepsilon }}}{n-p}}={\frac {(My)^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }M^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }My}{n-p}}={\frac {S({\hat {\beta }})}{n-p}},\qquad {\hat {\sigma }}^{2}={\frac {n-p}{n}}\;s^{2}}$

分母n − p は統計的自由度です。最初の量s ^2はσ ²の OLS 推定値で、2 番目の量はσ ²の MLE 推定値です。2 つの推定値は大規模なサンプルでは非常に似ています。最初の推定値は常に不偏ですが、2 番目の推定値は偏りがありますが平均二乗誤差は小さくなります。実際には、仮説検定に便利なため、 s ^{2の方がよく使用されます。} s ²の平方根は回帰標準誤差^[10]、回帰の標準誤差[ ^{11] [12]、}または方程式の標準誤差^[9]と呼ばれます。${\displaystyle \scriptstyle {\hat {\sigma }}^{2}}$

OLS回帰の適合度を評価するには、サンプルの初期変動がXに回帰することでどれだけ減少するかを比較するのが一般的です。決定係数 R ²は、回帰の二乗和が残差の二乗和に等しい場合の、従属変数yの「説明された」分散と「合計」分散の比として定義されます。 ^[13]

${\displaystyle R^{2}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}={\frac {y^{\mathrm {T} }P^{\mathrm {T} }LPy}{y^{\mathrm {T} }Ly}}=1-{\frac {y^{\mathrm {T} }My}{y^{\mathrm {T} }Ly}}=1-{\frac {\rm {RSS}}{\rm {TSS}}}}$

ここで、TSS は従属変数の平方和の合計で、はn × nの 1 の行列です。 (は中心化行列で、定数の回帰に相当します。つまり、変数から平均を引くだけです。) R ^{2 が}意味のあるものになるためには、回帰変数のデータの行列X に、回帰切片を係数とする定数を表す 1 の列ベクトルが含まれている必要があります。その場合、R ^{2 は}常に 0 から 1 の間の数値になり、1 に近い値は適合度が高いことを示します。 ${\textstyle L=I_{n}-{\frac {1}{n}}J_{n}}$${\textstyle J_{n}}$${\displaystyle L}$

従属変数の関数としての独立変数の予測の分散については、「多項式最小二乗法」の記事で説明されています。

データ行列X に定数とスカラー回帰変数x _iの 2 つの変数のみが含まれている場合、これは「単回帰モデル」と呼ばれます。このケースは、手動計算にも適した非常に単純な式を提供するため、初心者の統計クラスでよく考慮されます。パラメーターは一般に( α、β )と表記されます。

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

この場合の最小二乗推定値は簡単な式で与えられる。

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{n}{(x_{i}-{\bar {x}})^{2}}}}\\[2pt]{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}\ ,\end{aligned}}}$

前のセクションでは、最小二乗推定量は、モデルの残差二乗和を最小化する値として得られました。ただし、他のアプローチから同じ推定量を導出することも可能です。すべてのケースで、OLS推定量の式は同じです: ^{^} β = ( X ^T X ) ⁻¹ X ^T y。唯一の違いは、この結果をどのように解釈するかです。 ${\displaystyle {\hat {\beta }}}$

数学者にとって、OLSは過剰決定線形方程式Xβ≈yの近似解です。ここでβは未知数です。この系を正確に解くことはできないと仮定すると（方程式の数nは未知数の数pよりもはるかに大きい）、右辺と左辺の差が最小になるような解を求めます。言い換えると、次を満たす解を求めていることになります。

${\displaystyle {\hat {\beta }}={\rm {arg}}\min _{\beta }\,\lVert \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\rVert ,}$

ここで、‖ · ‖はn次元ユークリッド空間R ⁿの標準L ² ノルムです。予測量Xβは、回帰変数のベクトルの特定の線形結合にすぎません。したがって、残差ベクトルy − Xβは、 y がXの列によって張られる線形部分空間に直交投影されたときに最小の長さになります。この場合の OLS 推定量は、Xの基底に沿った^{^} y = Pyのベクトル分解の係数として解釈できます。 ${\displaystyle {\hat {\beta }}}$

言い換えれば、最小値における勾配方程式は次のように表すことができます。

${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }\mathbf {X} =0.}$

これらの方程式の幾何学的解釈は、ドット積が任意の共形ベクトルvに対してゼロに等しいため、残差ベクトルはXの列空間に直交するというものです。これは、がすべての可能なベクトルの中で最短であること、つまり残差の分散が最小であることを意味します。これは右に示されています。 ${\displaystyle \mathbf {y} -X{\hat {\boldsymbol {\beta }}}}$ ${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\cdot \mathbf {X} \mathbf {v} }$${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}}$${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$

行列が非特異であり、K ^T X = 0 (直交射影を参照) であるという仮定のもとに行列K を導入すると、残差ベクトルは次の式を満たす必要があります。 ${\displaystyle {\hat {\boldsymbol {\gamma }}}}$${\displaystyle [\mathbf {X} \ \mathbf {K} ]}$

${\displaystyle {\hat {\mathbf {r} }}:=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {K} {\hat {\boldsymbol {\gamma }}}.}$

線形最小二乗法の方程式と解は次のように記述されます。

${\displaystyle {\begin{aligned}\mathbf {y} &={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}{\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}},\\{}\Rightarrow {\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}}&={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}^{-1}\mathbf {y} ={\begin{bmatrix}\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\\\left(\mathbf {K} ^{\top }\mathbf {K} \right)^{-1}\mathbf {K} ^{\top }\end{bmatrix}}\mathbf {y} .\end{aligned}}}$

別の見方としては、回帰直線をデータセット内の任意の2点の組み合わせを通る直線の加重平均とみなすことです。^[14]この計算方法は計算コストは​​高くなりますが、OLSに対するより優れた直感が得られます。

OLS推定量は、誤差項の正規性仮定の下では最大尤度推定量（MLE）と同一である。 ^{[15] [証明]}この正規性仮定は、ユールとピアソンによる線型回帰分析の初期の研究の基礎となったため、歴史的に重要である。[^要出典] MLEの特性から、正規性仮定が満たされる場合、OLS推定量は漸近的に効率的である（分散のクラメール-ラオ境界を達成するという意味で）と推測できる。^[16]

iidの場合、OLS推定量はモーメント条件から生じる GMM推定量として見ることもできる。

${\displaystyle \mathrm {E} {\big [}\,x_{i}\left(y_{i}-x_{i}^{\operatorname {T} }\beta \right)\,{\big ]}=0.}$

これらのモーメント条件は、回帰変数が誤差と無相関であるべきであることを示しています。x _iはpベクトルなので、モーメント条件の数はパラメータ ベクトルβの次元に等しく、したがってシステムは正確に識別されます。これは、推定量が重み付け行列の選択に依存しない、いわゆる古典的な GMM のケースです。

元の厳密な外生性仮定E[ ε _i  |  x _i ] = 0は、上で述べたよりもはるかに豊富なモーメント条件のセットを意味することに注意してください。特に、この仮定は、任意のベクトル関数ƒに対して、モーメント条件E[ ƒ ( x _i )· ε _i ] = 0が成立することを意味します。ただし、ガウス・マルコフの定理を使用して、関数ƒの最適な選択はƒ ( x ) = xを取ることであり、その結果、上記のモーメント方程式が得られることが示されます。

OLS 手法を適用できるようにするために、線形回帰モデルをキャストできるさまざまなフレームワークがあります。これらの設定はそれぞれ同じ式と同じ結果を生成します。唯一の違いは、この方法が意味のある結果をもたらすために課される解釈と仮定です。適用可能なフレームワークの選択は、主に手元のデータの性質と、実行する必要がある推論タスクによって決まります。

解釈の相違点の 1 つは、回帰変数をランダム変数として扱うか、定義済み定数として扱うかです。最初のケース (ランダム デザイン) では、回帰変数x i_はランダムであり、観察研究の場合と同様に、ある母集団からy _iとともにサンプリングされます。このアプローチにより、推定値の漸近特性をより自然に研究できます。もう 1 つの解釈 (固定デザイン) では、回帰変数Xはデザインによって設定された既知の定数として扱われ、y は実験の場合と同様に、Xの値に基づいて条件付きでサンプリングされます。実用上、推定と推論はXを条件として実行されるため、この区別は重要ではないことがよくあります。この記事で述べられている結果はすべて、ランダム デザイン フレームワーク内にあります。

古典的なモデルは、「有限サンプル」の推定と推論に重点を置いており、観測数nは固定されています。これは、OLS の漸近的動作を研究し、多数のサンプルでの動作を研究する 他のアプローチとは対照的です。

• 正しい仕様。線形関数形式は、実際のデータ生成プロセスの形式と一致する必要があります。
• 厳密な外生性。回帰分析における誤差は条件付き平均ゼロになるはずである。^[17]外生性仮定の直接的な帰結は、誤差の平均がゼロになるということである：E[ ε ] = 0（全期待値の法則の場合）、そして回帰変数は誤差と無相関である：E[ X ^T ε ] = 0。$${\displaystyle \operatorname {E} [\,\varepsilon \mid X\,]=0.}$$
  外生性仮定はOLS理論にとって重要である。それが成り立つ場合、回帰変数は外生的と呼ばれる。それが成り立たない場合、誤差項と相関する回帰変数は内生的と呼ばれ、^[18] OLS推定値は偏りを持つようになる。このような場合、操作変数法を使用して推論を行うことができる。
• 線形依存性はありません。X内の回帰変数はすべて線形独立でなければなりません。数学的には、これは行列X がほぼ確実に完全な列ランクを持つ必要があることを意味します。^[19]通常、回帰変数は少なくとも2次モーメントまで有限モーメントを持つと想定されます。この場合、行列Q _xx = E[ X ^T X  /  n ]は有限かつ半正定値です。$${\displaystyle \Pr \!{\big [}\,\operatorname {rank} (X)=p\,{\big ]}=1.}$$
  この仮定が破られると、回帰変数は線形従属または完全に多重共線的であると呼ばれます。このような場合、回帰係数βの値は学習できませんが、同じ線形従属サブスペースにある回帰変数の新しい値に対してy値を予測することは可能です。
• 球面誤差：^[19]ここで、I _nはn次元の単位行列であり、σ ^{2 は}各観測値の分散を決定するパラメータである。このσ ^{2 はモデル内の}不要なパラメータとみなされるが、通常は推定も行われる。この仮定に違反した場合、OLS推定値は依然として有効であるが、効率的ではなくなる。$${\displaystyle \operatorname {Var} [\,\varepsilon \mid X\,]=\sigma ^{2}I_{n},}$$
  この仮定は、通常、次の 2 つの部分に分けられます。
  • 等分散性: E[  ε _i ²  |  X  ] = σ ²、これは誤差項が各観測で同じ分散σ ^{2を持つことを意味します。この要件に違反する場合、これは}異分散性と呼ばれ、そのような場合、より効率的な推定量は重み付き最小二乗法になります。誤差が無限分散を持つ場合、OLS推定値も無限分散を持ちます（ただし、大数の法則により、誤差がゼロ平均を持つ限り、それらは真の値に近づく傾向があります）。この場合、堅牢な推定手法が推奨されます。
  • 自己相関なし: 誤差は観測値間で相関しません: i ≠ jの場合、 E[  ε _i ε _j  |  X  ] = 0。この仮定は、時系列データ、パネルデータ、クラスターサンプル、階層データ、反復測定データ、縦断データ、およびその他の依存関係のあるデータのコンテキストでは違反する可能性があります。このような場合、一般化最小二乗法はOLS よりも優れた代替手段となります。自己相関の別の表現は、シリアル相関です。
• 正規性。誤差は回帰変数を条件として正規分布すると仮定されることもある。 ^[20]この仮定はOLS法の妥当性には必要ないが、仮定する場合は有限サンプルの特定の追加特性を確立することができる（特に仮説検定の領域）。また、誤差が正規分布する場合、OLS推定量は最大尤度推定量（MLE）と同等であり、したがってすべての正規推定量のクラスで漸近的に効率的である。重要なのは、正規性仮定は誤差項にのみ適用されるということである。よくある誤解に反して、応答（従属）変数は正規分布する必要はない。^[21]$${\displaystyle \varepsilon \mid X\sim {\mathcal {N}}(0,\sigma ^{2}I_{n}).}$$

一部のアプリケーション、特に横断的データでは、すべての観測値が独立しており、同一に分布しているという追加の仮定が課せられます。これは、すべての観測値がランダムサンプルから取得されることを意味し、これにより、前述のすべての仮定が単純化され、解釈しやすくなります。また、このフレームワークにより、漸近的な結果（サンプルサイズn  → ∞ ）を述べることができます。これは、データ生成プロセスから新しい独立した観測値を取得する理論的可能性として理解されます。この場合の仮定のリストは次のとおりです。

• iid観測値: ( x _i , y _i )は、すべてのi≠jに対して、( x _j , y _j )から独立しており、同じ分布を持ちます。
• 完全な多重共線性はありません: Q _xx = E[  x _i  x _i ^T  ]は正定値行列です。
• 外生性：E[  ε _i  |  x _i  ] = 0;
• 等分散性：Var[  ε _i  |  x _i  ] = σ ²。

• 確率過程{ xi , yi }_は定常かつエルゴード的である。もし{ _xi , yi }が非定常であれば、 _{ xi , yi _}が共和分でない_{限りOLSの結果は偽物}になることが多い。^[22]
• 回帰変数は事前に決定されています：すべてのi = 1, ..., nに対してE[ x _i ε _i ] = 0 。
• p × p行列Qxx = E[   x _i x  i _{T ]}^はフルランクなので正定値です。
• { x _i ε _i } はマルチンゲール差分列であり、2次モーメントの有限行列Q _{xxε ²} = E[  ε _i ² x _i  x _i ^T  ]を持ちます。

まず、厳密な外生性仮定の下では、OLS推定量とs ^2は不偏であり、その期待値はパラメータの真の値と一致する：^{[23] [証明]}${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {E} [\,{\hat {\beta }}\mid X\,]=\beta ,\quad \operatorname {E} [\,s^{2}\mid X\,]=\sigma ^{2}.}$

厳密な外生性が成立しない場合（多くの時系列モデルの場合のように、外生性は過去のショックに関してのみ想定され、将来のショックに関しては想定されない）、これらの推定値は有限サンプルで偏りが生じます。

の分散共分散行列（または単に共分散行列）は^[24]に等しい。${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\hat {\beta }}\mid X\,]=\sigma ^{2}\left(X^{\operatorname {T} }X\right)^{-1}=\sigma ^{2}Q.}$

特に、各係数の標準誤差は、この行列のj番目の対角要素の平方根に等しい。この標準誤差の推定値は、未知の量σ ^{2 を}その推定値s ²に置き換えることによって得られる。したがって、 ${\displaystyle \scriptstyle {\hat {\beta }}_{j}}$

${\displaystyle {\widehat {\operatorname {s.\!e.} }}({\hat {\beta }}_{j})={\sqrt {s^{2}\left(X^{\operatorname {T} }X\right)_{jj}^{-1}}}}$

推定値はモデルの残差と無相関であることも簡単に示せる： ^[24]${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle \operatorname {Cov} [\,{\hat {\beta }},{\hat {\varepsilon }}\mid X\,]=0.}$

ガウス・マルコフ定理は、球面誤差仮定（つまり、誤差は無相関かつ等分散であるべき）の下では、推定量は線形不偏推定量のクラスにおいて効率的であると述べている。これは、最良線形不偏推定量（BLUE）と呼ばれる。効率性は、 yに関して線形かつ不偏である他の推定量を見つけたかのように理解されるべきであり、その場合、^[24]${\displaystyle \scriptstyle {\hat {\beta }}}$${\displaystyle \scriptstyle {\tilde {\beta }}}$

${\displaystyle \operatorname {Var} [\,{\tilde {\beta }}\mid X\,]-\operatorname {Var} [\,{\hat {\beta }}\mid X\,]\geq 0}$

これは非負定常行列という意味で最適です。この定理は、線形不偏推定量のクラスでのみ最適性を確立しますが、これは非常に制限的です。誤差項εの分布に応じて、他の非線形推定量の方が OLS よりも良い結果をもたらす場合があります。

これまでに挙げた特性は、誤差項の分布に関係なくすべて有効です。ただし、正規性仮定が成り立つ（つまり、ε ~ N (0, σ ² I _n )）と仮定する場合は、OLS 推定量の追加の特性を述べることができます。

推定値は正規分布しており、平均と分散は前述の通りである: ^[25]${\displaystyle \scriptstyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\ \sim \ {\mathcal {N}}{\big (}\beta ,\ \sigma ^{2}(X^{\mathrm {T} }X)^{-1}{\big )}.}$

この推定量はモデルのクラメール・ラオ境界に達し、したがってすべての不偏推定量のクラスの中で最適である。 ^[16]ガウス・マルコフの定理とは異なり、この結果は線形推定量と非線形推定量の両方において最適性を確立するが、それは正規分布する誤差項の場合のみであることに注意する。

推定量s ^2はカイ二乗分布に比例する：^[26]

${\displaystyle s^{2}\ \sim \ {\frac {\sigma ^{2}}{n-p}}\cdot \chi _{n-p}^{2}}$

この推定量の分散は2 σ ⁴ /( n  −  p )に等しく、これはCramér–Rao の限界である2 σ ⁴ / nには達しません。しかし、推定量s ²の分散よりも小さいσ ²の不偏推定量は存在しないことが示されています。^[27]偏りのある推定量を許容し、モデルの残差二乗和 (SSR) に比例する推定量のクラスを考慮すると、このクラスで最良の (平均二乗誤差の意味で) 推定量は^~ σ ² = SSR  /  ( n  −  p  + 2)となり、回帰変数が 1 つしかない場合 ( p = 1 ) の Cramér–Rao の限界よりも優れています。^[28]

さらに、推定量とs2^は独立しており、^[29]この事実は回帰分析のt検定とF検定を構築する際に役立ちます。 ${\displaystyle \scriptstyle {\hat {\beta }}}$

前述のように、推定量はyに関して線形であり、従属変数y _iの線形結合を表します。この線形結合の重みは回帰変数Xの関数であり、通常は不等です。重みが高い観測値は、推定値に顕著な影響を与えるため、 影響力があると呼ばれます。${\displaystyle {\hat {\beta }}}$

どの観測値が影響力があるかを分析するために、特定のj番目の観測値を取り除いて、推定値がどの程度変化するかを検討します（ジャックナイフ法と同様）。OLS推定値βの変化は^[30]に等しいことが示されています。

${\displaystyle {\hat {\beta }}^{(j)}-{\hat {\beta }}=-{\frac {1}{1-h_{j}}}(X^{\mathrm {T} }X)^{-1}x_{j}^{\mathrm {T} }{\hat {\varepsilon }}_{j}\,,}$

ここで、h _j = x _j ^T  ( X ^T X ) ⁻¹ x _jはハット行列Pのj番目の対角要素であり、x _{j は}j番目の観測値に対応する回帰変数のベクトルである。同様に、データセットからj番目の観測値を省略することによって生じる予測値の変化は^{[30]に等しい。}

${\displaystyle {\hat {y}}_{j}^{(j)}-{\hat {y}}_{j}=x_{j}^{\mathrm {T} }{\hat {\beta }}^{(j)}-x_{j}^{\operatorname {T} }{\hat {\beta }}=-{\frac {h_{j}}{1-h_{j}}}\,{\hat {\varepsilon }}_{j}}$

ハット行列の特性から、0 ≤ h _j ≤ 1 であり、それらを合計するとpとなり、平均するとh _j ≈ p/nとなる。これらの量h _jはてこ比と呼ばれ、高いh _{j を}持つ観測値はてこ点と呼ばれる。^[31]通常、てこ比の高い観測値は、誤りであったり、外れ値であったり、データセットの残りの部分と比べて異常であったりする可能性があるため、より注意深く精査する必要がある。

場合によっては、回帰分析における変数とそれに対応するパラメータを論理的に2つのグループに分割して、回帰分析を次のように表すことができる。

${\displaystyle y=X_{1}\beta _{1}+X_{2}\beta _{2}+\varepsilon ,}$

ここで、X ₁とX _{2 は}n × p ₁、n × p ₂の次元を持ち、β ₁、β _{2 は}p ₁ ×1 とp ₂ ×1 ベクトルであり、 p ₁ + p ₂ = pです。

フリッシュ・ウォーフ・ラヴェル定理によれば、この回帰分析では残差とOLS推定値は次の回帰分析におけるβ2_の残差とOLS推定値と数値的に同一となる。 ^[32]${\displaystyle {\hat {\varepsilon }}}$${\displaystyle \scriptstyle {\hat {\beta }}_{2}}$

${\displaystyle M_{1}y=M_{1}X_{2}\beta _{2}+\eta \,,}$

ここで、M _{1 は回帰変数}X ₁の消滅行列です。

この定理は、多くの理論的結果を確立するために使用できます。たとえば、定数と別の回帰変数を使用した回帰は、従属変数と回帰変数から平均を減算し、次に平均を減算した変数に対して定数項なしで回帰を実行することと同じです。

回帰の係数が線形方程式のシステムを満たすことが分かっていると仮定する。

${\displaystyle A\colon \quad Q^{\operatorname {T} }\beta =c,\,}$

ここで、Qはフルランクのp × q行列、cはq ×1の既知定数ベクトル（q<p）である。この場合、最小二乗推定は制約Aを条件とするモデルの残差二乗和を最小化することと同等である。制約付き最小二乗（CLS）推定量は明示的な式で与えられる：^[33]

${\displaystyle {\hat {\beta }}^{c}={\hat {\beta }}-(X^{\operatorname {T} }X)^{-1}Q{\Big (}Q^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}Q{\Big )}^{-1}(Q^{\operatorname {T} }{\hat {\beta }}-c).}$

この制約付き推定量の式は、行列X ^T Xが逆行列である限り有効である。この論文の冒頭から、この行列はフルランクであると仮定しており、ランク条件が満たされない場合、βは識別できないことに注意した。しかし、制約Aを追加するとβが識別可能になる場合があり、その場合、推定量の式を求める必要がある。推定量は^{[34]に等しい。}

${\displaystyle {\hat {\beta }}^{c}=R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }y+{\Big (}I_{p}-R(R^{\operatorname {T} }X^{\operatorname {T} }XR)^{-1}R^{\operatorname {T} }X^{\operatorname {T} }X{\Big )}Q(Q^{\operatorname {T} }Q)^{-1}c,}$

ここでRはp ×( p  −  q )行列で行列[ QR ]は非特異行列であり、R ^T Q = 0である。このような行列は常に見つかるが、一般的には一意ではない。2番目の式はX ^T Xが逆行列である場合に最初の式と一致する。^[34]

最小二乗推定量は、線形回帰モデルのパラメータβの点推定値です。ただし、一般的には、これらの推定値がパラメータの真の値にどれだけ近いかも知りたいものです。つまり、区間推定値を構築したいのです。

誤差項ε _iの分布については何も仮定していないため、推定量との分布を推測することはできません。ただし、中心極限定理を適用して、サンプル サイズn が無限大に近づくにつれて、それらの漸近特性を導き出すことができます。サンプル サイズは必然的に有限ですが、 nは「十分に大きい」ため、OLS 推定量の真の分布はその漸近極限に近くなると仮定するのが通例です。 ${\displaystyle {\hat {\beta }}}$${\displaystyle {\hat {\sigma }}^{2}}$

モデルの仮定の下では、 βの最小二乗推定量は整合しており（つまり、確率的にβに収束する）、漸近的に正規であることを示すことができる：^[証明]${\displaystyle {\hat {\beta }}}$

${\displaystyle ({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}{\big (}0,\;\sigma ^{2}Q_{xx}^{-1}{\big )},}$

どこ${\displaystyle Q_{xx}=X^{\operatorname {T} }X.}$

この漸近分布を用いると、ベクトルのj番目の成分のおおよその両側信頼区間は次のように構築できる。 ${\displaystyle {\hat {\beta }}}$

${\displaystyle \beta _{j}\in {\bigg [}\ {\hat {\beta }}_{j}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}}}\ {\bigg ]}}$1 −  α信頼水準   では、

ここでqは標準正規分布の分位関数を表し、[·] _jjは行列の j番目の対角要素です。

同様に、 σ ²の最小二乗推定量も、極限分布 と整合しており、漸近的に正規分布する（ ε _iの4次モーメントが存在する場合）。

${\displaystyle ({\hat {\sigma }}^{2}-\sigma ^{2})\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\operatorname {E} \left[\varepsilon _{i}^{4}\right]-\sigma ^{4}\right).}$

これらの漸近分布は、予測、仮説のテスト、他の推定量の構築などに使用できます。例として、予測の問題を考えてみましょう。が回帰変数の分布のドメイン内のある点であるとし、その点で応答変数が何であったかを知りたいとします。平均応答は量 ですが、予測応答は です。明らかに、予測応答はランダム変数であり、その分布は の分布から導き出すことができます。 ${\displaystyle x_{0}}$${\displaystyle y_{0}=x_{0}^{\mathrm {T} }\beta }$${\displaystyle {\hat {y}}_{0}=x_{0}^{\mathrm {T} }{\hat {\beta }}}$${\displaystyle {\hat {\beta }}}$

${\displaystyle \left({\hat {y}}_{0}-y_{0}\right)\ {\xrightarrow {d}}\ {\mathcal {N}}\left(0,\;\sigma ^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}\right),}$

これにより、平均応答の信頼区間を構築できます。 ${\displaystyle y_{0}}$

${\displaystyle y_{0}\in \left[\ x_{0}^{\mathrm {T} }{\hat {\beta }}\pm q_{1-{\frac {\alpha }{2}}}^{{\mathcal {N}}(0,1)}\!{\sqrt {{\hat {\sigma }}^{2}x_{0}^{\mathrm {T} }Q_{xx}^{-1}x_{0}}}\ \right]}$1 −  α信頼水準   で。

2 つの仮説検定が特に広く使用されています。まず、推定された回帰方程式が、応答変数のすべての値がその標本平均に等しいと単純に予測するよりも優れているかどうかを知りたいと思います (そうでない場合は説明力がないと言われます)。推定された回帰に説明力がないという帰無仮説は、F 検定を使用して検定されます。計算された F 値が、事前に選択された有意水準の臨界値を超えるほど大きいことが判明した場合、帰無仮説は却下され、回帰には説明力があるという対立仮説が受け入れられます。それ以外の場合は、説明力がないという帰無仮説が受け入れられます。

次に、関心のある各説明変数について、その推定係数がゼロと有意に異なるかどうか、つまり、この特定の説明変数が実際に応答変数を予測する説明力を持っているかどうかを知りたいと考えます。ここでの帰無仮説は、真の係数がゼロであるというものです。この仮説は、係数のt 統計量を、係数推定値とその標準誤差の比として計算することによって検定されます。t 統計量が事前に設定された値より大きい場合、帰無仮説は棄却され、変数は説明力を持ち、その係数はゼロと有意に異なることがわかります。それ以外の場合は、真の係数がゼロであるという帰無仮説が受け入れられます。

さらに、Chow テストは、 2 つのサブサンプルが両方とも同じ基礎となる真の係数値を持つかどうかをテストするために使用されます。各サブセットと結合されたデータ セットの回帰の残差の二乗和は、F 統計量を計算して比較されます。これが臨界値を超えると、2 つのサブセット間に差がないという帰無仮説は拒否され、それ以外の場合は受け入れられます。

次のデータセットは、30～39歳のアメリカ人女性の平均身長と体重を示しています（出典：The World Almanac and Book of Facts、1975年）。

従属変数が 1 つだけモデル化されている場合、散布図は従属変数と回帰変数の関係の形と強さを示します。また、外れ値、不均一分散、および適合回帰モデルの解釈を複雑にする可能性のあるデータのその他の側面を明らかにすることもあります。散布図は、関係が強く、2 次関数として近似できることを示唆しています。OLS は、回帰変数HEIGHT ²を導入することで非線形関係を処理できます。これにより、回帰モデルは多重線形モデルになります。

${\displaystyle w_{i}=\beta _{1}+\beta _{2}h_{i}+\beta _{3}h_{i}^{2}+\varepsilon _{i}.}$

最も一般的な統計パッケージからの出力は次のようになります。

この表では、

• 値の列には、パラメータβ _jの最小二乗推定値が表示されます。
• 標準誤差列には、各係数推定値の標準誤差が表示されます。${\displaystyle {\hat {\sigma }}_{j}=\left({\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}\right)^{\frac {1}{2}}}$
• t統計量とp 値の列は、係数のいずれかがゼロになるかどうかをテストしています。t統計量は、単純に として計算されます。誤差 ε が正規分布に従う場合、はStudent-t 分布に従います。より弱い条件下では、は漸近的に正規になります。tの値が大きい場合、帰無仮説を棄却でき、対応する係数がゼロではないことを示します。2 番目の列p値 は、仮説検定の結果を有意水準として表します。通常、 0.05 未満のp値は、母集団係数がゼロではない証拠と見なされます。${\displaystyle t={\hat {\beta }}_{j}/{\hat {\sigma }}_{j}}$
• R 二乗は、回帰の適合度を示す決定係数です。この統計は、適合が完全な場合は 1 になり、回帰変数X に説明力がまったくない場合は 0 になります。これは、母集団R 二乗の偏った推定値であり、関連性のない回帰変数が追加されても、減少することはありません。
• 調整済み R 二乗はをわずかに修正したバージョンで、回帰の説明力を高めない回帰変数の過剰数にペナルティを課すように設計されています。この統計量は常に よりも小さく、新しい回帰変数が追加されるにつれて減少し、適合度の低いモデルでは負になることもあります。${\displaystyle R^{2}}$${\displaystyle R^{2}}$

${\displaystyle {\overline {R}}^{2}=1-{\frac {n-1}{n-p}}(1-R^{2})}$

• 対数尤度は、誤差が正規分布に従うという仮定の下で計算されます。この仮定はあまり合理的ではありませんが、この統計は LR テストを実行する際に使用されることがあります。
• ダービン・ワトソン統計は、残差間に連続相関の証拠があるかどうかをテストします。経験則として、2 未満の値は正の相関の証拠になります。
• 赤池情報量基準とシュワルツ基準はどちらもモデル選択に使用されます。一般的に、2つの代替モデルを比較する場合、これらの基準のいずれかの値が小さいほど、より良いモデルであることを示します。 ^[35]
• 回帰の標準誤差は、誤差項の標準誤差σの推定値です。
• 総二乗和、モデル二乗和、残差二乗和は、サンプルの初期変動のうち回帰によって説明される割合を示します。
• F 統計量は、すべての係数 (切片を除く) がゼロに等しいという仮説を検定します。この統計量は、帰無仮説と正規性仮定の下でF ( p–1、n–p ) 分布を持ち、そのp 値は仮説が実際に真である確率を示します。誤差が正規でない場合はこの統計量は無効になり、Wald 検定やLR 検定などの他の検定を使用する必要があることに注意してください。

通常の最小二乗分析では、モデルの想定形式からのデータの逸脱を検出するために設計された診断プロットが使用されることがよくあります。一般的な診断プロットには次のようなものがあります。

• モデルの説明変数に対する残差。これらの変数間の非線形関係は、条件付き平均関数の線形性が維持されない可能性があることを示唆しています。説明変数のレベルごとに残差の変動レベルが異なる場合、不均一分散の可能性があることを示唆しています。
• モデルに含まれていない説明変数に対する残差。残差とこれらの変数の関係は、これらの変数をモデルに含めることを検討することを示唆します。
• 適合値に対する残差。${\displaystyle {\hat {y}}}$
• 前の残差に対する残差。このプロットにより、残差の連続相関が識別される場合があります。

回帰モデルを使用して統計的推論を実行する際に重要な考慮事項は、データのサンプリング方法です。この例では、データは個々の女性の測定値ではなく平均です。モデルの適合性は非常に良好ですが、これは個々の女性の体重が身長のみに基づいて高い精度で予測できることを意味するものではありません。

この例は、これらの計算によって決定される係数が、データの準備方法に左右されることも示しています。高さは元々最も近いインチに丸められて提供され、変換されて最も近いセンチメートルに丸められています。変換係数は 1 インチ = 2.54 cm であるため、これは正確な変換ではありません。元のインチは Round(x/0.0254) で復元でき、丸めなしでメートル法に再変換できます。これを実行すると、結果は次のようになります。

これらのいずれかの式を使用して、身長 5 フィート 6 インチ (1.6764 m) の女性の体重を予測すると、四捨五入すると 62.94 kg、四捨五入しない場合は 62.98 kg という同様の値が得られます。したがって、データの一見小さな変動は係数に実際の影響を及ぼしますが、式の結果にはわずかな影響しか及ぼしません。

これはデータ範囲の中央では無害に見えるかもしれませんが、両端や、適合モデルを使用してデータ範囲外に投影する場合 (外挿) には重要になる可能性があります。

これはよくあるエラーを浮き彫りにします。この例は OLS の乱用であり、OLS では本質的に独立変数 (この場合は身長) のエラーがゼロか、少なくとも無視できる程度である必要があります。最も近いインチへの最初の丸めと実際の測定エラーは有限で無視できないエラーを構成します。その結果、適合されたパラメータは想定されている最良の推定値ではありません。完全に偽りではありませんが、推定のエラーはxおよびyエラーの相対的なサイズに依存します。

最小二乗法を使って、極座標系における 2 物体の軌道方程式を求めることができます。通常使用される方程式は、 です。ここで、は物体が物体の 1 つからどれだけ離れているかを表す半径です。方程式では、パラメータ とを使用して軌道のパスを決定します。次のデータを測定しました。 ${\displaystyle r(\theta )={\frac {p}{1-e\cos(\theta )}}}$${\displaystyle r(\theta )}$${\displaystyle p}$${\displaystyle e}$

与えられたデータに対して 、 との最小二乗近似値を見つける必要があります。${\displaystyle e}$${\displaystyle p}$

まず、e と p を線形形式で表す必要があります。そこで、方程式を と書き直します。さらに、を追加のパラメータ として展開することで、遠近法を に合わせることができます。これは、 と の両方で線形であり、追加の に使用されます。元の 2 パラメータ形式を使用して、観測データを次のように表します。 ${\displaystyle r(\theta )}$${\displaystyle {\frac {1}{r(\theta )}}={\frac {1}{p}}-{\frac {e}{p}}\cos(\theta )}$${\displaystyle \cos(\theta )}$${\displaystyle \cos(\theta -\theta _{0})=\cos(\theta )\cos(\theta _{0})+\sin(\theta )\sin(\theta _{0})}$${\displaystyle \cos(\theta )}$${\displaystyle \sin(\theta )}$${\displaystyle \tan \theta _{0}=\sin(\theta _{0})/\cos(\theta _{0})}$

${\displaystyle A^{T}A{\binom {x}{y}}=A^{T}b}$ここで、は、は、最初の列がの係数、2番目の列がの係数で構成され、は、それぞれの値であり、 ${\displaystyle x}$${\displaystyle {\frac {1}{p}}}$${\displaystyle y}$${\displaystyle {\frac {e}{p}}}$${\displaystyle A}$${\displaystyle {\frac {1}{p}}}$${\displaystyle {\frac {e}{p}}}$${\displaystyle b}$${\displaystyle {\frac {1}{r(\theta )}}}$${\displaystyle A={\begin{bmatrix}1&-0.731354\\1&-0.707107\\1&-0.615661\\1&\ 0.052336\\1&0.309017\\1&0.438371\end{bmatrix}}}$${\displaystyle b={\begin{bmatrix}0.21220\\0.21958\\0.24741\\0.45071\\0.52883\\0.56820\end{bmatrix}}.}$

解くと${\displaystyle {\binom {x}{y}}={\binom {0.43478}{0.30435}}}$

そして​${\displaystyle p={\frac {1}{x}}=2.3000}$${\displaystyle e=p\cdot y=0.70001}$

• ベイズ最小二乗法
• ファーマ・マクベス回帰
• 非線形最小二乗法
• 線形最小二乗法の数値解析法
• 非線形システム同定

• ドハティ、クリストファー (2002)。『計量経済学入門』（第2版）。ニューヨーク：オックスフォード大学出版局。pp. 48–113。ISBN 0-19-877643-8。
• グジャラーティ、ダモダール N. ;ポーター、ドーン C. (2009)。基礎経済学(第 5 版)。ボストン: マグロウヒル アーウィン。pp. 55–96。ISBN 978-0-07-337577-9。
• ヘイジ、キリスト教徒。ボーア、ポール。フランシス、フィリップ・H.クローク、テウン。ファン・ダイク、ハーマン K. (2004)。ビジネスと経済学に応用できる計量経済的手法(第 1 版)。オックスフォード: オックスフォード大学出版局。 76–115ページ。ISBN 978-0-19-926801-6。
• ヒル、R. カーター; グリフィス、ウィリアム E.; リム、グアイ C. (2008)。計量経済学の原理(第 3 版)。ホーボーケン、ニュージャージー: ジョン ワイリー & サンズ。pp. 8–47。ISBN 978-0-471-72360-8。
• Wooldridge, Jeffrey (2008)。「単純回帰モデル」。入門計量経済学: 現代的アプローチ(第 4 版)。オハイオ州メイソン: Cengage Learning。22 ～ 67 ページ。ISBN 978-0-324-58162-1。