線形最小二乗法

その他の製剤には以下が含まれます。

• 反復重み付き最小二乗法(IRLS) は、モデルの誤差項に異分散性、相関、またはその両方が存在するが、データとは独立して誤差の共分散構造についてほとんど知られていない場合に使用されます。 ^{[ 3 ]}最初の反復では、OLS または暫定的な共分散構造を持つ GLS が実行され、適合から残差が得られます。残差に基づいて、通常は誤差の共分散構造のより良い推定値が得られます。次に、この誤差構造の推定値を使用して重みを定義するために、後続の GLS 反復が実行されます。このプロセスは収束するまで反復できますが、多くの場合、 βの効率的な推定値を達成するには 1 つの反復だけで十分です。 ^{[ 4 ] [ 5 ]}
• 操作変数回帰（IV）は、回帰変数と誤差が相関している場合に実行できます。この場合、E[ z _i ε _i ]=0となるような補助操作変数z _iの存在が必要です。Zが操作変数の行列である場合、推定量は閉じた形式で次のように表すことができます。  $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .}$$最適操作変数回帰は、 E[ ε _i | z _i ] = 0の場合に古典的な IV 回帰を拡張したものです。
• 全最小二乗法（TLS） ^{[ 6 ]}は、線形回帰モデルの最小二乗推定法の一つで、共変量と応答変数をOLSよりも幾何学的に対称的に扱います。これは「変数の誤差」問題に対処する一つの方法であり、共変量に誤差がないと仮定した場合でも使用されることがあります。
• 線形テンプレート適合法（LTF） ^{[ 7 ]は}、線形回帰と（一般化）最小二乗法を組み合わせて最適な推定値を決定します。線形テンプレート適合法は、残差を解析的に表現することが不可能であったり、反復最小化アルゴリズムでよく見られるように、繰り返し評価するには時間がかかりすぎるという、よくある問題に対処します。線形テンプレート適合法では、残差は確率変数と、基礎となる真のモデルの線形近似から推定されます。この線形近似は、少なくとも 10 年以上にわたって提供される必要があります。${\displaystyle n+1}$異なる参照値β（ここで${\displaystyle n}$は推定量の数です。真の分布は線形回帰によって近似され、最適な推定量は閉形式で次のように得られます。$${\displaystyle {\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {Y{\bar {m}})} ,}$$どこ${\displaystyle \mathbf {Y} }$は、参照値βのいずれかに対する既知または以前に決定されたモデルの値を持つテンプレート行列を表します。${\displaystyle \mathbf {y} }$は確率変数（例えば測定値）であり、行列は${\displaystyle \mathbf {\チルダ {M}} }$そしてベクトル${\displaystyle \mathbf {\チルダ {m}} }$βの値から計算されます。LTFは、対数正規分布に従う確率変数に対しても表現できます。LTFの一般化として、モデルの2次回帰を仮定し、少なくとも予測を必要とする二次テンプレートフィットがあります。${\displaystyle n^{2}+2n}$異なる値βに対して、ニュートン法を用いて最適な推定値を見つけます。
• パーセンテージ最小二乗法は、予測や時系列分析の分野で有用な、パーセンテージ誤差の低減に焦点を当てています。また、従属変数が一定の分散を持たずに広い範囲を持つ状況でも有用です。この場合、OLSを使用すると、範囲の上限の大きな残差が支配的になります。パーセンテージまたは相対誤差が正規分布している場合、最小二乗パーセンテージ回帰は最尤推定値を提供します。パーセンテージ回帰は乗法誤差モデルに関連付けられていますが、OLSは加法誤差項を含むモデルに関連付けられています。 ^{[ 8 ]}
• 制約付き最小二乗法とは、解に追加の制約が課された線形最小二乗問題を指します。

上記の処理の前提は、独立変数xに誤差がないことです。実際には、独立変数の測定誤差は通常、従属変数の誤差よりもはるかに小さいため、無視できます。そうでない場合は、全最小二乗法、より一般的には誤差変数モデル、または厳密最小二乗法を使用する必要があります。これは、従属変数と独立変数の両方の誤差を考慮するように重み付けスキームを調整し、標準的な手順に従うことによって実行できます。^{[ 12 ] [ 13 ]}

場合によっては、（重み付き）正規方程式行列X ^T Xは条件が悪い。多項式をフィッティングする場合、正規方程式行列はヴァンデルモンド行列である。ヴァンデルモンド行列は、行列の次数が増加するにつれて条件が悪くなる。このような場合、最小二乗推定は測定ノイズを増幅し、著しく不正確になる可能性がある。このような場合には、さまざまな正則化手法を適用できるが、最も一般的なものはリッジ回帰と呼ばれる。パラメータに関するさらなる情報、たとえば、可能な値の範囲がわかっている場合${\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} }$そうすれば、解の安定性を高めるためにさまざまな手法を用いることができる。例えば、制約付き最小二乗法を参照されたい。

最小二乗推定量のもう 1 つの欠点は、残差のノルムが、${\displaystyle \|\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|}$は最小化されるが、場合によってはパラメータの小さな誤差を得ることに真に興味がある。${\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} }$例えば、小さな値${\displaystyle \|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|}$しかし、真のパラメータは${\displaystyle {\boldsymbol {\beta }}}$は必然的に未知であるため、この量を直接最小化することはできません。${\displaystyle {\hat {\boldsymbol {\beta }}}}$が既知であれば、ベイズ推定器を使用して平均二乗誤差を最小化できます。${\displaystyle E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}}$最小二乗法は、事前情報が不明な場合によく用いられます。複数のパラメータを同時に推定する場合、より優れた推定量を構築できる場合があり、これはスタイン現象として知られています。例えば、測定誤差がガウス分布に従う場合、最小二乗法よりも優れた、あるいはそれを上回る推定量がいくつか知られています。その中で最もよく知られているのが、ジェームズ・スタイン推定量です。これは、回帰問題に適用されてきた、より一般的な収縮推定量の一例です。

線形最小二乗法の主な応用はデータフィッティングである。m個のデータ点のセットが与えられた場合${\displaystyle y_{1},y_{2},\dots ,y_{m},}$m値で測定された実験値から構成される${\displaystyle x_{1},x_{2},\dots ,x_{m}}$独立変数の（${\displaystyle x_{i}}$（スカラー量またはベクトル量である可能性がある）モデル関数が与えられた場合${\displaystyle y=f(x,{\boldsymbol {\beta }}),}$と${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}$パラメータを見つけることが望ましい${\displaystyle \beta _{j}}$これにより、モデル関数がデータに「最適」に適合する。線形最小二乗法では、線形性とはパラメータに関してのことである。${\displaystyle \beta _{j},}$それで $${\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).}$$

ここでは、関数${\displaystyle \varphi _{j}}$変数xに関して非線形である可能性がある。

理想的には、モデル関数はデータに完全に適合するので、 $${\displaystyle y_{i}=f(x_{i},{\boldsymbol {\beta }})}$$ すべての人々のために${\displaystyle i=1,2,\dots ,m.}$実際には、決定すべきパラメータの数よりもデータポイントの数の方が多いため、これは通常不可能です。そこで選択されるアプローチは、残差の二乗和の最小値を求めることです。$${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)}$$ 関数を最小化するために $${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).}$$

代入後${\displaystyle r_{i}}$そして、${\displaystyle f}$この最小化問題は、上記の二次最小化問題となり、 $${\displaystyle X_{ij}=\varphi _{j}(x_{i}),}$$ そして、正規方程式を解くことで最適な適合値を見つけることができる。

最も単純な関係の1つは、${\displaystyle x}$そして${\displaystyle y}$線です${\displaystyle y=\beta _{1}+\beta _{2}x}$切片${\displaystyle \beta _{1}}$そして傾斜${\displaystyle \beta _{2}}$最初は不明です。研究者は、${\displaystyle \beta _{1}}$そして${\displaystyle \beta _{2}}$それによって直線が4つのデータポイントを通過する。言い換えれば、研究者は連立一次方程式を解きたいと考えている。 $${\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}&&\;=\;&&10.&\\\end{alignedat}}}$$ 未知数が2つで方程式が4つあるこのシステムは、過剰決定系です。厳密解は存在しません。近似解を考えるには、残差を導入します。${\displaystyle r_{1}}$、${\displaystyle r_{2}}$、${\displaystyle r_{3}}$、${\displaystyle r_{4}}$方程式に代入すると： $${\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10.&\\\end{alignedat}}}$$ の${\displaystyle i}$th 残差${\displaystyle r_{i}}$不適合は${\displaystyle i}$th 観測${\displaystyle y_{i}}$そして${\displaystyle i}$予測${\displaystyle \beta _{1}+\beta _{2}x_{i}}$: $${\displaystyle {\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2}),&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2}),&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2}),&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2}).&\\\end{alignedat}}}$$研究者は、数ある近似解の中から、何らかの意味で「最良」 の解を見つけたいと考えている。

最小二乗法では、合計に注目します。${\displaystyle S}$二乗残差の $${\displaystyle {\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210.\\[6pt]\end{aligned}}}$$ 最良の解は、${\displaystyle S}$に関して${\displaystyle \beta _{1}}$そして${\displaystyle \beta _{2}}$最小値は、偏微分を設定することによって計算できます。${\displaystyle S}$ゼロへ： $${\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=8\beta _{1}+20\beta _{2}-56,}$$$${\displaystyle 0={\frac {\partial S}{\partial \beta _{2}}}=20\beta _{1}+60\beta _{2}-154.}$$ これらの正規方程式は、 2 つの未知数に関する 2 つの線形方程式のシステムを構成します。解は${\displaystyle \beta _{1}=3.5}$そして${\displaystyle \beta _{2}=1.4}$したがって、最適近似直線は次のようになります。${\displaystyle y=3.5+1.4x}$残差は${\displaystyle 1.1,}$${\displaystyle -1.3,}$${\displaystyle -0.7,}$そして${\displaystyle 0.9}$（右の図を参照）。残差平方和の最小値は $${\displaystyle S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.}$$

この計算は、行列表記で次のように表すことができます。元の連立方程式は次のとおりです。${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } }$、 どこ $${\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{cc}1&1\\1&2\\1&3\\1&4\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\\\beta _{2}\end{array}}\right].}$$ 直感的に、 $${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} ^{\top }\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}3.5\\1.4\end{array}}\right].}$$ より厳密に言えば、${\displaystyle \mathbf {X} ^{\top }\mathbf {X} }$行列が可逆であれば、${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$は、列空間への直交射影を表す。${\displaystyle \mathbf {X} }$したがって、すべての形式のベクトルの中で${\displaystyle \mathbf {X} \mathbf {\beta } }$最も近いもの${\displaystyle \mathbf {y} }$は${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$設定 $${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} \mathbf {\beta } ,}$$ 明らかに${\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$解決策の一つです。

仮に、ある研究者が次のような放物線を当てはめたいとします。${\displaystyle y=\beta _{1}x^{2}}$重要なことに、このモデルは未知のパラメータに関して依然として線形です（現在は単に${\displaystyle \beta _{1}}$）、したがって線形最小二乗法は依然として適用されます。残差を組み込んだ方程式系は次のようになります。 $${\displaystyle {\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}}$$

残差の二乗の合計は $${\displaystyle S(\beta _{1})=(6-\beta _{1})^{2}+(5-4\beta _{1})^{2}+(7-9\beta _{1})^{2}+(10-16\beta _{1})^{2}.}$$ 0に設定する偏微分は1つだけです。 $${\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=708\beta _{1}-498.}$$ 解決策は${\displaystyle \beta _{1}=0.703}$適合モデルは${\displaystyle y=0.703x^{2}}$。

行列表記では、残差のない方程式は再び${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } }$今は $${\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{c}1\\4\\9\\16\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\end{array}}\right].}$$ 上記と同じ論理で、解決策は $${\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}0.703\end{array}}\right].}$$

図は、設計行列を用いて3パラメータ放物線をフィッティングする拡張を示しています。${\displaystyle \mathbf {X} }$3 つの列 (1 つは${\displaystyle x^{0}}$、${\displaystyle x^{1}}$、 そして${\displaystyle x^{2}}$）、そして赤いデータポイントごとに1行ずつです。

より一般的には、${\displaystyle n}$回帰変数${\displaystyle x_{j}}$線形モデル $${\displaystyle y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.}$$