最小二乗法

最小二乗法は、各方程式の結果から得られる残差 (残差とは、観測値とモデルによって得られた適合値の差) の二乗の合計を最小化することに基づく回帰分析におけるパラメータ推定法です。(簡単に言えば、最小二乗法は、曲線からの点のオフセット (「残差」) の二乗の合計を最小化することで、特定の点の集合に最もよく適合する曲線を見つける数学的手順です。)

最も重要な応用は、データのフィッティングです。問題の独立変数( x変数)にかなりの不確実性がある場合、単純回帰法と最小二乗法では問題が発生します。このような場合、最小二乗法の代わりに 、変数誤差モデルのフィッティングに必要な方法論を検討することができます。

最小二乗問題は、モデル関数がすべての未知数に対して線形であるかどうかによって、線形または通常の最小二乗と非線形最小二乗の 2 つのカテゴリに分類されます。線形最小二乗問題は、統計的回帰分析で発生し、閉じた形式の解を持ちます。非線形問題は通常、反復改良によって解決されます。反復ごとに、システムは線形システムで近似されるため、両方のケースでコア計算は同様です。

多項式最小二乗法は、従属変数の予測値の分散を独立変数の関数として、および近似曲線からの 偏差として記述します。

観測値が、その自然な十分統計量として恒等分布を持つ指数族から得られ、軽度条件が満たされている場合（たとえば、正規分布、指数分布、ポアソン分布、二項分布の場合）、標準化最小二乗推定値と最大尤度推定値は同一である。^{[1]最小二乗法は}、モーメント推定法としても導出できる。

以下の議論は主に線形関数の観点から述べられていますが、最小二乗法の使用はより一般的な関数群に対して有効かつ実用的です。また、尤度に局所的な二次近似を反復的に適用することにより (フィッシャー情報を通じて)、最小二乗法を使用して一般化線形モデルを適合させることができます。

最小二乗法は、アドリアン・マリー・ルジャンドル（1805年）によって公式に発見され出版されたが、^[2]通常はカール・フリードリヒ・ガウス（1809年）の共同発見者ともされている。 ^{[3] [4]}ガウスはこの方法に重要な理論的進歩をもたらし、^[4] 1794年と1795年の初期の研究でもこの方法を使用していた可能性がある。^{[5] [4]}

最小二乗法は、大航海時代に科学者や数学者が地球の海洋航行の課題に対する解決策を求めていたときに、天文学と測地学の分野から生まれました。天体の挙動を正確に記述することは、船乗りが航海のために陸地の視認に頼ることができなくなった外洋を航行できるようにする鍵でした。

この方法は18世紀に起こったいくつかの進歩の集大成であった。^[6]

• 異なる観測値の組み合わせが真の値の最良の推定値となること。誤差は集約によって増加するのではなく減少します。おそらく1722 年にRoger Cotesによって初めて表現されました。
• 単に 1 つの観測を正確に観測し記録しようと最善を尽くすのではなく、同じ条件下で行われたさまざまな観測を組み合わせる。このアプローチは平均法として知られています。このアプローチは、1750 年にTobias Mayerが月の秤動を研究する際に、また 1788 年にPierre-Simon Laplaceが木星と土星の運動の違いを説明する際に特に使用されました。
• 異なる条件下で行われた異なる観測の組み合わせ。この方法は、最小絶対偏差法として知られるようになりました。この方法は、1757 年にロジャー ジョセフ ボスコヴィッチが地球の形状に関する研究で行ったことや、 1789 年と 1799 年にピエール シモン ラプラスが同じ問題で行ったことで有名です。
• 最小誤差の解が達成されたかどうかを判定するために評価できる基準の開発。ラプラスは、誤差の確率密度の数学的形式を指定し、推定誤差を最小化する推定方法を定義しようとしました。この目的のために、ラプラスは対称的な両側指数分布 (現在ラプラス分布と呼ばれています) を使用して誤差分布をモデル化し、推定誤差として絶対偏差の合計を使用しました。彼は、これらが自分が立てられる最も単純な仮定であると感じ、算術平均を最良の推定値として取得することを望みました。しかし、彼が推定に使用した値は事後中央値でした。

最小二乗法の最初の明確で簡潔な解説は、1805年にルジャンドルによって出版されました。 ^[7]この手法は、線形方程式をデータに当てはめる代数的手順として説明されており、ルジャンドルは、地球の形状に関するラプラスと同じデータを分析することによって、この新しい手法を実証しました。ルジャンドルの出版から10年以内に、最小二乗法はフランス、イタリア、プロイセンで天文学と測地学の標準的なツールとして採用され、これは科学的手法が驚くほど急速に受け入れられたことを意味します。^[6]

1809年、カール・フリードリヒ・ガウスは天体の軌道を計算する方法を発表しました。その論文で、彼は1795年から最小二乗法を所有していたと主張しました。 ^[8]これは当然のことながら、ルジャンドルとの優先権争いにつながりました。しかし、ガウスの功績として、彼はルジャンドルを超えて、最小二乗法を確率の原理および正規分布に結び付けることに成功しました。彼は、観測の確率密度の数学的形式を有限個の未知パラメータに応じて指定するラプラスのプログラムを完成させ、推定誤差を最小化する推定方法を定義しました。ガウスは、確率密度と推定方法の両方を変更することにより、算術平均が確かに位置パラメータの最良の推定値であることを示しました。次に、彼は問題を逆転させ、位置パラメータの推定値として算術平均を取得するには、密度がどのような形式であるべきか、どのような推定方法を使用するべきかを尋ねました。この試みで、彼は正規分布を発明しました。

ガウス法の威力がいち早く実証されたのは、新たに発見された小惑星ケレスの将来の位置を予測するために使われたときだった。1801年1月1日、イタリアの天文学者ジュゼッペ・ピアッツィがケレスを発見し、太陽の光に隠れるまでの40日間の軌道を追跡することができた。これらのデータに基づいて、天文学者たちはケプラーの複雑な惑星運動の非線形方程式を解くことなく、太陽の背後から現れた後のケレスの位置を判定したいと考えた。ハンガリーの天文学者フランツ・クサーヴァー・フォン・ザッハがケレスの位置を再特定するのに成功した唯一の予測は、24歳のガウスが最小二乗分析を使用して行った予測であった。

1810年、ガウスの著作を読んで中心極限定理を証明したラプラスは、それを用いて大規模サンプルによる最小二乗法と正規分布の正当性を示した。1822年、ガウスは、回帰分析に対する最小二乗法は、誤差の平均がゼロで相関がなく、正規分布し、分散が等しい線型モデルにおいて、係数の最良の線型不偏推定量は最小二乗推定量であるという意味において最適であると述べることができた。この結果の拡張版は、ガウス・マルコフの定理として知られている。

最小二乗解析のアイデアは、1808年にアメリカ人のロバート・アドレインによっても独立して定式化されました。その後2世紀にわたって、誤差理論と統計学の研究者は、最小二乗法を実装するさまざまな方法を発見しました。^[9]

目的は、モデル関数のパラメータを調整して、データ セットに最もよく適合するようにすることです。単純なデータ セットは、 n個のポイント (データ ペア) 、i = 1、…、nで構成されます。ここで、は独立変数、は観測によって値が求められる従属変数です。モデル関数は という形式を持ち、m 個の調整可能なパラメータがベクトル に保持されます。目標は、データに「最も」適合するモデルのパラメータ値を見つけることです。モデルがデータ ポイントに適合するかどうかは、その残差によって測定されます。残差は、従属変数の観測値とモデルによって予測される値の差として定義されます。 ${\displaystyle (x_{i},y_{i})\!}$${\displaystyle x_{i}\!}$${\displaystyle y_{i}\!}$${\displaystyle f(x,{\boldsymbol {\beta }})}$${\displaystyle {\boldsymbol {\beta }}}$$${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$

最小二乗法は、残差の二乗和を最小化することで最適なパラメータ値を見つける。[ 10 ^]${\displaystyle S}$ $${\displaystyle S=\sum _{i=1}^{n}r_{i}^{2}.}$$

最も単純なケースでは、最小二乗法の結果は入力データの 算術平均になります。${\displaystyle f(x_{i},{\boldsymbol {\beta }})=\beta }$

2 次元モデルの例としては、直線があります。y 切片を、傾きを と表すと、モデル関数は で与えられます。このモデルの完全な例については、 線形最小二乗法を参照してください。${\displaystyle \beta _{0}}$${\displaystyle \beta _{1}}$${\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{0}+\beta _{1}x}$

データ ポイントは、複数の独立変数で構成される場合があります。たとえば、高さの測定値のセットに平面を当てはめる場合、平面は、たとえばxとz の2 つの独立変数の関数になります。最も一般的なケースでは、各データ ポイントに 1 つ以上の独立変数と 1 つ以上の従属変数が存在する場合があります。

右側は、 についてのランダムな変動を示す残差プロットであり、線形モデルが適切であることを示しています。は独立したランダム変数です。^[10]${\displaystyle r_{i}=0}$${\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+U_{i})}$${\displaystyle U_{i}}$  

残差点が何らかの形をしていてランダムに変動していない場合、線形モデルは適切ではありません。たとえば、残差プロットが右に示すように放物線状である場合、放物線モデルがデータに適しています。放物線モデルの残差は、次のように計算できます。^[10]${\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+U_{i})}$${\displaystyle r_{i}=y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}-{\hat {\beta }}_{2}x_{i}^{2}}$

この回帰式では、従属変数の観測誤差のみを考慮します (ただし、代替の全最小二乗回帰では、両方の変数の誤差を考慮することができます)。 異なる意味を持つ 2 つのかなり異なるコンテキストがあります。

• 予測のための回帰。ここでは、モデルを適合させて、適合に使用したデータが適用されるのと同様の状況に適用するための予測ルールを提供します。ここでは、このような将来の適用に対応する従属変数は、適合に使用したデータと同じタイプの観測誤差の影響を受けます。したがって、このようなデータには最小二乗予測ルールを使用することが論理的に一貫しています。
• 「真の関係」を当てはめるための回帰。最小二乗法による当てはめにつながる標準的な回帰分析では、独立変数の誤差がゼロであるか、無視できる程度に厳密に制御されているという暗黙の仮定がある。独立変数の誤差が無視できない場合は、測定誤差のモデルを使用できる。このような方法により、独立変数の観測誤差の存在を考慮したパラメータ推定、仮説検定、信頼区間が得られる。 ^{[11]代替アプローチは、}全最小二乗法でモデルを当てはめることである。これは、モデル当てはめで使用する目的関数を定式化する際に、さまざまな誤差源の影響をバランスさせる実用的なアプローチと見なすことができる。

平方和の最小値は、勾配をゼロに設定することで求められます。モデルにはm個のパラメータが含まれているため、勾配方程式は m個あります。 また、 であるため、勾配方程式は次のようになります。 $${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,}$$${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})}$$${\displaystyle -2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.}$$

勾配方程式はすべての最小二乗問題に当てはまります。それぞれの問題には、モデルとその偏導関数の特定の表現が必要です。^[12]

回帰モデルは、モデルがパラメータの 線形結合、すなわち 関数がの関数である場合に線形モデルと呼ばれます。^[12]$${\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x),}$$${\displaystyle \phi _{j}}$${\displaystyle x}$

独立変数を 、従属変数を それぞれ行列、に置くと、次のように最小二乗を計算することができます。 はすべてのデータの集合であることに注意してください。^{[12] [13]}${\displaystyle X_{ij}=\phi _{j}(x_{i})}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle D}$ $${\displaystyle L(D,{\boldsymbol {\beta }})=\left\|Y-X{\boldsymbol {\beta }}\right\|^{2}=(Y-X{\boldsymbol {\beta }})^{\mathsf {T}}(Y-X{\boldsymbol {\beta }})=Y^{\mathsf {T}}Y-Y^{\mathsf {T}}X{\boldsymbol {\beta }}-{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}Y+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}}$$$${\displaystyle =Y^{\mathsf {T}}Y-X^{\mathsf {T}}Y{\boldsymbol {\beta }}-X^{\mathsf {T}}Y{\boldsymbol {\beta }}+X^{\mathsf {T}}X{\boldsymbol {\beta }}^{2}}$$

損失の勾配は次のとおりです。 $${\displaystyle {\frac {\partial L(D,{\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\frac {\partial \left(Y^{\mathsf {T}}Y-X^{\mathsf {T}}Y{\boldsymbol {\beta }}-X^{\mathsf {T}}Y{\boldsymbol {\beta }}+X^{\mathsf {T}}X{\boldsymbol {\beta }}^{2}\right)}{\partial {\boldsymbol {\beta }}}}=-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}}$$

損失の勾配をゼロに設定し、を解くと、次の式が得られます。^{[13] [12]}${\displaystyle {\boldsymbol {\beta }}}$ $${\displaystyle -2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}=0\Rightarrow X^{\mathsf {T}}Y=X^{\mathsf {T}}X{\boldsymbol {\beta }}}$$ $${\displaystyle {\boldsymbol {\hat {\beta }}}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y}$$

非線形最小二乗問題には、場合によっては閉じた形の解が存在するが、一般的には存在しない。閉じた形の解が存在しない場合は、数値アルゴリズムを使用して、目的関数を最小化するパラメータの値を見つける。ほとんどのアルゴリズムでは、パラメータの初期値を選択する。次に、パラメータは反復的に調整される。つまり、値は逐次近似によって得られる。 ここで、上付き文字kは反復回数であり、増分のベクトルはシフト ベクトルと呼ばれる。一般的に使用されるアルゴリズムの中には、各反復で、モデルが に関する 1 次テイラー級数展開に近似して線形化されるものがある。 ${\displaystyle \beta }$$${\displaystyle {\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j},}$$${\displaystyle \Delta \beta _{j}}$${\displaystyle {\boldsymbol {\beta }}^{k}}$$${\displaystyle {\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\left(\beta _{j}-{\beta _{j}}^{k}\right)\\[1ex]&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}.\end{aligned}}}$$

ヤコビアンJは定数、独立変数 、パラメータの関数なので、反復ごとに変化します。残差は次のように表されます。 $${\displaystyle r_{i}=y_{i}-f^{k}(x_{i},{\boldsymbol {\beta }})-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\,\Delta \beta _{j}.}$$

の二乗和を最小化するために、勾配方程式をゼロに設定し、 について解きます。 これを整理すると、m 個の同時線形方程式、正規方程式になります。 ${\displaystyle r_{i}}$${\displaystyle \Delta \beta _{j}}$$${\displaystyle -2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}\right)=0,}$$$${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\,\Delta \beta _{k}=\sum _{i=1}^{n}J_{ij}\,\Delta y_{i}\qquad (j=1,\ldots ,m).}$$

正規方程式は行列表記で次のように表される。 $${\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\Delta \mathbf {y} .}$$

これらはガウス・ニュートン法の定義方程式です。

• LLSQ (線形最小二乗法) のモデル関数fは、次の形式のパラメータの線形結合です。 モデルは直線、放物線、またはその他の関数の線形結合を表すことができます。 NLLSQ (非線形最小二乗法) では、パラメータは などの関数として表示されます。 導関数が一定であるか、独立変数の値のみに依存する場合、モデルはパラメータに関して線形です。 それ以外の場合、モデルは非線形です。${\displaystyle f=X_{i1}\beta _{1}+X_{i2}\beta _{2}+\cdots }$${\displaystyle \beta ^{2},e^{\beta x}}$${\displaystyle \partial f/\partial \beta _{j}}$
• NLLSQ 問題の解を見つけるにはパラメータの初期値が必要ですが、LLSQ では必要ありません。
• NLLSQ の解法アルゴリズムでは、多くの場合、LLSQ と同様にヤコビアンを計算できることが求められます。偏導関数の解析式は複雑になる場合があります。解析式を取得できない場合は、偏導関数を数値近似で計算するか、多くの場合は有限差分を使用してヤコビアンを推定する必要があります。
• 非収束 (アルゴリズムが最小値を見つけられないこと) は、NLLSQ ではよく見られる現象です。
• LLSQ は全体的に凹面なので、非収束は問題になりません。
• NLLSQ を解くことは通常、収束基準が満たされたときに終了する必要がある反復プロセスです。LLSQ ソリューションは直接法を使用して計算できますが、多数のパラメータを持つ問題は、通常、ガウス-ザイデル法などの反復法を使用して解決されます。
• LLSQ では解は一意ですが、NLLSQ では平方和に複数の最小値が存在する可能性があります。
• 誤差が予測変数と相関していないという条件下では、LLSQ は偏りのない推定値を生成しますが、その条件下でも NLLSQ 推定値は一般に偏りがあります。

非線形最小二乗問題の解を求めるときは常にこれらの違いを考慮する必要がある。^[12]

物理学から引き出された簡単な例を考えてみましょう。バネはフックの法則に従います。フックの法則は、バネの伸びyはバネに加えられた 力Fに比例するというものです。 がモデルを構成します。ここで、Fは独立変数です。力定数kを推定するために、異なる力でn回の測定を行い、データセット を生成します。ここで、y _{i は}測定されたバネの伸びです。^[14]各実験観測には誤差 が含まれるため、観測値に対して経験的モデルを指定できます。 $${\displaystyle y=f(F,k)=kF}$$${\displaystyle (F_{i},y_{i}),\ i=1,\dots ,n\!}$${\displaystyle \varepsilon }$$${\displaystyle y_{i}=kF_{i}+\varepsilon _{i}.}$$

未知のパラメータkを推定する方法は数多くある。我々のデータではm個の変数のn個の方程式が1つの未知数とn個の方程式からなる過剰決定系を構成しているため、最小二乗法を使ってkを推定する。最小化すべき二乗和は^{[12]である。} $${\displaystyle S=\sum _{i=1}^{n}\left(y_{i}-kF_{i}\right)^{2}.}$$

力定数kの最小二乗推定値は次のように与えられる。 $${\displaystyle {\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.}$$

力を加えるとバネが伸びると仮定します。最小二乗法で力の定数を導出した後、フックの法則から伸びを予測し ます。

単位重みの最小二乗計算、または線形回帰では、と表記されるj番目のパラメータの分散は、通常、 で推定されます。 ここで、真の誤差分散σ ^2は、残差二乗和（目的関数）の最小値Sに基づく推定値、すなわち縮小カイ二乗統計量 で置き換えられます。分母n  −  mは、統計的自由度です。一般化については、有効自由度を参照してください。^[12] Cは共分散行列です 。 ${\displaystyle \operatorname {var} ({\hat {\beta }}_{j})}$$${\displaystyle \operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{-1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj},}$$ $${\displaystyle {\hat {\sigma }}^{2}\approx {\frac {S}{n-m}}}$$ $${\displaystyle C=\left(X^{\mathsf {T}}X\right)^{-1},}$$

パラメータの確率分布がわかっているか、漸近近似が行われている場合は、信頼限界を見つけることができます。同様に、残差の確率分布がわかっているか仮定されている場合は、残差の統計的検定を行うことができます。実験誤差の確率分布がわかっているか仮定されている場合は、従属変数の任意の線形結合の確率分布を導くことができます。誤差が正規分布に従うと仮定すると推論は容易であり、その結果、パラメータ推定値と残差も独立変数の値に応じて正規分布することになります。^[12]

結果を統計的にテストするには、実験誤差の性質について仮定を立てる必要があります。誤差は正規分布に属するというのが一般的な仮定です。中心極限定理は、多くの場合、これが適切な近似値であるという考えを支持しています。

• ガウス・マルコフ定理。誤差が独立変数の条件付きで期待値ゼロを持ち、相関がなく、等分散である線形モデルでは、観測値の任意の線形結合の最良の線形不偏推定量は、その最小二乗推定量である。「最良」とは、パラメータの最小二乗推定量の分散が最小であることを意味する。等分散の仮定は、誤差がすべて同じ分布に属する場合に有効である。^[15]
• 誤差が正規分布に属する場合、最小二乗推定量は線形モデルの最大尤度推定量でもあります。

しかし、誤差が正規分布していないと仮定します。その場合、中心極限定理は、サンプルが十分に大きい限り、パラメータ推定値はほぼ正規分布することを意味します。このため、誤差平均は独立変数に依存しないという重要な特性を考慮すると、誤差項の分布は回帰分析では重要な問題ではありません。具体的には、誤差項が正規分布に従うかどうかは通常重要ではありません。

一般化最小二乗法の特殊なケースである加重最小二乗法は、Ω（残差の相関行列）の対角外の要素がすべてヌルの場合に発生します。観測値の分散（共分散行列の対角線に沿った）は、依然として不等である可能性があります（不均一分散）。簡単に言えば、不均一分散とは、の分散がの値に依存し、残差プロットが右側の残差プロットに見られるように、より大きな値に向かって「扇状に広がる」効果を生み出す場合です。一方、等分散とは、 の分散と の分散が等しいと仮定します。^[10]${\displaystyle Y_{i}}$${\displaystyle x_{i}}$${\displaystyle Y_{i}}$${\displaystyle Y_{i}}$${\displaystyle U_{i}}$  

点集合の平均に関する第 1主成分は、データ点に最も近い線 (最も接近した線の距離の 2 乗、つまり線に垂直な線で測定) で表すことができます。対照的に、線形最小二乗法は、方向のみの距離を最小化しようとします。したがって、2 つは同様のエラー メトリックを使用しますが、線形最小二乗法はデータの 1 つの次元を優先的に処理する方法であり、PCA はすべての次元を平等に処理します。 ${\displaystyle y}$

著名な統計学者サラ・ファン・デ・ヘールは、経験的過程理論とヴァプニク・チェルヴォネンキス次元を用いて、最小二乗推定量が二乗積分可能な関数の空間上の測度として解釈できることを証明した。^[16]

状況によっては、最小二乗解の正規化バージョンが望ましい場合があります。ティホノフ正規化（またはリッジ回帰）は、パラメータベクトルの二乗ノルムである が指定された値より大きくないという制約を最小二乗定式に追加し、制約付き最小化問題をもたらします。これは、目的関数が残差二乗和プラスペナルティ項であり、 が調整パラメータである制約なし最小化問題に相当します（これは制約付き最小化問題のラグランジュ形式です）。^[17]${\displaystyle \left\|\beta \right\|_{2}^{2}}$${\displaystyle \ell _{2}}$${\displaystyle \alpha \left\|\beta \right\|_{2}^{2}}$${\displaystyle \alpha }$

ベイズの文脈では、これは、パラメータ ベクトルに ゼロ平均の正規分布事前分布を配置することと同じです。

最小二乗法の別の正規化バージョンはLasso （最小絶対収縮および選択演算子）であり、これは、パラメータベクトルのL ₁ノルムが指定された値以下であるという制約を使用します。 ^{[18] [ 19] [20]}（上記のようにラグランジュ乗数を使用して、これが追加された最小二乗ペナルティの制約なし最小化と同等であることを示すことができます。）ベイズのコンテキストでは、これはパラメータベクトルに平均ゼロのラプラス事前分布を配置することと同等です。 ^[21]最適化問題は、二次計画法またはより一般的な凸最適化手法を使用して、また最小角度回帰アルゴリズムなどの特定のアルゴリズムを使用して解決できます。 ${\displaystyle \|\beta \|_{1}}$${\displaystyle \alpha \|\beta \|_{1}}$

Lasso とリッジ回帰の主な違いの 1 つは、リッジ回帰ではペナルティが増加すると、すべてのパラメータが減少するが、それでも 0 ではないままであるのに対し、Lasso ではペナルティが増加すると、より多くのパラメータが 0 に追い込まれることです。これは、パラメータを 0 に追い込むと回帰から特徴が選択解除されるため、リッジ回帰に対する Lasso の利点です。つまり、Lasso はより関連性の高い特徴を自動的に選択し、その他を破棄しますが、リッジ回帰では、特徴を完全に破棄することはありません。サンプルをブートストラップする Bolasso ^[22] や、すべての特徴にスコアを付けるために の異なる値に対応する回帰係数を分析する FeaLect など、LASSO に基づいて開発されている特徴選択手法もあります。^[23]${\displaystyle \alpha }$

L1正規化定式化は、より多くのパラメータがゼロである解を好む傾向があるため、いくつかの状況で有用であり、より少ない変数に依存する解を与える。[ ^{18 ]このため、Lassoとその変種は}圧縮センシングの分野の基礎となっている。このアプローチの拡張は弾性ネット正規化である。

• ビョルク、Å. （1996年）。最小二乗問題の数値的手法。サイアム。ISBN 978-0-89871-360-2。
• 刈谷 哲；倉田博史（2004）。一般化最小二乗法。ホーボーケン: ワイリー。ISBN 978-0-470-86697-9。
• Luenberger, DG (1997) [1969]. 「最小二乗推定」.ベクトル空間法による最適化. ニューヨーク: John Wiley & Sons. pp. 78–102. ISBN 978-0-471-18117-0。
• Rao, CR ; Toutenburg, H.; et al. (2008). 線形モデル: 最小二乗法と代替法。Springer Series in Statistics (第 3 版)。ベルリン: Springer。ISBN 978-3-540-74226-5。
• ヴァン・デ・モールテル、公園（2021年4月）。 「多方向回帰分析」。
• Wolberg, J. (2005).最小二乗法を用いたデータ分析: 実験から最大限の情報を引き出す. ベルリン: Springer. ISBN 978-3-540-25674-8。

• ウィキメディア・コモンズの最小二乗法に関連するメディア