最小二乗法

回帰分析において、最小二乗法とは、残差の二乗和（観測値とモデルによって予測された値との差）を最小化することによって、最適なモデルを決定する手法である。

最小二乗問題は、モデル関数がすべての未知数に関して線形であるかどうかに応じて、線形最小二乗問題（または通常の最小二乗問題）と非線形最小二乗問題の2つのカテゴリに分類されます。線形最小二乗問題は統計的回帰分析で発生し、閉形式の解を持ちます。非線形問題は通常、反復的な改良によって解かれます。各反復において、システムは線形システムで近似されるため、どちらの場合もコアとなる計算は同様です。

多項式最小二乗法は、従属変数の予測値の分散を、独立変数と適合曲線からの偏差の関数として記述します。

観測値が、その自然十分統計量として恒等分布を持つ指数族から得られ、緩やかな条件が満たされている場合（例えば、正規分布、指数分布、ポアソン分布、二項分布の場合）、標準化された最小二乗推定値と最尤推定値は同一になります。^{[ 1 ]}最小二乗法は、モーメント法推定量としても導出できます。

この方法は、18世紀中に起こったいくつかの進歩の集大成であった。^{[ 2 ]}

• 異なる観測値の組み合わせが真の値の最良の推定値であり、誤差は集計によって増加するのではなく減少するという考え方は、 1671年にアイザック・ニュートンの著作に初めて登場したが、出版されず、1700年にも再び登場した。^{[ 3 ] [ 4 ]}おそらく、1722年にロジャー・コーツによって初めて正式に表現された。
• 同じ条件下で行われたさまざまな観測結果を組み合わせる方法は、単一の観測結果を正確に観察して記録しようと最善を尽くす方法とは対照的です。この方法は平均法として知られています。この方法は、1700 年に春分点を研究していたニュートンが、通常の最小二乗法から知られる最初の「正規方程式」を書き記した際にも特に使用され、^{[ 5 ]} 1750 年に月の秤動を研究していたトビアス・マイヤー、そして 1788 年に木星と土星の運動の違いを説明する研究を行っていたピエール＝シモン・ラプラスによっても使用されました。
• 異なる条件下で得られた様々な観測結果を組み合わせる方法。この方法は最小絶対偏差法として知られるようになった。特に、 1757年にロジャー・ジョセフ・ボスコヴィッチが地球の形状に関する研究で、また1789年と1799年にピエール＝シモン・ラプラスが同じ問題に対してこの方法を用いたことで有名である。
• 最小誤差の解が得られた時期を判定するための評価基準の開発。ラプラスは、誤差の確率密度の数学的形式を特定し、推定誤差を最小化する推定方法を定義しようと試みた。この目的のために、ラプラスは現在ラプラス分布と呼ばれる対称両側指数分布を使用して誤差分布をモデル化し、絶対偏差の合計を推定誤差として使用した。彼はこれらが自分ができる最も単純な仮定であると感じ、算術平均を最良の推定値として得られることを期待していた。しかし、彼の推定値は事後中央値であった。

その方法

最小二乗法の最初の明快かつ簡潔な解説は、1805年にルジャンドルによって発表された。 ^{[ 6 ]}この手法は、データに線形方程式を当てはめる代数的手順として説明されており、ルジャンドルは地球の形状についてラプラスと同じデータを分析することで、この新しい手法を実証した。ルジャンドルの発表から10年以内に、最小二乗法はフランス、イタリア、プロイセンの天文学と測地学の標準的なツールとして採用され、これは科学的手法の非常に速い受容であった。^{[ 2 ]}

1809年、カール・フリードリヒ・ガウスは天体の軌道を計算する方法を発表した。その著作の中で、彼は1795年から最小二乗法を所有していたと主張した。 ^{[ 7 ]}これは当然、ルジャンドルとの優先権争いにつながった。しかし、ガウスの功績は、ルジャンドルを凌駕し、最小二乗法を確率の原理と正規分布に結びつけることに成功した点にある。彼は、有限個の未知のパラメータに依存する観測値の確率密度の数学的形式を指定し、推定誤差を最小化する推定方法を定義するというラプラスのプログラムを完成させた。ガウスは、確率密度と推定方法の両方を変更することで、算術平均が位置パラメータの最良の推定値であることを示した。そして彼は、位置パラメータの推定値として算術平均を得るために、密度はどのような形式であるべきか、またどのような推定方法を用いるべきかという問いを立てることで、問題を逆転させた。この試みの中で、彼は正規分布を発明した。

ガウスの方法の有効性が早くから実証されたのは、新しく発見された小惑星ケレスの将来の位置を予測するために用いられた時だった。1801年1月1日、イタリアの天文学者ジュゼッペ・ピアッツィはケレスを発見し、太陽の眩しさに隠れるまでの40日間、その軌道を追跡することができた。天文学者たちは、これらのデータに基づいて、ケプラーの複雑な非線形惑星運動方程式を解くことなく、太陽の背後から現れた後のケレスの位置を特定しようとした。ハンガリーの天文学者フランツ・クサヴァー・フォン・ザッハがケレスの位置を特定することに成功した唯一の予測は、当時24歳だったガウスが最小二乗法を用いて行ったものだった。

1810年、ラプラスはガウスの研究を読んだ後、中心極限定理を証明し、それを用いて最小二乗法と正規分布の大規模標本による正当化を行った。1822年、ガウスは、回帰分析における最小二乗法は最適であると述べることができた。すなわち、誤差の平均がゼロで、無相関で、正規分布に従い、分散が等しい線形モデルでは、係数の最良の線形不偏推定量は最小二乗推定量である。この結果の拡張版はガウス・マルコフの定理として知られている。

最小二乗分析の考え方は、1808年にアメリカ人のロバート・エイドリアンによって独自に定式化された。次の2世紀にわたり、誤差理論と統計学の研究者たちは、最小二乗法を実装するさまざまな方法を発見した。^{[ 8 ]}

目的は、モデル関数のパラメータを調整してデータセットに最適に適合させることです。単純なデータセットはn個の点（データペア）で構成されます。${\displaystyle (x_{i},y_{i})\!}$、i = 1, …, n、ここで${\displaystyle x_{i}\!}$は独立変数であり、${\displaystyle y_{i}\!}$は観測によって値が求められる従属変数です。モデル関数は次の形式をとります。${\displaystyle f(x,{\boldsymbol {\beta }})}$ここで、m個の調整可能なパラメータがベクトルに保持されている。${\displaystyle {\boldsymbol {\beta }}}$目標は、データに「最も」適合するモデルのパラメータ値を見つけることです。モデルとデータポイントの適合度は、残差によって測定されます。残差とは、従属変数の観測値とモデルによって予測された値との差として定義されます。 $${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$

最小二乗法は、残差の二乗和を最小化することによって最適なパラメータ値を見つけます。${\displaystyle S}$: ^{[ 9 ]}$${\displaystyle S=\sum _{i=1}^{n}r_{i}^{2}.}$$

最も単純なケースでは、${\displaystyle f(x_{i},{\boldsymbol {\beta }})={\boldsymbol {\beta }}}$そして、最小二乗法の結果は、入力データの算術平均である。

2次元モデルの一例として、直線がある。y切片を次のように表す。$\displaystyle \beta _{0}}$そして傾斜は$\displaystyle \beta _{1}}$モデル関数は次のように与えられる。${\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{0}+\beta _{1}x}$このモデルの詳細な例については、線形最小二乗法を参照してください。

データポイントは、複数の独立変数から構成される場合があります。例えば、高さの測定値に平面を当てはめる場合、その平面は、xとzという2つの独立変数の関数となります。最も一般的なケースでは、各データポイントに1つ以上の独立変数と1つ以上の従属変数が存在する可能性があります。

右側は、ランダムな変動を示す残差プロットです。$\displaystyle r_{i}=0}$線形モデルであることを示している${\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+U_{i})}$適切である。${\displaystyle U_{i}}$は独立した確率変数である。^{[ 9 ]}  

残差点が何らかの形状を持ち、ランダムに変動していない場合、線形モデルは適切ではありません。たとえば、右図のように残差プロットが放物線形状をしている場合、放物線モデルは適切ではありません。${\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+U_{i})}$データにはこれが適切でしょう。放物線モデルの残差は次のように計算できます。$\displaystyle r_{i}=y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}-{\hat {\beta }}_{2}x_{i}^{2}}$[ ^{9 ]​}

この回帰式は従属変数の観測誤差のみを考慮している（ただし、代替の最小二乗回帰では両方の変数の誤差を考慮できる）。意味合いの異なる、かなり異なる2つの状況がある。

• 予測のための回帰分析。ここでは、モデルを適合させて、適合に使用したデータと同様の状況に適用できる予測ルールを提供します。このような将来の適用に対応する従属変数は、適合に使用したデータと同じ種類の観測誤差の影響を受けます。したがって、このようなデータに対して最小二乗法による予測ルールを使用することは論理的に妥当です。
• 「真の関係」に適合するための回帰分析。最小二乗法による適合につながる標準的な回帰分析では、独立変数の誤差がゼロであるか、無視できるほど厳密に制御されているという暗黙の仮定があります。独立変数の誤差が無視できない場合は、測定誤差のモデルを使用できます。このような方法では、独立変数の観測誤差の存在を考慮したパラメータ推定値、仮説検定、信頼区間が得られます。 ^{[ 10 ]}代替アプローチは、全最小二乗法でモデルを適合することです。これは、モデル適合に使用する目的関数を定式化する際に、さまざまな誤差源の影響のバランスを取るための実用的なアプローチと見なすことができます。

二乗和の最小値は、勾配をゼロに設定することによって求められます。モデルにはm個のパラメータが含まれているため、 m個の勾配方程式が存在します。 $${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,}$$ そしてそれ以来${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})}$勾配方程式は次のようになる $${\displaystyle -2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.}$$

勾配方程式はすべての最小二乗問題に適用されます。それぞれの問題には、モデルとその偏導関数の特定の表現が必要です。^{[ 11 ]}

物理学から簡単な例を挙げてみましょう。バネはフックの法則に従うはずです。フックの法則とは、バネの伸びyは、バネに加わる力Fに比例するという法則です。 $${\displaystyle y=f(F,k)=kF}$$ はモデルを構成し、Fは独立変数です。力定数kを推定するために、異なる力でn回の測定を行い、データセットを作成します。${\displaystyle (F_{i},y_{i}),\ i=1,\dots ,n\!}$ここで、y _iは測定されたバネの伸びである。^{[ 13 ]}各実験観測には何らかの誤差が含まれる。${\displaystyle \varepsilon }$したがって、我々は観測結果に対する経験的モデルを特定することができる。 $${\displaystyle y_{i}=kF_{i}+\varepsilon _{i}.}$$

未知のパラメータkを推定するために使用できる方法は数多くあります。データ内のm個の変数のn 個の方程式は、未知数が 1 つとn個の方程式を持つ過剰決定システムを構成するため、最小二乗法を使用してkを推定します。最小化すべき二乗和は^{[ 11 ]です。}$${\displaystyle S=\sum _{i=1}^{n}\left(y_{i}-kF_{i}\right)^{2}.}$$

力定数kの最小二乗推定値は次式で与えられる。 $${\displaystyle {\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.}$$

力を加えるとバネが伸びると仮定します。最小二乗法で力定数を求めた後、フックの法則から伸びを予測します。

単位重みを用いた最小二乗法の計算、または線形回帰では、j番目のパラメータの分散は、${\displaystyle \operatorname {var} ({\hat {\beta }}_{j})}$は、通常以下のように推定されます。 $${\displaystyle \operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{-1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj},}$$$${\displaystyle {\hat {\sigma }}^{2}\approx {\frac {S}{n-m}}}$$$${\displaystyle C=\left(X^{\mathsf {T}}X\right)^{-1},}$$ ここで、真の誤差分散σ ^2は、残差平方和(目的関数) Sの最小値に基づく推定値である縮小カイ二乗統計量に置き換えられます。分母n − mは統計的自由度です。一般化については、有効自由度を参照してください。^{[ 11 ]} Cは共分散行列です 。  

パラメータの確率分布が既知であるか、漸近近似が行われている場合には、信頼限界を求めることができます。同様に、残差の確率分布が既知であるか仮定されている場合は、残差に対する統計的検定を実施できます。実験誤差の確率分布が既知であるか仮定されている場合は、従属変数の任意の線形結合の確率分布を導出できます。誤差が正規分布に従うと仮定すると推論は容易であり、その結果、独立変数の値に応じてパラメータ推定値と残差も正規分布に従うことになります。^{[ 11 ]}

実験結果を統計的に検証するためには、実験誤差の性質について仮定を置く必要がある。一般的な仮定は、誤差が正規分布に従うというものである。中心極限定理は、多くの場合、これが良い近似であることを裏付けている。

• ガウス・マルコフの定理。独立変数を条件とした誤差の期待値がゼロで、無相関で、分散が等しい線形モデルでは、観測値の任意の線形結合の最良の線形不偏推定量は、その最小二乗推定量である。「最良」とは、パラメータの最小二乗推定量の分散が最小であることを意味する。分散が等しいという仮定は、誤差がすべて同じ分布に属する場合に有効である。^{[ 14 ]}
• 誤差が正規分布に従う場合、最小二乗推定量は線形モデルにおける最尤推定量にも相当する。

しかし、誤差が正規分布に従わない場合を考えてみましょう。その場合でも、中心極限定理によれば、標本サイズが十分に大きければ、パラメータ推定値は近似的に正規分布に従うことがしばしば示唆されます。このため、誤差の平均が独立変数に依存しないという重要な性質を考慮すると、回帰分析において誤差項の分布は重要な問題ではありません。具体的には、誤差項が正規分布に従うかどうかは、通常重要ではありません。

一般化最小二乗法の特殊なケースである重み付き最小二乗法は、Ω（残差の相関行列）の非対角要素がすべてゼロの場合に発生します。観測値の分散（共分散行列の対角線に沿ったもの）は依然として不等である可能性があります（異分散性）。簡単に言うと、異分散性とは、${\displaystyle Y_{i}}$値によって異なる${\displaystyle x_{i}}$これにより、残差プロットはより大きな値またはより小さな値に向かって「扇状に広がる」効果を生み出します。${\displaystyle Y_{i}}$右側の残差プロットに見られる値。一方、等分散性とは、分散が${\displaystyle Y_{i}}$分散${\displaystyle U_{i}}$等しい。^{[ 9 ]}  

一連の点の平均に関する第一主成分は、データ点に最も近づく直線（最も近い接近距離の二乗、つまり直線に垂直な距離で測定）によって表すことができます。対照的に、線形最小二乗法は、距離を最小化しようとします。${\displaystyle y}$方向のみ。したがって、両者は類似した誤差指標を使用するものの、線形最小二乗法はデータの1つの次元を優先的に扱う方法であるのに対し、PCAはすべての次元を均等に扱います。

著名な統計学者サラ・ファン・デ・ゲールは、経験過程理論とヴァプニック・チェルヴォネンキス次元を用いて、最小二乗推定量が二乗可積分関数の空間上の尺度として解釈できることを証明した。^{[ 15 ]}

• ビョルク、Å. （1996年）。最小二乗問題の数値的手法。サイアム。ISBN 978-0-89871-360-2。
• 刈谷 哲；倉田博史（2004）。一般化最小二乗法。ホーボーケン: ワイリー。ISBN 978-0-470-86697-9。
• Luenberger, DG (1997) [1969]. 「最小二乗推定」 .ベクトル空間法による最適化. ニューヨーク: John Wiley & Sons. pp. 78–102 . ISBN  978-0-471-18117-0。
• Rao, CR ; Toutenburg, H. ; 他 (2008).線形モデル：最小二乗法と代替法. Springer Series in Statistics (第 3 版). ベルリン: Springer. ISBN 978-3-540-74226-5。
• Strutz, T. (2016).データフィッティングと不確実性：重み付き最小二乗法とその先への実践的入門（第2版） 。Springer  Vieweg。ISBN 978-3-658-11455-8。
• ヴァン・デ・モールテル、公園（2021年4月）。「多方向回帰分析」。
• ウォルバーグ、J. (2005).最小二乗法を用いたデータ分析：実験から最大限の情報を抽出する. ベルリン：シュプリンガー. ISBN 978-3-540-25674-8。

• ウィキメディア・コモンズにある最小二乗法に関連するメディア