Gauss–Newton algorithm

The Gauss–Newton algorithm is used to solve non-linear least squares problems, which is equivalent to minimizing a sum of squared function values. It is an extension of Newton's method for finding a minimum of a non-linear function. Since a sum of squares must be nonnegative, the algorithm can be viewed as using Newton's method to iteratively approximate zeroes of the components of the sum, and thus minimizing the sum. In this sense, the algorithm is also an effective method for solving overdetermined systems of equations. It has the advantage that second derivatives, which can be challenging to compute, are not required.^[1]

Non-linear least squares problems arise, for instance, in non-linear regression, where parameters in a model are sought such that the model is in good agreement with available observations.

The method is named after the mathematicians Carl Friedrich Gauss and Isaac Newton, and first appeared in Gauss's 1809 work Theoria motus corporum coelestium in sectionibus conicis solem ambientum.^[2]

Given ${\displaystyle m}$ functions ${\displaystyle {\textbf {r}}=(r_{1},\ldots ,r_{m})}$ (often called residuals) of ${\displaystyle n}$ variables ${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\ldots \beta _{n}),}$ with ${\displaystyle m\geq n,}$ the Gauss–Newton algorithm iteratively finds the value of ${\displaystyle \beta }$ that minimize the sum of squares^[3]$${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}({\boldsymbol {\beta }})^{2}.}$$

Starting with an initial guess ${\displaystyle {\boldsymbol {\beta }}^{(0)}}$ for the minimum, the method proceeds by the iterations $${\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}-\left(\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {J_{r}} \right)^{-1}\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right),}$$

where, if r and β are column vectors, the entries of the Jacobian matrix are $${\displaystyle \left(\mathbf {J_{r}} \right)_{ij}={\frac {\partial r_{i}\left({\boldsymbol {\beta }}^{(s)}\right)}{\partial \beta _{j}}},}$$

and the symbol $\displaystyle ^{\operatorname {T} }}$ denotes the matrix transpose.

At each iteration, the update $\displaystyle \Delta ={\boldsymbol {\beta }}^{(s+1)}-{\boldsymbol {\beta }}^{(s)}}$ can be found by rearranging the previous equation in the following two steps:

• ${\displaystyle \Delta =-\left(\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {J_{r}} \right)^{-1}\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right)}$
• $\displaystyle \mathbf {J_{r}} ^{\operatorname {T} }\mathbf {J_{r}} \Delta =-\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right)}$

With substitutions ${\textstyle A=\mathbf {J_{r}} ^{\演算子名 {T} }\mathbf {J_{r}} }$, ${\displaystyle \mathbf {b} =-\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right)}$, and ${\displaystyle \mathbf {x} =\デルタ }$, this turns into the conventional matrix equation of form ${\displaystyle A\mathbf {x} =\mathbf {b} }$, which can then be solved in a variety of methods (see Notes).

If m = n, the iteration simplifies to

$${\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}-\left(\mathbf {J_{r}} \right)^{-1}\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right),}$$

which is a direct generalization of Newton's method in one dimension.

In data fitting, where the goal is to find the parameters ${\displaystyle {\boldsymbol {\beta }}}$ such that a given model function ${\displaystyle \mathbf {f} (\mathbf {x} ,{\boldsymbol {\beta }})}$ best fits some data points ${\displaystyle (x_{i},y_{i})}$, the functions ${\displaystyle r_{i}}$are the residuals: $${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f\left(x_{i},{\boldsymbol {\beta }}\right).}$$

すると、ガウス・ニュートン法はヤコビアンを用いて表現できる。${\displaystyle \mathbf {J_{f}} =-\mathbf {J_{r}} }$関数の${\displaystyle \mathbf {f} }$として $${\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}+\left(\mathbf {J_{f}} ^{\operatorname {T} }\mathbf {J_{f}} \right)^{-1}\mathbf {J_{f}} ^{\operatorname {T} }\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right).}$$

ご了承ください${\displaystyle \left(\mathbf {J_{f}} ^{\operatorname {T} }\mathbf {J_{f}} \right)^{-1}\mathbf {J_{f}} ^{\operatorname {T} }}$は、の左擬似逆行列です。${\displaystyle \mathbf {J_{f}} }$。

アルゴリズムの説明におけるm ≥ nという仮定は必要である。そうでないと行列が${\displaystyle \mathbf {J_{r}} ^{T}\mathbf {J_{r}} }$は逆行列を持たないため、正規方程式は（少なくとも一意に）解くことができません。

ガウス・ニュートン法は、関数ベクトルr _iを線形近似することで導出できます。テイラーの定理を用いると、各反復において次のように記述できます。 $${\displaystyle \mathbf {r} ({\boldsymbol {\beta }})\approx \mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right)+\mathbf {J_{r}} \left({\boldsymbol {\beta }}^{(s)}\right)\Delta }$$

と${\displaystyle \Delta ={\boldsymbol {\beta }}-{\boldsymbol {\beta }}^{(s)}}$見つけるというタスク${\displaystyle \Delta }$右辺の二乗和を最小化する。つまり、 $${\displaystyle \min \left\|\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\right)+\mathbf {J_{r}} \left({\boldsymbol {\beta }}^{(s)}\right)\Delta \right\|_{2}^{2},}$$

これは線形最小二乗問題であり、明示的に解くことができ、アルゴリズム内の正規方程式が得られます。

通常の方程式は、未知の増分に関するn個の連立一次方程式である。${\displaystyle \Delta }$これらは、コレスキー分解、あるいはより良い方法としてはQR分解を用いて、1ステップで解くことができる。${\displaystyle \mathbf {J_{r}} }$大規模なシステムの場合、共役勾配法などの反復法の方が効率的である可能性があります。J _rの列間に線形依存性がある場合、反復は失敗します。${\displaystyle \mathbf {J_{r}} ^{T}\mathbf {J_{r}} }$ 単数形になる。

いつ${\displaystyle \mathbf {r} }$複雑です${\displaystyle \mathbf {r}$ :\mathbb {C} ^{n}\to \mathbb {C} } 共役形を使用する必要があります。${\displaystyle \left({\overline {\mathbf {J_{r}} }}^{\operatorname {T} }\mathbf {J_{r}} \right)^{-1}{\overline {\mathbf {J_{r}} }}^{\operatorname {T} }}$。

この例では、ガウス・ニュートン法を用いて、データとモデルの予測値との間の誤差の二乗和を最小化することにより、モデルをデータに適合させます。

酵素が媒介する反応における基質濃度[ S ]と反応速度の関係を研究する生物学実験において、以下の表のデータが得られた。

次のような曲線（モデル関数）を見つけることが望ましい。 $${\displaystyle {\text{rate}}={\frac {V_{\text{max}}\cdot [S]}{K_{M}+[S]}}}$$

最小二乗法の意味でデータに最もよく適合するパラメータ${\displaystyle V_{\text{max}}}$そして${\displaystyle K_{M}}$未定。

で表す${\displaystyle x_{i}}$そして${\displaystyle y_{i}}$[ S ]とレートの値はそれぞれ、${\displaystyle i=1,\dots ,7}$。 させて${\displaystyle \beta _{1}=V_{\text{max}}}$そして${\displaystyle \beta _{2}=K_{M}}$見つける${\displaystyle \beta _{1}}$そして${\displaystyle \beta _{2}}$残差の二乗和が $${\displaystyle r_{i}=y_{i}-{\frac {\beta _{1}x_{i}}{\beta _{2}+x_{i}}},\quad (i=1,\dots ,7)}$$

最小化されます。

ヤコビアン${\displaystyle \mathbf {J_{r}} }$残差ベクトルの${\displaystyle r_{i}}$未知数に関して${\displaystyle \beta _{j}}$は${\displaystyle 7\times 2}$行列と${\displaystyle i}$エントリを含む行 $${\displaystyle {\frac {\partial r_{i}}{\partial \beta _{1}}}=-{\frac {x_{i}}{\beta _{2}+x_{i}}};\quad {\frac {\partial r_{i}}{\partial \beta _{2}}}={\frac {\beta _{1}\cdot x_{i}}{\left(\beta _{2}+x_{i}\right)^{2}}}.}$$

当初の推定値から始めると、${\displaystyle \beta _{1}=0.9}$そして${\displaystyle \beta _{2}=0.2}$ガウス・ニュートン法を5回繰り返した後、最適な値は${\displaystyle {\hat {\beta }}_{1}=0.362}$そして${\displaystyle {\hat {\beta }}_{2}=0.556}$得られた結果から、残差平方和は初期値の1.445から5回目の反復後には0.00784に減少した。右図のグラフは、観測データを用いて最適パラメータに基づいてモデルが決定した曲線を示している。

ガウス・ニュートン法は局所最小点に収束することが保証されている。${\displaystyle {\hat {\beta }}}$4つの条件の下で：^{[ 4 ]}関数${\displaystyle r_{1},\ldots ,r_{m}}$開凸集合内で2回連続微分可能である${\displaystyle D\ni {\hat {\beta }}}$ヤコビアン${\displaystyle \mathbf {J} _{\mathbf {r} }({\hat {\beta }})}$フル列ランクである初期反復${\displaystyle \beta ^{(0)}}$近い${\displaystyle {\hat {\beta }}}$局所最小値${\displaystyle |S({\hat {\beta }})|}$が小さい場合、収束は二次関数的になります。${\displaystyle |S({\hat {\beta }})|=0}$。

^{[ 5 ]}に示すように、増分ΔはSの降下方向であり、アルゴリズムが収束すれば、極限はSの停留点となる。最小値が大きい場合${\displaystyle |S({\hat {\beta }})|}$しかし、収束は保証されておらず、ニュートン法のような局所的収束や、通常のウルフ条件の下での収束も保証されていない。^{[ 6 ]}

ガウス・ニュートン法の収束速度は2乗に近づく可能性がある。^{[ 7 ]}初期推定値が最小値または行列から遠い場合、アルゴリズムはゆっくりと収束するか、まったく収束しない可能性がある。${\displaystyle \mathbf {J_{r}^{\operatorname {T} }J_{r}} }$条件が悪い。例えば、次の問題を考えてみよう。${\displaystyle m=2}$方程式と${\displaystyle n=1}$変数、以下で与えられる $${\displaystyle {\begin{aligned}r_{1}(\beta )&=\beta +1,\\r_{2}(\beta )&=\lambda \beta ^{2}+\beta -1.\end{aligned}}}$$

のために${\displaystyle \lambda <1}$、${\displaystyle \beta =0}$は局所最適解です。${\displaystyle \lambda =0}$の場合、問題は実際には線形であり、この方法は 1 回の反復で最適解を見つけます。|λ| < 1 の場合、この方法は線形に収束し、誤差は反復ごとに |λ| 倍で漸近的に減少します。ただし、|λ| > 1 の場合、この方法は局所的にも収束しません。^{[ 8 ]}

ガウス・ニュートン反復法 $${\displaystyle \mathbf {x} ^{(k+1)}=\mathbf {x} ^{(k)}-J(\mathbf {x} ^{(k)})^{\dagger }\mathbf {f} (\mathbf {x} ^{(k)})\,,\quad k=0,1,\ldots }$$は、以下の形式の過剰決定方程式系 を解くための効果的な方法です。 ${\displaystyle \mathbf {f} (\mathbf {x} )=\mathbf {0} }$と $${\displaystyle \mathbf {f} (\mathbf {x} )={\begin{bmatrix}f_{1}(x_{1},\ldots ,x_{n})\\\vdots \\f_{m}(x_{1},\ldots ,x_{n})\end{bmatrix}}}$$ そして${\displaystyle m>n}$どこ${\displaystyle J(\mathbf {x} )^{\dagger }}$は、ヤコビ行列のムーア・ペンローズ逆行列（擬似逆行列とも呼ばれる）である。${\displaystyle J(\mathbf {x} )}$の${\displaystyle \mathbf {f} (\mathbf {x} )}$これはニュートン法の拡張と見なすことができ、孤立した正則解に向かって同じ局所的な二次収束性を持つ^{[ 4 ] 。}

解が存在しない場合でも、最初の反復が${\displaystyle \mathbf {x} ^{(0)}}$ある点に近い${\displaystyle {\hat {\mathbf {x} }}=({\hat {x}}_{1},\ldots ,{\hat {x}}_{n})}$平方和が${\textstyle \sum _{i=1}^{m}|f_{i}(x_{1},\ldots ,x_{n})|^{2}\equiv \|\mathbf {f} (\mathbf {x} )\|_{2}^{2}}$が小さな局所最小値に達すると、ガウス・ニュートン反復は線形収束して${\displaystyle {\hat {\mathbf {x} }}}$要点${\displaystyle {\hat {\mathbf {x} }}}$これはしばしば、過剰決定系の最小二乗解と呼ばれる。

以下では、関数最適化のためのニュートン法から近似法を用いてガウス・ニュートン法を導出します。その結果、ガウス・ニュートン法の収束速度は、特定の正則条件の下では二次関数的になります。一般に（より弱い条件の下では）、収束速度は線形です。^{[ 9 ]}

パラメータ関数Sを最小化するためのニュートン法の漸化式${\displaystyle {\boldsymbol {\beta }}}$は $${\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}-\mathbf {H} ^{-1}\mathbf {g} ,}$$

ここで、gはSの勾配ベクトルを表し、HはSのヘッセ行列を表す。

以来${\textstyle S=\sum _{i=1}^{m}r_{i}^{2}}$勾配は次のように与えられる。 $${\displaystyle g_{j}=2\sum _{i=1}^{m}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}.}$$

ヘッセ行列の要素は、勾配要素を微分することによって計算されます。${\displaystyle g_{j}}$、 に関して${\displaystyle \beta _{k}}$: $${\displaystyle H_{jk}=2\sum _{i=1}^{m}\left({\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}+r_{i}{\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \beta _{k}}}\right).}$$

ガウス・ニュートン法は、2次導関数項（この式の2番目の項）を無視することによって得られます。つまり、ヘッセ行列は次のように近似されます。 $${\displaystyle H_{jk}\approx 2\sum _{i=1}^{m}J_{ij}J_{ik},}$$

どこ${\textstyle J_{ij}={\partial r_{i}}/{\partial \beta _{j}}}$はヤコビ行列J _rのエントリです。正確なヘッセ行列が正確な近似値の近くで評価されると、ほぼゼロになることに注意してください。${\displaystyle r_{i}}$したがって、第2項もほぼゼロになり、近似が正当化されます。勾配と近似ヘッセ行列は、行列表記で次のように表すことができます。 $${\displaystyle \mathbf {g} =2{\mathbf {J} _{\mathbf {r} }}^{\operatorname {T} }\mathbf {r} ,\quad \mathbf {H} \approx 2{\mathbf {J} _{\mathbf {r} }}^{\operatorname {T} }\mathbf {J_{r}} .}$$

これらの式を上記の漸化式に代入すると、演算方程式が得られます。 $${\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}+\Delta$$ ;\quad \Delta =-\left(\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {J_{r}} \right)^{-1}\mathbf {J_{r}} ^{\operatorname {T} }\mathbf {r} .}

ガウス・ニュートン法の収束は、すべての場合において保証されるわけではありません。近似 $${\displaystyle \left|r_{i}{\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \beta _{k}}}\right|\ll \left|{\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}\right|}$$

2次導関数項を無視するためには、収束が期待される2つのケースで有効である可能性がある。^{[ 10 ]}

1. 関数値${\displaystyle r_{i}}$少なくとも最小値付近では、その規模は小さい。
2. これらの関数は「わずかに」非線形であるため、${\textstyle {\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \beta _{k}}}}$規模は比較的小さい。

ガウス・ニュートン法では、残差の二乗和Sは反復ごとに減少しない可能性があります。ただし、Δは降下方向であるため、${\displaystyle S\left({\boldsymbol {\beta }}^{s}\right)}$静止点であるならば、${\displaystyle S\left({\boldsymbol {\beta }}^{s}+\alpha \Delta \right)<S\left({\boldsymbol {\beta }}^{s}\right)}$十分に小さいすべての${\displaystyle \alpha >0}$したがって、発散が発生した場合の解決策の1つは、分数を用いることである。${\displaystyle \alpha }$更新式における増分ベクトルΔについて： $${\displaystyle {\boldsymbol {\beta }}^{s+1}={\boldsymbol {\beta }}^{s}+\alpha \Delta .}$$

言い換えれば、増分ベクトルは長すぎるが、それでも「下り坂」を指しているため、途中まで進むだけで目的関数Sが減少します。${\displaystyle \alpha }$線探索アルゴリズムを使用して見つけることができる、つまり、${\displaystyle \alpha }$は、通常、区間内で直接探索法を用いて、 Sを最小化する値を見つけることによって決定されます。${\displaystyle 0<\alpha <1}$または、Armijo線探索などのバックトラッキング線探索。通常、${\displaystyle \alpha }$は、ウルフ条件またはゴールドスタイン条件を満たすように選択されるべきである。^{[ 11 ]}

シフトベクトルの方向が最適分数 α がゼロに近い場合、発散を処理する代替方法として、信頼領域法であるレーベンバーグ・マルカート法が用いられる。^{[ 3 ]}正規方程式は、増分ベクトルが最急降下の方向に回転するように修正される。 $${\displaystyle \left(\mathbf {J^{\operatorname {T} }J+\lambda D} \right)\Delta =-\mathbf {J} ^{\operatorname {T} }\mathbf {r} ,}$$

ここで、Dは正の対角行列です。Dが単位行列Iである場合、${\displaystyle \lambda \to +\infty }$、 それから${\displaystyle \lambda \Delta =\lambda \left(\mathbf {J^{\operatorname {T} }J} +\lambda \mathbf {I} \right)^{-1}\left(-\mathbf {J} ^{\operatorname {T} }\mathbf {r} \right)=\left(\mathbf {I} -\mathbf {J^{\operatorname {T} }J} /\lambda +\cdots \right)\left(-\mathbf {J} ^{\operatorname {T} }\mathbf {r} \right)\to -\mathbf {J} ^{\operatorname {T} }\mathbf {r} }$したがって、 Δの方向は負の勾配の方向に近づく。${\displaystyle -\mathbf {J} ^{\operatorname {T} }\mathbf {r} }$。

いわゆるマルカートパラメータ${\displaystyle \lambda }$線探索によって最適化することもできますが、シフトベクトルを毎回再計算する必要があるため、これは非効率的です。${\displaystyle \lambda }$が変更されます。より効率的な戦略は次のとおりです。発散が発生した場合は、 Sが減少するまでマルカートパラメータを増加させます。その後、1 つの反復から次の反復に値を保持しますが、可能であればカットオフ値に達するまで減少させ、カットオフ値に達したらマルカートパラメータをゼロに設定します。すると、 Sの最小化は標準的なガウス・ニュートン法による最小化になります。

大規模最適化の場合、ガウス・ニュートン法は特に興味深い。なぜなら、行列が${\displaystyle \mathbf {J} _{\mathbf {r} }}$近似ヘッセ行列よりも疎である${\displaystyle \mathbf {J} _{\mathbf {r} }^{\operatorname {T} }\mathbf {J_{r}} }$このような場合、ステップ計算自体は、共役勾配法など、大規模で疎な問題に適した近似反復法を用いて行う必要があるのが一般的です。

この種のアプローチを機能させるには、少なくとも積を計算するための効率的な方法が必要である。 $${\displaystyle {\mathbf {J} _{\mathbf {r} }}^{\operatorname {T} }\mathbf {J_{r}} \mathbf {p} }$$

あるベクトルpに対して。疎行列ストレージでは、一般的に、行を格納することが実用的です。${\displaystyle \mathbf {J} _{\mathbf {r} }}$圧縮形式（例えば、ゼロエントリなし）では、転置のため上記の積を直接計算するのは困難です。ただし、c _{i を}行列のi行目と定義すれば${\displaystyle \mathbf {J} _{\mathbf {r} }}$次のような単純な関係が成り立つ。 $${\displaystyle {\mathbf {J} _{\mathbf {r} }}^{\operatorname {T} }\mathbf {J_{r}} \mathbf {p} =\sum _{i}\mathbf {c} _{i}\left(\mathbf {c} _{i}\cdot \mathbf {p} \right),}$$

これにより、各行が積に加算的かつ独立して寄与します。実用的な疎なストレージ構造を尊重するだけでなく、この式は並列計算にも適しています。各行c _iは対応する残差r _iの勾配であることに注意してください。この点を考慮すると、上記の式は残差が互いに独立して問題に寄与するという事実を強調しています。

デイビドン、フレッチャー、パウエルによる方法やブロイデン・フレッチャー・ゴールドファーブ・シャノ（BFGS法）のような準ニュートン法では、完全なヘッセ行列の推定値${\textstyle {\frac {\partial ^{2}S}{\partial \beta _{j}\partial \beta _{k}}}}$1階微分を用いて数値的に構築される${\textstyle {\frac {\partial r_{i}}{\partial \beta _{j}}}}$これは、 n回の改良サイクル後に、この手法が性能面でニュートン法に非常に近いものとなるようにするためである。なお、準ニュートン法は一般的な実数値関数を最小化できるのに対し、ガウス・ニュートン法、レーベンバーグ・マルカート法などは非線形最小二乗問題にしか適用できないことに注意されたい。

最小化問題を解く別の方法として、一次導関数のみを用いる勾配降下法がある。しかし、この方法は二次導関数を近似的にさえ考慮しない。そのため、多くの関数、特にパラメータ間に強い相互作用がある場合には、非常に非効率的である。

• ビョルク、A. (1996).最小二乗問題の数値解法. SIAM、フィラデルフィア。ISBN 0-89871-360-9。
• フレッチャー、ロジャー（1987）。最適化の実践的方法（第2 版）。ニューヨーク：ジョン・ワイリー・アンド・サンズ。ISBN 978-0-471-91547-8。。
• ノセダル、ホルヘ；ライト、スティーブン（1999）。数値最適化。ニューヨーク：スプリンガー。ISBN 0-387-98793-2。{{cite book}}: CS1メンテナンス: パブリッシャーの場所 (リンク)

• 確率、統計、推定 アルゴリズムは詳細に説明され、この記事で例として取り上げられている生物学実験に適用されます（推定値の不確実性については84ページを参照）。