非線形最小二乗法

非線形最小二乗法は、最小二乗分析の一種で、m 個の観測値のセットを、 n 個の未知のパラメータ（m  ≥  n ）について非線形なモデルに当てはめるために使用される。これは、非線形回帰のいくつかの形式で使用される。この方法の基本は、モデルを線形モデルで近似し、連続的な反復によってパラメータを改良することである。線形最小二乗法との類似点が多いが、重要な相違点もいくつかある。経済理論では、非線形最小二乗法は、（i）プロビット回帰、（ii）閾値回帰、（iii）平滑回帰、（iv）ロジスティックリンク回帰、（v）Box–Cox変換された回帰変数（）に適用される。 ${\displaystyle m(x,\theta _{i})=\theta _{1}+\theta _{2}x^{(\theta _{3})}}$

データポイントの集合と、変数に加えてパラメータにも依存する曲線（モデル関数）を考えてみましょう。与えられたデータに最小二乗の意味で曲線が最もよく適合する、つまり二乗和が最小になるようなパラメータのベクトルを見つけることが望まれます。 ここで、 残差（サンプル内予測誤差）r _{i は} 次のように与えられます。 ${\displaystyle m}$${\displaystyle (x_{1},y_{1}),(x_{2},y_{2}),\dots ,(x_{m},y_{m}),}$${\displaystyle {\hat {y}}=f(x,{\boldsymbol {\beta }}),}$${\displaystyle x}$${\displaystyle n}$${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}$${\displaystyle m\geq n.}$${\displaystyle {\boldsymbol {\beta }}}$$${\displaystyle S=\sum _{i=1}^{m}r_{i}^{2}}$$$${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})}$$${\displaystyle i=1,2,\dots ,m.}$

Sの最小値は勾配がゼロのときに発生します。モデルにはn 個のパラメータが含まれているため、勾配方程式はn個あります。 $${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0\quad (j=1,\ldots ,n).}$$

非線形システムでは、導関数は独立変数とパラメータの両方の関数であるため、一般にこれらの勾配方程式には閉じた解はありません。代わりに、パラメータの初期値を選択する必要があります。次に、パラメータは反復的に調整されます。つまり、値は逐次近似によって得られます。 ${\textstyle {\frac {\partial r_{i}}{\partial \beta _{j}}}}$$${\displaystyle \beta _{j}\approx \beta _{j}^{k+1}=\beta _{j}^{k}+\Delta \beta _{j}.}$$

ここで、k は反復回数であり、増分のベクトルはシフトベクトルとして知られています。各反復で、モデルは に関する一次テイラー多項式展開に近似して線形化されます。 ヤコビ行列Jは定数、独立変数、およびパラメータの関数であるため、反復ごとに変化します。したがって、線形化モデルでは、 残差は次のように表されます 。${\displaystyle \Delta {\boldsymbol {\beta }}}$${\displaystyle {\boldsymbol {\beta }}^{k}}$ $${\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta _{j}}}\left(\beta _{j}-\beta _{j}^{k}\right)=f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}J_{ij}\,\Delta \beta _{j}.}$$$${\displaystyle {\frac {\partial r_{i}}{\partial \beta _{j}}}=-J_{ij}}$$$${\displaystyle \Delta y_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k}),}$$ $${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})=\left(y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k})\right)+\left(f(x_{i},{\boldsymbol {\beta }}^{k})-f(x_{i},{\boldsymbol {\beta }})\right)\approx \Delta y_{i}-\sum _{s=1}^{n}J_{is}\Delta \beta _{s}.}$$

これらの式を勾配方程式に代入すると、次の式となり 、これを整理するとn個の連立一次方程式となり、正規方程式は$${\displaystyle -2\sum _{i=1}^{m}J_{ij}\left(\Delta y_{i}-\sum _{s=1}^{n}J_{is}\ \Delta \beta _{s}\right)=0,}$$ $${\displaystyle \sum _{i=1}^{m}\sum _{s=1}^{n}J_{ij}J_{is}\ \Delta \beta _{s}=\sum _{i=1}^{m}J_{ij}\ \Delta y_{i}\qquad (j=1,\dots ,n).}$$

正規方程式は行列表記で次のように表される。 $${\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\ \Delta \mathbf {y} .}$$

これらの方程式は、非線形最小二乗問題に対する ガウス・ニュートン法の基礎となります。

導関数に関するヤコビ行列の定義における符号規則に注意してください。 の線形式は、他の記事や文献では の係数とともに登場する場合があります。${\displaystyle J}$${\displaystyle -1}$

観測値が同等に信頼できない場合、重み付け二乗和を最小化することができる。 $${\displaystyle S=\sum _{i=1}^{m}W_{ii}r_{i}^{2}.}$$

対角重み行列Wの各要素は、理想的には、測定誤差分散の逆数に等しくなければならない。 ^[1] 正規方程式は、より一般的には、 $${\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .}$$

線形最小二乗法では、目的関数Sはパラメータの 2 次関数です。 パラメータが 1 つしかない場合、そのパラメータに関するSのグラフは放物線になります。パラメータが 2 つ以上ある場合、任意のパラメータのペアに関するSの等高線は同心楕円になります(正規方程式行列が正定値であると仮定)。パラメータの最小値は楕円の中心にあります。一般的な目的関数の形状は、放物面楕円として記述できます。NLLSQ では、目的関数は、その最小値に近い領域でのみパラメータに関して 2 次関数であり、その領域では、切断されたテイラー級数がモデルの良い近似値になります。 パラメータ値が最適値から大きく異なるほど、等高線は楕円形から大きく外れます。この結果、初期パラメータ推定値は、その (未知の!) 最適値に可能な限り近くなる必要があります。また、ガウス・ニュートン法は目的関数がパラメータ内でほぼ 2 次である場合にのみ収束するため、発散がどのように発生するかについても説明します。 $${\displaystyle S=\sum _{i}W_{ii}\left(y_{i}-\sum _{j}X_{ij}\beta _{j}\right)^{2}}$$${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {WX} }$$${\displaystyle S\approx \sum _{i}W_{ii}\left(y_{i}-\sum _{j}J_{ij}\beta _{j}\right)^{2}}$$

悪条件や発散の問題の一部は、最適値に近い初期パラメータ推定値を見つけることで修正できます。これを行う良い方法は、コンピュータ シミュレーションです。観測データと計算データの両方が画面に表示されます。モデルのパラメータは、観測データと計算データの一致が適度に良好になるまで手動で調整されます。これは主観的な判断になりますが、非線形改良のための適切な開始点を見つけるには十分です。初期パラメータ推定値は、変換または線形化を使用して作成できます。さらに良いことに、確率的ファネル アルゴリズムなどの進化的アルゴリズムは、最適パラメータ推定値を囲む凸状の吸引域につながります。^{[引用が必要]} ランダム化とエリート主義を使用し、その後にニュートン法を使用するハイブリッド アルゴリズムは、有用で計算効率が高いことが示されています^{[引用が必要]}。

以下に説明する方法のいずれかを適用して解決策を見つけることができます。

収束の常識的な基準は、平方和が反復ごとに増加しないことである。しかし、この基準はさまざまな理由から実際には実装が難しいことが多い。有用な収束基準は、 値 0.0001 はいくぶん恣意的であり、変更する必要があるかもしれない。特に、実験誤差が大きい場合は、値を増やす必要があるかもしれない。代わりの基準は、 $${\displaystyle \left|{\frac {S^{k}-S^{k+1}}{S^{k}}}\right|<0.0001.}$$$${\displaystyle \left|{\frac {\Delta \beta _{j}}{\beta _{j}}}\right|<0.001,\qquad j=1,\dots ,n.}$$

ここでも、数値は多少恣意的です。0.001 は、各パラメータを 0.1% の精度に調整することを指定するのと同じです。これは、パラメータの最大相対標準偏差よりも小さい場合に妥当です。

ヤコビアンの要素の解析式を導出することが非常に困難、または不可能なモデルがあります。その場合、 および についてを 計算することで数値近似が得られます。増分 のサイズは、数値導関数が大きすぎることによる近似誤差や小さすぎることによる 丸め誤差が生じないように選択する必要があります。$${\displaystyle {\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\approx {\frac {\delta f(x_{i},{\boldsymbol {\beta }})}{\delta \beta _{j}}}}$$${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$${\displaystyle \beta _{j}}$${\displaystyle \beta _{j}+\delta \beta _{j}}$${\displaystyle \delta \beta _{j}}$

一部の情報は、加重最小二乗法ページの対応するセクションに記載されています。

複数の最小値はさまざまな状況で発生する可能性があります。その一部を以下に示します。

• パラメータは 2 以上の累乗になります。たとえば、高さが 、位置が 、高さの半分における幅が であるローレンツ曲線にデータを当てはめる場合、幅の半分には 2 つの解があり、目的関数に同じ最適値を与えます。$${\displaystyle f(x_{i},{\boldsymbol {\beta }})={\frac {\alpha }{1+\left({\frac {\gamma -x_{i}}{\beta }}\right)^{2}}}}$$${\displaystyle \alpha }$${\displaystyle \gamma }$${\displaystyle \beta }$${\displaystyle {\hat {\beta }}}$${\displaystyle -{\hat {\beta }}}$
• モデルの値を変更せずに、2 つのパラメータを交換することができます。簡単な例としては、モデルに 2 つのパラメータの積が含まれている場合が挙げられます。この場合、は と同じ値になります。${\displaystyle \alpha \beta }$${\displaystyle \beta \alpha }$
• パラメータは、 などの三角関数にあり、 で同一の値を持ちます。例については、Levenberg–Marquardt アルゴリズムを参照してください。${\displaystyle \sin \beta }$${\displaystyle {\hat {\beta }}+2n\pi }$

複数の最小値がすべて目的関数の値が等しいわけではありません。偽の最小値 (ローカル最小値とも呼ばれる) は、目的関数の値がいわゆるグローバル最小値の値よりも大きい場合に発生します。見つかった最小値がグローバル最小値であることを確実にするには、パラメータの初期値を大きく変えて改良を開始する必要があります。開始点に関係なく同じ最小値が見つかった場合、それがグローバル最小値である可能性が高くなります。

複数の最小値が存在する場合、重要な結果が起こります。目的関数は、2 つの最小値の間のどこかに最大値を持ちます。目的関数の最大値では、勾配が 0 で、降下の方向が一意に定まらないため、正規方程式行列は正定値ではありません。最大値に近い点 (パラメータ値のセット) からの改良は条件が悪くなるため、開始点としては避けるべきです。たとえば、ローレンツ曲線をフィッティングする場合、バンドの半値幅が 0 のとき、正規方程式行列は正定値ではありません。^[2]

非線形モデルは線形モデルに変換できる場合があります。このような近似は、たとえば、最良の推定値の近くで適用できることが多く、ほとんどの反復最小化アルゴリズムの基本仮定の1つです。線形近似が有効な場合、モデルは一般化最小二乗法による推論に直接使用でき、線形テンプレートフィット^[3]の方程式が適用されます。

線形近似のもう 1 つの例は、モデルが単純な指数関数である場合です 。この関数は 、対数を取ることで線形モデルに変換できます。 グラフィカルに表すと、これは片対数プロット での作業に相当します。平方和は次のようになります。 この手順は、誤差が乗法的で対数正規分布でない限り、誤解を招く結果をもたらす可能性があるため、使用しないでください。これは、 yの実験誤差が何であれ、 log yの誤差は異なるという事実に起因します。したがって、変換された平方和が最小化されると、パラメーター値と計算された標準偏差の両方に対して異なる結果が得られます。ただし、乗法的誤差が対数正規分布している場合は、この手順によって、偏りのない一貫性のあるパラメーター推定値が得られます。 $${\displaystyle f(x_{i},{\boldsymbol {\beta }})=\alpha e^{\beta x_{i}},}$$$${\displaystyle \log f(x_{i},{\boldsymbol {\beta }})=\log \alpha +\beta x_{i}}$$$${\displaystyle S=\sum _{i}(\log y_{i}-\log \alpha -\beta x_{i})^{2}.}$$

もう 1 つの例は、2 つのパラメータと を決定するために使用される、ミカエリス–メンテン動力学によって提供されます。 に対する の Lineweaver –Burk プロットは、パラメータ と に対して線形ですが、データ エラーに非常に敏感であり、独立変数 の特定の範囲にデータを適合させる方向に大きく偏っています。 ${\displaystyle V_{\max }}$${\displaystyle K_{m}}$$${\displaystyle v={\frac {V_{\max }[S]}{K_{m}+[S]}}.}$$ $${\displaystyle {\frac {1}{v}}={\frac {1}{V_{\max }}}+{\frac {K_{m}}{V_{\max }[S]}}}$$${\textstyle {\frac {1}{v}}}$${\textstyle {\frac {1}{[S]}}}$${\textstyle {\frac {1}{V_{\max }}}}$${\textstyle {\frac {K_{m}}{V_{\max }}}}$${\displaystyle [S]}$

正規方程式は、 線形最小二乗法で説明されているように、コレスキー分解によって 解くことができます。パラメータは反復的に更新されます。 ここで、kは反復回数です。この方法は単純なモデルには適しているかもしれませんが、発散が発生すると失敗します。したがって、発散に対する保護が不可欠です。 $${\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\left(\mathbf {J} ^{\mathsf {T}}\mathbf {W} \right)\Delta \mathbf {y} }$$${\displaystyle \Delta {\boldsymbol {\beta }}}$$${\displaystyle {\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+\Delta {\boldsymbol {\beta }}}$$

発散が生じた場合、単純な方法としては、シフトベクトルの長さを分数fだけ減らすことです。 たとえば、シフトベクトルの長さは、目的関数の新しい値が最後の反復での値よりも小さくなるまで、連続的に半分に減らすことができます。分数fは直線探索によって最適化できます。^[4] f の各試行値では目的関数を再計算する必要があるため、その値を厳密に最適化する価値はありません。 ${\displaystyle \Delta {\boldsymbol {\beta }}}$ $${\displaystyle {\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+f\ \Delta {\boldsymbol {\beta }}.}$$

シフトカットを使用する場合、シフトベクトルの方向は変化しません。これにより、シフトベクトルの方向が、目的関数がパラメータに関してほぼ2次関数である場合とあまり変わらない状況にのみ、この方法の適用範囲が制限されます。${\displaystyle {\boldsymbol {\beta }}^{k}.}$

発散が発生し、シフト ベクトルの方向が「理想的な」方向から大きく離れているためにシフト カットがあまり効果的でない場合、つまり発散を回避するために必要な割合fが非常に小さい場合は、方向を変更する必要があります。これは、 Marquardtパラメーターを使用して実現できます。^[5]この方法では、正規方程式が変更されます 。 ここで、は Marquardt パラメーター、Iは単位行列です。の値を増やすと、シフト ベクトルの方向と長さの両方が変わります。が最急降下ベクトルのとき、 シフト ベクトルは最急降下方向に向かって回転します。したがって、が非常に大きくなると、シフト ベクトルは最急降下ベクトルの小さな割合になります。 $${\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} +\lambda \mathbf {I} \right)\Delta {\boldsymbol {\beta }}=\left(\mathbf {J} ^{\mathsf {T}}\mathbf {W} \right)\Delta \mathbf {y} }$$${\displaystyle \lambda }$${\displaystyle \lambda }$$${\displaystyle \lambda \mathbf {I} \gg \mathbf {J} ^{\mathsf {T}}\mathbf {WJ} ,\ {\Delta {\boldsymbol {\beta }}}\approx {\frac {1}{\lambda }}\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .}$$ ${\displaystyle \mathbf {J} ^{\mathsf {T}}\mathbf {W} \,\Delta \mathbf {y} }$${\displaystyle \lambda }$

マルカートパラメータの決定には、さまざまな戦略が提案されている。シフトカットと同様に、このパラメータを厳密に最適化しすぎるのは無駄である。むしろ、目的関数の値の減少をもたらす値が見つかったら、そのパラメータの値は、可能であれば減少し、必要であれば増加して、次の反復に持ち越される。マルカートパラメータの値を減らす場合、カットオフ値があり、それ以下ではゼロに設定しても安全である。つまり、修正されていないガウス・ニュートン法を続行する。カットオフ値は、ヤコビアンの最小特異値に設定することができる。^{[6]この値の境界は、} trがトレース関数であることによって与えられる。^[7]${\displaystyle 1/\operatorname {tr} \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)^{-1}}$

平方和の最小値は、正規方程式を形成しない方法で見つけることができます。線形化モデルの残差は、次のように記述できます。 ヤコビアンは直交分解されます。QR分解は、このプロセスを説明するために役立ちます。 ここで、Qは直交行列、R はブロック、、およびゼロ ブロックに分割される行列です。は上三角です。 $${\displaystyle \mathbf {r} =\Delta \mathbf {y} -\mathbf {J} \,\Delta {\boldsymbol {\beta }}.}$$$${\displaystyle \mathbf {J} =\mathbf {QR} }$$ ${\displaystyle m\times m}$${\displaystyle m\times n}$${\displaystyle n\times n}$${\displaystyle \mathbf {R} _{n}}$${\displaystyle (m-n)\times n}$${\displaystyle \mathbf {R} _{n}}$

$${\displaystyle \mathbf {R} ={\begin{bmatrix}\mathbf {R} _{n}\\\mathbf {0} \end{bmatrix}}}$$

残差ベクトルは で左乗算されます。 ${\displaystyle \mathbf {Q} ^{\mathsf {T}}}$

$${\displaystyle \mathbf {Q} ^{\mathsf {T}}\mathbf {r} =\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} -\mathbf {R} \ \Delta {\boldsymbol {\beta }}={\begin{bmatrix}\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} -\mathbf {R} \ \Delta {\boldsymbol {\beta }}\right)_{n}\\\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{m-n}\end{bmatrix}}}$$

これは、 Qが直交しているため、平方和には影響しません。Sの最小値は、上側のブロックがゼロのときに達成されます。したがって、シフトベクトルは次のように解くことで求められます。 ${\displaystyle S=\mathbf {r} ^{\mathsf {T}}\mathbf {Q} \mathbf {Q} ^{\mathsf {T}}\mathbf {r} =\mathbf {r} ^{\mathsf {T}}\mathbf {r} }$$${\displaystyle \mathbf {R} _{n}\ \Delta {\boldsymbol {\beta }}=\left(\mathbf {Q} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{n}.}$$

R は上三角なので、これらの方程式は簡単に解けます。

直交分解法の変形として特異値分解があり、R はさらなる直交変換によって対角化されます。

$${\displaystyle \mathbf {J} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{\mathsf {T}}}$$ ここで は直交行列、は特異値の対角行列、 はの固有ベクトルの直交行列、または の右特異ベクトルと同義である。この場合、シフトベクトルは次のように与えられる。 ${\displaystyle \mathbf {U} }$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {J} ^{\mathsf {T}}\mathbf {J} }$${\displaystyle \mathbf {J} }$$${\displaystyle \Delta {\boldsymbol {\beta }}=\mathbf {V} {\boldsymbol {\Sigma }}^{-1}\left(\mathbf {U} ^{\mathsf {T}}\ \Delta \mathbf {y} \right)_{n}.}$$

この表現の相対的な単純さは、非線形最小二乗法の理論的解析に非常に有用である。特異値分解の応用については、ローソンとハンソンの論文で詳細に議論されている。^[6]

科学文献には、非線形データフィッティングの問題にさまざまな方法が使用されている例が数多くあります。

• モデル関数のテイラー級数展開に 2 次導関数を含める。これは最適化におけるニュートン法です。行列Hはヘッセ行列として知られています。このモデルは最小値に近いほど収束特性が優れていますが、パラメータが最適値から遠い場合は収束特性がはるかに悪くなります。ヘッセ行列の計算によりアルゴリズムが複雑になります。この方法は一般には使用されません。$${\displaystyle f(x_{i},{\boldsymbol {\beta }})=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}+{\frac {1}{2}}\sum _{j}\sum _{k}\Delta \beta _{j}\,\Delta \beta _{k}\,H_{jk_{(i)}},\ H_{jk_{(i)}}={\frac {\partial ^{2}f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}\,\partial \beta _{k}}}.}$$
• Davidon-Fletcher-Powell 法。擬似ニュートン法の一種であるこの方法は、上記の方法と似ていますが、2 次導関数に解析式を使用する必要がないように、逐次近似によってヘッセ行列を計算します。
• 最急降下法。シフト ベクトルが最急降下の方向を指している場合は二乗和の減少が保証されますが、この方法は多くの場合パフォーマンスが悪くなります。パラメータ値が最適からかけ離れている場合、目的関数の輪郭に垂直な最急降下ベクトルの方向は、ガウス - ニュートン ベクトルの方向とは大きく異なります。これにより、特に最急降下方向に沿った最小値が最急降下ベクトルの長さの小さな部分に対応する可能性があるため、発散の可能性が高くなります。パラメータ間の相関が高いために目的関数の輪郭が非常に偏っている場合、シフト カットによる最急降下反復は、最小値に向かってゆっくりとしたジグザグの軌跡をたどります。
• 共役勾配探索。これは最急降下法をベースとした改良法で、理論的な収束特性は良好だが、有限精度のデジタルコンピュータでは二次方程式の問題に使用しても失敗する可能性がある。^[8]

直接探索法は、さまざまなパラメータ値での目的関数の評価に依存し、導関数をまったく使用しません。ガウス・ニュートン法や勾配法における数値導関数の使用に代わる方法です。

• 交互変数探索。^[4]各パラメータは、固定または可変の増分を追加することで順番に変更され、平方和の減少をもたらす値を保持します。この方法は、パラメータの相関が高くない場合は単純かつ効果的です。収束特性は非常に悪いですが、初期のパラメータ推定値を見つけるのに役立つ場合があります。
• ネルダー・ミード（単体）探索。この場合の単体とは、 n次元のn  + 1 頂点の多面体、つまり平面上の三角形、3 次元空間の四面体などです。各頂点は、特定のパラメータ セットの目的関数の値に対応します。単体の形状とサイズは、最も高い頂点の目的関数の値が常に減少するようにパラメータを変更することで調整されます。平方和は最初は急速に減少するかもしれませんが、MJD Powell の例のように、準凸問題では非定常点に収束することがあります。

これらの方法やその他の方法のより詳細な説明は、さまざまな言語のコンピュータ コードとともに Numerical Recipesで参照できます。

• 最小二乗サポートベクターマシン
• 曲線フィッティング
• グレーボックスモデル
• 非線形計画法
• 非線形回帰
• 最適化（数学）
• レーベンバーグ・マルカートアルゴリズム

• Kelley, CT (1999)。最適化のための反復法(PDF)。SIAM Frontiers in Applied Mathematics。第 18 巻。ISBN 0-89871-433-8。 {{cite book}}:|volume=追加のテキストがあります (ヘルプ)
• Strutz, T. (2016).データフィッティングと不確実性: 加重最小二乗法とその先への実践的入門(第 2 版). Springer Vieweg. ISBN 978-3-658-11455-8。