正規化（数学）

数学、統計学、金融^[1]、コンピュータサイエンス、特に機械学習や逆問題において、正則化は問題の答えをより単純なものに変換するプロセスです。これは、不適切問題を解く場合や過剰適合を防ぐためによく使用されます。^[2]

正規化手順はさまざまな方法で分割できますが、次の説明が特に役立ちます。

• 明示的正則化とは、最適化問題に明示的に項を追加する場合の正則化です。これらの項は、事前条件、ペナルティ、または制約です。明示的正則化は、不適切設定の最適化問題でよく使用されます。正則化項、またはペナルティは、最適なソリューションを一意にするために、最適化関数にコストを課します。
• 暗黙的正則化は、他のすべての形式の正則化です。これには、たとえば、早期停止、堅牢な損失関数の使用、外れ値の破棄が含まれます。暗黙的正則化は、ディープ ニューラル ネットワークをトレーニングするための確率的勾配降下法や、アンサンブル法(ランダム フォレストや勾配ブースティング ツリーなど) を含む、現代の機械学習アプローチで基本的に広く使用されています。

明示的な正則化では、問題やモデルに関係なく、測定の尤度に対応するデータ項と事前に対応する正則化項が常に存在します。ベイズ統計を使用して両方を組み合わせると、両方の情報ソースを含む事後分布を計算できるため、推定プロセスが安定します。両方の目的をトレードオフすることで、データにさらに合わせるか、正則化を強制するか (過剰適合を防ぐため) を選択します。すべての可能な正則化を扱う研究分野があります。実際には、通常、特定の正則化を試してから、その正則化に対応する確率密度を計算して選択を正当化します。常識や直感によって物理的に動機付けられる場合もあります。

機械学習では、データ項はトレーニングデータに対応し、正則化はモデルの選択またはアルゴリズムの修正のいずれかです。これは常に、一般化誤差、つまりトレーニングデータではなく評価セットでのトレーニング済みモデルの誤差スコアを減らすことを目的としています。^[3]

正規化の最も初期の使用法の 1 つは、最小二乗法に関連する Tikhonov 正規化(リッジ回帰) です。

機械学習における重要な課題は、モデルが既知のトレーニングデータだけでなく、未知のデータでも結果を正確に予測できるようにすることです。正則化は、モデルがトレーニングデータの詳細を記憶しても新しいデータに一般化できない過剰適合に対処するために重要です。正則化の目的は、モデルがデータを記憶するのではなく、データ内のより広範なパターンを学習するように促すことです。早期停止、L1およびL2正則化、ドロップアウトなどの手法は、過剰適合と不足適合を防ぐように設計されており、それによってモデルが新しいデータに適応して適切に機能する能力が向上し、モデルの一般化が向上します。^[4]

検証パフォーマンスが低下したときにトレーニングを停止し、モデルがトレーニングデータを記憶する前に停止することで過剰適合を防ぎます。^[4]

複雑なモデルを回避するためにコスト関数にペナルティ項を追加します。

• L1 正則化( LASSOとも呼ばれる) は、係数の絶対値に基づいてペナルティを追加することでスパース モデルを実現します。
• L2正則化（リッジ回帰とも呼ばれる）は、係数の二乗に基づいてペナルティを追加することで、より小さく、より均等に分散された重みを推奨します。^[4]

ニューラルネットワークの文脈では、ドロップアウト技術はトレーニング中にニューロンのランダムなサブセットを繰り返し無視し、複数のニューラルネットワークアーキテクチャのトレーニングを一度にシミュレートして一般化を向上させます。^[4]

分類器の経験的学習（有限データセットから）は、与えられた例のみの関数を推論しようとするため、常に未決定問題です。 ${\displaystyle x}$${\displaystyle x_{1},x_{2},\dots ,x_{n}}$

正則化項（またはレギュラライザー）は損失関数に追加されます。 ここで は、平方損失やヒンジ損失などの、ラベル が である場合を予測するコストを記述する基礎損失関数です。 は、正則化項の重要性を制御するパラメーターです。は通常、 の複雑性にペナルティを課すために選択されます。使用される複雑性の具体的な概念には、滑らかさの制限とベクトル空間ノルムの境界が含まれます。^{[5] [ページが必要]}${\displaystyle R(f)}$$${\displaystyle \min _{f}\sum _{i=1}^{n}V(f(x_{i}),y_{i})+\lambda R(f)}$$${\displaystyle V}$${\displaystyle f(x)}$${\displaystyle y}$${\displaystyle \lambda}$${\displaystyle R(f)}$${\displaystyle f}$

正規化の理論的根拠は、オッカムの剃刀を解に課そうとすることである（上の図に示されているように、より単純な緑色の関数が好まれる可能性がある）。ベイズの観点から見ると、多くの正規化手法は、モデルパラメータに特定の事前分布を課すことに相当する。^[6]

正規化は、より単純なモデルの学習、モデルのスパース化の誘導、学習問題への グループ構造^{[明確化が必要]}の導入など、複数の目的に役立ちます。

同じ考え方が科学の多くの分野で生まれました。積分方程式に適用される単純な形式の正則化(チホノフ正則化) は、本質的にはデータのフィッティングと解のノルムの削減との間のトレードオフです。最近では、全変分正則化などの非線形正則化手法が普及してきました。

正規化は、学習したモデルの一般化可能性を向上させる手法として考えられます。

この学習問題の目的は、すべての可能な入力とラベルに対して予想される誤差を最小化する結果 (ラベル) に適合または予測する関数を見つけることです。関数の予想される誤差は次のとおりです。 ここで、 と はそれぞれ入力データのドメインとそのラベルです。 ${\displaystyle f_{n}}$$${\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy}$$${\displaystyle X}$${\displaystyle Y}$${\displaystyle x}$${\displaystyle y}$

通常、学習の問題では、入力データとラベルのサブセットのみが利用可能であり、ノイズを伴って測定されます。したがって、期待される誤差は測定不可能であり、利用可能な最良の代替は、利用可能なサンプルの経験的誤差です。 利用可能な 関数空間（正式には、再生カーネルヒルベルト空間）の複雑さに制限がなければ、代替経験的誤差で損失がゼロになるモデルが学習されます。測定（ など）がノイズ付きで行われた場合、このモデルは過剰適合の影響を受け、期待される誤差が悪くなる可能性があります。正則化により、モデルの構築に使用される関数空間の特定の領域を探索するためのペナルティが導入され、一般化が向上する可能性があります。 ${\displaystyle N}$$${\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})}$$${\displaystyle x_{i}}$

これらの手法は、積分方程式に正則化を適用し、他の多くの分野で重要な貢献をしたAndrey Nikolayevich Tikhonovにちなんで名付けられました。

となる未知のベクトルによって特徴付けられる線形関数 を学習する場合、より小さいノルムを持つ解を優先するために、ベクトルの -ノルムを損失式に追加することができます。 チホノフ正規化は、最も一般的な形式の 1 つです。 リッジ回帰とも呼ばれます。 次のように表されます。 ここで、 はトレーニングに使用されるサンプルを表します。 ${\displaystyle f}$ ${\displaystyle w}$${\displaystyle f(x)=w\cdot x}$${\displaystyle L_{2}}$${\displaystyle w}$$${\displaystyle \min _{w}\sum _{i=1}^{n}V({\hat {x}}_{i}\cdot w,{\hat {y}}_{i})+\lambda \left\|w\right\|_{2}^{2},}$$${\displaystyle ({\hat {x}}_{i},{\hat {y}}_{i}),\,1\leq i\leq n,}$

一般関数の場合、その再生核ヒルベルト空間における関数のノルムは次のようになります。 $${\displaystyle \min _{f}\sum _{i=1}^{n}V(f({\hat {x}}_{i}),{\hat {y}}_{i})+\lambda \left\|f\right\|_{\mathcal {H}}^{2}}$$

ノルムは微分可能であるため、勾配降下法によって学習を進めることができます。 ${\displaystyle L_{2}}$

最小二乗損失関数と Tikhonov 正則化による学習問題は解析的に解くことができます。行列形式で記述すると、最適値は に対する損失関数の勾配が0 となる 値です。ここで、3 番目のステートメントは1 次条件 です。 ${\displaystyle w}$${\displaystyle w}$$${\displaystyle \min _{w}{\frac {1}{n}}\left({\hat {X}}w-Y\right)^{\mathsf {T}}\left({\hat {X}}w-Y\right)+\lambda \left\|w\right\|_{2}^{2}}$$ $${\displaystyle \nabla _{w}={\frac {2}{n}}{\hat {X}}^{\mathsf {T}}\left({\hat {X}}w-Y\right)+2\lambda w}$$ $${\displaystyle 0={\hat {X}}^{\mathsf {T}}\left({\hat {X}}w-Y\right)+n\lambda w}$$$${\displaystyle w=\left({\hat {X}}^{\mathsf {T}}{\hat {X}}+\lambda nI\right)^{-1}\left({\hat {X}}^{\mathsf {T}}Y\right)}$$

最適化問題の構築により、 の他の値は損失関数に対してより大きな値を与えます。これは、2 番目の導関数を調べることによって確認できます。 ${\displaystyle w}$ ${\displaystyle \nabla _{ww}}$

このアルゴリズムのトレーニングには時間がかかります。項はそれぞれ逆行列と計算に対応します。テストには時間がかかります。 ${\displaystyle O(d^{3}+nd^{2})}$ ${\displaystyle X^{\mathsf {T}}X}$${\displaystyle O(nd)}$

早期停止は、時間に関する正規化と見なすことができます。直感的には、勾配降下法などのトレーニング手順は、反復回数が増えるにつれて、より複雑な関数を学習する傾向があります。時間に関する正規化によって、モデルの複雑さを制御でき、一般化が向上します。

早期停止は、トレーニング用に 1 つのデータ セット、検証用に 1 つの統計的に独立したデータ セット、およびテスト用に別のデータ セットを使用して実装されます。モデルは、検証セットのパフォーマンスが向上しなくなるまでトレーニングされ、その後テスト セットに適用されます。

可逆行列Aのノイマン級数の有限近似を考えます。 ここで、${\displaystyle \left\|I-A\right\|<1}$$${\displaystyle \sum _{i=0}^{T-1}\left(I-A\right)^{i}\approx A^{-1}}$$

γを導入してノルムが 1 未満になるようにすると、 これを使用して非正規化最小二乗法の解析解を近似できます。$${\displaystyle w_{T}={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}}$$

正規化されていない最小二乗学習問題に対する正確な解は、経験的誤差を最小限に抑えますが、失敗する可能性があります。上記のアルゴリズムで唯一の自由パラメータであるT を制限することにより、問題は時間に対して正規化され、一般化が向上する可能性があります。

上記のアルゴリズムは、勾配降下法の更新によって 経験的リスクの勾配降下法の反復回数を制限することと同等です 。$${\displaystyle I_{s}[w]={\frac {1}{2n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|_{\mathbb {R} ^{n}}^{2}}$$$${\displaystyle {\begin{aligned}w_{0}&=0\\[1ex]w_{t+1}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)w_{t}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

基本ケースは簡単です。帰納的ケースは次のように証明されます。 $${\displaystyle {\begin{aligned}w_{T}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right){\frac {\gamma }{n}}\sum _{i=0}^{T-2}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=1}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

次元を持つ辞書が与えられ、関数空間内の関数が次のように表現できると仮定します。 ${\displaystyle \phi _{j}}$${\displaystyle p}$$${\displaystyle f(x)=\sum _{j=1}^{p}\phi _{j}(x)w_{j}}$$

にスパース制約を適用すると、より単純で解釈しやすいモデルを作成できます。これは、計算生物学などの多くの実際のアプリケーションで役立ちます。一例として、医療検査のコストを最小限に抑えながら予測力を最大化するために、病気の簡単な予測検査を開発することが挙げられます。 ${\displaystyle w}$

妥当なスパース制約はノルムであり、これは 内の非ゼロ要素の数として定義されます。しかし、正規化された学習問題を解くことはNP困難であることが実証されています。^[7]${\displaystyle L_{0}}$ ${\displaystyle \|w\|_{0}}$${\displaystyle w}$${\displaystyle L_{0}}$

ノルム(ノルムも参照)は、凸緩和によって最適ノルムを近似するために使用できます。ノルムによってスパース性が誘発されることが示されます。最小二乗の場合、この問題は統計学ではLASSO、信号処理では基底追求として知られています。 ${\displaystyle L_{1}}$${\displaystyle L_{0}}$${\displaystyle L_{1}}$$${\displaystyle \min _{w\in \mathbb {R} ^{p}}{\frac {1}{n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|^{2}+\lambda \left\|w\right\|_{1}}$$

${\displaystyle L_{1}}$正則化によって、一意でない解が生成される場合があります。図には、可能な解の空間が 45 度の線上にある場合の簡単な例が示されています。これは、特定のアプリケーションでは問題になる可能性があり、次の形式をとる弾性ネット正則化で正則化と組み合わせることで克服できます。 ${\displaystyle L_{1}}$${\displaystyle L_{2}}$$${\displaystyle \min _{w\in \mathbb {R} ^{p}}{\frac {1}{n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|^{2}+\lambda \left(\alpha \left\|w\right\|_{1}+(1-\alpha )\left\|w\right\|_{2}^{2}\right),\alpha \in [0,1]}$$

弾性ネット正則化はグループ化効果を持つ傾向があり、相関する入力機能には等しい重みが割り当てられます。

弾性ネット正則化は実際によく使用されており、多くの機械学習ライブラリに実装されています。

ノルムは NP 困難な問題にはなりませんが、ノルムは凸ですが、x = 0 でのキンクにより厳密に微分可能ではありません。サブ微分に依存するサブグラディエント法は、正規化された学習問題を解決するために使用できます。ただし、近似法を使用すると、より高速な収束を実現できます。 ${\displaystyle L_{1}}$${\displaystyle L_{1}}$${\displaystyle L_{1}}$

が凸、連続、微分可能で、リプシッツ連続勾配（最小二乗損失関数など）を持ち、が凸、連続、かつ適切な問題の場合、問題を解く近似法は次のようになります。まず近似演算子を定義し 、次に反復します 。${\displaystyle \min _{w\in H}F(w)+R(w)}$${\displaystyle F}$${\displaystyle R}$ $${\displaystyle \operatorname {prox} _{R}(v)=\mathop {\operatorname {argmin} } _{w\in \mathbb {R} ^{D}}\left\{R(w)+{\frac {1}{2}}\left\|w-v\right\|^{2}\right\},}$$$${\displaystyle w_{k+1}=\mathop {\operatorname {prox} } _{\gamma ,R}\left(w_{k}-\gamma \nabla F(w_{k})\right)}$$

近似法は、勾配降下法を反復的に実行し、その結果を によって許可された空間に投影し戻します。 ${\displaystyle R}$

がL ₁正則化子である場合、近似演算子はソフト閾値演算子と同等であり、 ${\displaystyle R}$$${\displaystyle S_{\lambda }(v)f(n)={\begin{cases}v_{i}-\lambda ,&{\text{if }}v_{i}>\lambda \\0,&{\text{if }}v_{i}\in [-\lambda ,\lambda ]\\v_{i}+\lambda ,&{\text{if }}v_{i}<-\lambda \end{cases}}}$$

これにより、効率的な計算が可能になります。

特徴のグループはスパース制約によって正規化することができ、これは特定の事前知識を最適化問題に表現するのに役立ちます。

重複しない既知のグループを持つ線形モデルの場合、正規化子を 次のように定義できる。$${\displaystyle R(w)=\sum _{g=1}^{G}\left\|w_{g}\right\|_{2},}$$$${\displaystyle \|w_{g}\|_{2}={\sqrt {\sum _{j=1}^{|G_{g}|}\left(w_{g}^{j}\right)^{2}}}}$$

これは、各グループのメンバーの規範に対する正規化子を誘導し、続いてグループの規範を誘導するものと見ることができます。 ${\displaystyle L_{2}}$${\displaystyle L_{1}}$

これは近似法によって解決できます。近似演算子はブロック単位のソフトしきい値関数です。

$${\displaystyle \operatorname {prox} \limits _{\lambda ,R,g}(w_{g})={\begin{cases}\left(1-{\dfrac {\lambda }{\left\|w_{g}\right\|_{2}}}\right)w_{g},&{\text{if }}\left\|w_{g}\right\|_{2}>\lambda \\[1ex]0,&{\text{if }}\|w_{g}\|_{2}\leq \lambda \end{cases}}}$$

重複のないグループのスパース性について説明したアルゴリズムは、特定の状況でグループが重複する場合にも適用できます。その結果、すべての要素がゼロのグループと、一部が非ゼロで一部がゼロのグループが発生する可能性があります。

グループ構造を保持したい場合は、新しい正規化子を定義できます。 $${\displaystyle R(w)=\inf \left\{\sum _{g=1}^{G}\|w_{g}\|_{2}:w=\sum _{g=1}^{G}{\bar {w}}_{g}\right\}}$$

各 に対して、 は、のグループへの制限が に等しく、 の他のすべての要素がゼロであるようなベクトルとして定義されます。正則化子は、 の部分への最適な分解を見つけます。これは、複数のグループに存在するすべての要素を複製するものと見なすことができます。この正則化子を使用した学習問題は、複雑な近似法を使用して解決することもできます。近似演算子は閉じた形式では計算できませんが、近似法の反復内で内部反復を誘導することで、効果的に反復的に解決できます。 ${\displaystyle w_{g}}$${\displaystyle {\bar {w}}_{g}}$${\displaystyle {\bar {w}}_{g}}$${\displaystyle g}$${\displaystyle w_{g}}$${\displaystyle {\bar {w}}_{g}}$${\displaystyle w}$

ラベルの収集が入力例の収集よりもコストがかかる場合、半教師あり学習が役立ちます。正規化子は、教師なしトレーニング サンプルの構造を尊重するモデルを学習するように学習アルゴリズムを導くように設計されています。対称重み行列が与えられている場合、正規化子を定義できます。 ${\displaystyle W}$$${\displaystyle R(f)=\sum _{i,j}w_{ij}\left(f(x_{i})-f(x_{j})\right)^{2}}$$

が点およびに対する何らかの距離メトリックの結果をエンコードする場合、 が望ましいです。 この正則化子は、この直感を捉えており、次と同等です。 ここで、 はによって誘導されるグラフのラプラシアン行列です。 ${\displaystyle W_{ij}}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle f(x_{i})\approx f(x_{j})}$$${\displaystyle R(f)={\bar {f}}^{\mathsf {T}}L{\bar {f}}}$$${\displaystyle L=D-W}$${\displaystyle W}$

制約がすべての教師ありサンプルに適用されれば、最適化問題は解析的に解くことができます。したがって、ベクトルのラベル部分は明らかです。 のラベルなし部分は次のように解かれます。 は と同じ範囲を持つ ため、擬似逆行列を取ることができます。 ${\displaystyle \min _{f\in \mathbb {R} ^{m}}R(f),m=u+l}$${\displaystyle f(x_{i})=y_{i}}$${\displaystyle f}$${\displaystyle f}$$${\displaystyle \min _{f_{u}\in \mathbb {R} ^{u}}f^{\mathsf {T}}Lf=\min _{f_{u}\in \mathbb {R} ^{u}}\left\{f_{u}^{\mathsf {T}}L_{uu}f_{u}+f_{l}^{\mathsf {T}}L_{lu}f_{u}+f_{u}^{\mathsf {T}}L_{ul}f_{l}\right\}}$$ $${\displaystyle \nabla _{f_{u}}=2L_{uu}f_{u}+2L_{ul}Y}$$ $${\displaystyle f_{u}=L_{uu}^{\dagger }\left(L_{ul}Y\right)}$$${\displaystyle L_{ul}}$${\displaystyle L_{uu}}$

マルチタスク学習の場合、それぞれが何らかの形で関連している問題が同時に検討されます。目標は、理想的にはタスクの関連性から強みを借りて、予測力のある関数を学習することです。これは、行列を学習することと同じです。 ${\displaystyle T}$${\displaystyle T}$${\displaystyle W:T\times D}$

$${\displaystyle R(w)=\sum _{i=1}^{D}\left\|W\right\|_{2,1}}$$

この正規化子は、各列に L2 ノルムを定義し、すべての列に L1 ノルムを定義します。これは近似法で解決できます。

$${\displaystyle R(w)=\left\|\sigma (W)\right\|_{1}}$$ここで、は の特異値分解における固有値です。 ${\displaystyle \sigma (W)}$${\displaystyle W}$

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t=1}^{T}\left\|f_{t}-{\frac {1}{T}}\sum _{s=1}^{T}f_{s}\right\|_{H_{k}}^{2}}$$

この正規化子は、各タスクで学習した関数が、すべてのタスクの関数の全体的な平均に類似するように制約します。これは、各タスクが他のタスクと共有することが予想される事前情報を表現するのに便利です。例としては、各タスクが個人を表す、1 日のさまざまな時間に測定された血中鉄分濃度の予測が挙げられます。

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{r=1}^{C}\sum _{t\in I(r)}\left\|f_{t}-{\frac {1}{I(r)}}\sum _{s\in I(r)}f_{s}\right\|_{H_{k}}^{2}}$$タスクのクラスターです 。${\displaystyle I(r)}$

この正則化は平均制約正則化に似ていますが、同じクラスター内のタスク間の類似性を強制します。これにより、より複雑な事前情報を取得できます。この手法は、Netflix の推奨事項を予測するために使用されています。クラスターは、同様の好みを共有する人々のグループに対応します。

上記よりも一般的には、タスク間の類似性は関数によって定義できます。正規化子は、モデルが類似のタスクに対して類似の関数を学習するように促します。 指定された対称類似性行列に対して。 $${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t,s=1,t\neq s}^{\mathsf {T}}\left\|f_{t}-f_{s}\right\|^{2}M_{ts}}$$ ${\displaystyle M}$

ベイズ学習法では、（通常）より複雑なモデルに低い確率を与える事前確率を利用します。よく知られているモデル選択手法には、赤池情報量基準（AIC）、最小記述長（MDL）、ベイズ情報量基準（BIC）などがあります。正規化を伴わない過剰適合を制御する代替方法としては、クロス検証があります。

さまざまな正規化手法を線形モデルに適用した例は次のとおりです。

• 正規化のベイズ解釈
• バイアスと分散のトレードオフ
• 行列の正則化
• スペクトルフィルタリングによる正規化
• 正規化最小二乗法
• ラグランジュ乗数
• 差異の削減

• Neumaier, A. (1998). 「悪条件および特異線形システムの解決: 正規化に関するチュートリアル」(PDF) . SIAM Review . 40 (3): 636–666. Bibcode :1998SIAMR..40..636N. doi :10.1137/S0036144597321909.