ニュートン法の収束について
カン トロヴィッチの定理、またはニュートン・カントロヴィッチの定理は、 ニュートン法 の 半局所 収束 に関する数学的な定理である。この定理は、1948年に レオニード・カントロヴィッチ によって初めて提唱された。 [1] [2]この定理は、 バナッハの不動点定理 の形式に似ているが、 不動点 ではなく 零点 の存在と一意性を述べている 。 [3]
ニュートン法は、ある条件下で 方程式の解 または方程式系のベクトル解に収束する点の列を構築する 。カントロビッチの定理は、この列の初期点に関する条件を与える。これらの条件が満たされると、初期点の近くに解が存在し、列はその点に収束する。 [1] [2]
x
{\displaystyle x}
ふ
(
x
)
=
0
{\displaystyle f(x)=0}
ふ
(
x
)
=
0
{\displaystyle F(x)=0}
仮定
を開集合とし、 ヤコビアン が局所的に リプシッツ連続 である 微分可能関数 と する (例えば、が2回微分可能である場合)。つまり、 任意のに対して 開集合が存在し、 任意のに対してとなる 定数が存在する と仮定する。
バツ
⊂
R
ん
{\displaystyle X\subset \mathbb {R} ^{n}}
ふ
:
バツ
⊂
R
ん
→
R
ん
{\displaystyle F:X\subset \mathbb {R} ^{n}\to \mathbb {R} ^{n}}
ふ
′
(
x
)
{\displaystyle F^{\prime }(\mathbf {x} )}
ふ
{\displaystyle F}
x
∈
バツ
{\displaystyle x\in X}
あなた
⊂
バツ
{\displaystyle U\subset X}
x
∈
あなた
{\displaystyle x\in U}
ら
>
0
{\displaystyle L>0}
x
、
ええ
∈
あなた
{\displaystyle \mathbf {x} ,\mathbf {y} \in U}
‖
ふ
′
(
x
)
−
ふ
′
(
ええ
)
‖
≤
ら
‖
x
−
ええ
‖
{\displaystyle \|F'(\mathbf {x} )-F'(\mathbf {y} )\|\leq L\;\|\mathbf {x} -\mathbf {y} \|}
が成り立つ。左辺のノルムは演算子ノルムである。言い換えれば、任意のベクトルに対して 不等式
ヴ
∈
R
ん
{\displaystyle \mathbf {v} \in \mathbb {R} ^{n}}
‖
ふ
′
(
x
)
(
ヴ
)
−
ふ
′
(
ええ
)
(
ヴ
)
‖
≤
ら
‖
x
−
ええ
‖
‖
ヴ
‖
{\displaystyle \|F'(\mathbf {x} )(\mathbf {v} )-F'(\mathbf {y} )(\mathbf {v} )\|\leq L\;\|\mathbf { x} -\mathbf {y} \|\,\|\mathbf {v} \|}
保持する必要があります。
ここで任意の初期点を選択する 。 が 可逆であると仮定し、ニュートンステップを構築する。
x
0
∈
バツ
{\displaystyle \mathbf {x} _{0}\in X}
ふ
′
(
x
0
)
{\displaystyle F'(\mathbf {x} _{0})}
h
0
=
−
ふ
′
(
x
0
)
−
1
ふ
(
x
0
)
。
{\displaystyle \mathbf {h} _{0}=-F'(\mathbf {x} _{0})^{-1}F(\mathbf {x} _{0}).}
次の仮定は、次の点だけでなく 、球全体 が集合 内に含まれているということです 。 をこの球上のヤコビアンのリプシッツ定数とします (存在すると仮定)。
x
1
=
x
0
+
h
0
{\displaystyle \mathbf {x} _{1}=\mathbf {x} _{0}+\mathbf {h} _{0}}
B
(
x
1
、
‖
h
0
‖
)
{\displaystyle B(\mathbf {x} _{1},\|\mathbf {h} _{0}\|)}
バツ
{\displaystyle X}
ま
{\displaystyle M}
最後の準備として、可能な限り、シーケンス 、、 を次のよう
に再帰的に構築します 。
(
x
け
)
け
{\displaystyle (\mathbf {x} _{k})_{k}}
(
h
け
)
け
{\displaystyle (\mathbf {h} _{k})_{k}}
(
α
け
)
け
{\displaystyle (\alpha _{k})_{k}}
h
け
=
−
ふ
′
(
x
け
)
−
1
ふ
(
x
け
)
α
け
=
ま
‖
ふ
′
(
x
け
)
−
1
‖
‖
h
け
‖
x
け
+
1
=
x
け
+
h
け
。
{\displaystyle {\begin{alignedat}{2}\mathbf {h} _{k}&=-F'(\mathbf {x} _{k})^{-1}F(\mathbf {x} _ {k})\\[0.4em]\alpha _{k}&=M\,\|F'(\mathbf {x} _{k})^{-1}\|\,\|\mathbf {h} _{k}\|\\[0.4em]\mathbf {x} _{k+1}&=\mathbf {x } _{k}+\mathbf {h} _{k}.\end{alignedat}}}
声明
さて、もし そうなら
α
0
≤
1
2
{\displaystyle \alpha _{0}\leq {\tfrac {1}{2}}}
の 解は 閉じた球体の中に存在し 、
x
∗
{\displaystyle \mathbf {x} ^{*}}
F
(
x
∗
)
=
0
{\displaystyle F(\mathbf {x} ^{*})=0}
B
¯
(
x
1
,
‖
h
0
‖
)
{\displaystyle {\bar {B}}(\mathbf {x} _{1},\|\mathbf {h} _{0}\|)}
から始まるニュートン反復法は、 少なくとも線形収束の順序で に収束します。
x
0
{\displaystyle \mathbf {x} _{0}}
x
∗
{\displaystyle \mathbf {x} ^{*}}
より正確だが証明が少し難しいステートメントは、 二次多項式の
根を使用する。
t
∗
≤
t
∗
∗
{\displaystyle t^{\ast }\leq t^{**}}
p
(
t
)
=
(
1
2
L
‖
F
′
(
x
0
)
−
1
‖
−
1
)
t
2
−
t
+
‖
h
0
‖
{\displaystyle p(t)=\left({\tfrac {1}{2}}L\|F'(\mathbf {x} _{0})^{-1}\|^{-1}\right)t^{2}-t+\|\mathbf {h} _{0}\|}
、
t
∗
/
∗
∗
=
2
‖
h
0
‖
1
±
1
−
2
α
0
{\displaystyle t^{\ast /**}={\frac {2\|\mathbf {h} _{0}\|}{1\pm {\sqrt {1-2\alpha _{0}}}}}}
およびその比率
θ
=
t
∗
t
∗
∗
=
1
−
1
−
2
α
0
1
+
1
−
2
α
0
.
{\displaystyle \theta ={\frac {t^{*}}{t^{**}}}={\frac {1-{\sqrt {1-2\alpha _{0}}}}{1+{\sqrt {1-2\alpha _{0}}}}}.}
それから
閉じた球の中に 解が存在する
x
∗
{\displaystyle \mathbf {x} ^{*}}
B
¯
(
x
1
,
θ
‖
h
0
‖
)
⊂
B
¯
(
x
0
,
t
∗
)
{\displaystyle {\bar {B}}(\mathbf {x} _{1},\theta \|\mathbf {h} _{0}\|)\subset {\bar {B}}(\mathbf {x} _{0},t^{*})}
大きなボールの中にあるユニークなもの
B
(
x
0
,
t
∗
∗
)
{\displaystyle B(\mathbf {x} _{0},t^{*\ast })}
の解への収束は、 2次多項式のニュートン反復が その最小根に収束することによって支配される 。 [4] ならば 、
F
{\displaystyle F}
p
(
t
)
{\displaystyle p(t)}
t
∗
{\displaystyle t^{\ast }}
t
0
=
0
,
t
k
+
1
=
t
k
−
p
(
t
k
)
p
′
(
t
k
)
{\displaystyle t_{0}=0,\,t_{k+1}=t_{k}-{\tfrac {p(t_{k})}{p'(t_{k})}}}
‖
x
k
+
p
−
x
k
‖
≤
t
k
+
p
−
t
k
.
{\displaystyle \|\mathbf {x} _{k+p}-\mathbf {x} _{k}\|\leq t_{k+p}-t_{k}.}
二次収束は誤差推定から得られる [5]
‖
x
n
+
1
−
x
∗
‖
≤
θ
2
n
‖
x
n
+
1
−
x
n
‖
≤
θ
2
n
2
n
‖
h
0
‖
.
{\displaystyle \|\mathbf {x} _{n+1}-\mathbf {x} ^{*}\|\leq \theta ^{2^{n}}\|\mathbf {x} _{n+1}-\mathbf {x} _{n}\|\leq {\frac {\theta ^{2^{n}}}{2^{n}}}\|\mathbf {h} _{0}\|.}
帰結
1986年に山本は、ドーリング(1969)、オストロフスキー(1971、1973)、 [6] [7] グラッグ・タピア(1974)、ポトラ・プタク(1980)、 [8] ミエル(1981)、 [9] ポトラ(1984)、 [10] などのニュートン法の誤差評価がカントロビッチの定理から導かれることを証明した。 [11]
一般化
カントロヴィッチの定理には q 類似物 がある。 [12] [13] その他の一般化/変形については、Ortega & Rheinboldt (1970)を参照。 [14]
アプリケーション
大石と田辺は、カントロヴィッチの定理は線形計画法 の信頼できる解を得るために適用できると主張した 。 [15]
参考文献
^ ab Deuflhard, P. (2004).非線形問題に対するニュートン法。アフィン不変性 と 適応アルゴリズム 。Springer 計算数学シリーズ。第 35 巻。ベルリン: Springer。ISBN 3-540-21099-7 。
^ ab Zeidler, E. (1985). 非線形関数解析とその応用: パート 1: 不動点定理 . ニューヨーク: Springer. ISBN 0-387-96499-1 。
^ Dennis, John E. ; Schnabel, Robert B. (1983). 「カントロビッチ定理と収縮写像定理」。 制約のない最適化と非線形方程式の数値解析法 。エングルウッド クリフス: プレンティス ホール。92~94 ページ 。ISBN 0-13-627216-9 。
^ Ortega, JM (1968). 「ニュートン-カントロビッチの定理」. アメリカ数学月刊誌 . 75 (6): 658–660. doi :10.2307/2313800. JSTOR 2313800.
^ Gragg, WB; Tapia, RA (1974). 「ニュートン-カントロビッチ定理の最適誤差境界」. SIAM Journal on Numerical Analysis . 11 (1): 10–13. Bibcode :1974SJNA...11...10G. doi :10.1137/0711002. JSTOR 2156425.
^ オストロフスキー、AM (1971)。 「ニュートンとバナッハの空間の方法」。 CRアカデミー。科学。パリ 。 27 (A): 1251–1253。
^ Ostrowski, AM (1973). ユークリッド空間とバナッハ空間における方程式の解法 。ニューヨーク: アカデミック プレス 。ISBN 0-12-530260-6 。
^ Potra, FA; Ptak, V. (1980). 「ニュートン過程の鋭い誤差境界」. Numer. Math . 34 : 63–72. doi :10.1007/BF01463998.
^ Miel, GJ (1981). 「ニュートン法におけるカントロビッチ定理の最新版」. コンピューティング . 27 (3): 237–244. doi :10.1007/BF02237981.
^ ポトラ、FA (1984)。 「ニュートン法の事後誤差推定について」。 Beiträge zur Numericsche Mathematik 。 12 :125–138。
^ 山本 孝文 (1986). 「カントロビッチの仮定のもとでニュートン法の正確な誤差範囲を見つける方法」 Numerische Mathematik . 49 (2–3): 203–220. doi :10.1007/BF01389624.
^ Rajkovic, PM; Stankovic, MS; Marinkovic, SD (2003). 「方程式とシステムを解くためのq反復法について」 Novi Sad J. Math . 33 (2): 127–137.
^ Rajković, PM; Marinković, SD; Stanković, MS (2005). 「方程式系を解くためのq-ニュートン–カントロビッチ法について」. 応用数学と計算 . 168 (2): 1432–1448. doi :10.1016/j.amc.2004.10.035.
^ Ortega, JM; Rheinboldt, WC (1970). 複数変数の非線形方程式の反復解法 。SIAM。OCLC 95021 。
^ 大石 誠; 田辺 健一 (2009). 「線形計画法における最適点の数値的包含」. 応用数理レターズ . 1 : 5–8. doi : 10.14495/jsiaml.1.5 .
さらに読む
John H. Hubbard および Barbara Burke Hubbard : Vector Calculus, Linear Algebra, and Differential Forms: A Unified Approach 、Matrix Editions、 ISBN 978-0-9715766-3-6 (第 3 版のプレビューと Kant.-thm. を含むサンプル資料)
山本哲郎 (2001) 「ニュートン法およびニュートン類似法の収束解析の歴史的発展」 Brezinski, C.、Wuytack, L. (編) 『数値解析: 20 世紀の歴史的発展』 North- Holland 、pp. 241–263。ISBN 0-444-50617-9 。