数学的シーケンスの収束速度
数学的解析 、特に 数値解析 において 、 極限 に収束する 数列 の 収束率 と 収束次数は、 数列がどれだけ速くその極限に近づくかを示すいくつかの特徴のいずれかです。これらは、数列がすでに限界に近づいている場合にさらに限界に近づく速さを表す収束率と収束次数( 漸近的収束 率と収束次数と呼ばれます)と、数列が必ずしも限界に近いわけではない開始点から限界に近づく速さを表す収束率と収束次数(非漸近的収束率と収束次数と呼ばれます)に大別されます。
漸近的動作は、たとえば反復根探索アルゴリズム で目標精度に到達したときなど 、数値計算のシーケンスをいつ停止するかを決定する際に特に役立ちますが、不適切に選択されたアプローチでは目標精度に到達することが不可能または非現実的になる可能性があるため、漸近前動作は一連の計算を開始するかどうかを決定する上で非常に重要になることがよくあります。漸近速度と収束の順序がこの記事の焦点です。
実際の数値計算では、漸近速度と収束次数は、2 種類のシーケンスに対して 2 つの一般的な規則に従います。1 つ目は 反復数値法 の反復シーケンス、2 つ目はターゲットの 連続的により正確な数値 離散化シーケンスです。正式な数学では、収束速度と収束次数は、一般に「 ビッグ O 表記法 」と呼ばれる 漸近表記法 を使用して比較して記述されることが多く、この表記法は前述の規則の両方を包含するために使用できます。これは 漸近解析 の応用です。
反復法では、収束する 数列は、次の場合、漸近 収束順序 と漸近 収束率 を持つと言われる 。
(
x
k
)
{\displaystyle (x_{k})}
L
{\displaystyle L}
q
≥
1
{\displaystyle q\geq 1}
μ
{\displaystyle \mu }
lim
k
→
∞
|
x
k
+
1
−
L
|
|
x
k
−
L
|
q
=
μ
.
{\displaystyle \lim _{k\rightarrow \infty }{\frac {\left|x_{k+1}-L\right|}{\left|x_{k}-L\right|^{q}}}=\mu .}
[1]
方法論的な精度が求められる場合、これらの収束率と収束次数は、特にQ収束(商収束の略)の率と次数として知られています。これは、問題の極限が誤差項の商であるためです。 [1] 収束率は 漸近誤差定数 と呼ばれることもあり、 この記事では次数と呼んでいるところを、一部の著者は 率 と呼んでいます 。 [2] 級数加速法は、 級数 の部分和の列の収束率 と、場合によってはその収束次数も改善する手法です。
μ
{\displaystyle \mu }
同様の概念は離散化のシーケンスにも使用されます。たとえば、理想的には、 規則的なグリッド を介して離散化された 微分方程式 の解は、グリッド間隔がゼロに近づくにつれて連続方程式の解に収束します。そうであれば、その収束の漸近速度と順序は、グリッド化法の重要な特性です。 ある問題の近似グリッド解のシーケンスが真の解に収束し 、対応する規則的なグリッド間隔のシーケンスが0 に収束する 場合、
漸近 収束順序 と漸近 収束速度 を持つと言われます。
(
y
k
)
{\displaystyle (y_{k})}
S
{\displaystyle S}
(
h
k
)
{\displaystyle (h_{k})}
q
{\displaystyle q}
μ
{\displaystyle \mu }
lim
k
→
∞
|
y
k
−
S
|
h
k
q
=
μ
,
{\displaystyle \lim _{k\rightarrow \infty }{\frac {\left|y_{k}-S\right|}{h_{k}^{q}}}=\mu ,}
ここで、絶対値記号は、 一様ノルム などの解の空間の 測定基準 を表します。 同様の定義は、 有限要素法 の ポリゴンメッシュ や 計算化学 の 基底セット などの非グリッド離散化スキームにも適用されます。一般に、漸近速度の適切な定義には、上記の近似誤差項と 下記の離散化スケールパラメータの
漸近順序べき乗の比の漸近極限が含まれます。
μ
{\displaystyle \mu }
q
{\displaystyle q}
一般的に、ある 極限に収束する数列は、他の 極限に収束する 数列よりも比較的速く漸近収束すると言われる 。
(
a
k
)
{\displaystyle (a_{k})}
L
a
{\displaystyle L_{a}}
(
b
k
)
{\displaystyle (b_{k})}
L
b
{\displaystyle L_{b}}
lim
k
→
∞
|
a
k
−
L
a
|
|
b
k
−
L
b
|
=
0
,
{\displaystyle \lim _{k\rightarrow \infty }{\frac {\left|a_{k}-L_{a}\right|}{|b_{k}-L_{b}|}}=0,}
そして、極限が任意の正の有限値である場合、2つは同じ収束次数で漸近収束すると言われます。極限が1に等しい場合、2つは漸近的に同等であると言われます。漸近収束の速度と次数に関するこれらの比較定義は、漸近解析の基本であり、数値解析、 実解析 、 複素 解析、 関数解析 など、数学解析全体に広く応用されています。
反復法の漸近収束率
定義
反復法 の反復の シーケンス がとして 極限 数 に収束する と仮定します 。シーケンスはの順序 で 収束し 、 収束率 で収束するとは、 連続反復の 絶対差の 商 の極限が を 満たす
場合です。
(
x
k
)
{\displaystyle (x_{k})}
L
{\displaystyle L}
k
→
∞
{\displaystyle k\rightarrow \infty }
q
{\displaystyle q}
L
{\displaystyle L}
μ
{\displaystyle \mu }
k
→
∞
{\displaystyle k\rightarrow \infty }
x
k
,
x
k
+
1
{\displaystyle x_{k},x_{k+1}}
L
{\displaystyle L}
lim
k
→
∞
|
x
k
+
1
−
L
|
|
x
k
−
L
|
q
=
μ
{\displaystyle \lim _{k\to \infty }{\frac {|x_{k+1}-L|}{|x_{k}-L|^{q}}}=\mu }
ある正の定数に対して、 かつ の 場合に となります 。 [1] [3] [4] 数列が収束するが [5] または極限が存在しない場合は、より専門的な速度の定義が必要になります。 [1] この定義は、技術的には商収束の略である Q 収束と呼ばれ、その技術的な詳細が必要な場合、速度と次数は Q 収束の速度と次数と呼ばれます。§ 以下の R 収束は、この極限が存在しない場合の適切な代替手段です。
μ
∈
(
0
,
1
)
{\displaystyle \mu \in (0,1)}
q
=
1
{\displaystyle q=1}
μ
∈
(
0
,
∞
)
{\displaystyle \mu \in (0,\infty )}
q
>
1
{\displaystyle q>1}
lim
k
→
∞
|
x
k
+
1
−
L
|
|
x
k
−
L
|
=
1
{\textstyle \lim _{k\to \infty }{\frac {|x_{k+1}-L|}{|x_{k}-L|}}=1}
より大きな次数のシーケンスは より小さな次数のシーケンスよりも速く収束し、より小さなレートのシーケンスは より大きなレートのシーケンスよりも、与えられた次数に対してより速く収束します。同じ次数のシーケンス間でのこの「より小さなレートがより速く収束する」動作は標準的ですが、直感に反する場合があります。したがって、 をレートとして定義することも一般的です。これは、次数 1 で収束するシーケンスの「反復ごとの精度の余分な小数点以下の数」です。 [1]
q
{\displaystyle q}
μ
{\displaystyle \mu }
−
log
10
μ
{\displaystyle -\log _{10}\mu }
の整数乗は 一般的であり、共通の名前が付けられています。 および の順序での 収束 は 線型収束 と 呼ばれ 、 数列はに 線型収束する と言われています。 および任意の での収束は 二次 収束と呼ばれ、数列は に 二次収束すると言われています。 および任意の での収束は三次収束 と 呼ばれます 。ただし、 は整数である必要はありません 。たとえば、 正割法 は 、規則的で 単純な根に収束する場合、 黄金比 φ ≈ 1.618の順序になります 。 [6]
q
{\displaystyle q}
q
=
1
{\displaystyle q=1}
μ
∈
(
0
,
1
)
{\displaystyle \mu \in (0,1)}
L
{\displaystyle L}
q
=
2
{\displaystyle q=2}
μ
{\displaystyle \mu }
q
=
3
{\displaystyle q=3}
μ
{\displaystyle \mu }
q
{\displaystyle q}
整数収束の順序の一般的な名前は、 漸近的な大O表記法 に関連し、商の収束は次を意味する。 これらは、それぞれが1、2、3のときの線形、2次、3次の多項式表現である 。より正確には、限界は、主要な順序誤差がちょうど次を意味する。これは 、漸近的な小O表記法 を使用して次のように 表すことができる。
|
x
k
+
1
−
L
|
=
O
(
|
x
k
−
L
|
q
)
.
{\textstyle |x_{k+1}-L|=O(|x_{k}-L|^{q}).}
q
{\displaystyle q}
μ
|
x
k
−
L
|
q
,
{\textstyle \mu |x_{k}-L|^{q},}
|
x
k
+
1
−
L
|
=
μ
|
x
k
−
L
|
q
+
o
(
|
x
k
−
L
|
q
)
.
{\textstyle |x_{k+1}-L|=\mu |x_{k}-L|^{q}+o(|x_{k}-L|^{q}).}
一般に、 シーケンスが に対して の場合、または を満たすシーケンスが に対して の場合、 これらのシーケンスは 超線形収束する (つまり、線形収束よりも速い)と言われています。 [1] シーケンスが に収束する場合、シーケンスは に 準線形収束する (つまり、線形収束よりも遅い)と言われています。 重要なのは、これらの準線形順序のシーケンスが 1 の漸近収束率で線形収束すると言うのは誤りであるということです。シーケンスが に対数収束するとは、シーケンス が に 準線形収束し、また に収束する場合です。 [5]
q
>
1
{\displaystyle q>1}
lim
k
→
∞
|
x
k
+
1
−
L
|
|
x
k
−
L
|
=
0
,
{\textstyle \lim _{k\to \infty }{\frac {|x_{k+1}-L|}{|x_{k}-L|}}=0,}
lim
k
→
∞
|
x
k
+
1
−
L
|
|
x
k
−
L
|
=
1.
{\textstyle \lim _{k\to \infty }{\frac {|x_{k+1}-L|}{|x_{k}-L|}}=1.}
(
x
k
)
{\displaystyle (x_{k})}
L
{\displaystyle L}
lim
k
→
∞
|
x
k
+
1
−
x
k
|
|
x
k
−
x
k
−
1
|
=
1.
{\textstyle \lim _{k\to \infty }{\frac {|x_{k+1}-x_{k}|}{|x_{k}-x_{k-1}|}}=1.}
R収束
Q 収束率の定義には、収束はするが各ステップで漸近的に一定の率で収束しないシーケンスの収束動作を自然に捉えていないという欠点があり、そのため Q 収束の限界は存在しません。1 つのクラスの例として、1 ステップおきまたは数ステップおきにのみ限界に近づく、ずらした幾何級数があります。たとえば、 以下に詳述する例 ( は フロア関数 に適用されています ) が挙げられます。このシーケンスには定義的な Q 線形収束の限界は存在しません。これは、奇数ステップから始まる誤差商の 1 つのサブシーケンスが 1 に収束し、偶数ステップから始まる別の商のサブシーケンスが 1/4 に収束するためです。シーケンスの 2 つのサブシーケンスが異なる限界に収束する場合、シーケンス自体は限界に収束しません。
(
b
k
)
=
1
,
1
,
1
/
4
,
1
/
4
,
1
/
16
,
1
/
16
,
…
,
1
/
4
⌊
k
2
⌋
,
…
{\textstyle (b_{k})=1,1,1/4,1/4,1/16,1/16,\ldots ,1/4^{\left\lfloor {\frac {k}{2}}\right\rfloor },\ldots }
⌊
x
⌋
{\textstyle \lfloor x\rfloor }
x
{\displaystyle x}
このような場合、R収束と呼ばれる、収束率の関連は深いがより技術的な定義の方が適切です。接頭辞「R」は「根」を意味します。 [1] [7] : 620 に収束する シーケンスは、 誤差制限シーケンスが存在し 、 かつQ 線形にゼロに収束する場合、 少なくとも R 線形に収束する と言われています 。同様の定義が、R 超線形収束、R 亜線形収束、R 二次収束などにも当てはまります。 [1]
(
x
k
)
{\displaystyle (x_{k})}
L
{\displaystyle L}
(
ε
k
)
{\displaystyle (\varepsilon _{k})}
|
x
k
−
L
|
≤
ε
k
for all
k
{\textstyle |x_{k}-L|\leq \varepsilon _{k}\quad {\text{for all }}k}
(
ε
k
)
{\displaystyle (\varepsilon _{k})}
任意の誤差境界シーケンスは、 R 収束の速度と次数の下限を提供し、最大の下限は R 収束の正確な速度と次数を与えます。Q 収束に関しては、次数が大きいシーケンスは より速く収束し、速度が小さいシーケンスは与えられた次数に対してより速く収束するため、これらの最大速度下限誤差上限シーケンスは、 を前提として、 が可能な限り最大で 、 が可能な限り最小となる シーケンスです 。
(
ε
k
)
{\displaystyle (\varepsilon _{k})}
q
{\displaystyle q}
μ
{\displaystyle \mu }
q
{\displaystyle q}
μ
{\displaystyle \mu }
q
{\displaystyle q}
上記の例では 、タイト バウンディング シーケンスは Q 線形に収束し、収束速度は 1/2 であるため、R 線形に収束速度は 1/2 です。一般に、任意のずらした幾何級数の場合 、シーケンスは Q 線形に収束しませんが、収束速度は R 線形に収束します 。これらの例は、R 線形収束の「R」が「ルート」の略である理由を示しています。
(
b
k
)
{\textstyle (b_{k})}
(
ε
k
)
=
2
,
1
,
1
/
2
,
1
/
4
,
1
/
8
,
1
/
16
,
…
,
1
/
2
k
−
1
,
…
{\textstyle (\varepsilon _{k})=2,1,1/2,1/4,1/8,1/16,\ldots ,1/2^{k-1},\ldots }
(
b
k
)
{\textstyle (b_{k})}
(
a
r
⌊
k
/
m
⌋
)
{\displaystyle (ar^{\lfloor k/m\rfloor })}
|
r
|
m
.
{\textstyle {\sqrt[{m}]{|r|}}.}
例
等比数列 は に収束する 。この数列をQ線型収束の定義(収束次数1)に当てはめると、次のようになる。
(
a
k
)
=
1
,
1
2
,
1
4
,
1
8
,
1
16
,
1
32
,
…
,
1
/
2
k
,
…
{\textstyle (a_{k})=1,{\frac {1}{2}},{\frac {1}{4}},{\frac {1}{8}},{\frac {1}{16}},{\frac {1}{32}},\ldots ,1/{2^{k}},\dots }
L
=
0
{\displaystyle L=0}
lim
k
→
∞
|
1
/
2
k
+
1
−
0
|
|
1
/
2
k
−
0
|
=
lim
k
→
∞
2
k
2
k
+
1
=
1
2
.
{\displaystyle \lim _{k\to \infty }{\frac {\left|1/2^{k+1}-0\right|}{\left|1/2^{k}-0\right|}}=\lim _{k\to \infty }{\frac {2^{k}}{2^{k+1}}}={\frac {1}{2}}.}
したがって、 収束率は で Q 線形に収束します 。下の図の最初のプロットを参照してください。
(
a
k
)
{\displaystyle (a_{k})}
μ
=
1
/
2
{\displaystyle \mu =1/2}
より一般的には、 実数の任意の初期値と-1と1の間の実数の公比に対して 、等比数列は 速度とともに線形に収束し、 等比数列 の部分和のシーケンスも 速度とともに線形に収束します。任意の 複素数 によってパラメータ化された等比数列と等比数列についても同様です。
a
{\displaystyle a}
r
{\displaystyle r}
(
a
r
k
)
{\displaystyle (ar^{k})}
|
r
|
{\displaystyle |r|}
(
∑
n
=
0
k
a
r
n
)
{\textstyle (\sum _{n=0}^{k}ar^{n})}
|
r
|
{\displaystyle |r|}
a
∈
C
,
r
∈
C
,
|
r
|
<
1.
{\displaystyle a\in \mathbb {C} ,r\in \mathbb {C} ,|r|<1.}
最小の整数を与える 床関数 を使用する スタッガード等比数列は、 速度 1/2 で R 線形に 0 に収束しますが、Q 線形には収束しません。下の図の 2 番目のプロットを参照してください。このシーケンスには定義的な Q 線形収束限界は存在しません。これは、奇数ステップから始まる誤差商の 1 つのサブシーケンスが 1 に収束し、偶数ステップから始まる別の商のサブシーケンスが 1/4 に収束するためです。シーケンスの 2 つのサブシーケンスが異なる限界に収束する場合、シーケンス自体は限界に収束しません。一般に、任意のスタッガード等比数列では 、シーケンスは Q 線形には収束しませんが、速度 で R 線形に収束します 。これらの例は、R 線形収束の「R」が「ルート」の略である理由を示しています。
(
b
k
)
=
1
,
1
,
1
4
,
1
4
,
1
16
,
1
16
,
…
,
1
/
4
⌊
k
2
⌋
,
…
,
{\textstyle (b_{k})=1,1,{\frac {1}{4}},{\frac {1}{4}},{\frac {1}{16}},{\frac {1}{16}},\ldots ,1/4^{\left\lfloor {\frac {k}{2}}\right\rfloor },\ldots ,}
⌊
x
⌋
{\textstyle \lfloor x\rfloor }
x
,
{\displaystyle x,}
(
a
r
⌊
k
/
m
⌋
)
{\displaystyle (ar^{\lfloor k/m\rfloor })}
|
r
|
m
;
{\textstyle {\sqrt[{m}]{|r|}};}
このシーケンスは
、Q 超線形にゼロに収束します。実際、これは 2 次収束率 1 で 2 次収束します。これは、下の図の 3 番目のプロットに示されています。
(
c
k
)
=
1
2
,
1
4
,
1
16
,
1
256
,
1
65
,
536
,
…
,
1
2
2
k
,
…
{\displaystyle (c_{k})={\frac {1}{2}},{\frac {1}{4}},{\frac {1}{16}},{\frac {1}{256}},{\frac {1}{65,\!536}},\ldots ,{\frac {1}{2^{2^{k}}}},\ldots }
最後に、シーケンスは
Q サブ線形かつ対数的にゼロに収束し、その収束は下の図の 4 番目のプロットとして表示されます。
(
d
k
)
=
1
,
1
2
,
1
3
,
1
4
,
1
5
,
1
6
,
…
,
1
k
+
1
,
…
{\displaystyle (d_{k})=1,{\frac {1}{2}},{\frac {1}{3}},{\frac {1}{4}},{\frac {1}{5}},{\frac {1}{6}},\ldots ,{\frac {1}{k+1}},\ldots }
それぞれ線形、線形、超線形 (2 次)、および線形以下の収束率を示す サンプル シーケンス a k 、 b k 、 c k 、および d kのログ線形プロット。
再帰的シーケンスの固定点への収束率
再帰シーケンスは 、 固定点反復 と呼ばれ、離散時間自律 動的システムを 定義し、 その収束動作に関するさまざまな 固定点定理を通じて数学の重要な一般アプリケーションを持っています。 f が 連続的に微分可能 で、 となる 固定点 p が与えられた場合 、固定点は 吸引固定点 であり、再帰シーケンスは、 p に十分近い 任意の開始値に対して、少なくとも線形に p に収束します。 および の 場合、再帰シーケンスは少なくとも二次収束し、以下同様に続きます。 の場合 、固定点は 反発固定点 であり、シーケンスは、そのすぐ近くの 近傍から p に収束することはできませんが、局所近傍の外側から直接 p にジャンプすることはできます 。
x
k
+
1
:=
f
(
x
k
)
{\textstyle x_{k+1}:=f(x_{k})}
f
(
p
)
=
p
,
{\textstyle f(p)=p,}
|
f
′
(
p
)
|
<
1
{\textstyle |f'(p)|<1}
x
0
{\displaystyle x_{0}}
|
f
′
(
p
)
|
=
0
{\displaystyle |f'(p)|=0}
|
f
″
(
p
)
|
<
1
{\textstyle |f''(p)|<1}
|
f
′
(
p
)
|
>
1
{\displaystyle |f'(p)|>1}
注文見積
固定小数点反復によって生成されたシーケンスの収束順序を計算する実用的な方法は、次の順序に収束する次のシーケンスを計算することである : [8]
q
{\displaystyle q}
q
≈
log
|
x
k
+
1
−
x
k
x
k
−
x
k
−
1
|
log
|
x
k
−
x
k
−
1
x
k
−
1
−
x
k
−
2
|
.
{\displaystyle q\approx {\frac {\log \left|\displaystyle {\frac {x_{k+1}-x_{k}}{x_{k}-x_{k-1}}}\right|}{\log \left|\displaystyle {\frac {x_{k}-x_{k-1}}{x_{k-1}-x_{k-2}}}\right|}}.}
数値的順序法による正確な値の数値近似については [9] を参照。
q
{\displaystyle q}
収束速度の加速
与えられたシーケンスの収束を加速する方法、すなわち、 あるシーケンスを 、より速く同じ極限に収束する 2 番目のシーケンスに変換する方法は多数存在します。このような技術は一般に「 シリーズ加速 」法として知られています。これらは、 元のシーケンスの極限を近似する 計算コストを削減する場合があります。シーケンス変換によるシリーズ加速の 1 つの例は、 Aitken のデルタ 2 乗プロセス です。これらの方法、特に Aitken 法は一般に収束の次数を上げないため、最初は収束が線形よりも速くない場合にのみ役立ちます。つまり、が 線形に収束する場合、Aitken 法はそれを (病的に設計された特殊なケースを除く) 依然として線形に収束するシーケンスに変換しますが、 という意味でより高速です 。一方、収束の次数がすでに ≥ 2 である場合、Aitken 法では改善はもたらされません。
(
x
k
)
{\displaystyle (x_{k})}
(
a
k
)
{\displaystyle (a_{k})}
lim
k
→
∞
(
a
k
−
L
)
/
(
x
k
−
L
)
=
0
{\textstyle \lim _{k\rightarrow \infty }(a_{k}-L)/(x_{k}-L)=0}
離散化法の漸近収束率
定義
この目標に収束する連続領域関数の 離散化近似値の列 と、それに対応する0に収束する離散化スケールパラメータの列は、次の式が成り立つ場合、 漸近収束順序 と 漸近収束速度 を持つと言われる 。
(
y
k
)
{\displaystyle (y_{k})}
S
{\displaystyle S}
(
h
k
)
{\displaystyle (h_{k})}
q
{\displaystyle q}
μ
{\displaystyle \mu }
lim
k
→
∞
|
y
k
−
S
|
h
k
q
=
μ
,
{\displaystyle \lim _{k\rightarrow \infty }{\frac {\left|y_{k}-S\right|}{h_{k}^{q}}}=\mu ,}
いくつかの正の定数 およびに対して 、を使用して、 解の空間 上の適切な 距離メトリック を表します 。距離メトリックは、通常、 一様ノルム 、 絶対差 、または ユークリッド距離 のいずれかです。離散化スケールパラメータには、空間または時間における 規則的なグリッド の間隔、1 次元のグリッドのポイント数の逆数、 ポリゴンメッシュ内のポイント間の平均距離または最大距離、不規則な スパースグリッド の 1 次元間隔、または 量子力学 基底関数系 におけるエネルギーまたは運動量の特性量子などがあります 。
μ
{\displaystyle \mu }
q
{\displaystyle q}
|
x
|
{\displaystyle |x|}
すべての離散化が単一の共通手法で生成される場合、特定の離散解の離散シーケンスではなく、手法自体の漸近収束率と収束順序について議論するのが一般的です。このような場合、 スケールパラメータを使用して手法で生成された単一の抽象的な離散解を考慮し、その手法が 漸近収束順序 と漸近 収束率 を持つと言われるのは、次の場合 です。
y
h
{\displaystyle y_{h}}
h
{\displaystyle h}
q
{\displaystyle q}
μ
{\displaystyle \mu }
lim
h
→
0
|
y
h
−
S
|
h
q
=
μ
,
{\displaystyle \lim _{h\rightarrow 0}{\frac {\left|y_{h}-S\right|}{h^{q}}}=\mu ,}
再び、ある正の定数と適切な計量について 、 離散 化の誤差は、離散化のスケールパラメータのべき乗のように漸近的にスケールする 、または 漸近的な大O表記法 のようにスケールすることを意味します。より正確には、主要次数誤差は であり、 漸近的な小O表記法 を使って 次のように 表すことができます。
μ
{\displaystyle \mu }
q
{\displaystyle q}
|
x
|
.
{\displaystyle |x|.}
q
{\displaystyle q}
|
y
h
−
S
|
=
O
(
h
q
)
{\textstyle \left|y_{h}-S\right|=O(h^{q})}
μ
h
q
,
{\displaystyle \mu h^{q},}
|
y
h
−
S
|
=
μ
h
q
+
o
(
h
q
)
.
{\textstyle \left|y_{h}-S\right|=\mu h^{q}+o(h^{q}).}
場合によっては、同じ方法でもスケール パラメータの選択が異なる複数の速度と次数が重要になることがあります。たとえば、 異なる次元に異なるグリッド間隔がある多次元グリッドに基づく 有限差分法や、スケール パラメータとしてメッシュ ポイント間の平均距離またはメッシュ ポイント間の最大距離のいずれかを選択すると異なる収束次数が意味を持つ可能性があるポリゴン メッシュに基づく 有限要素法 などです。特に技術的な状況では、離散化法の漸近速度と収束次数は、一度に複数のスケール パラメータによって特徴付けられ、各スケール パラメータの値が、他のスケール パラメータに対する方法の漸近速度と収束次数に影響を与える可能性があります。
例
常微分方程式を考える
d
y
d
x
=
−
κ
y
{\displaystyle {\frac {dy}{dx}}=-\kappa y}
初期条件は です 。この 1 次元方程式の解は、 任意の規則的なグリッド間隔と でインデックス付けされたグリッド ポイントを使用して数値離散化を行う 順方向オイラー法を 適用するシーケンスを使用して次のよう に近似できます 。
y
(
0
)
=
y
0
{\displaystyle y(0)=y_{0}}
(
y
n
)
{\displaystyle (y_{n})}
h
{\displaystyle h}
n
{\displaystyle n}
y
n
+
1
−
y
n
h
=
−
κ
y
n
,
{\displaystyle {\frac {y_{n+1}-y_{n}}{h}}=-\kappa y_{n},}
これは定数係数の 一次線形回帰を意味する。
y
n
+
1
=
y
n
(
1
−
h
κ
)
.
{\displaystyle y_{n+1}=y_{n}(1-h\kappa ).}
が与えられたとき 、その再帰性を満たす数列は 等比数列である。
y
(
0
)
=
y
0
{\displaystyle y(0)=y_{0}}
y
n
=
y
0
(
1
−
h
κ
)
n
=
y
0
(
1
−
n
h
κ
+
n
(
n
−
1
)
2
h
2
κ
2
+
.
.
.
.
)
.
{\displaystyle y_{n}=y_{0}(1-h\kappa )^{n}=y_{0}\left(1-nh\kappa +{\frac {n(n-1)}{2}}h^{2}\kappa ^{2}+....\right).}
微分方程式の正確な解析解は であり、 における 次の テイラー展開 に対応します。
y
=
f
(
x
)
=
y
0
exp
(
−
κ
x
)
{\displaystyle y=f(x)=y_{0}\exp(-\kappa x)}
n
h
κ
{\displaystyle nh\kappa }
f
(
x
n
)
=
f
(
n
h
)
=
y
0
exp
(
−
κ
n
h
)
=
y
0
(
1
−
n
h
κ
+
n
2
h
2
κ
2
2
+
.
.
.
)
.
{\displaystyle f(x_{n})=f(nh)=y_{0}\exp(-\kappa nh)=y_{0}\left(1-nh\kappa +{\frac {n^{2}h^{2}\kappa ^{2}}{2}}+...\right).}
したがって、各離散点における離散近似の誤差は
|
y
n
−
f
(
x
n
)
|
=
n
h
2
κ
2
2
+
…
{\displaystyle |y_{n}-f(x_{n})|={\frac {nh^{2}\kappa ^{2}}{2}}+\ldots }
任意の特定の に対して、 を割り切れる グリッド間隔を使用する一連の 順方向オイラー近似が与えられた場合 、 次式が得られます。
x
=
p
{\displaystyle x=p}
(
(
y
n
)
k
)
{\displaystyle ((y_{n})_{k})}
h
k
{\displaystyle h_{k}}
p
{\displaystyle p}
n
p
,
k
=
p
/
h
k
{\displaystyle n_{p,k}=p/h_{k}}
lim
h
k
→
0
|
y
k
(
p
)
−
f
(
p
)
|
h
k
=
lim
h
k
→
0
|
y
k
,
n
p
,
k
−
f
(
h
k
n
p
,
k
)
|
h
k
=
h
k
n
p
,
k
κ
2
2
=
p
κ
2
2
{\displaystyle \lim _{h_{k}\rightarrow 0}{\frac {|y_{k}(p)-f(p)|}{h_{k}}}=\lim _{h_{k}\rightarrow 0}{\frac {|y_{k,n_{p,k}}-f(h_{k}n_{p,k})|}{h_{k}}}={\frac {h_{k}n_{p,k}\kappa ^{2}}{2}}={\frac {p\kappa ^{2}}{2}}}
連続的に小さくなるグリッド間隔を持つ任意のグリッド列に対して 、 は 収束順序と 各点での 漸近誤差定数で点ごとに に収束します。同様に、 の 任意 の有界区間では 、 列は 同じ順序と速度で 一様 収束しますが、すべての正の実数値の非有界集合では一様収束しません。
h
k
{\displaystyle h_{k}}
(
(
y
n
)
k
)
{\displaystyle ((y_{n})_{k})}
f
(
x
)
{\displaystyle f(x)}
q
=
1
{\displaystyle q=1}
p
κ
2
/
2
{\displaystyle p\kappa ^{2}/2}
p
>
0.
{\displaystyle p>0.}
L
κ
2
/
2
{\displaystyle L\kappa ^{2}/2}
p
≤
L
{\displaystyle p\leq L}
[
0
,
∞
)
.
{\displaystyle [0,\infty ).}
漸近収束率の比較
定義
漸近解析 では 、一般に、ある 極限 に収束する系列は、 実数 や 複素数 などの 距離計量 を持つ 共有 計量空間 で通常の 絶対差 計量を持つ 系列よりも、より速い収束順序で 漸近収束すると言わ れる。
(
a
k
)
k
∈
N
{\displaystyle (a_{k})_{k\in \mathbb {N} }}
L
{\displaystyle L}
L
{\displaystyle L}
(
b
k
)
k
∈
N
{\displaystyle (b_{k})_{k\in \mathbb {N} }}
L
{\displaystyle L}
|
⋅
|
,
{\displaystyle |\cdot |,}
lim
k
→
∞
|
a
k
−
L
|
|
b
k
−
L
|
=
0
,
{\displaystyle \lim _{k\rightarrow \infty }{\frac {\left|a_{k}-L\right|}{|b_{k}-L|}}=0,}
両者は 同じ収束次数で漸近収束するとは、
L
{\displaystyle L}
lim
k
→
∞
|
a
k
−
L
|
|
b
k
−
L
|
=
μ
{\displaystyle \lim _{k\rightarrow \infty }{\frac {\left|a_{k}-L\right|}{|b_{k}-L|}}=\mu }
正の有限定数に対して 、両者は 同じ収束速度と収束順序で漸近的に収束すると言われる。
μ
,
{\displaystyle \mu ,}
L
{\displaystyle L}
lim
k
→
∞
|
a
k
−
L
|
|
b
k
−
L
|
=
1.
{\displaystyle \lim _{k\rightarrow \infty }{\frac {\left|a_{k}-L\right|}{|b_{k}-L|}}=1.}
漸近収束の速度と順序のこれらの比較定義は、 漸近解析 の基本です。 [10] [11] これらの最初の2つについては、 漸近O表記法 による関連表現があります。1つ目は 小文字のo表記法 [12] で、2つ目は Knuth表記法です。 [13] 3つ目は漸近同値とも呼ばれ、次のように表されます。 [14] [15]
a
k
−
L
=
o
(
b
k
−
L
)
{\displaystyle a_{k}-L=o(b_{k}-L)}
a
k
−
L
=
Θ
(
b
k
−
L
)
{\displaystyle a_{k}-L=\Theta (b_{k}-L)}
a
k
−
L
∼
b
k
−
L
.
{\displaystyle a_{k}-L\sim b_{k}-L.}
例
極限が 0 を共有する任意の 2 つの等比 数列と について 、2 つの数列が漸近的に同等なのは、両方が である 場合 と である場合に限ります。これらは、 が よりも速い位数で収束する 場合と である場合に限ります。任意の 等比数列 の極限への収束 には、等比数列に等しい誤差項があるため、同様の関係が等比数列間でも成立します。収束する等比数列に漸近的に同等な数列は、その極限からの絶対差に関して「幾何的に収束する」または「指数的に収束する」と言うことも、絶対差の対数、たとえば「精度の小数点以下の桁数」に関して「線形に収束する」と言うこともできます。後者は数値解析では標準的です。
(
a
r
k
)
k
∈
N
{\displaystyle (ar^{k})_{k\in \mathbb {N} }}
(
b
s
k
)
k
∈
N
,
{\displaystyle (bs^{k})_{k\in \mathbb {N} },}
a
=
b
{\displaystyle a=b}
r
=
s
.
{\displaystyle r=s.}
r
=
s
.
{\displaystyle r=s.}
(
a
r
k
)
{\displaystyle (ar^{k})}
(
b
s
k
)
{\displaystyle (bs^{k})}
r
<
s
.
{\displaystyle r<s.}
の逆べき乗に比例し 、かつ 共有極限がゼロである要素の任意の2つのシーケンスについて、2つのシーケンスが漸近的に同値であるのは、両方がおよび である場合 に限ります。これらは、同じ順序で収束する場合に限り、 より速い順序で収束します 。
k
,
{\displaystyle k,}
(
a
k
−
n
)
k
∈
N
{\displaystyle (ak^{-n})_{k\in \mathbb {N} }}
(
b
k
−
m
)
k
∈
N
,
{\displaystyle (bk^{-m})_{k\in \mathbb {N} },}
a
=
b
{\displaystyle a=b}
n
=
m
.
{\displaystyle n=m.}
n
=
m
.
{\displaystyle n=m.}
(
a
k
−
n
)
{\displaystyle (ak^{-n})}
(
b
k
−
m
)
{\displaystyle (bk^{-m})}
n
>
m
.
{\displaystyle n>m.}
ゼロの極限を持つ任意の シーケンスの場合、その収束は、 シフトされたシーケンスの 定数によるシフトされたシーケンスの再スケーリングと、シフトされたシーケンスのスケーリング された -べき乗の収束と比較できます。これらの比較は、上記の反復数値法のQ収束分類の基礎となります。数値法からの反復エラーのシーケンスが、 反復エラーのシフト、指数化、および再スケーリングされたシーケンスと漸近的に等しい場合、順序 と速度 で収束すると言われています。
(
a
k
)
k
∈
N
{\displaystyle (a_{k})_{k\in \mathbb {N} }}
(
a
k
−
1
)
k
∈
N
,
{\displaystyle (a_{k-1})_{k\in \mathbb {N} },}
μ
,
{\displaystyle \mu ,}
(
μ
a
k
−
1
)
k
∈
N
,
{\displaystyle (\mu a_{k-1})_{k\in \mathbb {N} },}
q
{\displaystyle q}
(
μ
a
k
−
1
q
)
k
∈
N
.
{\displaystyle (\mu a_{k-1}^{q})_{k\in \mathbb {N} }.}
(
|
x
k
−
L
|
)
k
∈
N
{\displaystyle (|x_{k}-L|)_{k\in \mathbb {N} }}
(
μ
|
x
k
−
1
−
L
|
q
)
k
∈
N
,
{\displaystyle (\mu |x_{k-1}-L|^{q})_{k\in \mathbb {N} },}
q
{\displaystyle q}
μ
.
{\displaystyle \mu .}
非漸近収束率
非漸近収束率には、漸近収束率のような共通の標準定義はありません。形式的手法の中で、 リャプノフ理論は 、非漸近収束の挙動を特徴付け、分析するための最も強力で広く適用されているフレームワークの 1 つです。
反復法 の場合、一般的な実用的なアプローチの 1 つは、限界から遠い開始点から限界の 近傍 に到達するのに必要な反復回数または コンピュータ時間 の観点からこれらの率について議論することです 。非漸近率は、その反復回数またはコンピュータ時間の逆数になります。実際のアプリケーションでは、目標精度に到達するのに他の反復法よりも少ないステップまたは少ないコンピュータ時間しか必要としない反復法は、その漸近収束が遅い場合でも、他の反復法よりも速く収束したと言えます。これらの率は、通常、開始点や近傍を定義するためのエラーしきい値が異なれば異なります。最も一般的なのは、エラーしきい値が固定された問題に何らかの方法を適用した場合の「平均非漸近率」、「中央非漸近率」、または「最悪のケースの非漸近率」など、考えられる開始 点 の分布に対応するこれらの単一点率の統計分布の要約について議論することです。これらの開始点の集合は、最終的な限界からの初期距離などのパラメータに従って選択することができ、「特定の距離からの平均非漸近収束率」などの量を定義できます。
離散化近似 法では、 グリッド または メッシュ ポイントの数の逆数や 、逆反復 数の役割を果たす フーリエ級数カットオフ 周波数などの離散化スケール パラメーターを使用して同様のアプローチを使用できますが、これは特に一般的ではありません。どのような問題でも、近似の望ましい精度と互換性のある最大の離散化スケール パラメーターが存在し、漸近速度と収束の順序が正確な誤差の推定値を提供するために必要なほど小さくない場合があります。実際のアプリケーションでは、ある離散化方法が別の離散化スケール パラメーターよりも大きい離散化スケール パラメーターで望ましい精度を提供する場合、最終的な漸近収束が遅い場合でも、他の離散化方法よりも収束が速いと言われることがよくあります。
参考文献
^ abcdefgh Nocedal, Jorge; Wright, Stephen J. (1999). 数値最適化 (第1版). ニューヨーク、NY:Springer. pp. 28–29. ISBN 978-0-387-98793-4 。
^ Senning, Jonathan R. 「収束率の計算と推定」 (PDF) 。gordon.edu 。 2020年8月7 日 閲覧 。
^ ハンドリー、ダグラス。「収束率」 (PDF) 。 ホイットマン大学。 2020年12月13日 閲覧 。
^ Porta, FA (1989). 「Q順序とR順序の収束について」 (PDF) . Journal of Optimization Theory and Applications . 63 (3): 415–431. doi :10.1007/BF00939805. S2CID 116192710 . 2020年7月31日 閲覧 。
^ ab Van Tuyl, Andrew H. (1994). 「対数収束シーケンス族の収束の加速」 (PDF) . 計算数学 . 63 (207): 229–246. doi :10.2307/2153571. JSTOR 2153571 . 2020年8月2日 閲覧。
^ Chanson, Jeffrey R. (2024年10月3日). 「収束順序」. LibreTexts Mathematics . 2024年 10月3日 閲覧 。
^ Nocedal, Jorge; Wright, Stephen J. (2006). 数値最適化 (第2版). ベルリン、ニューヨーク: Springer-Verlag . ISBN 978-0-387-30303-1 。
^ Senning, Jonathan R. 「収束率の計算と推定」 (PDF) 。gordon.edu 。 2020年8月7 日 閲覧 。
^ Senning, Jonathan R. 「数値収束率の検証」 (PDF) 。 2024年2月9日 閲覧。
^ バルカサル、ホセ L.;ガバロ、ホアキン。 「下限と上限によって指定される不均一な複雑さのクラス」 (PDF) 。 RAIRO – 理論情報学とアプリケーション – Informatique Théorique et Applications 。 23 (2): 180。ISSN 0988-3754 。 2017 年 3 月 14 日のオリジナルから アーカイブ (PDF) 。 2017 年 3 月 14 日 に取得 – Numdam 経由。
^ Cucker, Felipe; Bürgisser, Peter (2013). 「A.1 Big Oh、Little Oh、およびその他の比較」。 Condition: The Geometry of Numerical Algorithms 。 ベルリン、ハイデルベルク: Springer。 pp. 467–468。 doi :10.1007/978-3-642-38896-5。 ISBN 978-3-642-38896-5 。
^ アポストル、トム・M. (1967)。 微積分学 。第1巻(第2版)。米国:ジョン・ワイリー・アンド・サンズ。p. 286。ISBN 0-471-00005-1 。
^クヌース、ドナルド(1976年 4月 〜 6月)。「ビッグオミクロンとビッグオメガとビッグシータ」。SIGACT ニュース 。8 ( 2 ):18〜24。doi : 10.1145 / 1008328.1008329。S2CID 5230246 。
^ アポストル、トム・M. (1967)。 微積分学 。第1巻(第2版)。米国:ジョン・ワイリー・アンド・サンズ。p. 396。ISBN 0-471-00005-1 。
^ 「漸近的等式」、 数学百科事典 、 EMS Press 、2001 [1994]