数値微分

数値解析では、数値微分 アルゴリズムは、関数の値や関数に関するその他の知識を使用して、 数学関数または関数サブルーチンの導関数を推定します。

最も簡単な方法は、有限差分近似を使用することです。

簡単な2点推定は、点( x , f ( x ))と点( x  +  h , f ( x  +  h ))を通る近くの割線の傾きを計算することです。^[1]小さな数hを選択すると、hはxの小さな変化を表し、正または負のいずれかになります。この線の傾きは、 この式がニュートンの差分商（一次差分商とも呼ばれます）です。 $${\displaystyle {\frac {f(x+h)-f(x)}{h}}.}$$

この割線の傾きは、 hにほぼ比例する量だけ接線の傾きと異なります。h がゼロに近づくにつれて、割線の傾きは接線の傾きに近づきます。したがって、xにおけるfの真の導関数は、割線が接線に近づくにつれて差商の値の限界になります。 $${\displaystyle f'(x)=\lim _{h\to 0}{\frac {f(x+h)-f(x)}{h}}.}$$

hに 0 をすぐに代入すると不定形式になるため、導関数を直接計算するのは直感的ではない場合があります。 ${\displaystyle {\frac {0}{0}}}$

同様に、傾きは位置x  −  hとx を用いて推定することもできます。

もう1つの2点公式は、点( x  −  h , f ( x  −  h ))と点( x  +  h , f ( x  +  h ))を通る近傍の割線の傾きを計算するものである。この線の傾きは $${\displaystyle {\frac {f(x+h)-f(xh)}{2h}}.}$$

この式は対称差商として知られています。この場合、一次誤差が相殺されるため、これらの割線の傾きは、 にほぼ比例する量だけ接線の傾きと異なります。したがって、 hの値が小さい場合、これは片側推定よりも接線のより正確な近似値となります。ただし、傾きはxで計算されますが、関数のxでの値は考慮されません。 ${\displaystyle h^{2}}$

推定誤差は、 と の間のある点 で与えられます。この誤差には、限られた精度で数値が表現され、計算が実行されることによる 丸め誤差は含まれません。$${\displaystyle R={\frac {-f^{(3)}(c)}{6}}h^{2},}$$${\displaystyle c}$${\displaystyle xh}$${\displaystyle x+h}$

対称差分商は、TI-82、TI-83、TI-84、TI-85など多くの計算機で導関数を近似する方法として採用されており、これらはすべてh  = 0.001でこの方法を使用しています。^{[2] [3]}

関数を有限精度の浮動小数点演算で計算する場合、実際に考慮すべき重要な点は、ステップ サイズhの選択です。小さすぎる値を選択すると、減算によって大きな丸め誤差が生じます。実際、すべての有限差分式は条件が悪く^{[4] 、} hが十分に小さい場合は相殺により 0 の値が生成されます^[5]。大きすぎると、割線の傾きの計算はより正確に行われますが、割線を使用した接線の傾きの推定は悪くなる可能性があります^{[6] 。}

基本的な中心差分の場合、最適なステップはマシンイプシロンの3乗根です。^[7] xとx + h で評価された数値微分式の場合、大きな丸め誤差を生じない小さなhの選択は（ x = 0のときはそうではないが ）、マシンイプシロンεは通常、${\displaystyle {\sqrt {\varepsilon }}x}$ 倍精度の場合は2.2 × 10 ⁻¹⁶です。^[8]丸め誤差と正割誤差のバランスをとって最適な精度を得るhの式は^[9] です （ただし の場合はそうではありません）。この式を使用するには関数の知識が必要です。 $${\displaystyle h=2{\sqrt {\varepsilon \left|{\frac {f(x)}{f''(x)}}\right|}}}$$${\displaystyle f''(x)=0}$

コンピュータ計算の場合、x は必然的に何らかの精度 (32 ビットまたは 64 ビットなど)で表現可能な浮動小数点数を保持しますが、 x + h はその精度で正確に表現できないことがほとんどであるため、問題はさらに悪化します。つまり、x + h は(四捨五入または切り捨てによって) 近くのマシンで表現可能な数に変更され、その結果、( x  +  h ) −  x はhと等しくなくなり、2 つの関数評価は正確にh離れることはありません。この点で、ほとんどの小数は 2 進数では繰り返しシーケンスであるため (1/3 が 10 進数でそうであるように)、一見丸いステップ ( h  = 0.1など) は2 進数では丸い数ではなく、0.000110011001100... になります_。2考えられるアプローチは次のとおりです。

h := sqrt(eps) * x;
xph := x + h;
dx := xph - x;
傾き:= (F(xph) - F(x)) / dx;

しかし、コンピュータの場合、コンパイラの最適化機能は実際のコンピュータ演算の詳細に注意を払わず、代わりに数学の公理を適用して dx と h が同じであると推論することがあります。Cや同様の言語では、 xphが揮発性変数であるという指示によってこれを防ぐことができます。

導関数を近似するための高次の方法と、より高次の導関数のための方法が存在します。

以下に一次導関数の5点法（1次元の5点ステンシル）を示す： ^[10] ここで。 $${\displaystyle f'(x)={\frac {-f(x+2h)+8f(x+h)-8f(x-h)+f(x-2h)}{12h}}+{\frac {h^{4}}{30}}f^{(5)}(c),}$$${\displaystyle c\in [x-2h,x+2h]}$

その他のステンシル構成および微分次数については、有限差分係数計算機は、任意の微分次数を持つ任意のステンシルの微分近似法を生成するために使用できるツールです (解が存在する場合)。

ニュートンの差分商を用いると、 次の式が示される^[11]（n >0の場合）： $${\displaystyle f'(x)=\lim _{h\to 0}{\frac {f(x+h)-f(x)}{h}}}$$$${\displaystyle f^{(n)}(x)=\lim _{h\to 0}{\frac {1}{h^{n}}}\sum _{k=0}^{n}(-1)^{k+n}{\binom {n}{k}}f(x+kh)}$$

数値微分に対する古典的な差分近似は条件が悪い。しかし、が実数値の正則関数で、実数直線上で、複素平面上の点 付近で評価できる場合、安定した方法がある。例えば、^{[5] の}1 次導関数は、複素ステップ導関数の公式で計算できる。^{[12] [13] [14]}${\displaystyle f}$${\displaystyle x}$ $${\displaystyle f'(x)={\frac {\Im (f(x+\mathrm {i} h))}{h}}+O(h^{2}),\quad \mathrm {i^{2}} :=-1.}$$

さまざまな条件で正確な導関数を得るために推奨されるステップサイズはである。^{[6]この式は}テイラー級数展開 によって得られる。 ${\displaystyle h=10^{-200}}$$${\displaystyle f(x+\mathrm {i} h)=f(x)+\mathrm {i} hf'(x)-{\tfrac {1}{2!}}h^{2}f''(x)-{\tfrac {\mathrm {i} }{3!}}h^{3}f^{(3)}(x)+\cdots .}$$

複素ステップ微分公式は、1次微分を計算する場合にのみ有効です。任意の次数の微分を計算するために上記を一般化すると、多重複素数が使用され、多重複素微分が得られます。^{[15] [16] [17]} ここで は多重複素虚数単位を表します。演算子は、レベル の多重複素数の 番目の成分を抽出します。たとえば、実数成分を抽出し、最後の「最も虚数な」成分を抽出します。この方法は、混合微分、たとえば 2次微分に適用できます。 $${\displaystyle f^{(n)}(x)\approx {\frac {{\mathcal {C}}_{n^{2}-1}^{(n)}(f(x+\mathrm {i} ^{(1)}h+\cdots +\mathrm {i} ^{(n)}h))}{h^{n}}}}$$${\displaystyle \mathrm {i} ^{(k)}}$${\displaystyle \mathrm {i} ^{(1)}\equiv \mathrm {i} }$${\displaystyle {\mathcal {C}}_{k}^{(n)}}$${\displaystyle k}$${\displaystyle n}$${\displaystyle {\mathcal {C}}_{0}^{(n)}}$${\displaystyle {\mathcal {C}}_{n^{2}-1}^{(n)}}$$${\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial x\,\partial y}}\approx {\frac {{\mathcal {C}}_{3}^{(2)}(f(x+\mathrm {i} ^{(1)}h,y+\mathrm {i} ^{(2)}h))}{h^{2}}}}$$

多重複素数演算のC++実装が利用可能である。^[18]

一般に、任意の次数の導関数はコーシーの積分公式[ ^19] を使って計算することができる。 ここで積分は数値的に行われる。$${\displaystyle f^{(n)}(a)={\frac {n!}{2\pi i}}\oint _{\gamma }{\frac {f(z)}{(z-a)^{n+1}}}\,\mathrm {d} z,}$$

複素変数を数値微分に使用することは、1967年にLynessとMolerによって開始されました。^[20]彼らのアルゴリズムは高次微分にも適用できます。

複素ラプラス変換の数値逆変換に基づく手法は、アベートとダブナーによって開発された。^[21]手法や関数の特性に関する知識を必要とせずに使用できるアルゴリズムは、フォルンバーグによって開発された。^[4]

微分積分法は、関数値の加重和を使用して導関数を近似するものである。^{[22] [23]}微分積分法は、ノイズの多いデータから導関数を計算できるため、実用上興味深い。その名前は、シンプソン法や台形法などの方法で加重和が使用される数値積分を意味する積分法に類似している。重み係数を決定するためのさまざまな方法があり、たとえば、サビツキー・ゴレイフィルタがある。微分積分法は、偏微分方程式を解くために使用される。ノイズの多いデータから導関数を計算する方法は他にもある。^[24]

• 自動微分 – 導関数を伴う数値計算
• 5点ステンシル – 1点とその4つの最も近い点
• Savitzky-Golay フィルタ – データ ポイントを平滑化するアルゴリズムPages displaying short descriptions of redirect targets
• 数値積分 – 定積分の計算方法
• 数値常微分方程式 – 常微分方程式の数値解を求めるために使用される方法Pages displaying short descriptions of redirect targets
• 数値平滑化と微分化 – データポイントを平滑化するアルゴリズムPages displaying short descriptions of redirect targets
• 数値解析ソフトウェア一覧

ウィキブックスには、数値計算法に関する書籍があります。

• wolfram.com の数値微分
• NAG ライブラリ数値微分ルーチン
• Boost。有限差分と複素ステップ微分を含む数学数値微分
• Nicholas Higham著「差異のある（ない）差別化」、SIAMニュース。