丸め誤差

計算において、丸め誤差^{[ 1 ]}または丸め誤差^{[ 2 ]}とは、正確な算術演算を使用した特定のアルゴリズムによって生成された結果と、有限精度の丸め演算を使用した同じアルゴリズムによって生成された結果との差です。^[³^]丸め誤差は、実数の表現とそれらで行われる算術演算の不正確さに起因します。これは量子化誤差の一種です。^[⁴^]近似方程式やアルゴリズムを使用する場合、特に実数 (理論上は無限の桁数を持つ) を表現するために有限桁数を使用する場合、数値解析の目的の 1 つは計算誤差を推定することです。^[⁵^]数値誤差とも呼ばれる計算誤差には、切り捨て誤差と丸め誤差の両方が含まれます。

丸め誤差を含む入力を用いた一連の計算を行うと、誤差が蓄積し、場合によっては計算結果を支配することがあります。条件の悪い問題では、大きな誤差が蓄積する可能性があります。^{[ 6 ]}

要するに、数値計算には丸め誤差の2つの主要な側面が関係している。^{[ 7 ]}

コンピュータが数値の大きさと精度を同時に表現する能力には、本質的に限界がある。
特定の数値演算は、丸め誤差に非常に敏感です。これは、数学的な要因と、コンピュータが算術演算を実行する方法の両方に起因する可能性があります。

表現エラー

有限桁の数字列を用いて数値を表現しようとする際に生じる誤差は、表現誤差と呼ばれる丸め誤差の一種です。^{[ 8 ]}以下に、十進数表現における表現誤差の例をいくつか示します。

表現に許容される桁数を増やすと、丸め誤差の大きさは小さくなりますが、有限桁に制限された表現では、依然として非可算個の実数に対してある程度の丸め誤差が発生します。計算の中間ステップで使用される追加の桁は、ガード桁として知られています。^{[ 9 ]}

複数回丸めると、誤差が蓄積される可能性があります。^{[ 10 ]}例えば、9.945309 を小数点以下 2 桁 (9.95) に丸め、さらに小数点以下 1 桁 (10.0) に丸めると、合計誤差は 0.054691 になります。9.945309 を 1 つのステップで小数点以下 1 桁 (9.9) に丸めると、誤差は少なくなります (0.045309)。これは、例えば、ソフトウェアがx86 80 ビット浮動小数点演算を実行し、その結果をIEEE 754 binary64 浮動小数点に丸める場合に発生する可能性があります。

浮動小数点数システム

固定小数点数システムと比較して、浮動小数点数システムは実数を表現するのに効率的であるため、現代のコンピュータで広く使用されています。実数は $\mathbb {R}$ 無限かつ連続であり、浮動小数点数システムである $F$ は有限かつ離散的である。したがって、浮動小数点数システムでは、丸め誤差につながる表現誤差が発生する。

浮動小数点数の表記法

浮動小数点数システム $F$ 特徴は $4$ 整数:

$\beta$ : 基数または基数
$p$ 精度
$[L,U]$ : 指数範囲、ここで $L$ は下限であり、 $U$ 上限値

どれでも $x\in F$ 以下の形式をとります。 $x=\pm (\underbrace {d_{0}.d_{1}d_{2}\ldots d_{p-1}} _{\text{significand}})_{\beta }\times \beta ^{\overbrace {E} ^{\text{exponent}}}=\pm d_{0}\times \beta ^{E}+d_{1}\times \beta ^{E-1}+\ldots +d_{p-1}\times \beta ^{E-(p-1)}$ どこ $d_i$ は整数で、 $0\leq d_{i}\leq \beta -1$ のために $i=0,1,\ldots ,p-1$ 、そして $E$ は整数で、 $L\leq E\leq U$ 。

正規化浮動小数点システム

浮動小数点数は、先頭の桁が $d0$ は、数値がゼロでない限り常にゼロではありません。^{[ 3 ]}仮数は $d_0.d_1d_2...d_p-1$ 正規化されたシステムにおける非ゼロ数の仮数は以下を満たす。 $1 ≤ 有意水準 }< β p$ したがって、非ゼロのIEEE浮動小数点数の正規化形式は次のようになります。 $\pm 1.bb\ldots b\times 2^{E}$ どこ $b\in {0,1}$ バイナリでは、先頭の桁は常に $1$ そのため、この値は書き出されず、暗黙のビットと呼ばれます。これにより、精度が1ビット向上し、表現誤差による丸め誤差が低減されます。
浮動小数点数システム以来 $F$ $F$ 浮動小数点数は有限かつ離散的であるため、すべての実数を表現することはできません。つまり、無限の実数は丸め規則によって有限の数で近似することしかできません。与えられた実数の浮動小数点近似 $x$ $x$ による $fl(x)$ $fl(x)$ と表記できる。
- 正規化された浮動小数点数の総数は $2(\beta -1)\beta ^{p-1}(U-L+1)+1,$ $2(\beta -1)\beta ^{p-1}(U-L+1)+1,$ どこ
  - $2$ 正または負の符号の選択を数える
  - $(\beta -1)$ 先頭の桁の選択をカウントします
  - $\displaystyle \beta ^{p-1}}$ 残りの有効数字を数える
  - $U-L+1$ 指数選択のカウント
  - $1$ 番号が $0$ 。

IEEE規格

IEEE規格では基数はバイナリです。 $\beta =2$ 正規化が使用されます。IEEE 規格では、符号、指数、仮数を浮動小数点ワードの別々のフィールドに格納し、それぞれのフィールドの幅 (ビット数) は固定されています。浮動小数点数で最も一般的に使用される精度レベルは、単精度と倍精度です。

マシンイプシロン

マシンイプシロンは、浮動小数点数システムの丸め誤差のレベルを測定するために使用できます。以下に2つの異なる定義を示します。^{[ 3 ]}

機械イプシロンは、 $\epsilon _{\text{マッハ}}$ は、ゼロでない実数を表現する際に発生する可能性のある最大絶対相対誤差です。 $x$ 浮動小数点数システムにおいて。 $\epsilon _{\text{mach}}=\max _{x}{\frac {|x-\operatorname {fl} (x)|}{|x|}}$
機械イプシロンは、 $\epsilon _{\text{マッハ}}$ は最小の数です $\epsilon$ そのため $\displaystyle \operatorname {fl} (1+\epsilon )>1}$ 。したがって、 $\operatorname {fl} (1+\delta )=\operatorname {fl} (1)=1$ 、いつでも $|\delta |<\epsilon _{\text{mach}}.$

異なる丸め規則に基づく丸め誤差

丸め処理には、切り捨てと最近傍丸めの2つの一般的なルールがあります。IEEE規格では最近傍丸めが採用されています。

ラウンドバイチョップ：ベース- $\beta$ $\beta$ 拡張 $x$ $x$ の後に切り捨てられます $(p-1)$ $(p-1)$ - 番目の桁。
- この丸めルールは、常に結果をゼロ方向に近づけるため、偏りがある。
最も近い値に丸める： $\operatorname {fl} (x)$ $\operatorname {fl} (x)$ 最も近い浮動小数点数に設定されます $x$ $x$ 同点の場合は、格納されている最後の桁が偶数である浮動小数点数（また、バイナリ形式では最後の桁が0に等しい）が使用されます。
- IEEE規格では、ベース $\beta$ は $2$ つまり、同点の場合は、最後の桁が等しくなるように四捨五入されます。 $0$ 。
- この丸めルールは精度が高いが、計算コストも高くなる。
- 同点の場合に最後に格納される桁が偶数になるように丸めることで、特定の桁が系統的に切り上げられたり切り下げられたりすることを防ぎます。これは、偏った丸め処理によって長時間の計算で望ましくない緩やかなずれが生じる可能性を回避するためです。

次の例は、2 つの丸めルールにおける丸め誤差のレベルを示しています。^{[ 3 ]}丸めルール、最も近い値への丸めは、一般的に丸め誤差が少なくなります。

IEEE規格における丸め誤差の計算

最も近い値への丸めとIEEE倍精度演算の使用を想定します。

例：10進数 $(9.4)_{10}=(1001.{\overline {0110}})_{2}$ 並べ替えることができる $+1.\underbrace {0010110011001100110011001100110011001100110011001100} _{\text{52 ビット}}110\ldots \times 2^{3}$ バイナリポイントの右側の53ビット目は1であり、その後に他の非ゼロビットが続くため、最も近い値への丸め規則では切り上げ、つまり52ビット目に1ビットを加える必要があります。したがって、IEEE標準9.4の正規化された浮動小数点表現は次のようになります。 $\operatorname {fl} (9.4)=1.0010110011001100110011001100110011001100110011001101\times 2^{3}.$

これで、丸め誤差は、 $9.4$ と $\operatorname {fl} (9.4)$ この表現は無限尾部を破棄することによって得られる。 $0.{\overline {1100}}\times 2^{-52}\times 2^{3}=0.{\overline {0110}}\times 2^{-51}\times 2^{3}=0.4\times 2^{-48}$ 右尾から追加 $1 × 2-52 × 23 = 2-49$ 丸めステップで。 $\operatorname {fl} (9.4)=9.4-0.4\times 2^{-48}+2^{-49}=9.4+(0.2)_{10}\times 2^{-49}.$ したがって、丸め誤差は $\displaystyle (0.2\times 2^{-49})_{10}}$ 。

機械イプシロンを使用して丸め誤差を測定する

機械イプシロン $\epsilon _{\text{マッハ}}$ 上記の 2 つの丸めルールを使用した場合の丸め誤差のレベルを測定するために使用できます。以下に、式と対応する証明を示します。^{[ 3 ]}ここでは、マシンイプシロンの最初の定義を使用します。

定理

ラウンドごとに： $\epsilon _{\text{マッハ}}=\beta ^{1-p}$
最も近い値に四捨五入： $\epsilon _{\text{mach}}={\frac {1}{2}}\beta ^{1-p}$

証拠

させて $x=d_{0}.d_{1}d_{2}\ldots d_{p-1}d_{p}\ldots \times \beta ^{n}\in \mathbb {R}$ どこ $n\in [L,U]$ 、そして $\operatorname {fl} (x)$ 浮動小数点表現 $x$ 丸ごと刻む方式が採用されているため、 ${\begin{aligned}{\frac {|x-\operatorname {fl} (x)|}{|x|}}&={\frac {|d_{0}.d_{1}d_{2}\ldots d_{p-1}d_{p}d_{p+1}\ldots \times \beta ^{n}-d_{0}.d_{1}d_{2}\ldots d_{p-1}\times \beta ^{n}|}{|d_{0}.d_{1}d_{2}\ldots \times \beta ^{n}|}}\\&={\frac {|d_{p}.d_{p+1}\ldots \times \beta ^{np}|}{|d_{0}.d_{1}d_{2}\ldots \times \beta ^{n}|}}\\&={\frac {|d_{p}.d_{p+1}d_{p+2}\ldots |}{|d_{0}.d_{1}d_{2}\ldots |}}\times \beta ^{-p}\end{aligned}}$ この量の最大値を決定するには、分子の最大値と分母の最小値を求める必要があります。 $d₀≠0$ （正規化システム）分母の最小値は $1$ 分子は以下によって上から制限される。 $(\beta -1).(\beta -1){\overline {(\beta -1)}}=\beta$ 。したがって、 ${\frac {|x-fl(x)|}{|x|}}\leq {\frac {\beta }{1}}\times \beta ^{-p}=\beta ^{1-p}.$ したがって、 $\epsilon =\beta ^{1-p}$ 切り捨てによる丸めの場合。最も近い値への丸めの場合の証明も同様です。

機械イプシロンの最初の定義は、最も近い値への丸め規則を使用する場合、2番目の定義と完全には等価ではありませんが、切り捨てによる丸めの場合は等価であることに注意してください。

浮動小数点演算によって生じる丸め誤差

浮動小数点数で正確に表現できる数値もあり、そのような数値は機械数と呼ばれますが、浮動小数点演算を実行すると、最終結果に丸め誤差が生じる可能性があります。

追加

機械加算は、加算する2つの数値の小数点を揃え、それらを加算し、結果を浮動小数点数として再度格納することから成ります。加算自体はより高い精度で行うことができますが、結果は指定された精度に丸め直す必要があり、丸め誤差が発生する可能性があります。^{[ 3 ]}

例えば、追加する $1$ に $2^{-53}$ IEEE倍精度では以下のようになります。 ${\begin{aligned}1.00\ldots 0\times 2^{0}+1.00\ldots 0\times 2^{-53}&=1.\underbrace {00\ldots 0} _{\text{52 bits}}\times 2^{0}+0.\underbrace {00\ldots 0} _{\text{52 bits}}1\times 2^{0}\\&=1.\underbrace {00\ldots 0} _{\text{52 bits}}1\times 2^{0}.\end{aligned}}$ これは次のように保存されます $1.\underbrace {00\ldots 0} _{\text{52 bits}}\times 2^{0}$ IEEE規格では最も近い値への丸めが使用されているため、 $1+2^{-53}$ に等しい $1$ IEEE倍精度では、丸め誤差は $2^{-53}$ 。

この例は、大きな数と小さな数を加算する際に丸め誤差が生じる可能性があることを示しています。指数を一致させるために仮数の小数点位置をずらすと、下位桁の一部が失われます。精度の低下は吸収として説明できます。^{[ 11 ]}

2つの浮動小数点数を加算する場合、その合計が2つの数値のうち大きい方の値よりも桁違いに大きい場合は、丸め誤差が生じる可能性があることに注意してください。

例えば、基数がの正規化された浮動小数点数システムを考えてみましょう。 $10$ そして精度 $2$ 。それから $fl(62)=6.2\times 10^{1}$ そして $fl(41)=4.1\times 10^{1}$ 。ご了承ください $62+41=103$ しかし $fl(103)=1.0\times 10^{2}$ 丸め誤差があります $103-fl(103)=3$ 。

この種のエラーは、単一の演算において吸収エラーと同時に発生する可能性がある。

乗算

一般に、2 つの p 桁の仮数の積は最大 2p 桁になるので、結果が仮数に収まらない可能性があります。^{[ 3 ]}そのため、結果には丸め誤差が含まれます。

例えば、基数がの正規化された浮動小数点数システムを考えてみましょう。 $\beta =10$ 有効数字は最大で $2$ 。それから $fl(77)=7.7\times 10^{1}$ そして $fl(88)=8.8\times 10^{1}$ 。ご了承ください $77\times 88=6776$ しかし $fl(6776)=6.7\times 10^{3}$ せいぜい $2$ 有効数字。丸め誤差は $6776-fl(6776)=6776-6.7\times 10^{3}=76$ 。

分割

一般的に、2p桁の仮数部の商はp桁を超える場合がある。そのため、結果には丸め誤差が生じる。

例えば、上記の正規化浮動小数点数がまだ使用されている場合、 $1/3=0.333\ldots$ しかし $fl(1/3)=fl(0.333\ldots )=3.3\times 10^{-1}$ それで、尻尾 $0.333\ldots -3.3\times 10^{-1}=0.00333\ldots$ 途切れる。

引き算

吸収の法則は減算にも適用される。

例えば、引き算 $2^{-60}$ から $1$ IEEE倍精度では以下のようになります。 ${\begin{aligned}1.00\ldots 0\times 2^{0}-1.00\ldots 0\times 2^{-60}&=\underbrace {1.00\ldots 0} _{\text{60 bits}}\times 2^{0}-\underbrace {0.00\ldots 01} _{\text{60 bits}}\times 2^{0}\\&=\underbrace {0.11\ldots 1} _{\text{60 bits}}\times 2^{0}.\end{aligned}}$ これは次のように保存されます $\underbrace {1.00\ldots 0} _{\text{53 bits}}\times 2^{0}$ IEEE規格では最も近い値への丸めが使用されているため、 $1-2^{-60}$ に等しい $1$ IEEE倍精度では、丸め誤差は $-2^{-60}$ 。

ほぼ等しい2つの数の引き算は、減算による消去と呼ばれます。^{[ 3 ]} 先頭の桁が消去されると、結果は小さすぎて正確に表現できない場合があり、単に次のように表現されます。 $0$ 。

例えば、 $|\epsilon |<\epsilon _{\text{mach}}$ そして、ここでは機械イプシロンの2番目の定義が使用されています。 $(1+\epsilon )-(1-\epsilon )$ ？知られているように $1+\epsilon$ そして $1-\epsilon$ ほぼ同数で、 $(1+\epsilon )-(1-\epsilon )=1+\epsilon -1+\epsilon =2\epsilon$ しかし、浮動小数点数システムでは、 $fl((1+\epsilon )-(1-\epsilon ))=fl(1+\epsilon )-fl(1-\epsilon )=1-1=0$ 。それでも $2\epsilon$ は表現するのに十分な大きさで、 $\epsilon$ 丸みを帯びて $0$ 。

多少大きい場合でも $\epsilon$ しかし、一般的なケースでは、結果は依然として著しく信頼性に欠ける。浮動小数点数において最も不確実性が高いのは右端の桁であるため、その値の正確性に対する信頼は低い。

例えば、 $1.99999\times 10^{2}-1.99998\times 10^{2}=0.00001\times 10^{2}=1\times 10^{-5}\times 10^{2}=1\times 10^{-3}$ 。結果 $1\times 10^{-3}$ 明らかに表現可能ではあるが、それに対する信頼はあまり高くない。

これは、2つの数が近似値であることが知られている「壊滅的相殺」という現象と密接に関連している。

丸め誤差の蓄積

不正確な表現による丸め誤差のある初期入力に対して一連の計算を適用すると、誤差が拡大または蓄積される可能性がある。

不安定なアルゴリズム

アルゴリズムまたは数値処理は、入力の小さな変化が出力の小さな変化しか生み出さない場合、安定していると呼ばれ、出力の大きな変化を生み出す場合は不安定であると呼ばれます。 ^{[ 12 ]}例えば、 $f(x)={\sqrt {1+x}}-1$ 「明白な」方法を使用すると、不安定になります。 $x=0$ 2 つの類似した量を減算する際に生じる大きな誤差のため、等価な式 $\textstyle {f(x)={\frac {x}{{\sqrt {1+x}}+1}}}$ 安定している。^{[ 12 ]}

条件の悪い問題

安定したアルゴリズムを使用した場合でも、問題自体が悪条件である場合、丸め誤差の蓄積により、問題の解が不正確になる可能性があります。

問題の条件数は、解の相対変化と入力の相対変化の比です。^{[ 3 ]}入力の相対変化が小さい場合に解の相対変化も小さい場合、問題は条件が良いと言えます。そうでない場合、問題は条件が悪いと言えます。^{[ 3 ]}言い換えれば、問題の条件数が 1 より「はるかに大きい」場合、問題は条件が悪いと言えます。

条件数は、条件の悪い問題を解く際に発生する丸め誤差の尺度として導入された。^{[ 7 ]}

参考文献

↑ Butt, Rizwan (2009), Introduction to Numerical Analysis Using MATLAB , Jones & Bartlett Learning, pp. 11–18 , ISBN 978-0-76377376-2
↑ Ueberhuber、Christoph W. (1997)、Numerical Computation 1: Methods, Software, and Analysis、Springer、pp. 139–146、ISBN 978-3-54062058-7
1 2 3 4 5 6 7 8 9 10 Forrester, Dick (2018). Math/Comp241 数値解析 (講義ノート) . Dickinson College .
↑ Aksoy, Pelin; DeNardis, Laura (2007), Information Technology in Theory , Cengage Learning, p. 134, ISBN 978-1-42390140-2
↑ラルストン、アンソニー、ラビノウィッツ、フィリップ (2012)、『数値解析入門』、ドーバー数学叢書（第2版）、クーリエ・ドーバー出版、2～ 4ページ、ISBN 978-0-48614029-2
↑チャップマン、スティーブン (2012)、『エンジニアのためのMATLABプログラミングと応用』、Cengage Learning、p. 454、ISBN 978-1-28540279-6
1 2チャプラ、スティーブン（2012）。エンジニアと科学者のためのMATLABを用いた応用数値解析（第3版）。マグロウヒル。ISBN 9780073401102。
↑ラプランテ、フィリップ A. (2000). 『コンピュータ科学、工学、技術辞典』 . CRC Press . p. 420. ISBN 978-0-84932691-2。
↑ Higham, Nicholas John (2002).数値アルゴリズムの精度と安定性（第2版）.応用数理学会（SIAM）. pp. 43–44 . ISBN 978-0-89871521-7。
↑ Volkov, EA (1990). Numerical Methods . Taylor & Francis . p. 24. ISBN 978-1-56032011-1。
↑ Biran, Adrian B.; Breiner, Moshe ( 2010). "5".すべてのエンジニアが知っておくべきMATLABとSimulinkについて.フロリダ州ボカラトン: CRC Press . pp. 193–194 . ISBN 978-1-4398-1023-1。
1 2 Collins, Charles (2005). "条件と安定性" (PDF) .テネシー大学数学科. 2018-10-28取得.

さらに読む

マット・パーカー（2021）。『ハンブル・パイ：現実世界で数学が間違った方向に進むとき』リバーヘッド・ブックス。ISBN 978-0593084694。

外部リンク

MathWorldにおける丸め誤差。
Goldberg, David (1991年3月). 「浮動小数点演算についてすべてのコンピュータ科学者が知っておくべきこと」(PDF) . ACM Computing Surveys . 23 (1): 5– 48. doi : 10.1145/103162.103163 . S2CID 222008826 . 2016年1月20日取得. （、）
ソフトウェア開発における20の有名な失敗事例
丸め計算機

[1] Butt, Rizwan (2009), Introduction to Numerical Analysis Using MATLAB , Jones & Bartlett Learning, pp. 11–18 , ISBN 978-0-76377376-2

[2] Ueberhuber、Christoph W. (1997)、Numerical Computation 1: Methods, Software, and Analysis、Springer、pp. 139–146、ISBN 978-3-54062058-7

[Forrester_2018-3] 1 2 3 4 5 6 7 8 9 10 Forrester, Dick (2018). Math/Comp241 数値解析 (講義ノート) . Dickinson College .

[4] Aksoy, Pelin; DeNardis, Laura (2007), Information Technology in Theory , Cengage Learning, p. 134, ISBN 978-1-42390140-2

[5] ラルストン、アンソニー、ラビノウィッツ、フィリップ (2012)、『数値解析入門』、ドーバー数学叢書（第2版）、クーリエ・ドーバー出版、2～ 4ページ、ISBN 978-0-48614029-2

[6] チャップマン、スティーブン (2012)、『エンジニアのためのMATLABプログラミングと応用』、Cengage Learning、p. 454、ISBN 978-1-28540279-6

[Chapra_2012-7] 1 2チャプラ、スティーブン（2012）。エンジニアと科学者のためのMATLABを用いた応用数値解析（第3版）。マグロウヒル。ISBN 9780073401102。

[Laplante_2000-8] ラプランテ、フィリップ A. (2000). 『コンピュータ科学、工学、技術辞典』 . CRC Press . p. 420. ISBN 978-0-84932691-2。

[Higham_2002-9] Higham, Nicholas John (2002).数値アルゴリズムの精度と安定性（第2版）.応用数理学会（SIAM）. pp. 43–44 . ISBN 978-0-89871521-7。

[Volkov_1990-10] Volkov, EA (1990). Numerical Methods . Taylor & Francis . p. 24. ISBN 978-1-56032011-1。

[11] Biran, Adrian B.; Breiner, Moshe ( 2010). "5".すべてのエンジニアが知っておくべきMATLABとSimulinkについて.フロリダ州ボカラトン: CRC Press . pp. 193–194 . ISBN 978-1-4398-1023-1。

[Collins_2005-12] 1 2 Collins, Charles (2005). "条件と安定性" (PDF) .テネシー大学数学科. 2018-10-28取得.

[ 1 ]

[ 2 ]

[

[

[

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]