残差（数値解析）

大まかに言えば、残差とは結果の誤差のことである。 ^{[ 1 ]}正確には、次のようなx を見つけたいとしよう。

${\displaystyle f(x)=b.}$

xの近似値x ₀が与えられた場合、残差は

${\displaystyle bf(x_{0})}$

つまり、 f ( x₀ )_を引いた後の「右辺の残り」です（したがって、「残差」という名前です。残ったもの、余り）。一方、誤差は

${\displaystyle x-x_{0}}$

xの正確な値が不明な場合でも、残差は計算できるが、誤差は計算できない。

微分方程式、積分方程式、関数方程式を扱う際にも同様の用語が使われます。近似の場合${\displaystyle f_{\text{a}}}$溶液の${\displaystyle f}$方程式の

${\displaystyle T(f)(x)=g(x)\,,}$

残差は関数である

${\displaystyle ~g(x)~-~T(f_{\text{a}})(x)}$、

または、この差のノルムの最大値であると言える。

${\displaystyle \max _{x\in {\mathcal {X}}}|g(x)-T(f_{\text{a}})(x)|}$

ドメイン全体にわたって$\displaystyle {\mathcal {X}}}$関数${\displaystyle f_{\text{a}}}$解を近似することが期待される${\displaystyle f}$、

あるいは、例えば、差分の関数の積分など。

${\displaystyle \int _{\mathcal {X}}|g(x)-T(f_{\text{a}})(x)|^{2}~\mathrm {d} x.}$

多くの場合、残差が小さいということは、近似が解に近いことを意味します。つまり、

$${\displaystyle \left|{\frac {f_{\text{a}}(x)-f(x)}{f(x)}}\right|\ll 1.}$$

このような場合、初期方程式は適切に定義されているとみなされ、残差は近似解と厳密解とのずれの尺度とみなすことができる。

正確な解がわからない場合は、残差の小さい近似解を求めることができる。

残差は、数学の多くの分野に現れます。例えば、残差を体系的に最小化することで方程式の解を求める一般化最小残差法などの反復解法もその一つです。物理法則に基づいたニューラルネットワークでは、偏微分方程式の残差からなる項が損失関数に追加されます。