最小二乗関数近似

したがって、連続関数である2つの関数の間の面積を最小化することによって、別の関数の「最良」近似を見つけることができる。${\displaystyle f}$の上${\displaystyle [a,b]}$そして関数${\displaystyle g\in W}$どこ${\displaystyle W}$は の部分空間である${\displaystyle C[a,b]}$:

${\displaystyle {\text{面積}}=\int _{a}^{b}\left\vert f(x)-g(x)\right\vert \,dx,}$

すべてサブスペース内${\displaystyle W}$絶対値を含む被積分関数の評価はしばしば困難であるため、代わりに次のように定義することができる。

${\displaystyle \int _{a}^{b}[f(x)-g(x)]^{2}\,dx}$

最小二乗近似を得るための適切な基準として、関数${\displaystyle g}$、 の${\displaystyle f}$内積空間に関して${\displaystyle W}$。

そのような、${\displaystyle \lVert fg\rVert ^{2}}$または同等に、${\displaystyle \lVert fg\rVert }$したがって、ベクトル形式で次のように表すことができます。

${\displaystyle \int _{a}^{b}[f(x)-g(x)]^{2}\,dx=\left\langle fg,fg\right\rangle =\lVert fg\rVert ^{2}.}$

言い換えれば、最小二乗近似は${\displaystyle f}$関数は${\displaystyle g\in {\text{ 部分空間 }}W}$最も近い${\displaystyle f}$内積の観点から${\displaystyle \left\langle f,g\right\rangle }$さらに、これは次の定理にも適用できます。

させて${\displaystyle f}$継続する${\displaystyle [a,b]}$、そして${\displaystyle W}$有限次元部分空間である${\displaystyle C[a,b]}$最小二乗近似関数${\displaystyle f}$に関して${\displaystyle W}$は

${\displaystyle g=\left\langle f,{\vec {w}}_{1}\right\rangle {\vec {w}}_{1}+\left\langle f,{\vec {w}}_{2}\right\rangle {\vec {w}}_{2}+\cdots +\left\langle f,{\vec {w}}_{n}\right\rangle {\vec {w}}_{n},}$

どこ${\displaystyle B=\{{\vec {w}}_{1},{\vec {w}}_{2},\dots ,{\vec {w}}_{n}\}}$は、​${\displaystyle W}$。