スムージングスプライン

平滑化スプラインは、対象 のノイズの多い観測値のセットから得られる関数推定値 であり、への適合度の尺度と の導関数に基づく平滑度の尺度とのバランスをとります。これらは、ノイズの多いデータを平滑化する手段を提供します。最もよく知られている例は 3 次平滑化スプラインですが、がベクトル量である 場合など、他にも多くの可能性があります。${\displaystyle {\hat {f}}(x)}$${\displaystyle y_{i}}$${\displaystyle f(x_{i})}$${\displaystyle {\hat {f}}(x_{i})}$${\displaystyle y_{i}}$${\displaystyle {\hat {f}}(x)}$${\displaystyle x_{i},y_{i}}$${\displaystyle x}$

を観測値の集合とし、関係式でモデル化します。ここで、は 独立で平均ゼロのランダム変数です。関数の3次平滑化スプライン推定は、コンパクトな区間上のソボレフ空間における唯一の最小値として定義されます。 ^{[1] [2]}${\displaystyle \{x_{i},Y_{i}:i=1,\dots ,n\}}$${\displaystyle Y_{i}=f(x_{i})+\epsilon _{i}}$${\displaystyle \epsilon_{i}}$${\displaystyle {\hat {f}}}$${\displaystyle f}$ ${\displaystyle W_{2}^{2}}$

${\displaystyle \sum _{i=1}^{n}\{Y_{i}-{\hat {f}}(x_{i})\}^{2}+\lambda \int {\hat {f}}^{\prime \prime }(x)^{2}\,dx.}$

備考：

• ${\displaystyle \lambda \geq 0}$は平滑化パラメータであり、データへの忠実性と関数推定値の粗さのトレードオフを制御します。これは、一般化クロスバリデーション^[3]または制限周辺尤度（REML）^[要出典]によって推定されることが多く、REMLはスプライン平滑化とベイズ推定のリンクを活用します（平滑化ペナルティは、の事前分布によって誘発されると考えることができます）。^[4]${\displaystyle f}$
• 積分は実数直線全体にわたって評価されることが多いですが、範囲を に制限することもできます。${\displaystyle x_{i}}$
• (平滑化なし)の場合、平滑化スプラインは補間スプラインに収束します。${\displaystyle \lambda \to 0}$
• (無限平滑化)の場合、粗さのペナルティが最大となり、推定値は線形最小二乗推定値に収束します。${\displaystyle \lambda \to \infty }$
• 2 次導関数に基づく粗さペナルティは、現代の統計文献で最も一般的ですが、この方法は他の導関数に基づくペナルティにも簡単に適応できます。
• 初期の文献では、等間隔の順序付きで、微分ではなく2次または3次の差分がペナルティに使用されていました。^[5]${\displaystyle x_{i}}$
• ペナルティ付き二乗和平滑化目的は、 二乗和項をデータへの忠実度を測る別の対数尤度ベースの尺度に置き換えたペナルティ付き尤度目的関数に置き換えることができる。 ^[1]二乗和項は、ガウス分布の仮定に基づくペナルティ付き尤度に対応する。${\displaystyle \epsilon_{i}}$

スムージング スプラインのフィッティングは、次の 2 つのステップで考えると便利です。

1. まず、値を導出します。${\displaystyle {\hat {f}}(x_{i});i=1,\ldots ,n}$
2. これらの値から、すべてのxについて導出します。${\displaystyle {\hat {f}}(x)}$

さて、まずは2番目のステップを扱います。

適合値のベクトルが与えられれば、スプライン基準の二乗和の部分は固定されます。 を最小化することだけが残り、最小化は点 を補間する自然な3次スプラインです。 この補間スプラインは線形演算子であり、次の形式で記述できます。 ${\displaystyle {\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}}$${\displaystyle \int {\hat {f}}''(x)^{2}\,dx}$${\displaystyle (x_{i},{\hat {f}}(x_{i}))}$

${\displaystyle {\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)}$

ここで、はスプライン基底関数の集合である。その結果、粗さペナルティは次の形式となる。 ${\displaystyle f_{i}(x)}$

${\displaystyle \int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.}$

ここで、 Aの要素は です。基底関数、つまり行列A は、予測変数の構成に依存しますが、応答や には依存しません。 ${\displaystyle \int f_{i}''(x)f_{j}''(x)dx}$${\displaystyle x_{i}}$${\displaystyle Y_{i}}$${\displaystyle {\hat {m}}}$

Aは で与えられるn × n行列です。 ${\displaystyle A=\デルタ ^{T}W^{-1}\デルタ }$

Δは、次の要素を持つ(n-2) × nの2次差分行列です。

${\displaystyle \Delta _{ii}=1/h_{i}}$、、​${\displaystyle \Delta_{i,i+1}=-1/h_{i}-1/h_{i+1}}$${\displaystyle \Delta_{i,i+2}=1/h_{i+1}}$

Wは、次の要素を持つ(n-2) × (n-2)対称三角行列 です。

${\displaystyle W_{i-1,i}=W_{i,i-1}=h_{i}/6}$、および は、連続するノット間の距離 (または x 値) です。 ${\displaystyle W_{ii}=(h_{i}+h_{i+1})/3}$${\displaystyle h_{i}=\xi _{i+1}-\xi _{i}}$

さて、最初のステップに戻りましょう。ペナルティ付きの平方和は次のように表すことができます。

${\displaystyle \{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},}$

どこ。 ${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{T}}$

を に対して微分することによりを最小化する。この結果は次式となる: ^[6]および ${\displaystyle {\hat {m}}}$${\displaystyle {\hat {m}}}$${\displaystyle -2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0}$ ${\displaystyle {\hat {m}}=(I+\lambda A)^{-1}Y.}$

デ・ブールのアプローチは、滑らかな曲線を持つことと与えられたデータに近づくこととの間のバランスを見つけるという同じアイデアを活用しています。^[7]

${\displaystyle p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx}$

ここで、は平滑化係数と呼ばれるパラメータで、区間 に属し、 および は平滑化の程度を制御する量です（各点 の重みを表します）。 実際には、3次スプラインが主に使用されているため、は通常 です。 の解は、1967 年にChristian Reinschによって提案されました。 ^[8]の場合、 が に近づくと、は指定されたデータに対する「自然な」スプライン補間に収束します。^[7]が に近づくと、は直線（最も滑らかな曲線）に収束します。 の適切な値を見つけるのは試行錯誤の作業であるため、便宜上、冗長な定数が導入されました。^{[8] は、}関数が次の条件を満たす ようにの値を数値的に決定するために使用されます。${\displaystyle p}$${\displaystyle [0,1]}$${\displaystyle \delta _{i};i=1,\dots ,n}$${\displaystyle \delta _{i}^{-2}}$${\displaystyle Y_{i}}$${\displaystyle m}$${\displaystyle 2}$${\displaystyle m=2}$${\displaystyle m=2}$${\displaystyle p}$${\displaystyle 1}$${\displaystyle {\hat {f}}}$${\displaystyle p}$${\displaystyle 0}$${\displaystyle {\hat {f}}}$${\displaystyle p}$${\displaystyle S}$ ${\displaystyle S}$${\displaystyle p}$${\displaystyle {\hat {f}}}$

${\displaystyle \sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S}$

de Boor によって記述されたアルゴリズムは から始まり、条件が満たされるまで増加します。^[7]がの標準偏差の推定値である場合、定数はの区間 で選択することが推奨されます。 を持つことは、解が「自然な」スプライン補間であることを意味します。^[8]が増加するということは、与えられたデータから離れることでより滑らかな曲線が得られることを意味します。 ${\displaystyle p=0}$${\displaystyle p}$${\displaystyle \delta _{i}}$${\displaystyle Y_{i}}$${\displaystyle S}$${\displaystyle \left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]}$${\displaystyle S=0}$${\displaystyle S}$

スカラーに関する平滑化からベクトルに関する平滑化に 一般化する手法には、主に2つの種類があります。最初のアプローチは、スプライン平滑化ペナルティを多次元設定に一般化するだけです。たとえば、推定しようとする場合、薄板スプラインペナルティを使用して、最小化を 見つけます。${\displaystyle x}$${\displaystyle x}$${\displaystyle f(x,z)}$${\displaystyle {\hat {f}}(x,z)}$

${\displaystyle \sum _{i=1}^{n}\{y_{i}-{\hat {f}}(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}{\hat {f}}}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}{\hat {f}}}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}{\hat {f}}}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.}$

薄板スプライン法は、2次元以上の平滑化やペナルティにおける他の微分次数にも一般化できます。^[1]次元が増加すると、使用できる最小の微分次数にいくつかの制限がありますが、^[1]実際には、Duchonの元の論文^[9]では、この制限を回避できる少し複雑なペナルティが示されています。

薄板スプラインは等方性です。つまり、 座標系を回転させても推定値は変わりませんが、すべての方向で同じレベルのスムージングが適切であると想定していることも意味します。空間的な位置に関してスムージングを行う場合、これは妥当であると考えられることがよくありますが、他の多くの場合、等方性は適切な想定ではなく、測定単位の恣意的な選択に敏感になる可能性があります。たとえば、距離と時間に関してスムージングを行う場合、等方性スムージングでは、距離がメートルで時間が秒で測定されている場合と、単位をセンチメートルと時間に変更した場合とで結果が異なります。 ${\displaystyle x,z}$

多次元平滑化への一般化の2番目のクラスは、テンソル積スプライン構造を使用してこのスケール不変性の問題を直接扱います。^{[10] [11] [12]}このようなスプラインには、複数の平滑化パラメータによる平滑化ペナルティがあり、これはすべての方向で同じ程度の平滑性が適切であると仮定しないことの代償です。

スムージング スプラインは、次のものと関連していますが、異なります。

• 回帰スプライン。この方法では、データは、通常は最小二乗法によって、削減されたノットのセットを持つスプライン基底関数のセットに適合されます。粗さのペナルティは使用されません。(多変量適応回帰スプラインも参照してください。)
• ペナルティスプライン。これは回帰スプラインの削減されたノットと平滑化スプラインの粗さペナルティを組み合わせたものです。^{[13] [14]}
• 多様体学習のための薄板スプラインと弾性マップ法。この方法は、近似誤差の最小二乗ペナルティと近似多様体の曲げと伸張のペナルティを組み合わせ、最適化問題の粗い離散化を使用します。

スプラインスムージングのソースコードは、Carl de Boorの著書「A Practical Guide to Splines」の例にあります。例はFortran プログラミング言語で書かれています。更新されたソースはCarl de Boorの公式サイト[1]でも入手できます。

• Wahba, G. (1990)。観測データのためのスプラインモデル。SIAM、フィラデルフィア。
• Green, PJ および Silverman, BW (1994)。ノンパラメトリック回帰と一般化線形モデル。CRC プレス。
• De Boor, C. (2001).スプライン実践ガイド (改訂版) . Springer.