スペクトルフィルタリングによる正則化

スペクトル正則化は、機械学習においてノイズの影響を制御し、過学習を防ぐために用いられる正則化手法の一種です。スペクトル正則化は、画像のぼやけ除去から、メールをスパムフォルダと非スパムフォルダに分類することまで、幅広い用途で活用できます。例えば、メール分類の例では、ラベル付けされたメールセットを用いて機械学習システムを訓練し、スパムメールと非スパムメールを区別する方法を学習させる際に、スペクトル正則化を用いることでノイズの影響を軽減し、過学習を防ぐことができます。

スペクトル正則化アルゴリズムは、条件数が悪いか逆行列が有界でない可能性のある線形演算子または行列の逆行列に焦点を当てた、もともと不適切逆問題の理論で定義および研究された手法に依存しています（たとえば、^{[ 1 ]}を参照） 。この文脈では、正則化は、元の演算子を、正則化パラメータによって制御される条件数を持つ「正則化演算子」と呼ばれる有界演算子に置き換えることに相当します^{[ 2 ]}古典的な例としては、ティホノフ正則化があります。安定性を確保するために、この正則化パラメータはノイズのレベルに基づいて調整されます^{[ 2 ]}スペクトル正則化の背後にある主なアイデアは、各正則化演算子は、問題を定義する演算子の固有値に対する適切なフィルタとしてスペクトル計算を使用して記述でき、フィルタの役割は「小さな固有値に対応する振動挙動を抑制する」ことです。^{[ 2 ]}したがって、スペクトル正則化アルゴリズムのクラス内の各アルゴリズムは、適切なフィルタ関数によって定義されます（これは、その特定のアルゴリズム用に導出する必要があります）。スペクトルフィルタリングがよく研究されている最も一般的に使用される正則化アルゴリズムの 3 つは、ティホノフ正則化、ランドウェバー反復、および切り捨て特異値分解(TSVD) です。正則化パラメータの選択に関しては、このパラメータを計算するための候補方法の例には、不一致原理、一般化交差検証、および L 曲線基準などがあります。^{[ 3 ]}

機械学習の文脈で研究されているスペクトルフィルタリングの概念は、信号処理における関数近似に関する文献と関連している。

トレーニングセットは次のように定義されます。${\displaystyle S=\{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$、 どこ${\displaystyle X}$は${\displaystyle n\times d}$入力行列と${\displaystyle Y=(y_{1},\dots ,y_{n})}$は出力ベクトルです。該当する場合、カーネル関数は で表されます。${\displaystyle k}$、そして${\displaystyle n\times n}$カーネル行列は次のように表される。${\displaystyle K}$エントリがあります${\displaystyle K_{ij}=k(x_{i},x_{j})}$そして$\displaystyle {\mathcal {H}}}$は、核を持つ再生核ヒルベルト空間（RKHS）を表す。${\displaystyle k}$正則化パラメータは、で表されます。${\displaystyle \lambda }$。

のために${\displaystyle g\in G}$そして${\displaystyle f\in F}$、 と${\displaystyle G}$そして${\displaystyle F}$ヒルベルト空間であり、線形連続演算子が与えられた場合${\displaystyle L}$と仮定すると${\displaystyle g=Lf}$が成り立つ。この設定では、直接の問題は、を解くことである。${\displaystyle g}$与えられた${\displaystyle f}$そして逆問題は、${\displaystyle f}$与えられた${\displaystyle g}$解が存在し、一意かつ安定している場合、逆問題（つまり、を解く問題）${\displaystyle f}$) は適切に定式化されている。そうでなければ、それは不適切に定式化されている。

正則化最小二乗法（RLS）推定問題（チホノフ正則化設定）と不適切逆問題の理論との関連性は、スペクトル正則化アルゴリズムが不適切逆問題の理論とどのように関連しているかを示す一例である。

RLS推定量は、 $${\displaystyle \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}+\lambda \left\|f\right\|_{\mathcal {H}}^{2}}$$ そしてRKHSでは、このRLS推定量を次のように表現できます。${\displaystyle f_{S}^{\lambda }(X)=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$どこ${\displaystyle (K+n\lambda I)c=Y}$と${\displaystyle c=(c_{1},\dots ,c_{n})}$[ ^{4 ]ペナルティ項は、}平滑性を制御し、過学習を防止するために使用されます。経験的リスク最小化の解は、${\displaystyle \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$次のように書くことができます${\displaystyle f_{S}^{\lambda }(X)=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$そのため${\displaystyle Kc=Y}$ペナルティ関数を追加すると、解決する必要のあるシステムに次の変更が生じます。^{[ 5 ]}$${\displaystyle \left\{\min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}\rightarrow \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}+\lambda \left\|f\right\|_{\mathcal {H}}^{2}\right\}\equiv {\biggl \{}Kc=Y\rightarrow \left(K+n\lambda I\right)c=Y{\biggr \}}.}$$

この学習設定では、カーネル行列は次のように分解できます。${\displaystyle K=Q\Sigma Q^{T}}$、 と $${\displaystyle \Sigma =\operatorname {diag} (\sigma _{1},\dots ,\sigma _{n}),~\sigma _{1}\geq \sigma _{2}\geq \cdots \geq \sigma _{n}\geq 0}$$ そして${\displaystyle q_{1},\dots ,q_{n}}$は対応する固有ベクトルである。したがって、初期学習設定では、以下が成り立つ。 $${\displaystyle c=K^{-1}Y=Q\Sigma ^{-1}Q^{T}Y=\sum _{i=1}^{n}{\frac {1}{\sigma _{i}}}\langle q_{i},Y\rangle q_{i}.}$$

したがって、固有値が小さい場合、データのわずかな摂動でも解に大きな変化が生じる可能性があります。そのため、この問題は条件が悪く、このRLS問題を解くことは、条件が悪い可能性のある行列逆問題を安定化させることに相当します。これは、不適切逆問題の理論で研究されている問題です。どちらの問題においても、数値安定性の問題に対処することが主な課題となります。

スペクトル正則化アルゴリズムのクラスに属する各アルゴリズムは、適切なフィルタ関数によって定義され、ここでは次のように表される。${\displaystyle G_{\lambda }(\cdot )}$カーネル行列を次のように表すとします。${\displaystyle K}$、 それから${\displaystyle \lambda }$より小さい固有値の大きさを制御する必要がある${\displaystyle G_{\lambda }(K)}$フィルタリング設定では、推定器を見つけることが目標です。${\displaystyle f_{S}^{\lambda }(X):=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$どこ${\displaystyle c=G_{\lambda }(K)Y}$そのためには、スカラーフィルタ関数${\displaystyle G_{\lambda }(\sigma )}$は、カーネル行列の固有値分解を用いて定義される。 $${\displaystyle G_{\lambda }(K)=QG_{\lambda }(\Sigma )Q^{T},}$$ これにより $${\displaystyle G_{\lambda }(K)Y~=~\sum _{i=1}^{n}G_{\lambda }(\sigma _{i})\langle q_{i},Y\rangle q_{i}.}$$

一般的に、適切なフィルタ関数は次の特性を備えている必要があります。^{[ 5 ]}

1. として${\displaystyle \lambda }$ゼロになる、${\displaystyle G_{\lambda }(\sigma )~\rightarrow ~1/\sigma }$。
2. （より小さい）固有値の大きさ${\displaystyle G_{\lambda }}$によって制御されています${\displaystyle \lambda }$。

上記の項目は、すべてのスペクトル正則化アルゴリズムにおけるフィルタ関数の一般的な特性を大まかに特徴づけるものですが、フィルタ関数の導出（したがってその正確な形式）は、スペクトルフィルタリングが適用される特定の正則化方法によって異なります。

c 0 := 0 for i = 1, ..., t − 1 c i := c i −1 + η ( Y − Kc i −1 ) end