カーネル適応フィルタ

信号処理において、カーネル適応フィルタは非線形適応フィルタの一種です。^{[ 1 ]}適応フィルタとは、フィルタが理想的な動作からどれだけ逸脱しているかを特徴付ける誤差関数または損失関数を最小化することによって、時間の経過に伴う信号特性の変化に伝達関数を適応させるフィルタです。適応プロセスは一連の信号サンプルからの学習に基づいており、したがってオンラインアルゴリズムです。非線形適応フィルタとは、伝達関数が非線形であるフィルタのことです。

カーネル適応フィルタは、カーネル法を用いて非線形伝達関数を実装します。^{[ 1 ]}これらの方法では、信号は高次元の線形特徴空間にマッピングされ、非線形関数は特徴空間を定義域とするカーネルの和として近似されます。再生核ヒルベルト空間でこれを行うと、カーネル法は非線形関数の普遍近似器になります。カーネル法には、局所的最小値のない凸損失関数を持ち、実装がそれほど複雑ではないという利点があります。

高次元特徴空間は線形であるため、カーネル適応フィルタは線形適応フィルタの一般化と考えることができます。線形適応フィルタと同様に、フィルタを適応させるには、最小二乗平均フィルタ（LMS）^{[ 2 ]}と再帰的最小二乗フィルタ（RLS）^{[ 3 ]という2つの一般的なアプローチがあります。}

反復を使用して凸 LMS 誤差最小化を実現する自己組織化カーネル適応フィルタは、線形の場合には発生しない非線形モデルの統計的および実際的な問題のいくつかに対処します。^{[ 4 ]}正則化は非線形モデルにとって特に重要な機能であり、統計的不確実性を低減するために線形適応フィルタでもよく使用されます。しかし、非線形フィルタは通常、実際に必要な部分空間と比較して、はるかに高い潜在的構造複雑性（または高次元の特徴空間）を持つため、何らかの正則化によって、決定不能なモデルに対処しなければなりません。Vapink のSRMおよびSVMで規定されているような特定の形式のパラメータ正則化は、ある程度統計的に次元の問題に対処しますが、真に適応的な非線形フィルタには、さらに統計的および実際的な問題が残っています。適応フィルタは、利用可能なデータと構造から完全にモデル化できない時変システムまたはシステムの挙動を追跡するためによく使用されるため、モデルはパラメータだけでなく構造も適応させる必要がある場合があります。

カーネルの構造パラメータが処理対象データから直接導出される場合（上記の「サポートベクター」アプローチのように）、フィルタに利用可能なカーネルの自己組織化のための解析的に堅牢な手法を利用できる便利な機会があります。カーネルによって誘導される線形化された特徴空間により、新しいサンプルをモデルの現在の構造に線形投影することが可能になり、新しいデータの新規性をノイズ由来のエラーから容易に区別できます。ノイズ由来のエラーはモデル構造の変更につながるべきではありません。構造解析のための解析的指標を使用することで、必要に応じてモデルの複雑さを簡潔に増加させたり、プロセッサのリソース制限に達したときに既存の構造を最適に剪定したりできます。構造の更新は、システム変動が検出され、線形フィルタのカルマンフィルタの場合と同様にモデルの長期記憶を更新する必要がある場合にも重要です。

適応フィルタで一般的に使用される反復勾配降下法は、大規模データセット処理における計算効率の高さから、オフラインバッチモードのサポートベクターベースの機械学習でも人気を集めています。時系列データとバッチデータの両方の処理性能は、わずか10kBのRAMで10万を超えるトレーニング例を容易に処理できることが報告されています^{[ 5 ]}。このような大規模なデータサイズは、例えば線形計画法や二次計画法を用いた制約付き最適化に依存していたサポートベクターマシンやその他のカーネル法の元の定式化にとって課題となります。