WienerとLMSの類似点

最小二乗平均フィルタの解は、未知のシステムがLTIであり、ノイズが定常であると仮定すると、ウィーナー フィルタの解に収束します。両方のフィルタは、元の入力信号と未知のシステムの出力のみがわかっている場合に、未知のシステムのインパルス応答を識別するために使用できます。n 全体にわたって合計エラーを最小化するのではなく、現在のサンプル エラーを減らすためにエラー基準を緩和することで、ウィーナー フィルタから LMS アルゴリズムを導出できます。

既知の入力信号が与えられた場合、未知の LTI システムの出力は次のように表すことができます。 ${\displaystyle s[n]}$${\displaystyle x[n]}$

${\displaystyle x[n]=\sum _{k=0}^{N-1}h_{k}s[nk]+w[n]}$

ここで、 は未知のフィルタ タップ係数であり、 はノイズです。 ${\displaystyle h_{k}}$${\displaystyle w[n]}$

N次のウィーナーフィルタソリューションを使用した モデルシステムは次のように表すことができます。${\displaystyle {\hat {x}}[n]}$

${\displaystyle {\hat {x}}[n]=\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k]}$

ここで、決定するフィルタ タップ係数です。 ${\displaystyle {\hat {h}}_{k}}$

モデルと未知のシステム間の誤差は次のように表すことができます。

${\displaystyle e[n]=x[n]-{\hat {x}}[n]}$

総二乗誤差は次のように表されます。 ${\displaystyle E}$

${\displaystyle E=\sum _{n=-\infty }^{\infty }e[n]^{2}}$

${\displaystyle E=\sum _{n=-\infty }^{\infty }(x[n]-{\hat {x}}[n])^{2}}$

${\displaystyle E=\sum _{n=-\infty }^{\infty }(x[n]^{2}-2x[n]{\hat {x}}[n]+{\hat {x}}[n]^{2})}$

勾配をゼロに設定して、最小平均二乗誤差基準を全体にわたって使用します。 ${\displaystyle n}$

${\displaystyle \nabla E=0}$ それは すべての人にとって${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}=0}$${\displaystyle i=0,1,2,...,N-1}$

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}={\frac {\partial }{\partial {\hat {h}}_{i}}}\sum _{n=-\infty }^{\infty }[x[n]^{2}-2x[n]{\hat {x}}[n]+{\hat {x}}[n]^{2}]}$

の定義を代入します: ${\displaystyle {\hat {x}}[n]}$

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}={\frac {\partial }{\partial {\hat {h}}_{i}}}\sum _{n=-\infty }^{\infty }[x[n]^{2}-2x[n]\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k]+(\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k])^{2}]}$

偏微分を分配します。

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}=\sum _{n=-\infty }^{\infty }[-2x[n]s[n-i]+2(\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k])s[n-i]]}$

離散相互相関の定義を使用すると：

${\displaystyle R_{xy}(i)=\sum _{n=-\infty }^{\infty }x[n]y[n-i]}$

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}=-2R_{xs}[i]+2\sum _{k=0}^{N-1}{\hat {h}}_{k}R_{ss}[i-k]=0}$

用語を並べ替えます。

${\displaystyle R_{xs}[i]=\sum _{k=0}^{N-1}{\hat {h}}_{k}R_{ss}[i-k]}$ 全ての${\displaystyle i=0,1,2,...,N-1}$

この N 個の未知数を持つ N 個の方程式のシステムは決定できます。

ウィーナーフィルタの結果として得られる係数は、次のように決定されます。ここで、はと間の相互相関ベクトルです。 ${\displaystyle W=R_{xx}^{-1}P_{xs}}$${\displaystyle P_{xs}}$${\displaystyle x}$${\displaystyle s}$

ウィーナーフィルタの無限和を時間における誤差だけに緩和することで、LMSアルゴリズムを導出することができます。 ${\displaystyle n}$

二乗誤差は次のように表すことができます。

${\displaystyle E=(d[n]-y[n])^{2}}$

最小平均二乗誤差基準を使用して、勾配を取得します。

${\displaystyle {\frac {\partial E}{\partial w}}={\frac {\partial }{\partial w}}(d[n]-y[n])^{2}}$

連鎖律を適用し、y[n]の定義を代入する

${\displaystyle {\frac {\partial E}{\partial w}}=2(d[n]-y[n]){\frac {\partial }{\partial w}}(d[n]-\sum _{k=0}^{N-1}{\hat {w}}_{k}x[n-k])}$

${\displaystyle {\frac {\partial E}{\partial w_{i}}}=-2(e[n])(x[n-i])}$

勾配降下法とステップサイズを使用する: ${\displaystyle \mu }$

${\displaystyle w[n+1]=w[n]-\mu {\frac {\partial E}{\partial w}}}$

これは、i = 0, 1, ..., N-1 の場合、

${\displaystyle w_{i}[n+1]=w_{i}[n]+2\mu (e[n])(x[n-i])}$

これは LMS 更新方程式です。

• ウィーナーフィルター
• 最小二乗フィルタ

• JG Proakis および DG Manolakis、「デジタル信号処理: 原理、アルゴリズム、およびアプリケーション」、Prentice-Hall、第 4 版、2007 年。