最小平均二乗誤差

統計学と信号処理 において、最小平均二乗誤差( MMSE ) 推定量は、従属変数の近似値の平均二乗誤差(MSE)を最小化する推定法であり、平均二乗誤差は推定量の品質を測る一般的な尺度です。ベイズの設定では、MMSE という用語は、より具体的には、2 次損失関数を使用した推定を指します。このような場合、MMSE 推定量は、推定するパラメーターの事後平均によって与えられます。事後平均は計算が面倒なので、MMSE 推定量の形式は通常、特定の関数クラス内に制限されます。線形 MMSE 推定量は使いやすく、計算しやすく、用途が広いため、よく選ばれています。ウィーナー・コルモゴロフ フィルターやカルマン フィルターなど、多くの一般的な推定量がこの推定法から生まれました。

MMSE という用語は、より具体的には、二次コスト関数を使用したベイズ設定での推定を指します。ベイズ推定アプローチの基本的な考え方は、推定するパラメータについて何らかの事前情報を持っていることが多い実際の状況に由来しています。たとえば、パラメータが想定できる範囲に関する事前情報がある場合や、新しい観測が利用可能になったときに変更したいパラメータの古い推定値がある場合、または音声などの実際のランダム信号の統計値がある場合があります。これは、パラメータについて事前に何もわかっていないと想定され、そのような状況を考慮しない最小分散不偏推定量(MVUE) などの非ベイズアプローチとは対照的です。ベイズアプローチでは、そのような事前情報はパラメータの事前確率密度関数によって取得され、ベイズの定理に直接基づいて、より多くの観測が利用可能になるにつれて、より適切な事後推定を行うことができます。したがって、関心のあるパラメータが決定論的だが未知の定数であると想定される非ベイジアン アプローチとは異なり、ベイジアン推定器は、それ自体がランダム変数であるパラメータを推定しようとします。さらに、ベイジアン推定は、観測のシーケンスが必ずしも独立していない状況にも対処できます。したがって、ベイジアン推定は、MVUE のもう 1 つの代替手段を提供します。これは、MVUE が存在しないか見つからない場合に役立ちます。

を隠れたランダムベクトル変数とし、を既知のランダムベクトル変数（測定値または観測値）とします。両者は必ずしも同じ次元である必要はありません。の推定量は測定値の任意の関数です。推定誤差ベクトルは で与えられ、その平均二乗誤差（MSE）は誤差共分散行列のトレースで与えられます。${\displaystyle x}$${\displaystyle n\times 1}$${\displaystyle y}$${\displaystyle m\times 1}$ ${\displaystyle {\hat {x}}(y)}$${\displaystyle x}$${\displaystyle y}$${\displaystyle e={\hat {x}}-x}$

${\displaystyle \operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},}$

ここで期待値 は を条件として引き継がれます。 がスカラー変数の場合、MSE式は に簡略化されます。MSEは他の方法でも同等に定義できることに留意してください。 ${\displaystyle \operatorname {E} }$${\displaystyle x}$${\displaystyle y}$${\displaystyle x}$${\displaystyle \operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}}$

${\displaystyle \operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.}$

MMSE 推定量は、最小の MSE を達成する推定量として定義されます。

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .}$

• 平均と分散が有限である場合、MMSE推定量は一意に定義され^[1]、次のように表される。

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.}$

言い換えれば、MMSE推定量は、測定の既知の観測値が与えられた場合の条件付き期待値です。また、は事後平均であるため、誤差共分散行列は事後共分散行列に等しくなります。 ${\displaystyle x}$${\displaystyle {\hat {x}}_{\mathrm {MMSE} }}$${\displaystyle C_{e}=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}}$${\displaystyle C_{X|Y}}$

${\displaystyle C_{e}=C_{X|Y}}$。

• MMSE 推定値は偏りがありません (上記の規則性の仮定の下で)。

${\displaystyle \operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.}$

• MMSE 推定値は漸近的に不偏であり、分布的には正規分布に収束します。

${\displaystyle {\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),}$

ここで、は のフィッシャー情報です。したがって、MMSE 推定量は漸近的に効率的です。${\displaystyle I(x)}$${\displaystyle x}$

• 直交性原理：がスカラーのとき、特定の形式に制約された推定量は最適推定量である。つまり、${\displaystyle x}$${\displaystyle {\hat {x}}=g(y)}$${\displaystyle {\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),}$

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0}$

すべては測定値の閉じた線形部分空間内にあります。ランダムベクトルの場合、ランダムベクトルの推定のMSEは座標のMSEの合計であるため、ランダムベクトルのMMSE推定値を見つけることは、Xの座標のMMSE推定値を個別に見つけることに分解されます。 ${\displaystyle g(y)}$${\displaystyle {\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}}+\infty \}}$

${\displaystyle \operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,}$

全てのiとjについて。より簡潔に言えば、最小推定誤差と推定量との間の相互相関はゼロであるべきであり、 ${\displaystyle {\hat {x}}_{\operatorname {MMSE} }-x}$${\displaystyle {\hat {x}}}$

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.}$

• と が共にガウス分布である場合、MMSE 推定量は線形です。つまり、行列と定数に対して という形式になります。これは、ベイズの定理を使用して直接示すことができます。結果として、MMSE 推定量を見つけるには、線形 MMSE 推定量を見つければ十分です。${\displaystyle x}$${\displaystyle y}$${\displaystyle Wy+b}$${\displaystyle W}$${\displaystyle b}$

多くの場合、MMSE 推定量の解析的表現を決定することはできません。MMSE 推定量を取得するための 2 つの基本的な数値的アプローチは、条件付き期待値を見つけるか、MSE の最小値を見つけるかのいずれかに依存します。条件付き期待値の直接的な数値評価は、通常モンテ カルロ法によって行われる多次元積分を必要とすることが多いため、計算コストが高くなります。別の計算的アプローチは、確率的勾配降下法などの手法を使用して MSE の最小値を直接求めることですが、この方法でも期待値の評価が必要です。これらの数値的方法は実り多いものですが、ある程度の妥協をいとわないのであれば、MMSE 推定量の閉じた形式の表現は可能です。 ${\displaystyle \operatorname {E} \{x\mid y\}}$

1 つの可能性は、完全な最適性要件を放棄し、線形推定量のクラスなどの特定のクラスの推定量内で MSE を最小化する手法を求めることです。したがって、与えられたの条件付き期待値は の単純な線形関数であり、は、測定値がランダム ベクトル、は行列、 はベクトルであると仮定します。これは、 の 1 次テイラー近似として考えることができます。線形 MMSE 推定量は、そのような形式のすべての推定量の中で最小の MSE を達成する推定量です。つまり、次の最適化問題を解決します。 ${\displaystyle x}$${\displaystyle y}$${\displaystyle y}$${\displaystyle \operatorname {E} \{x\mid y\}=Wy+b}$${\displaystyle y}$${\displaystyle W}$${\displaystyle b}$${\displaystyle \operatorname {E} \{x\mid y\}}$

${\displaystyle \min _{W,b}\operatorname {MSE} \qquad {\text{st}}\qquad {\hat {x}}=Wy+b.}$

このような線形 MMSE 推定量の利点の 1 つは、 の事後確率密度関数を明示的に計算する必要がないことです。このような線形推定量は、およびの最初の 2 つのモーメントのみに依存します。したがって、 と が一緒にガウス分布であると仮定すると便利ですが、想定される分布の 1 次モーメントと 2 次モーメントが明確に定義されている限り、この仮定を行う必要はありません。線形推定量の形式は、想定される基礎分布のタイプに依存しません。 ${\displaystyle x}$${\displaystyle x}$${\displaystyle y}$${\displaystyle x}$${\displaystyle y}$

最適の式は次のように与えられます。 ${\displaystyle b}$${\displaystyle W}$

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

ここで、はと の間の相互共分散行列であり、は の自己共分散行列です。 ${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$${\displaystyle {\bar {y}}=\operatorname {E} \{y\},}$${\displaystyle C_{XY}}$${\displaystyle x}$${\displaystyle y}$${\displaystyle C_{Y}}$${\displaystyle y}$

したがって、線形MMSE推定量、その平均、自己共分散の式は次のように表される。

${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}},}$

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},}$

ここで、は と の間の相互共分散行列です。 ${\displaystyle C_{YX}}$${\displaystyle y}$${\displaystyle x}$

最後に、このような推定量によって達成可能な誤差共分散と最小平均二乗誤差は

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.}$

とが両方ともスカラーである特別な場合、上記の関係は次のように単純化される。 ${\displaystyle x}$${\displaystyle y}$

${\displaystyle {\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},}$

ここで、は との間のピアソンの相関係数です。 ${\displaystyle \rho ={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}}$${\displaystyle x}$${\displaystyle y}$

上記の2つの式により、相関係数を線形回帰の正規化された傾きとして解釈することができます。

${\displaystyle \left({\frac {{\hat {x}}-{\bar {x}}}{\sigma _{X}}}\right)=\rho \left({\frac {y-{\bar {y}}}{\sigma _{Y}}}\right)}$

または2つの分散の比の平方根として

${\displaystyle \rho ^{2}={\frac {\sigma _{X}^{2}-\sigma _{e}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{\hat {X}}^{2}}{\sigma _{X}^{2}}}}$。

のとき、および が成り立ちます。この場合、 の不確実性を低減できる測定から得られる新しい情報はありません。一方、 のとき、およびが成り立ちます。ここで、は の直線の方程式で与えられるように、 によって完全に決定されます。${\displaystyle \rho =0}$${\displaystyle {\hat {x}}={\bar {x}}}$${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}}$${\displaystyle x}$${\displaystyle \rho =\pm 1}$${\displaystyle {\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}}}$${\displaystyle \sigma _{e}^{2}=0}$${\displaystyle x}$${\displaystyle y}$

ガウス消去法のような標準的な方法を使用して、 の行列方程式を解くことができます。より数値的に安定した方法は、 QR 分解法です。行列 は対称正定値行列なので、コレスキー分解を使用すると 2 倍の速さで解くことができますが、大規模なスパース システムでは共役勾配法の方が効果的です。レビンソン再帰法は、がテプリッツ行列でもある場合に高速な方法です。が広義の定常過程である場合に、これが発生する可能性があります。このような定常ケースでは、これらの推定量はウィーナー–コルモゴロフ フィルタとも呼ばれます。 ${\displaystyle W}$${\displaystyle C_{Y}}$${\displaystyle W}$${\displaystyle C_{Y}}$${\displaystyle y}$

観測の基礎となるプロセスを線形プロセスとしてさらにモデル化してみましょう。ここで、は既知の行列であり、は平均と相互共分散を持つランダムノイズベクトルです。ここで必要な平均と共分散行列は次のようになります。 ${\displaystyle y=Ax+z}$${\displaystyle A}$${\displaystyle z}$${\displaystyle \operatorname {E} \{z\}=0}$${\displaystyle C_{XZ}=0}$

${\displaystyle \operatorname {E} \{y\}=A{\bar {x}},}$

${\displaystyle C_{Y}=AC_{X}A^{T}+C_{Z},}$

${\displaystyle C_{XY}=C_{X}A^{T}.}$

したがって、線形MMSE推定行列の式はさらに次のように修正される。 ${\displaystyle W}$

${\displaystyle W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.}$

の式にすべてを当てはめると、次のようになります。 ${\displaystyle {\hat {x}}}$

${\displaystyle {\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

最後に、誤差共分散は

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.}$

上で扱った推定問題と、最小二乗法やガウス・マルコフ推定の問題との重要な違いは、観測値の数m（つまり、 の次元）が、未知数の数n（つまり、 の次元）以上である必要がないことです。線形観測プロセスの推定値は、 m行m列の行列が存在する限り存在します。これは、たとえば が正定値である場合、任意のmに当てはまります。物理的にこの特性が生じる理由は、がランダム変数になったため、測定を行わなくても意味のある推定値（つまり、その平均）を形成できるためです。新しい測定を行うたびに、元の推定値を修正できる追加情報が提供されるだけです。この推定値のもう 1 つの特徴は、m < nの場合、測定誤差が不要であることです。したがって、が正定値である限り、推定値が存在するため、 となる場合があります。最後に、この手法は、ノイズが相関している場合も処理できます。 ${\displaystyle y}$${\displaystyle x}$${\displaystyle (AC_{X}A^{T}+C_{Z})^{-1}}$${\displaystyle C_{Z}}$${\displaystyle x}$${\displaystyle C_{Z}=0}$${\displaystyle AC_{X}A^{T}}$

行列の恒等式を使うと別の表現形式が得られる。

${\displaystyle C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

これは、後から を掛け、前から を掛けることで得られる。 ${\displaystyle (AC_{X}A^{T}+C_{Z})}$${\displaystyle (A^{T}C_{Z}^{-1}A+C_{X}^{-1}),}$

${\displaystyle W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

そして

${\displaystyle C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.}$

はとして書けるようになったので、 の簡略化された表現が得られる。 ${\displaystyle W}$${\displaystyle C_{e}}$${\displaystyle W=C_{e}A^{T}C_{Z}^{-1}}$${\displaystyle {\hat {x}}}$

${\displaystyle {\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

この形式では、上記の式はリッジ回帰、加重最小二乗法、ガウス・マルコフ推定値と簡単に比較できます。特に、 のとき、 に関する事前情報の無限分散に対応し、 を重み行列とする加重線形最小二乗推定値と同じ結果になります。さらに、 の成分が相関がなく、 となる等分散である場合 ( が単位行列である場合)、 は通常の最小二乗推定値と同じになります。 として事前情報が利用可能で、 が相関がなく等分散である場合、 となり、これはリッジ回帰解と同じになります。 ${\displaystyle C_{X}^{-1}=0}$${\displaystyle x}$${\displaystyle W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}}$${\displaystyle C_{Z}^{-1}}$${\displaystyle z}$${\displaystyle C_{Z}=\sigma ^{2}I,}$${\displaystyle I}$${\displaystyle W=(A^{T}A)^{-1}A^{T}}$${\displaystyle C_{X}^{-1}=\lambda I}$${\displaystyle z}$${\displaystyle W=(A^{T}A+\lambda I)^{-1}A^{T}}$

多くのリアルタイム アプリケーションでは、観測データは単一のバッチでは利用できません。代わりに、観測はシーケンスで行われます。考えられる 1 つの方法は、追加データが利用可能になると、シーケンシャル観測を使用して古い推定値を更新し、より正確な推定値を得ることです。バッチ推定とシーケンシャル推定の重要な違いの 1 つは、シーケンシャル推定では追加のマルコフ仮定が必要になることです。

ベイズ理論の枠組みでは、このような再帰推定はベイズの定理を使って簡単に行える。観測値 が与えられると、ベイズの定理は の事後密度を次のように 与える。${\displaystyle k}$${\displaystyle y_{1},\ldots ,y_{k}}$${\displaystyle x_{k}}$

${\displaystyle {\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}}$

は事後密度、は尤度関数、はk番目の時間ステップの事前密度です。ここでは、以前の観測値から条件付き独立であると 仮定しています。${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$${\displaystyle p(y_{k}|x_{k})}$${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$${\displaystyle y_{k}}$${\displaystyle y_{1},\ldots ,y_{k-1}}$${\displaystyle x}$

${\displaystyle p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).}$

これがマルコフ仮定です。

k番目の観測値に基づくMMSE 推定値は、事後密度の平均になります。状態が時間とともにどのように変化するかに関する動的情報が不足しているため、事前分布についてさらに定常性の仮定を行います。 ${\displaystyle {\hat {x}}_{k}}$${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$${\displaystyle x}$

${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).}$

したがって、 k番目の時間ステップの事前密度は、( k -1) 番目の時間ステップの事後密度です。この構造により、推定に対する再帰的なアプローチを定式化できます。

線形 MMSE 推定量のコンテキストでは、推定値の式は以前と同じ形式になります。ただし、 と の平均行列と共分散行列は、それぞれ事前密度と尤度の行列に置き換える必要があります。 ${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$${\displaystyle p(y_{k}|x_{k})}$

事前密度の場合、その平均は前回のMMSE推定値によって与えられ、 ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$

${\displaystyle {\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}}$、

そしてその共分散行列は前の誤差共分散行列によって与えられる。

${\displaystyle C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},}$

MMSE推定値の特性と定常性仮定に従って。

同様に、線形観測プロセスの場合、尤度の平均は次のように与えられ、共分散行列は前と同じである。 ${\displaystyle p(y_{k}|x_{k})}$${\displaystyle {\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}}$

${\displaystyle {\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}}$。

によって与えられる の予測値とその観測値との差は予測誤差 となり、これはイノベーションまたは残差とも呼ばれます。線形 MMSE を予測誤差で表すとより便利です。 予測誤差の平均と共分散はそれぞれ とです。${\displaystyle Y_{k}}$${\displaystyle {\bar {y}}_{k}=A{\hat {x}}_{k-1}}$${\displaystyle y_{k}}$${\displaystyle {\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}}$${\displaystyle \mathrm {E} [{\tilde {y}}_{k}]=0}$${\displaystyle C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}}$

したがって、推定値の更新式では、とをそれぞれ とに置き換える必要があります。また、とをとに置き換える必要があります。最後に、を に 置き換えます。${\displaystyle {\bar {x}}}$${\displaystyle C_{X}}$${\displaystyle {\hat {x}}_{k-1}}$${\displaystyle C_{e_{k-1}}}$${\displaystyle {\bar {y}}}$${\displaystyle C_{Y}}$${\displaystyle {\bar {y}}_{k-1}}$${\displaystyle C_{{\tilde {Y}}_{k}}}$${\displaystyle C_{XY}}$

${\displaystyle {\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}}$

したがって、新しい観測が到着すると、新しい推定値が得られます。 ${\displaystyle y_{k}}$

${\displaystyle {\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}}$

そして新しい誤差共分散は

${\displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

線形代数の観点から、逐次推定では、空間を生成する測定に基づく推定値がある場合、別の一連の測定を受け取った後、最初の測定の結果から予測できる部分をこれらの測定から減算する必要があります。言い換えると、更新は、古いデータに直交する新しいデータの部分に基づいて行う必要があります。 ${\displaystyle {\hat {x}}_{1}}$${\displaystyle Y_{1}}$

より多くの観測が可能になるにつれて、上記の2つの式を繰り返し使用することで、再帰推定技術が生まれます。これらの式は、より簡潔に次のように記述できます。

${\displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

${\displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

この行列はカルマンゲイン係数と呼ばれることが多い。上記のアルゴリズムの別の定式化は次のようになる。 ${\displaystyle W_{k}}$

${\displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${\displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

より多くのデータが利用可能になるにつれて、これら 3 つのステップを繰り返すことで、反復推定アルゴリズムが実現します。この考え方を非定常ケースに一般化すると、カルマン フィルタが生まれます。上記の 3 つの更新ステップは、実際にカルマン フィルタの更新ステップを形成します。

重要な特殊なケースとして、各k番目の時点で基礎となる線形観測プロセスが となるスカラーを生成するときに、使いやすい再帰式を導出できます。ここで、 は時間とともに値が変化する可能性のあるn行 1 列の既知の列ベクトル、は推定されるn行 1 列のランダムな列ベクトル、 は分散 のスカラー ノイズ項です。 ( k +1) 番目の観測の後、上記の再帰方程式を直接使用すると、推定値の式は次のようになります。 ${\displaystyle y_{k}=a_{k}^{T}x_{k}+z_{k}}$${\displaystyle a_{k}}$${\displaystyle x_{k}}$${\displaystyle z_{k}}$${\displaystyle \sigma _{k}^{2}}$${\displaystyle {\hat {x}}_{k+1}}$

${\displaystyle {\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{\hat {x}}_{k})}$

ここで、は新しいスカラー観測値であり、ゲイン係数はn行1列のベクトルで、次のように表される。 ${\displaystyle y_{k+1}}$${\displaystyle w_{k+1}}$

${\displaystyle w_{k+1}={\frac {C_{e_{k}}a_{k+1}}{\sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.}$

これはn行n列の誤差共分散行列で、次のように表される。 ${\displaystyle C_{e_{k+1}}}$

${\displaystyle C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.}$

ここでは、行列の反転は必要ありません。また、ゲイン係数 は、ノイズ分散で測定された新しいデータ サンプルの信頼度と、以前のデータの信頼度に依存します。 と の初期値は、の事前確率密度関数の平均と共分散として取られます。 ${\displaystyle w_{k+1}}$${\displaystyle {\hat {x}}}$${\displaystyle C_{e}}$${\displaystyle x}$

代替アプローチ:この重要な特殊なケースは、最小平均二乗フィルタや再帰最小二乗フィルタなど、他の多くの反復法（または適応フィルタ）も生み出しました。これらは、確率的勾配降下法を使用して元のMSE最適化問題を直接解決します。ただし、推定誤差を直接観察できないため、これらの方法では平均二乗予測誤差を最小化しようとします。たとえば、スカラー観測の場合、勾配は次のようになります。したがって、最小平均二乗フィルタの更新方程式は次のように表されます。 ${\displaystyle e}$${\displaystyle \mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}}$${\displaystyle \nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.}$

${\displaystyle {\hat {x}}_{k+1}={\hat {x}}_{k}+\eta _{k}\mathrm {E} \{{\tilde {y}}_{k}a_{k}\},}$

ここで、 はスカラーステップサイズであり、期待値は瞬間値 によって近似されます。 ご覧のとおり、これらの方法では共分散行列が不要になります。 ${\displaystyle \eta _{k}}$${\displaystyle \mathrm {E} \{a_{k}{\tilde {y}}_{k}\}\approx a_{k}{\tilde {y}}_{k}}$

多くの実際のアプリケーションでは、観測ノイズは相関がありません。つまり、は対角行列です。このような場合、 の成分をベクトル測定ではなく独立したスカラー測定として考えると有利です。これにより、測定ベクトルをスカラー測定として処理することで計算時間を短縮できます。スカラー更新式を使用すると、共分散更新方程式の実装で行列反転が回避され、丸め誤差に対する数値の堅牢性が向上します。更新は次のように反復的に実装できます。 ${\displaystyle C_{Z}}$${\displaystyle y}$${\displaystyle m\times 1}$${\displaystyle m}$

${\displaystyle w_{k+1}^{(\ell )}={\frac {C_{e_{k}}^{(\ell )}A_{k+1}^{(\ell )T}}{C_{Z_{k+1}}^{(\ell )}+A_{k+1}^{(\ell )}C_{e_{k}}^{(\ell )}(A_{k+1}^{(\ell )T})}}}$

${\displaystyle C_{e_{k+1}}^{(\ell )}=(I-w_{k+1}^{(\ell )}A_{k+1}^{(\ell )})C_{e_{k}}^{(\ell )}}$

${\displaystyle {\hat {x}}_{k+1}^{(\ell )}={\hat {x}}_{k}^{(\ell -1)}+w_{k+1}^{(\ell )}(y_{k+1}^{(\ell )}-A_{k+1}^{(\ell )}{\hat {x}}_{k}^{(\ell -1)})}$

ここで、初期値としておよび を使用します。中間変数は対角行列の - 番目の対角要素です。一方、は行列の - 番目の行です。最終値はおよびです。 ${\displaystyle \ell =1,2,\ldots ,m}$${\displaystyle C_{e_{k+1}}^{(0)}=C_{e_{k}}}$${\displaystyle {\hat {x}}_{k+1}^{(0)}={\hat {x}}_{k}}$${\displaystyle C_{Z_{k+1}}^{(\ell )}}$${\displaystyle \ell }$${\displaystyle m\times m}$${\displaystyle C_{Z_{k+1}}}$${\displaystyle A_{k+1}^{(\ell )}}$${\displaystyle \ell }$${\displaystyle m\times n}$${\displaystyle A_{k+1}}$${\displaystyle C_{e_{k+1}}^{(m)}=C_{e_{k+1}}}$${\displaystyle {\hat {x}}_{k+1}^{(m)}={\hat {x}}_{k+1}}$

例として 線形予測問題を取り上げます。観測されたスカラーランダム変数とを、別の将来のスカラーランダム変数を推定するために使用します。ランダム変数が平均がゼロで共分散行列が次式で与えられる実数ガウスランダム変数である 場合、${\displaystyle z_{1},z_{2}}$${\displaystyle z_{3}}$${\displaystyle z_{4}}$${\displaystyle {\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}}$${\displaystyle z=[z_{1},z_{2},z_{3},z_{4}]^{T}}$

${\displaystyle \operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],}$

次に、最適な線形推定値が得られるような係数を見つけることが私たちの仕事です。 ${\displaystyle w_{i}}$${\displaystyle {\hat {z}}_{4}}$

前の節で述べた用語を用いると、この問題では観測ベクトル、行ベクトルとしての推定量行列、スカラー量としての推定変数が用いられる。自己相関行列は次のように定義される。 ${\displaystyle y=[z_{1},z_{2},z_{3}]^{T}}$${\displaystyle W=[w_{1},w_{2},w_{3}]}$${\displaystyle x=z_{4}}$${\displaystyle C_{Y}}$

${\displaystyle C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].}$

相互相関行列は次のように定義される。 ${\displaystyle C_{YX}}$

${\displaystyle C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].}$

この方程式を逆数と乗算 で解くと、${\displaystyle C_{Y}W^{T}=C_{YX}}$${\displaystyle C_{Y}}$

${\displaystyle C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.}$

したがって、 の最適係数としておよびが得られます。次に、最小平均二乗誤差を計算すると が得られます。^[2]の値を計算するためにの明示的な逆行列を取得する必要はないことに注意してください。この行列方程式は、ガウスの消去法などのよく知られた方法で解くことができます。より短い非数値的な例は、直交性原理に示されています。 ${\displaystyle w_{1}=2.57,}$ ${\displaystyle w_{2}=-0.142,}$${\displaystyle w_{3}=.5714}$${\displaystyle {\hat {z}}_{4}}$${\displaystyle \left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857}$${\displaystyle C_{Y}}$${\displaystyle W}$

白色ガウス雑音によって乱された、固定だが未知のスカラーパラメータの観測値を取ることによって形成されるベクトルについて考えてみましょう。このプロセスを線形方程式 で記述できます。ここで です。文脈によっては、がスカラーを表すかベクトルを表すかは明らかです。の値が収まる範囲が であることがわかっているとします。 の不確実性は、区間 上の事前一様分布によってモデル化できるため、分散は になります。雑音ベクトルを として正規分布するとします。ここでは単位行列です。また、と は独立であり です。次の式から簡単にわかります。 ${\displaystyle y}$${\displaystyle N}$${\displaystyle x}$${\displaystyle y=1x+z}$${\displaystyle 1=[1,1,\ldots ,1]^{T}}$${\displaystyle 1}$${\displaystyle [-x_{0},x_{0}]}$${\displaystyle x}$${\displaystyle x}$${\displaystyle [-x_{0},x_{0}]}$${\displaystyle x}$${\displaystyle \sigma _{X}^{2}=x_{0}^{2}/3.}$${\displaystyle z}$${\displaystyle N(0,\sigma _{Z}^{2}I)}$${\displaystyle I}$${\displaystyle x}$${\displaystyle z}$${\displaystyle C_{XZ}=0}$

${\displaystyle {\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}}$

したがって、線形MMSE推定量は次のように与えられる。

${\displaystyle {\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}}$

の別の形式を使うことで式を簡略化することができます。 ${\displaystyle W}$

${\displaystyle {\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}}$

どこに私たちは${\displaystyle y=[y_{1},y_{2},\ldots ,y_{N}]^{T}}$${\displaystyle {\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.}$

同様に、推定値の分散は

${\displaystyle \sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.}$

したがって、この線形推定量のMMSEは

${\displaystyle \operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.}$

が非常に大きい場合、一様事前分布を持つスカラーのMMSE推定量は、観測されたすべてのデータの算術平均によって近似できることが分かります。 ${\displaystyle N}$

${\displaystyle {\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},}$

一方、分散はデータの影響を受けず、推定値の LMMSE はゼロに近づきます。 ${\displaystyle \sigma _{\hat {X}}^{2}=\sigma _{X}^{2},}$

ただし、推定量は線形に制約されているため、最適ではありません。ランダム変数もガウス分布であれば、推定量は最適になります。これらの分布の平均と分散が同じである限り、 推定量の形式は の事前分布に関係なく変更されないことに注意してください。${\displaystyle x}$${\displaystyle x}$

上記の例のバリエーションを考えてみましょう。2 人の候補者が選挙に立候補しています。選挙日に一方の候補者が得る得票率を とします。したがって、もう一方の候補者が得る得票率は になります。を 上の一様事前分布を持つランダム変数として取り、その平均は、分散は とします。選挙の数週間前に、2 つの異なる世論調査会社によって 2 つの独立した世論調査が実施されました。最初の世論調査では、候補者が得票率の一部を獲得する可能性が高いことが明らかになりました。有限のサンプリングと採用された特定の世論調査方法により、いくらかの誤差は常に存在するため、最初の世論調査会社は、平均および分散がゼロの誤差がある推定値を宣言します。同様に、2 番目の世論調査会社は、平均および分散がゼロの誤差がある推定値を と宣言します。誤差の平均と分散を除き、誤差分布は指定されていないことに注意してください。特定の候補者の投票予測を取得するには、2 つの世論調査をどのように組み合わせればよいでしょうか。 ${\displaystyle x\in [0,1].}$${\displaystyle 1-x.}$${\displaystyle x}$${\displaystyle [0,1]}$${\displaystyle {\bar {x}}=1/2}$${\displaystyle \sigma _{X}^{2}=1/12.}$${\displaystyle y_{1}}$${\displaystyle z_{1}}$${\displaystyle \sigma _{Z_{1}}^{2}.}$${\displaystyle y_{2}}$${\displaystyle z_{2}}$${\displaystyle \sigma _{Z_{2}}^{2}.}$

前の例と同様に、

${\displaystyle {\begin{aligned}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{aligned}}}$

ここで、 は両方とも です。したがって、LMMSE推定値は と の線形結合として次のように 得られます。${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2}$${\displaystyle y_{1}}$${\displaystyle y_{2}}$

${\displaystyle {\hat {x}}=w_{1}(y_{1}-{\bar {x}})+w_{2}(y_{2}-{\bar {x}})+{\bar {x}},}$

ここで重みは次のように与えられる。

${\displaystyle {\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{aligned}}}$

ここで、分母の項は定数なので、選挙結果を予測するために、誤差の少ない世論調査に高い重みが与えられる。最後に、の分散は次のように与えられる。 ${\displaystyle {\hat {x}}}$

${\displaystyle \sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},}$

より小さくなる。したがって、LMMSEは次のように与えられる。 ${\displaystyle \sigma _{\hat {X}}^{2}}$${\displaystyle \sigma _{X}^{2}.}$

${\displaystyle \mathrm {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\frac {1}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.}$

一般に、世論調査会社がある場合、i番目の世論調査会社の重みは次のように与えられ、LMMSEは次のように与えられる。${\displaystyle N}$${\displaystyle {\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},}$${\displaystyle w_{i}={\frac {1/\sigma _{Z_{i}}^{2}}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}}$${\displaystyle \mathrm {LMMSE} ={\frac {1}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.}$

ミュージシャンが楽器を演奏していて、その音が 2 つのマイクで受信され、それぞれが 2 つの異なる場所に設置されているとします。各マイクの距離による音の減衰を および とし、これらは既知の定数であると仮定します。同様に、各マイクのノイズを およびとし、それぞれ平均がゼロで分散が および であるとします。ミュージシャンが発する音を と表し、これは平均がゼロで分散が であるランダム変数であるとします。これら 2 つのマイクで録音された音楽は、互いに同期した後、どのように組み合わせればよいでしょうか。 ${\displaystyle a_{1}}$${\displaystyle a_{2}}$${\displaystyle z_{1}}$${\displaystyle z_{2}}$${\displaystyle \sigma _{Z_{1}}^{2}}$${\displaystyle \sigma _{Z_{2}}^{2}}$${\displaystyle x}$${\displaystyle \sigma _{X}^{2}.}$

各マイクで受信した音は次のようにモデル化できる。

${\displaystyle {\begin{aligned}y_{1}&=a_{1}x+z_{1}\\y_{2}&=a_{2}x+z_{2}.\end{aligned}}}$

ここでは、両方の音を次のように組み合わせることができます。 ${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0}$

${\displaystyle y=w_{1}y_{1}+w_{2}y_{2}}$

ここで、i番目の重みは次のように与えられる。

${\displaystyle w_{i}={\frac {a_{i}/\sigma _{Z_{i}}^{2}}{\sum _{j}a_{j}^{2}/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.}$

• ベイズ推定量
• 平均二乗誤差
• 最小二乗法
• 最小分散不偏推定量(MVUE)
• 直交性原理
• ウィーナーフィルター
• カルマンフィルタ
• 線形予測
• ゼロフォーシングイコライザー