最小平均二乗誤差推定量

統計学や信号処理において、最小平均二乗誤差推定器（MMSE推定器）は、従属変数の適合値の平均二乗誤差（MSE）を最小化する推定法です。MSEは推定器の品質を測る一般的な指標です。ベイズ的設定では、MMSEはより具体的には二次損失関数を用いた推定を指します。この場合、MMSE推定器は推定対象パラメータの事後平均によって与えられます。事後平均の計算は煩雑なため、MMSE推定器の形式は通常、特定の関数クラス内に制限されます。線形MMSE推定器は、使いやすく、計算も容易で、汎用性が高いため、広く用いられています。ウィーナー・コルモゴロフフィルタやカルマンフィルタなど、多くの有名な推定器が線形MMSE推定器から派生しています。

MMSEという用語は、より具体的には、二次コスト関数を用いたベイズ設定での推定を指します。ベイズ推定アプローチの基本的な考え方は、推定対象のパラメータについて事前情報を持っていることが多い実際の状況に由来します。たとえば、パラメータが取り得る範囲に関する事前情報を持っている場合や、新しい観測値が得られたときに修正したいパラメータの古い推定値を持っている場合、あるいは音声などの実際のランダム信号の統計情報を持っている場合などです。これは、最小分散不偏推定量（MVUE）のような非ベイズアプローチとは対照的です。MVUEでは、パラメータについて事前に何もわかっていないと仮定され、このような状況は考慮されません。ベイズアプローチでは、このような事前情報はパラメータの事前確率密度関数によって捉えられ、ベイズの定理に直接基づいて、より多くの観測値が得られるにつれて、より良い事後推定を行うことができます。したがって、関心のあるパラメータが決定論的ではあるものの未知の定数であると仮定する非ベイズ的アプローチとは異なり、ベイズ推定量は、それ自体が確率変数であるパラメータを推定しようとします。さらに、ベイズ推定は、観測系列が必ずしも独立ではない状況にも対応できます。このように、ベイズ推定はMVUE（最小値不等式）に代わるもう一つの選択肢を提供します。これは、MVUEが存在しない場合や見つけられない場合に役立ちます。

させて${\displaystyle x}$になる${\displaystyle n\times 1}$隠れたランダムベクトル変数とし、${\displaystyle y}$になる${\displaystyle m\times 1}$既知のランダムベクトル変数（測定値または観測値）であり、両者は必ずしも同じ次元である必要はない。推定量$\displaystyle {\hat {x}}(y)}$の${\displaystyle x}$測定の任意の関数${\displaystyle y}$推定誤差ベクトルは次のように与えられる。${\displaystyle e={\hat {x}}-x}$そしてその平均二乗誤差（MSE）は誤差共分散行列のトレースによって与えられる。

${\displaystyle \operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},}$

期待が${\displaystyle \operatorname {E} }$引き継がれる${\displaystyle x}$条件付き${\displaystyle y}$。 いつ${\displaystyle x}$はスカラー変数であり、MSE式は次のように簡略化されます。$\displaystyle \operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}}$なお、MSEは他の方法でも同等に定義できる。

${\displaystyle \operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.}$

MMSE推定量は、最小MSEを達成する推定量として定義される。

$\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .}$

• 平均と分散が有限の場合、MMSE推定量は一意に定義され^{[ 1 ]}、次のように表されます。

$\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.}$

言い換えれば、MMSE推定量は、${\displaystyle x}$測定値の既知の観測値を考慮すると、$\displaystyle {\hat {x}}_{\mathrm {MMSE} }}$は事後平均、誤差共分散行列です。${\displaystyle C_{e}=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}}$事後共分散に等しい${\displaystyle C_{X|Y}}$マトリックス、

${\displaystyle C_{e}=C_{X|Y}}$。

• MMSE推定量は（上記の正則性の仮定の下で）不偏である。

${\displaystyle \operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.}$

• MMSE推定量は漸近的に不偏であり、分布は正規分布に収束する。

${\displaystyle {\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),}$

どこ${\displaystyle I(x)}$フィッシャー情報量は${\displaystyle x}$したがって、MMSE推定量は漸近的に効率的である。

• 直交性の原理：${\displaystyle x}$はスカラーであり、特定の形式に制約された推定値である。${\displaystyle {\hat {x}}=g(y)}$は最適推定量である。${\displaystyle {\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),}$かつその場合に限り

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0}$

すべての人々のために${\displaystyle g(y)}$閉じた線形部分空間において${\displaystyle {\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}}$測定値について。ランダムベクトルの場合、ランダムベクトルの推定のMSEは座標のMSEの合計であるため、ランダムベクトルのMMSE推定値を求めることは、Xの座標のMMSE推定値を個別に求めることに分解されます。

${\displaystyle \operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,}$

すべてのiとjについて。より簡潔に言うと、最小推定誤差間の相互相関は${\displaystyle {\hat {x}}_{\operatorname {MMSE} }-x}$そして推定器${\displaystyle {\hat {x}}}$ゼロであるべきです。

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.}$

• もし${\displaystyle x}$そして${\displaystyle y}$がガウス分布に従う場合、MMSE推定量は線形であり、すなわち次の形式となる。${\displaystyle Wy+b}$行列の場合${\displaystyle W}$そして絶え間ない${\displaystyle b}$これはベイズの定理を用いて直接示すことができる。したがって、MMSE推定量を求めるには、線形MMSE推定量を求めれば十分である。

多くの場合、MMSE推定量の解析的表現を決定することはできません。MMSE推定値を得るための2つの基本的な数値的アプローチは、条件付き期待値を求めるか、${\displaystyle \operatorname {E} \{x\mid y\}}$または、MSE の最小値を求める。条件付き期待値の直接的な数値評価は、モンテカルロ法によって通常行われる多次元積分を必要とするため、計算コストが高い。別の計算アプローチは、確率的勾配降下法などの手法を使用して MSE の最小値を直接求めることであるが、この方法でも期待値の評価が必要となる。これらの数値的手法は有効であったが、多少の妥協を厭わないのであれば、MMSE 推定量の閉形式表現も可能である。

一つの可能​​性は、完全最適性の要件を放棄し、線形推定量のクラスなど、特定のクラスの推定量内でMSEを最小化する手法を探すことである。したがって、我々は条件付き期待値が${\displaystyle x}$与えられた${\displaystyle y}$は、の単純な線形関数です。${\displaystyle y}$、${\displaystyle \operatorname {E} \{x\mid y\}=Wy+b}$測定は${\displaystyle y}$はランダムベクトルです。${\displaystyle W}$は行列であり、${\displaystyle b}$はベクトルです。これは、の1次テイラー近似と見なすことができます。${\displaystyle \operatorname {E} \{x\mid y\}}$線形MMSE推定量は、そのような形式のすべての推定量の中で最小のMSEを達成する推定量です。つまり、次の最適化問題を解きます。

${\displaystyle \min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.}$

このような線形MMSE推定量の利点の1つは、事後確率密度関数を明示的に計算する必要がないことです。${\displaystyle x}$このような線形推定量は、最初の 2 つのモーメントのみに依存します。${\displaystyle x}$そして${\displaystyle y}$したがって、次のように仮定するのは都合が良いかもしれないが、${\displaystyle x}$そして${\displaystyle y}$それらが共変的にガウス分布に従う場合、仮定された分布の1次モーメントと2次モーメントが明確に定義されている限り、この仮定を置く必要はありません。線形推定量の形式は、仮定された基礎となる分布の種類に依存しません。

最適な表現${\displaystyle b}$そして${\displaystyle W}$次のように与えられます。

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

どこ${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$、${\displaystyle {\bar {y}}=\operatorname {E} \{y\},}$の${\displaystyle C_{XY}}$は相互共分散行列です${\displaystyle x}$そして${\displaystyle y}$、${\displaystyle C_{Y}}$は自己共分散行列である${\displaystyle y}$。

したがって、線形MMSE推定量、その平均、および自己共分散の式は次のように表される。

${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}},}$

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},}$

どこで${\displaystyle C_{YX}}$は相互共分散行列です${\displaystyle y}$そして${\displaystyle x}$。

最後に、このような推定量によって達成可能な誤差共分散と最小平均二乗誤差は、

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.}$

観察の根底にあるプロセスを、線形プロセスとしてさらにモデル化してみましょう。${\displaystyle y=Ax+z}$、 どこ${\displaystyle A}$は既知の行列であり、${\displaystyle z}$は平均を持つランダムノイズベクトルです${\displaystyle \operatorname {E} \{z\}=0}$および相互共分散${\displaystyle C_{XZ}=0}$ここで必要な平均と共分散行列は次のようになります。

${\displaystyle \operatorname {E} \{y\}=A{\bar {x}},}$

${\displaystyle C_{Y}=AC_{X}A^{T}+C_{Z},}$

${\displaystyle C_{XY}=C_{X}A^{T}.}$

したがって、線形MMSE推定行列の式は次のようになる。${\displaystyle W}$さらに修正して

${\displaystyle W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.}$

すべてを表現に入れる${\displaystyle {\hat {x}}}$そうすれば

${\displaystyle {\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

最後に、誤差共分散は

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.}$

上で扱った推定問題と最小二乗法およびガウス・マルコフ推定の問題との重要な違いは、観測数m（つまり次元）が${\displaystyle y}$) は、未知数の数n以上である必要はありません(つまり、${\displaystyle x}$) 線形観測過程の推定値は、 m × m行列が存在する限り存在する。${\displaystyle (AC_{X}A^{T}+C_{Z})^{-1}}$が存在する。これは、例えば、任意のmに対して当てはまる。${\displaystyle C_{Z}}$正定値である。物理的には、この性質の理由は、${\displaystyle x}$は確率変数であるため、測定値がなくても意味のある推定値（すなわち平均値）を形成することが可能です。新しい測定値は、元の推定値を修正する可能性のある追加情報を提供するだけです。この推定値のもう1つの特徴は、m < nの場合、測定誤差がないことです。したがって、次のようになります。${\displaystyle C_{Z}=0}$なぜなら、${\displaystyle AC_{X}A^{T}}$正定値であれば、推定値は依然として存在する。最後に、この手法はノイズに相関がある場合にも対応できる。

多くのリアルタイムアプリケーションでは、観測データは一括して入手できるわけではありません。観測は連続して行われます。考えられるアプローチの一つは、連続して得られた観測データを用いて、追加データが利用可能になるにつれて古い推定値を更新し、より精度の高い推定値を得ることです。バッチ推定と逐次推定の重要な違いの一つは、逐次推定ではマルコフ仮定を追加で必要とする点です。

ベイズフレームワークでは、ベイズの定理を用いることで、このような再帰的推定を容易に行うことができる。${\displaystyle k}$観察、${\displaystyle y_{1},\ldots ,y_{k}}$ベイズの定理により事後密度が得られます。${\displaystyle x_{k}}$として

${\displaystyle {\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}}$

の${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$事後密度と呼ばれる。${\displaystyle p(y_{k}|x_{k})}$これは尤度関数と呼ばれ、${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$はk番目のタイムステップの事前密度です。ここでは、条件付き独立性を仮定しています。${\displaystyle y_{k}}$過去の観測結果から${\displaystyle y_{1},\ldots ,y_{k-1}}$与えられた${\displaystyle x}$として

${\displaystyle p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).}$

これはマルコフ仮定である。

MMSE推定値${\displaystyle {\hat {x}}_{k}}$k番目の観測値が与えられた場合、事後密度の平均は${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$状態がどのように変化するかについての動的な情報が不足しているため${\displaystyle x}$時間とともに変化するため、事前分布についてさらに定常性の仮定を置くことにします。

${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).}$

したがって、 k番目の時間ステップにおける事前密度は、( k -1) 番目の時間ステップにおける事後密度となる。この構造により、推定に対する再帰的なアプローチを定式化することができる。

線形MMSE推定量の場合、推定値の式は以前と同じ形式になります。${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.}$しかし、平均と共分散行列は${\displaystyle X}$そして${\displaystyle Y}$以前の密度のものに置き換える必要がある${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$そして可能性${\displaystyle p(y_{k}|x_{k})}$、 それぞれ。

事前密度については${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$、その平均値は、前回のMMSE推定値によって与えられます。

${\displaystyle {\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}}$、

そしてその共分散行列は、前の誤差共分散行列によって与えられます。

${\displaystyle C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},}$

MMSE推定量の特性と定常性仮定に基づく。

同様に、線形観測過程の場合、尤度の平均は${\displaystyle p(y_{k}|x_{k})}$は${\displaystyle {\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}}$共分散行列は以前と同じである

${\displaystyle {\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}}$。

予測値と${\displaystyle Y_{k}}$次のように与えられる${\displaystyle {\bar {y}}_{k}=A{\hat {x}}_{k-1}}$、およびその観測値${\displaystyle y_{k}}$予測誤差${\displaystyle {\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}}$これは、イノベーションまたは残差とも呼ばれます。線形MMSEは、平均と共分散がである予測誤差の観点から表す方が便利です。${\displaystyle \mathrm {E} [{\tilde {y}}_{k}]=0}$そして${\displaystyle C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}}$。

したがって、推定値更新式では、${\displaystyle {\bar {x}}}$そして${\displaystyle C_{X}}$による${\displaystyle {\hat {x}}_{k-1}}$そして${\displaystyle C_{e_{k-1}}}$それぞれ。また、置き換える必要があります。${\displaystyle {\bar {y}}}$そして${\displaystyle C_{Y}}$による${\displaystyle {\bar {y}}_{k-1}}$そして${\displaystyle C_{{\tilde {Y}}_{k}}}$最後に、${\displaystyle C_{XY}}$による

${\displaystyle {\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}}$

したがって、新しい推定値は新しい観測値として得られる。${\displaystyle y_{k}}$到着する

${\displaystyle {\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}}$

そして新しい誤差共分散は次のようになる。

${\displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

線形代数の観点から、逐次推定の場合、推定値があれば${\displaystyle {\hat {x}}_{1}}$空間を生成する測定値に基づく${\displaystyle Y_{1}}$そして、別の測定値を受け取ったら、最初の測定結果から予測できた部分をこれらの測定値から差し引く必要があります。言い換えれば、更新は新しいデータのうち、古いデータと直交する部分に基づいて行われなければなりません。

観測値が増えるにつれて上記の2つの式を繰り返し使用することで、再帰的な推定手法が得られます。これらの式はより簡潔に次のように記述できます。

${\displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

${\displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

マトリックス${\displaystyle W_{k}}$これはしばしばカルマンゲイン係数と呼ばれます。上記のアルゴリズムの別の定式化では、

${\displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${\displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

より多くのデータが利用可能になるにつれて、これら3つのステップを繰り返すことで、反復推定アルゴリズムが実現します。この考え方を非定常ケースに一般化すると、カルマンフィルタが生まれます。上記で概説した3つの更新ステップは、まさにカルマンフィルタの更新ステップを構成しています。