最小平均二乗誤差推定量

統計学や信号処理において、最小平均二乗誤差推定器（MMSE推定器）は、従属変数の適合値の平均二乗誤差（MSE）を最小化する推定法です。MSEは推定器の品質を測る一般的な指標です。ベイズ的設定では、MMSEはより具体的には二次損失関数を用いた推定を指します。この場合、MMSE推定器は推定対象パラメータの事後平均によって与えられます。事後平均の計算は煩雑なため、MMSE推定器の形式は通常、特定の関数クラス内に制限されます。線形MMSE推定器は、使いやすく、計算も容易で、汎用性が高いため、広く用いられています。ウィーナー・コルモゴロフフィルタやカルマンフィルタなど、多くの有名な推定器が線形MMSE推定器から派生しています。

モチベーション

MMSEという用語は、より具体的には、二次コスト関数を用いたベイズ設定での推定を指します。ベイズ推定アプローチの基本的な考え方は、推定対象のパラメータについて事前情報を持っていることが多い実際の状況に由来します。たとえば、パラメータが取り得る範囲に関する事前情報を持っている場合や、新しい観測値が得られたときに修正したいパラメータの古い推定値を持っている場合、あるいは音声などの実際のランダム信号の統計情報を持っている場合などです。これは、最小分散不偏推定量（MVUE）のような非ベイズアプローチとは対照的です。MVUEでは、パラメータについて事前に何もわかっていないと仮定され、このような状況は考慮されません。ベイズアプローチでは、このような事前情報はパラメータの事前確率密度関数によって捉えられ、ベイズの定理に直接基づいて、より多くの観測値が得られるにつれて、より良い事後推定を行うことができます。したがって、関心のあるパラメータが決定論的ではあるものの未知の定数であると仮定する非ベイズ的アプローチとは異なり、ベイズ推定量は、それ自体が確率変数であるパラメータを推定しようとします。さらに、ベイズ推定は、観測系列が必ずしも独立ではない状況にも対応できます。このように、ベイズ推定はMVUE（最小値不等式）に代わるもう一つの選択肢を提供します。これは、MVUEが存在しない場合や見つけられない場合に役立ちます。

意味

させて $x$ になる $n\times 1$ 隠れたランダムベクトル変数とし、 $y$ になる $m\times 1$ 既知のランダムベクトル変数（測定値または観測値）であり、両者は必ずしも同じ次元である必要はない。推定量 $\displaystyle {\hat {x}}(y)}$ の $x$ 測定の任意の関数 $y$ 推定誤差ベクトルは次のように与えられる。 $e={\hat {x}}-x$ そしてその平均二乗誤差（MSE）は誤差共分散行列のトレースによって与えられる。

\operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},

期待が $\operatorname {E}$ 引き継がれる $x$ 条件付き $y$ 。いつ $x$ はスカラー変数であり、MSE式は次のように簡略化されます。 $\displaystyle \operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}}$ なお、MSEは他の方法でも同等に定義できる。

\operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.

MMSE推定量は、最小MSEを達成する推定量として定義される。

\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .}

物件

平均と分散が有限の場合、MMSE推定量は一意に定義され^{[ 1 ]}、次のように表されます。

\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.}

言い換えれば、MMSE推定量は、

x

測定値の既知の観測値を考慮すると、

\displaystyle {\hat {x}}_{\mathrm {MMSE} }}

は事後平均、誤差共分散行列です。

C_{e}=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}

事後共分散に等しい

C_{X|Y}

マトリックス、

C_{e}=C_{X|Y}

。

MMSE推定量は（上記の正則性の仮定の下で）不偏である。

\operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.

MMSE推定量は漸近的に不偏であり、分布は正規分布に収束する。

{\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),

どこ

I(x)

フィッシャー情報量は

x

したがって、MMSE推定量は漸近的に効率的である。

直交性の原理： $x$ はスカラーであり、特定の形式に制約された推定値である。 ${\hat {x}}=g(y)$ は最適推定量である。 ${\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),$ かつその場合に限り

\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0

すべての人々のために

g(y)

閉じた線形部分空間において

{\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}

測定値について。ランダムベクトルの場合、ランダムベクトルの推定のMSEは座標のMSEの合計であるため、ランダムベクトルのMMSE推定値を求めることは、Xの座標のMMSE推定値を個別に求めることに分解されます。

\operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,

すべてのiとjについて。より簡潔に言うと、最小推定誤差間の相互相関は

{\hat {x}}_{\operatorname {MMSE} }-x

そして推定器

{\hat {x}}

ゼロであるべきです。

\operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.

もし $x$ そして $y$ がガウス分布に従う場合、MMSE推定量は線形であり、すなわち次の形式となる。 $Wy+b$ 行列の場合 $W$ そして絶え間ない $b$ これはベイズの定理を用いて直接示すことができる。したがって、MMSE推定量を求めるには、線形MMSE推定量を求めれば十分である。

線形MMSE推定器

多くの場合、MMSE推定量の解析的表現を決定することはできません。MMSE推定値を得るための2つの基本的な数値的アプローチは、条件付き期待値を求めるか、 $\operatorname {E} \{x\mid y\}$ または、MSE の最小値を求める。条件付き期待値の直接的な数値評価は、モンテカルロ法によって通常行われる多次元積分を必要とするため、計算コストが高い。別の計算アプローチは、確率的勾配降下法などの手法を使用して MSE の最小値を直接求めることであるが、この方法でも期待値の評価が必要となる。これらの数値的手法は有効であったが、多少の妥協を厭わないのであれば、MMSE 推定量の閉形式表現も可能である。

一つの可能性は、完全最適性の要件を放棄し、線形推定量のクラスなど、特定のクラスの推定量内でMSEを最小化する手法を探すことである。したがって、我々は条件付き期待値が $x$ 与えられた $y$ は、の単純な線形関数です。 $y$ 、 $\operatorname {E} \{x\mid y\}=Wy+b$ 測定は $y$ はランダムベクトルです。 $W$ は行列であり、 $b$ はベクトルです。これは、の1次テイラー近似と見なすことができます。 $\operatorname {E} \{x\mid y\}$ 線形MMSE推定量は、そのような形式のすべての推定量の中で最小のMSEを達成する推定量です。つまり、次の最適化問題を解きます。

\min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.

このような線形MMSE推定量の利点の1つは、事後確率密度関数を明示的に計算する必要がないことです。 $x$ このような線形推定量は、最初の 2 つのモーメントのみに依存します。 $x$ そして $y$ したがって、次のように仮定するのは都合が良いかもしれないが、 $x$ そして $y$ それらが共変的にガウス分布に従う場合、仮定された分布の1次モーメントと2次モーメントが明確に定義されている限り、この仮定を置く必要はありません。線形推定量の形式は、仮定された基礎となる分布の種類に依存しません。

最適な表現 $b$ そして $W$ 次のように与えられます。

b={\bar {x}}-W{\bar {y}},

W=C_{XY}C_{Y}^{-1}.

どこ ${\bar {x}}=\operatorname {E} \{x\}$ 、 ${\bar {y}}=\operatorname {E} \{y\},$ の $C_{XY}$ は相互共分散行列です $x$ そして $y$ 、 $C_{Y}$ は自己共分散行列である $y$ 。

したがって、線形MMSE推定量、その平均、および自己共分散の式は次のように表される。

{\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},

\operatorname {E} \{{\hat {x}}\}={\bar {x}},

C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},

どこで $C_{YX}$ は相互共分散行列です $y$ そして $x$ 。

最後に、このような推定量によって達成可能な誤差共分散と最小平均二乗誤差は、

C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},

\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.

直交原理を用いた導出

最適な線形MMSE推定量は次のように与えられる。 ${\hat {x}}=Wy+b$ 、ここで我々は次の式を見つける必要がある $W$ そして $b$ MMSE推定量は不偏でなければならない。つまり、

\operatorname {E} \{{\hat {x}}\}=\operatorname {E} \{x\}.

式を代入すると ${\hat {x}}$ 上記では、

b={\bar {x}}-W{\bar {y}},

どこ ${\bar {x}}=\operatorname {E} \{x\}$ そして ${\bar {y}}=\operatorname {E} \{y\}$ したがって、推定量は次のように書き換えることができます。

{\hat {x}}=W(y-{\bar {y}})+{\bar {x}}

そして推定誤差の式は次のようになる。

{\hat {x}}-x=W(y-{\bar {y}})-(x-{\bar {x}}).

直交性の原理から、 $\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}=0$ では、 $g(y)=y-{\bar {y}}$ ここで左辺の項は

{\begin{aligned}\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}&=\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(y-{\bar {y}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}-\operatorname {E} \{(x-{\bar {x}})(y-{\bar {y}})^{T}\}\\&=WC_{Y}-C_{XY}.\end{aligned}}

ゼロに等しいとおくと、求める式が得られます。 $W$ として

W=C_{XY}C_{Y}^{-1}.

の $C_{XY}$ はXとYの間の相互共分散行列であり、 $C_{Y}$ Yの自己共分散行列です。 $C_{XY}=C_{YX}^{T}$ 式は、 $C_{YX}$ として

W^{T}=C_{Y}^{-1}C_{YX}.

したがって、線形MMSE推定量の完全な式は次のようになります。

{\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.

推定値以来 ${\hat {x}}$ はそれ自体が確率変数であり、 $\operatorname {E} \{{\hat {x}}\}={\bar {x}}$ また、自己共分散も次のように得ることができます。

{\begin{aligned}C_{\hat {X}}&=\operatorname {E} \{({\hat {x}}-{\bar {x}})({\hat {x}}-{\bar {x}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}W^{T}\\&=WC_{Y}W^{T}.\\\end{aligned}}

式を $W$ そして $W^{T}$ そうすれば

C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX}.

最後に、線形MMSE推定誤差の共分散は次のように表されます。

{\begin{aligned}C_{e}&=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\\&=\operatorname {E} \{({\hat {x}}-x)(W(y-{\bar {y}})-(x-{\bar {x}}))^{T}\}\\&=\underbrace {\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}} _{0}W^{T}-\operatorname {E} \{({\hat {x}}-x)(x-{\bar {x}})^{T}\}\\&=-\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(x-{\bar {x}})^{T}\}\\&=\operatorname {E} \{(x-{\bar {x}})(x-{\bar {x}})^{T}\}-W\operatorname {E} \{(y-{\bar {y}})(x-{\bar {x}})^{T}\}\\&=C_{X}-WC_{YX}.\end{aligned}}

直交性の原理により、3行目の最初の項はゼロになります。 $W=C_{XY}C_{Y}^{-1}$ 書き換えることができます $C_{e}$ 共分散行列の観点から

C_{e}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX}.

これは、 $C_{e}=C_{X}-C_{\hat {X}}.$ したがって、このような線形推定器で達成可能な最小平均二乗誤差は次のようになる。

\operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}

。

単変量ケース

両方が特殊なケースである場合 $x$ そして $y$ はスカラーであり、上記の関係は次のように簡略化されます。

{\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},

\sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},

どこ $\rho ={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}$ ピアソン相関係数は $x$ そして $y$ 。

上記の2つの式により、相関係数を線形回帰の正規化された傾きとして解釈することができます。

\left({\frac {{\hat {x}}-{\bar {x}}}{\sigma _{X}}}\right)=\rho \left({\frac {y-{\bar {y}}}{\sigma _{Y}}}\right)

または、2つの分散の比の平方根として

\rho ^{2}={\frac {\sigma _{X}^{2}-\sigma _{e}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{\hat {X}}^{2}}{\sigma _{X}^{2}}}

。

いつ $\rho =0$ 、我々は持っています ${\hat {x}}={\bar {x}}$ そして $\sigma _{e}^{2}=\sigma _{X}^{2}$ この場合、測定から不確実性を低減できる新しい情報は得られません。 $x$ 一方、 $\rho =\pm 1$ 、我々は持っています ${\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}}$ そして $\sigma _{e}^{2}=0$ 。ここ $x$ 完全に決定されます $y$ 直線の方程式で示されるように。

計算

ガウス消去法のような標準的な方法を用いて、行列方程式を解くことができる。 $W$ より数値的に安定した方法は、QR分解法によって提供される。行列は $C_{Y}$ は対称正定値行列であり、 $W$ コレスキー分解を用いると2倍速く解けるが、大規模な疎行列の場合は共役勾配法の方が効果的である。レビンソン再帰法は高速な方法である。 $C_{Y}$ もトープレッツ行列です。これは次のような場合に起こります。 $y$ これは広義の定常過程である。このような定常過程の場合、これらの推定量はウィーナー・コルモゴロフフィルターとも呼ばれる。

線形観測過程のための線形MMSE推定量

観察の根底にあるプロセスを、線形プロセスとしてさらにモデル化してみましょう。 $y=Ax+z$ 、どこ $A$ は既知の行列であり、 $z$ は平均を持つランダムノイズベクトルです $\operatorname {E} \{z\}=0$ および相互共分散 $C_{XZ}=0$ ここで必要な平均と共分散行列は次のようになります。

\operatorname {E} \{y\}=A{\bar {x}},

C_{Y}=AC_{X}A^{T}+C_{Z},

C_{XY}=C_{X}A^{T}.

したがって、線形MMSE推定行列の式は次のようになる。 $W$ さらに修正して

W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.

すべてを表現に入れる ${\hat {x}}$ そうすれば

{\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.

最後に、誤差共分散は

C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.

上で扱った推定問題と最小二乗法およびガウス・マルコフ推定の問題との重要な違いは、観測数m（つまり次元）が $y$ ) は、未知数の数n以上である必要はありません(つまり、 $x$ ) 線形観測過程の推定値は、 m × m行列が存在する限り存在する。 $(AC_{X}A^{T}+C_{Z})^{-1}$ が存在する。これは、例えば、任意のmに対して当てはまる。 $C_{Z}$ 正定値である。物理的には、この性質の理由は、 $x$ is now a random variable, it is possible to form a meaningful estimate (namely its mean) even with no measurements. Every new measurement simply provides additional information which may modify our original estimate. Another feature of this estimate is that for m < n, there need be no measurement error. Thus, we may have $C_{Z}=0$ , because as long as $AC_{X}A^{T}$ is positive definite, the estimate still exists. Lastly, this technique can handle cases where the noise is correlated.

Alternative form

An alternative form of expression can be obtained by using the matrix identity

C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},

which can be established by post-multiplying by $(AC_{X}A^{T}+C_{Z})$ and pre-multiplying by $(A^{T}C_{Z}^{-1}A+C_{X}^{-1}),$ to obtain

W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},

and

C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.

Since $W$ can now be written in terms of $C_{e}$ as $W=C_{e}A^{T}C_{Z}^{-1}$ , we get a simplified expression for ${\hat {x}}$ as

{\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.

In this form the above expression can be easily compared with weighed least square, Gauss–Markov estimate, and ridge regression. In particular, when $C_{X}^{-1}=0$ , corresponding to infinite variance of the apriori information concerning $x$ , the result $W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}$ is identical to the weighed linear least square estimate with $C_{Z}^{-1}$ as the weight matrix. Moreover, if the components of $z$ are uncorrelated and have equal variance such that $C_{Z}=\sigma ^{2}I,$ where $I$ is an identity matrix, then $W=(A^{T}A)^{-1}A^{T}$ is identical to the ordinary least square estimate. When apriori information is available as $C_{X}=\sigma _{X}^{2}I$ and the $z$ are uncorrelated and have equal variance as $C_{Z}=\sigma _{Z}^{2}I$ , we have $W=(A^{T}A+\lambda I)^{-1}A^{T}$ , where $\lambda =\sigma _{Z}^{2}/\sigma _{X}^{2}$ , which is identical to ridge regression solution.

Sequential linear MMSE estimation

In many real-time applications, observational data is not available in a single batch. Instead the observations are made in a sequence. One possible approach is to use the sequential observations to update an old estimate as additional data becomes available, leading to finer estimates. One crucial difference between batch estimation and sequential estimation is that sequential estimation requires an additional Markov assumption.

In the Bayesian framework, such recursive estimation is easily facilitated using Bayes' rule. Given $k$ observations, $y_{1},\ldots ,y_{k}$ , Bayes' rule gives us the posterior density of $x_{k}$ as

{\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}

The $p(x_{k}|y_{1},\ldots ,y_{k})$ is called the posterior density, $p(y_{k}|x_{k})$ is called the likelihood function, and $p(x_{k}|y_{1},\ldots ,y_{k-1})$ is the prior density of k-th time step. Here we have assumed the conditional independence of $y_{k}$ from previous observations $y_{1},\ldots ,y_{k-1}$ given $x$ as

p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).

This is the Markov assumption.

The MMSE estimate ${\hat {x}}_{k}$ given the k-th observation is then the mean of the posterior density $p(x_{k}|y_{1},\ldots ,y_{k})$ . With the lack of dynamical information on how the state $x$ changes with time, we will make a further stationarity assumption about the prior:

p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).

Thus, the prior density for k-th time step is the posterior density of (k-1)-th time step. This structure allows us to formulate a recursive approach to estimation.

線形MMSE推定量の場合、推定値の式は以前と同じ形式になります。 ${\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.$ しかし、平均と共分散行列は $X$ そして $Y$ 以前の密度のものに置き換える必要がある $p(x_{k}|y_{1},\ldots ,y_{k-1})$ そして可能性 $p(y_{k}|x_{k})$ 、それぞれ。

事前密度については $p(x_{k}|y_{1},\ldots ,y_{k-1})$ 、その平均値は、前回のMMSE推定値によって与えられます。

{\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}

、

そしてその共分散行列は、前の誤差共分散行列によって与えられます。

C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},

MMSE推定量の特性と定常性仮定に基づく。

同様に、線形観測過程の場合、尤度の平均は $p(y_{k}|x_{k})$ は ${\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}$ 共分散行列は以前と同じである

{\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}

。

予測値と $Y_{k}$ 次のように与えられる ${\bar {y}}_{k}=A{\hat {x}}_{k-1}$ 、およびその観測値 $y_{k}$ 予測誤差 ${\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}$ これは、イノベーションまたは残差とも呼ばれます。線形MMSEは、平均と共分散がである予測誤差の観点から表す方が便利です。 $\mathrm {E} [{\tilde {y}}_{k}]=0$ そして $C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}$ 。

したがって、推定値更新式では、 ${\bar {x}}$ そして $C_{X}$ による ${\hat {x}}_{k-1}$ そして $C_{e_{k-1}}$ それぞれ。また、置き換える必要があります。 ${\bar {y}}$ そして $C_{Y}$ による ${\bar {y}}_{k-1}$ そして $C_{{\tilde {Y}}_{k}}$ 最後に、 $C_{XY}$ による

{\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}

したがって、新しい推定値は新しい観測値として得られる。 $y_{k}$ 到着する

{\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}

そして新しい誤差共分散は次のようになる。

C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.

線形代数の観点から、逐次推定の場合、推定値があれば ${\hat {x}}_{1}$ 空間を生成する測定値に基づく $Y_{1}$ そして、別の測定値を受け取ったら、最初の測定結果から予測できた部分をこれらの測定値から差し引く必要があります。言い換えれば、更新は新しいデータのうち、古いデータと直交する部分に基づいて行われなければなりません。

観測値が増えるにつれて上記の2つの式を繰り返し使用することで、再帰的な推定手法が得られます。これらの式はより簡潔に次のように記述できます。

W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},

{\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),

C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.

マトリックス $W_{k}$ これはしばしばカルマンゲイン係数と呼ばれます。上記のアルゴリズムの別の定式化では、

C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,

W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},

{\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),

より多くのデータが利用可能になるにつれて、これら3つのステップを繰り返すことで、反復推定アルゴリズムが実現します。この考え方を非定常ケースに一般化すると、カルマンフィルタが生まれます。上記で概説した3つの更新ステップは、まさにカルマンフィルタの更新ステップを構成しています。

特殊なケース：スカラー観測

重要な特殊ケースとして、各k番目の時点で基礎となる線形観測プロセスが次のようなスカラーを生成する場合、使いやすい再帰式を導出できます。 $y_{k}=a_{k}^{T}x_{k}+z_{k}$ 、どこ $a_{k}$ は、値が時間とともに変化する可能性のあるn行 1 の既知の列ベクトルです。 $x_{k}$ は推定されるn行 1 行のランダム列ベクトルであり、 $z_{k}$ は分散を持つスカラーノイズ項です $\sigma _{k}^{2}$ ( k +1)回目の観測後、上記の再帰方程式を直接使用することで推定値の式が得られます。 ${\hat {x}}_{k+1}$ として：

{\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{\hat {x}}_{k})

どこ $y_{k+1}$ は新しいスカラー観測値であり、ゲイン係数は $w_{k+1}$ n行 1 列ベクトルは次のように与えられます。

w_{k+1}={\frac {C_{e_{k}}a_{k+1}}{\sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.

の $C_{e_{k+1}}$ n × nの誤差共分散行列は次のように与えられる。

C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.

ここでは、行列の反転は必要ありません。また、ゲイン係数、 $w_{k+1}$ は、ノイズ分散によって測定される新しいデータサンプルに対する信頼度と、以前のデータに対する信頼度との違いによって決まります。 ${\hat {x}}$ そして $C_{e}$ は、事前確率密度関数の平均と共分散とみなされる。 $x$ 。

代替アプローチ:この重要な特殊ケースは、最小二乗フィルタや再帰的最小二乗フィルタなど、確率的勾配降下法を用いて元の MSE 最適化問題を直接解く他の多くの反復法 (または適応フィルタ) も生み出しました。しかし、推定誤差は $e$ 直接観測できないため、これらの方法は平均二乗予測誤差を最小化しようとします。 $\mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}$ 例えば、スカラー観測の場合、勾配は次のようになります。 $\nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.$ したがって、最小二乗フィルタの更新式は次のように表される。

{\hat {x}}_{k+1}={\hat {x}}_{k}+\eta _{k}\mathrm {E} \{{\tilde {y}}_{k}a_{k}\},

どこ $\eta _{k}$ はスカラーステップサイズであり、期待値は瞬時値によって近似される。 $\mathrm {E} \{a_{k}{\tilde {y}}_{k}\}\approx a_{k}{\tilde {y}}_{k}$ ご覧のとおり、これらの方法は共分散行列を必要としません。

特殊なケース：スカラー値が不明

また、 k番目の各時点において、基礎となる線形観測プロセスが次のようなベクトルを生成する場合、別の重要かつ使いやすい再帰式を導出することもできます。 $y_{k}=a_{k}x_{k}+z_{k}$ 、どこ $a_{k}$ は、 m行 1 行の既知の列ベクトルであり、その値は時間とともに変化する可能性があります。 $x_{k}$ 推定すべき未知のスカラーであり、 $z_{k}$ は共分散を持つm対 1 のノイズ項です $C_{Z_{k}}=\sigma _{k}^{2}I$ ( k +1)回目の観測後、上記の再帰方程式の別の形式を使用すると、スカラー誤差共分散は $\sigma _{e_{k+1}}^{2}$ は

\sigma _{e_{k+1}}^{2}=\left({\frac {1}{\sigma _{e_{k}}^{2}}}+a_{k+1}^{T}C_{Z_{k+1}}^{-1}a_{k+1}\right)^{-1}=\left({\frac {1}{\sigma _{e_{k}}^{2}}}+{\frac {a_{k+1}^{T}a_{k+1}}{\sigma _{k+1}^{2}}}\right)^{-1}.

ゲイン係数 $w_{k+1}$ は、1× m行ベクトルで、次のように表されます。

w_{k+1}=\sigma _{e_{k+1}}^{2}a_{k+1}^{T}C_{Z_{k+1}}^{-1}={\frac {\sigma _{e_{k+1}}^{2}}{\sigma _{k+1}^{2}}}a_{k+1}^{T}.

最後に、新しい観測ベクトルが与えられた $y_{k+1}$ 推定値 ${\hat {x}}_{k+1}$ は

{\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}{\hat {x}}_{k}).

特殊なケース：無相関ノイズを伴うベクトル観測

多くの実用的なアプリケーションでは、観測ノイズは無相関です。つまり、 $C_{Z}$ は対角行列です。このような場合、の成分を考慮することが有利です。 $y$ ベクトル測定ではなく、独立したスカラー測定として扱う。これにより、計算時間を短縮できる。 $m\times 1$ 測定ベクトルとして $m$ スカラー測定。スカラー更新式を用いることで、共分散更新式の実装における行列の逆行列計算を回避できるため、丸め誤差に対する数値的なロバスト性が向上します。更新は次のように反復的に実装できます。

w_{k+1}^{(\ell )}={\frac {C_{e_{k}}^{(\ell )}A_{k+1}^{(\ell )T}}{C_{Z_{k+1}}^{(\ell )}+A_{k+1}^{(\ell )}C_{e_{k}}^{(\ell )}(A_{k+1}^{(\ell )T})}}

C_{e_{k+1}}^{(\ell )}=(I-w_{k+1}^{(\ell )}A_{k+1}^{(\ell )})C_{e_{k}}^{(\ell )}

{\hat {x}}_{k+1}^{(\ell )}={\hat {x}}_{k}^{(\ell -1)}+w_{k+1}^{(\ell )}(y_{k+1}^{(\ell )}-A_{k+1}^{(\ell )}{\hat {x}}_{k}^{(\ell -1)})

どこ $\ell =1,2,\ldots ,m$ 初期値を使用して $C_{e_{k+1}}^{(0)}=C_{e_{k}}$ そして ${\hat {x}}_{k+1}^{(0)}={\hat {x}}_{k}$ 中間変数 $C_{Z_{k+1}}^{(\ell )}$ は $\ell$ の番目の対角要素 $m\times m$ 対角行列 $C_{Z_{k+1}}$ ; その間 $A_{k+1}^{(\ell )}$ は $\ell$ の行目 $m\times n$ マトリックス $A_{k+1}$ 最終値は $C_{e_{k+1}}^{(m)}=C_{e_{k+1}}$ そして ${\hat {x}}_{k+1}^{(m)}={\hat {x}}_{k+1}$ 。

例

例１

線形予測問題を例にとる。観測されたスカラー確率変数の線形結合を $z_{1},z_{2}$ そして $z_{3}$ 別の将来のスカラー確率変数を推定するために使用される $z_{4}$ そのため ${\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}$ ランダム変数が $z=[z_{1},z_{2},z_{3},z_{4}]^{T}$ は、平均がゼロで共分散行列が次式で与えられる実ガウス型確率変数である。

\operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],

そこで、私たちの課題は係数を見つけることです。 $w_{i}$ 最適な線形推定値が得られるように ${\hat {z}}_{4}$ 。

前節で展開した用語を用いると、この問題では観測ベクトルが $y=[z_{1},z_{2},z_{3}]^{T}$ 推定行列 $W=[w_{1},w_{2},w_{3}]$ 行ベクトルとして、推定変数 $x=z_{4}$ スカラー量として。自己相関行列 $C_{Y}$ は次のように定義される。

C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].

相互相関行列 $C_{YX}$ は次のように定義される。

C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].

方程式を解く $C_{Y}W^{T}=C_{YX}$ 反転させることにより $C_{Y}$ そして、前乗算して

C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.

だから私たちは $w_{1}=2.57,$ $w_{2}=-0.142,$ そして $w_{3}=.5714$ 最適な係数として ${\hat {z}}_{4}$ 最小平均二乗誤差を計算すると、次のようになります。 $\left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857$ ^{[ 2 ]}明示的な行列の逆行列を求める必要はないことに注意してください。 $C_{Y}$ 値を計算する $W$ 行列方程式は、ガウス消去法などのよく知られた方法で解くことができます。より簡潔な非数値的な例は、直交原理に記載されています。

例２

ベクトルを考えてみましょう $y$ 採取によって形成された $N$ 固定されているが未知のスカラーパラメータの観測 $x$ 白色ガウスノイズによって妨害される。このプロセスは線形方程式で記述できる。 $y=1x+z$ 、どこ $1=[1,1,\ldots ,1]^{T}$ 文脈によっては、 $1$ はスカラーまたはベクトルを表します。 $[-x_{0},x_{0}]$ 値の範囲となる $x$ 落ちてくるだろう。不確実性をモデル化できる $x$ 区間における事前一様分布によって $[-x_{0},x_{0}]$ それで $x$ 変動は $\sigma _{X}^{2}=x_{0}^{2}/3.$ ノイズベクトルを $z$ 正規分布に従う $N(0,\sigma _{Z}^{2}I)$ どこ $I$ は単位行列です。また $x$ そして $z$ 独立していて $C_{XZ}=0$ 容易にわかるように、

{\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}

したがって、線形MMSE推定量は次のように与えられる。

{\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}

の代替形式を使用することで、式を簡略化できます。 $W$ として

{\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}

どこで $y=[y_{1},y_{2},\ldots ,y_{N}]^{T}$ 我々は持っています ${\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.$

同様に、推定量の分散は

\sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.

したがって、この線形推定量のMMSEは

\operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.

非常に大きい $N$ スカラーのMMSE推定量は、一様事前分布を持つ場合、観測されたすべてのデータの算術平均によって近似できることがわかります。

{\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},

分散はデータに影響されない $\sigma _{\hat {X}}^{2}=\sigma _{X}^{2},$ そして、推定値のLMMSEはゼロに近づく。

しかし、推定量は線形に制約されているため最適ではありません。確率変数が $x$ もガウス分布であれば、推定量は最適であっただろう。事前分布に関係なく、推定量の形式は変わらないことに注意されたい。 $x$ ただし、これらの分布の平均と分散が同じである場合に限ります。

例３

上記の例の変形を考えてみましょう。2人の候補者が選挙に立候補しています。選挙当日に候補者が獲得する票の割合を次のようにします。 $x\in [0,1].$ したがって、もう一方の候補者が獲得する票の割合は次のようになります。 $1-x.$ 私たちは $x$ 一様事前分布を持つ確率変数として $[0,1]$ そのため、その平均は ${\bar {x}}=1/2$ そして分散は $\sigma _{X}^{2}=1/12.$ 選挙の数週間前に、2つの異なる世論調査機関によって2つの独立した世論調査が実施された。最初の調査では、候補者が当選する可能性が高いことが明らかになった。 $y_{1}$ 投票の割合。有限サンプリングと採用された特定の世論調査方法により常に何らかの誤差が存在するため、最初の世論調査員は推定値に誤差があると宣言します。 $z_{1}$ 平均ゼロ、分散 $\sigma _{Z_{1}}^{2}.$ 同様に、2番目の世論調査機関は、彼らの推定値は $y_{2}$ エラーが発生しました $z_{2}$ 平均ゼロ、分散 $\sigma _{Z_{2}}^{2}.$ 誤差の平均値と分散を除き、誤差分布は指定されていないことに注意してください。与えられた候補者の投票予測を得るには、2つの世論調査をどのように組み合わせればよいでしょうか？

前の例と同様に、

{\begin{aligned}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{aligned}}

ここでは、 $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2$ したがって、LMMSE推定値は、以下の線形結合として得られます。 $y_{1}$ そして $y_{2}$ として

{\hat {x}}=w_{1}(y_{1}-{\bar {x}})+w_{2}(y_{2}-{\bar {x}})+{\bar {x}},

ここで、重みは次のように与えられる。

{\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{aligned}}

ここでは、分母項が一定であるため、選挙結果を予測するために、誤差の小さい世論調査に高い重みが与えられます。最後に、分散は ${\hat {x}}$ は

\sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},

これにより $\sigma _{\hat {X}}^{2}$ より小さい $\sigma _{X}^{2}.$ したがって、LMMSEは次のように与えられる。

\mathrm {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\frac {1}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.

一般的に、 $N$ 世論調査員は、 ${\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},$ ここで、 i番目の世論調査員の重みは次のように与えられる。 $w_{i}={\frac {1/\sigma _{Z_{i}}^{2}}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}$ そしてLMMSEは次のように与えられる。 $\mathrm {LMMSE} ={\frac {1}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.$

例4

ある音楽家が楽器を演奏しており、その音が2つの異なる場所に設置された2つのマイクロホンで受信されるとします。各マイクロホンにおける距離による音の減衰を次のようにします。 $a_{1}$ そして $a_{2}$ これらは既知の定数であると仮定する。同様に、各マイクロホンでのノイズを次のようにする。 $z_{1}$ そして $z_{2}$ それぞれ平均ゼロ、分散 $\sigma _{Z_{1}}^{2}$ そして $\sigma _{Z_{2}}^{2}$ それぞれ。 $x$ はミュージシャンによって生成される音を表し、平均がゼロで分散がゼロの確率変数です。 $\sigma _{X}^{2}.$ これら2つのマイクで録音された音楽は、同期させた後、どのように組み合わせるべきでしょうか？

各マイクロホンが受信する音は次のようにモデル化できます。

{\begin{aligned}y_{1}&=a_{1}x+z_{1}\\y_{2}&=a_{2}x+z_{2}.\end{aligned}}

ここでは両方とも $\operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0$ したがって、2つの音を組み合わせると次のようになります。

y=w_{1}y_{1}+w_{2}y_{2}

ここで、i番目の重みは次のように与えられる。

w_{i}={\frac {a_{i}/\sigma _{Z_{i}}^{2}}{\sum _{j}a_{j}^{2}/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.

注記

↑ 「平均二乗誤差（MSE）」。www.probabilitycourse.com 。 2017年5月9日取得。
↑ムーンとスターリング。

さらに読む

Johnson, D. 「最小平均二乗誤差推定量」 . Connexions. 2008年7月25日にオリジナルからアーカイブ済み。 2013年1月8日取得。{{cite web}}値を確認する（ヘルプ）|url=
ジェインズ、ET（2003）。確率論：科学の論理。ケンブリッジ大学出版局。ISBN 978-0521592710。
Bibby, J.; Toutenburg, H. (1977).線形モデルにおける予測と推定の改善. Wiley. ISBN 9780471016564。
レーマン、EL；カセラ、G.（1998）。「第4章」。点推定理論（第2 版）。シュプリンガー。ISBN 0-387-98502-6。
Kay, SM (1993).統計的信号処理の基礎：推定理論. Prentice Hall. pp. 344–350 . ISBN 0-13-042268-1。
Luenberger, DG (1969). 「第4章最小二乗推定」『ベクトル空間法による最適化』（第1 版）Wiley. ISBN 978-0471181170。
Moon, TK; Stirling, WC (2000).信号処理のための数学的手法とアルゴリズム（第1 版）. Prentice Hall. ISBN 978-0201361865。
ヴァン・ツリーズ、 HL（1968）。検出、推定、変調理論、パートI。ニューヨーク：ワイリー。ISBN 0-471-09517-6。
Haykin, SO (2013).適応フィルタ理論（第5 版）. Prentice Hall. ISBN 978-0132671453。

[1] 「平均二乗誤差（MSE）」。www.probabilitycourse.com 。 2017年5月9日取得。

[2] ムーンとスターリング。

[ 1 ]

[ 2 ]

最小平均二乗誤差推定量

モチベーション

意味

物件

線形MMSE推定器

単変量ケース

計算

線形観測過程のための線形MMSE推定量

Alternative form

Sequential linear MMSE estimation

特殊なケース：スカラー観測

特殊なケース：スカラー値が不明

特殊なケース：無相関ノイズを伴うベクトル観測

例

例１

例２

例３

例4

関連項目

注記

さらに読む

関連するトピック

統計学

信号処理

従属変数

平均二乗誤差