直交性原理

統計学と信号処理において、直交性原理はベイズ推定量の最適性に対する必要十分条件です。大まかに言えば、直交性原理は、最適推定量の誤差ベクトル（平均二乗誤差の意味で）があらゆる推定量と直交しているというものです。直交性原理は線形推定量に対して最も一般的に述べられていますが、より一般的な定式化も可能です。この原理は最適性に対する必要十分条件であるため、最小平均二乗誤差推定量を見つけるために使用できます。

直交性原理は、線形推定の設定で最もよく使用されます。^[1]この文脈では、観測ベクトルyに基づいて推定される未知のランダムベクトルxとします。ある行列Hとベクトルcの線形推定量を構築したいとします。すると、直交性原理は、推定量が最小平均二乗誤差を達成するには、次の条件を満たす必要があると 述べています。${\displaystyle {\hat {x}}=Hy+c}$${\displaystyle {\hat {x}}}$

• ${\displaystyle \operatorname {E} \{({\hat {x}}-x)y^{T}\}=0,}$そして
• ${\displaystyle \operatorname {E} \{{\hat {x}}-x\}=0.}$

xとyの平均がゼロの場合は、最初の条件を満たすだけで十分です。

xは平均m、分散mのガウス分布のランダム変数であるとする。また、 wがxに依存しない平均0、分散0のガウス分布ノイズである値を観測するとする。MSEを最小化する線形推定量を求める。この式を直交性原理の2つの要件に代入すると、次式が得られる。 ${\displaystyle \sigma_{x}^{2}.}$${\displaystyle y=x+w,}$${\displaystyle \sigma _{w}^{2}.}$${\displaystyle {\hat {x}}=hy+c}$${\displaystyle {\hat {x}}=hy+c}$

${\displaystyle 0=\operatorname {E} \{({\hat {x}}-x)y\}}$

${\displaystyle 0=\operatorname {E} \{(hx+hw+cx)(x+w)\}}$

${\displaystyle 0=h(\sigma _{x}^{2}+\sigma _{w}^{2})+hm^{2}+cm-\sigma _{x}^{2}-m^{2}}$

そして

${\displaystyle 0=\operatorname {E} \{{\hat {x}}-x\}}$

${\displaystyle 0=\operatorname {E} \{hx+hw+cx\}}$

${\displaystyle 0=(h-1)m+c.}$

これらの2つの線形方程式をhとcについて解くと、次のようになります。

${\displaystyle h={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}},\quad c={\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m,}$

線形最小平均二乗誤差推定量は次のように与えられる。

${\displaystyle {\hat {x}}={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}y+{\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m.}$

この推定値は、ノイズの多い測定値yと事前の期待値mの加重平均として解釈できます。ノイズ分散が事前の分散と比較して低い 場合(高いSNRに対応)、重みのほとんどは測定値yに割り当てられ、事前情報よりも信頼性が高いと見なされます。逆に、ノイズ分散が比較的高い場合、測定値は事前情報を上回るほど信頼できないため、推定値はmに近くなります。 ${\displaystyle \sigma _{w}^{2}}$${\displaystyle \sigma _{x}^{2}}$

最後に、変数xとyは共にガウス分布なので、最小MSE推定量は線形であることに注意してください。^[2]したがって、この場合、上記の推定量は線形推定量だけでなく、すべての推定量の中でMSEを最小化します。

を、内積が で定義されるランダム変数のヒルベルト空間とします。 は、すべての可能な推定値の空間を表す の閉部分空間であるとします。ベクトル を近似するベクトルを見つけたいとします。より正確には、と の間の平均二乗誤差 (MSE) を最小化したいとします。 ${\displaystyle V}$${\displaystyle \langle x,y\rangle =\operatorname {E} \{x^{H}y\}}$${\displaystyle W}$${\displaystyle V}$${\displaystyle {\hat {x}}\in W}$${\displaystyle x\in V}$${\displaystyle \operatorname {E} \|x-{\hat {x}}\|^{2}}$${\displaystyle {\hat {x}}}$${\displaystyle x}$

上で説明した線形推定量の特殊なケースでは、空間はおよびのすべての関数の集合であり、は線形推定量、つまり のみ の線形関数の集合です。この方法で定式化できる他の設定には、因果線形フィルタの部分空間と、すべての（非線形の可能性のある）推定量の部分空間が含まれます。 ${\displaystyle V}$${\displaystyle x}$${\displaystyle y}$${\displaystyle W}$${\displaystyle y}$

幾何学的には、この問題は1 次元の部分空間である次の単純なケースで確認できます。 ${\displaystyle W}$

ベクトル に最も近い近似値を、空間 のベクトルで見つけたいとします。幾何学的解釈から、誤差ベクトル が空間 のベクトルに直交するときに、最良の近似値、つまり誤差が最小になることは直感的にわかります。 ${\displaystyle x}$${\displaystyle {\hat {x}}}$${\displaystyle W}$${\displaystyle e}$${\displaystyle W}$

より正確には、一般直交性原理は次のように述べている。ヒルベルト空間内の推定量の閉部分空間と内の要素が与えられたとき、 内のすべての要素の中で要素が最小のMSEを達成するのは、すべての${\displaystyle W}$${\displaystyle V}$${\displaystyle x}$${\displaystyle V}$${\displaystyle {\hat {x}}\in W}$${\displaystyle W}$${\displaystyle \operatorname {E} \{(x-{\hat {x}})y^{T}\}=0}$${\displaystyle y\in W.}$

このように述べると、この原理は単にヒルベルト射影定理を述べたものである。しかし、この結果は信号処理において広く使用されているため、「直交性原理」という名前が付けられている。

以下は、直交性原理を使用して 最小平均二乗誤差推定値を見つける 1 つの方法です。

ベクトルを次のように 近似したいとします。${\displaystyle x}$

${\displaystyle x={\hat {x}}+e\,}$

どこ

${\displaystyle {\hat {x}}=\sum _{i}c_{i}p_{i}}$

は、によって張られる部分空間内のベクトルの線形結合としての の近似です。したがって、近似を既知の項で記述できるように、 係数 について解けるようにする必要があります。${\displaystyle x}$${\displaystyle W}$${\displaystyle p_{1},p_{2},\ldots .}$${\displaystyle c_{i}}$

直交性定理によれば、誤差ベクトルの二乗ノルムは、すべてのjに対して、 ${\displaystyle \left\Vert e\right\Vert ^{2}}$

${\displaystyle \left\langle x-\sum _{i}c_{i}p_{i},p_{j}\right\rangle =0.}$

この式を展開すると、

${\displaystyle \left\langle x,p_{j}\right\rangle =\left\langle \sum _{i}c_{i}p_{i},p_{j}\right\rangle =\sum _{i}c_{i}\left\langle p_{i},p_{j}\right\rangle .}$

ベクトルの数が有限であれば、この式を行列形式で次のように書くことができる。 ${\displaystyle n}$${\displaystyle p_{i}}$

${\displaystyle {\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}{\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}.}$

が線形独立であると仮定すると、グラミアン行列を逆にすると次の式が得られる。 ${\displaystyle p_{i}}$

${\displaystyle {\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}^{-1}{\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}},}$

これにより、最小平均二乗誤差推定値の 係数を表す式が提供されます。${\displaystyle c_{i}}$

• 最小平均二乗誤差
• ヒルベルト射影定理

• Kay, SM (1993)。統計信号処理の基礎: 推定理論。Prentice Hall。ISBN 0-13-042268-1。
• ムーン、トッド K. (2000)。信号処理のための数学的手法とアルゴリズム。プレンティス・ホール。ISBN 0-201-36186-8。