データ処理の不平等

データ処理不等式は、信号の情報量は局所的な物理的操作では増加できないという情報理論の概念です。これは簡潔に「後処理では情報を増やすことはできない」と表現できます。^[1]

3つのランダム変数がマルコフ連鎖 を形成するとします。これは、 の条件付き分布が のみに依存し、 とは条件付きで独立していることを意味します。具体的には、結合確率質量関数が次のように書ける場合、そのようなマルコフ連鎖となります。 ${\displaystyle X\rightarrow Y\rightarrow Z}$${\displaystyle Z}$${\displaystyle Y}$${\displaystyle X}$

${\displaystyle p(x,y,z)=p(x)p(y|x)p(z|y)=p(y)p(x|y)p(z|y)}$

この設定では、 を決定論的またはランダムに処理しても、について に含まれる情報量を増やすことはできません。相互情報量を使用すると、これは次のように記述できます。 ${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$

${\displaystyle I(X;Y)\geqslant I(X;Z),}$

が等しいのは、 の場合に限ります。つまり、と はに関する同じ情報を含み、マルコフ連鎖も形成します。^[2]${\displaystyle I(X;Y)=I(X;Z)}$${\displaystyle I(X;Y\mid Z)=0}$${\displaystyle Z}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X\rightarrow Z\rightarrow Y}$

相互情報量の連鎖律を適用すると、次の 2 つの異なる分解が得られます。 ${\displaystyle I(X;Y,Z)}$

${\displaystyle I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)}$

関係 により、が与えられた場合、と は条件付きで独立であることがわかります。つまり、条件付き相互情報量、です。データ処理不等式は、 の非負性から得られます。 ${\displaystyle X\rightarrow Y\rightarrow Z}$${\displaystyle X}$${\displaystyle Z}$${\displaystyle Y}$${\displaystyle I(X;Z\mid Y)=0}$${\displaystyle I(X;Y\mid Z)\geq 0}$

• ゴミを入れればゴミが出る

• http://www.scholarpedia.org/article/Mutual_information