結合エントロピー

一連の確率変数の結合エントロピーは非負の数である。

${\displaystyle \mathrm {H} (X,Y)\geq 0}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}$

一連の変数の結合エントロピーは、そのセットに含まれるすべての変数の個々のエントロピーの最大値以上である。

${\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}$

${\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}$

変数セットの結合エントロピーは、セット内の変数の個々のエントロピーの合計以下である。これは劣加法性の例である。この不等式は、次の場合に限り等式となる。${\displaystyle X}$そして${\displaystyle Y}$統計的に独立している。^{[ 2 ]： 30}

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}$

上記の定義は離散確率変数に関するものであり、連続確率変数の場合にも同様に有効です。離散結合エントロピーの連続バージョンは、結合微分（または連続）エントロピーと呼ばれます。${\displaystyle X}$そして${\displaystyle Y}$連続確率密度関数を持つ連続確率変数である${\displaystyle f(x,y)}$微分結合エントロピー${\displaystyle h(X,Y)}$^{[ 2 ] : 249}と定義される

${\displaystyle h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy}$

2つ以上の連続確率変数${\displaystyle X_{1},...,X_{n}}$この定義は以下のように一般化される。

${\displaystyle h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}}$

積分は、${\displaystyle f}$積分が存在しない場合もある。その場合、微分エントロピーは定義されないと言う。

離散的な場合と同様に、一連の確率変数の結合微分エントロピーは、個々の確率変数のエントロピーの合計よりも小さいか、または等しい。

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}$^{[ 2 ]： 253}

2つの確率変数に対して、以下の連鎖律が成り立つ。

${\displaystyle h(X,Y)=h(X|Y)+h(Y)}$

2つ以上の確率変数の場合、これは次のように一般化されます。^{[ 2 ]： 253}

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}$

連続確率変数間の相互情報量の定義においても、結合微分エントロピーが用いられる。

${\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}$