ギブスの不等式

情報理論において、ギブスの不等式は離散確率分布の情報エントロピーに関する定理である。ギブスの不等式からは、ファノの不等式をはじめとする、確率分布のエントロピーに関する他のいくつかの境界が導き出される。ギブスの不等式は19世紀にJ・ウィラード・ギブスによって初めて提唱された。

仮に${\displaystyle P=\{p_{1},\ldots ,p_{n}\}}$そして${\displaystyle Q=\{q_{1},\ldots ,q_{n}\}}$ 離散確率分布である。

$${\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}}$$

等号は、 ${\displaystyle p_{i}=q_{i}}$ のために${\displaystyle i=1,\dots n}$[ ^{1 ] : 68}言い換えれば、分布の情報エントロピーと^は${\displaystyle P}$他のどの分布との交差エントロピーよりも小さいか、または等しい。${\displaystyle Q}$。

2つの量の差はカルバック・ライブラー情報量または相対エントロピーであり、したがって不等式は次のように書くこともできます。^{[ 2 ]： 34}

${\displaystyle D_{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}\geq 0.}$

なお、底が2の対数の使用は任意であり、不等式の両辺の量をビット単位で測定された「平均驚き」として参照することができます。

簡略化のため、自然対数lnを用いてこの命題を証明する。

${\displaystyle \log _{b}a={\frac {\ln a}{\ln b}},}$

したがって、私たちが選択する特定の対数の底b > 1は、関係を係数1 / ln bでのみスケーリングします。

させて${\displaystyle I}$すべての集合を表す${\displaystyle i}$p _iがゼロでない場合に、${\displaystyle \ln x\leq x-1}$すべてのx > 0に対して、等号が成り立つのはx=1の場合のみであるとして、次の式が成り立つ。

${\displaystyle -\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}\geq -\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)}$${\displaystyle =-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}=-\sum _{i\in I}q_{i}+1\geq 0}$

最後の不等式は、p _iとq _{i が}確率分布の一部であることに起因します。具体的には、すべての非ゼロ値の合計は 1 です。しかし、インデックスの選択はp _iが非ゼロであることを条件としているため、一部の非ゼロq _{i が}除外されている可能性があります。したがって、 q _iの合計は1 未満になる場合があります。

これまでのところ、インデックスセット全体で ${\displaystyle I}$、 我々は持っています：

${\displaystyle -\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}\geq 0}$、

または同等に

${\displaystyle -\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}}$。

どちらの合計もすべてに拡張できます${\displaystyle i=1,\ldots ,n}$すなわち、${\displaystyle p_{i}=0}$表現を思い出すことによって${\displaystyle p\ln p}$0に近づく${\displaystyle p}$0に近づき、${\displaystyle (-\ln q)}$傾向${\displaystyle \infty }$として${\displaystyle q}$0 に近づく。

${\displaystyle -\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}}$

平等が成立するためには、

1. ${\displaystyle {\frac {q_{i}}{p_{i}}}=1}$すべての人々のために${\displaystyle i\in I}$平等が${\displaystyle \ln {\frac {q_{i}}{p_{i}}}={\frac {q_{i}}{p_{i}}}-1}$保持する、
2. そして${\displaystyle \sum _{i\in I}q_{i}=1}$つまり${\displaystyle q_{i}=0}$もし${\displaystyle i\notin I}$つまり、${\displaystyle q_{i}=0}$もし${\displaystyle p_{i}=0}$。

これは、以下の場合に限り起こり得る。${\displaystyle p_{i}=q_{i}}$のために${\displaystyle i=1,\ldots ,n}$。

この結果は、イェンセンの不等式、対数和の不等式、またはカルバック・ライブラー情報量がブレグマン情報量の一種であるという事実を用いて証明することもできる。

エントロピー​​${\displaystyle P}$境界は：^{[ 1 ] : 68}

${\displaystyle H(p_{1},\ldots ,p_{n})\leq \log n.}$

境界は、${\displaystyle q_{i}=1/n}$すべてのiについて。

• 情報エントロピー
• ブレグマン発散
• 対数和不等式