バイナリエントロピー関数

情報理論では、バイナリエントロピー関数(または) は、2 つの値のいずれかの確率を持つベルヌーイ過程( iidバイナリ変数)のエントロピーとして定義され、次の式で表されます。 ${\displaystyle \operatorname {H} (p)}$${\displaystyle \operatorname {H} _{\text{b}}(p)}$ ${\displaystyle p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p).}$

対数の底は、情報単位の選択に対応します。底eはNATSに対応し、数学的に便利ですが、底 2 ( 2 進対数) はShannonsに対応し、慣例的です (グラフに示すように)。具体的には、次のようになります。

${\displaystyle \operatorname {H} (X)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

0 と 1 の値は限界値(ロピタルの法則による) によって与えられることに注意してください。また、「バイナリ」は情報の単位ではなく、変数の 2 つの可能な値を指すことに注意してください。 ${\displaystyle \textstyle 0\log 0:=\lim _{x\to 0^{+}}x\log x=0}$

のとき、バイナリ エントロピー関数は最大値の 1 シャノン (1 バイナリ情報単位) に達します。これは、偏りのないコイン投げの場合です。または のとき、バイナリ エントロピーは 0 (任意の単位)​​ であり、変数に不確実性がないため、情報がない状態に対応します。 ${\displaystyle p=1/2}$${\displaystyle p=0}$${\displaystyle p=1}$

バイナリ エントロピーはの特殊なケースで、エントロピー関数です。は、前者が単一の実数をパラメータとして取るのに対し、後者は分布またはランダム変数をパラメータとして取るという点で、エントロピー関数と区別されます。 したがって、バイナリ エントロピー ( p ) は分布 のエントロピーであるため、 となります。 ${\displaystyle \operatorname {H} (X)}$${\displaystyle \mathrm {H} (X)}$${\displaystyle \operatorname {H} (p)}$ ${\displaystyle \mathrm {H} (X)}$${\displaystyle \operatorname {Ber} (p)}$${\displaystyle \operatorname {H} (p)=\mathrm {H} (\operatorname {Ber} (p))}$

2つの値がそれぞれpとqである確率を書き表すと、これは 次の式に対応する。${\displaystyle p+q=1}$${\displaystyle q=1-p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log pq\log q=-\sum _{x\in X}\operatorname {Pr} (X=x)\cdot \log \operatorname {Pr} (X=x)=\mathrm {H} (\operatorname {Ber} (p)).}$

バイナリエントロピー関数は と表記されることもあります。ただし、と表記されるレーニエントロピーとは異なりますので、混同しないでください。 ${\displaystyle \operatorname {H} _{2}(p)}$${\displaystyle \mathrm {H} _{2}(X)}$

情報理論では、エントロピーはメッセージ内の不確実性の尺度であると考えられています。直感的に言えば、 と仮定します。この確率では、イベントは決して発生しないことが確実であるため、不確実性がまったくなく、エントロピーは 0 になります。 の場合、結果は再び確実であるため、ここでもエントロピーは 0 です。 のとき、不確実性が最大になります。この場合、結果に対して公平に賭ける場合、確率を事前に知っていても有利になることはありません。この場合、エントロピーは 1 ビットの値で最大になります。中間の値はこれらのケースの間にあります。たとえば、 の場合、結果に対して依然として不確実性の尺度がありますが、結果を正しく予測できることが多いため、不確実性の尺度、つまりエントロピーは 1 ビット未満になります。 ${\displaystyle p=0}$${\displaystyle p=1}$${\displaystyle p=1/2}$${\displaystyle p=1/4}$

バイナリエントロピー関数の導関数は、ロジット関数の負として表すことができます。

${\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)}$。

${\displaystyle {d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln 2}}}$

バイナリエントロピー（底e ）の凸共役（具体的には、ルジャンドル変換）は、負のソフトプラス関数です。これは、（ルジャンドル変換の定義に従うと、導関数は逆関数である）負のバイナリエントロピーの導関数がロジットであり、その逆関数がロジスティック関数であり、これがソフトプラスの導関数であるためです。

Softplus はロジスティック損失として解釈できるため、双対性により、ロジスティック損失を最小化することはエントロピーを最大化することに対応します。これにより、損失最小化としてのエントロピー最大化の原理が正当化されます。

1/2における2進エントロピー関数の テイラー級数は

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$

これはすべての値に対してバイナリエントロピー関数に収束します。 ${\displaystyle 0\leq p\leq 1}$

に対して以下の境界が成り立つ：^[1]${\displaystyle 0<p<1}$

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}$

そして

${\displaystyle 4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}$

ここで、は自然対数を表します。 ${\displaystyle \ln}$

• メトリックエントロピー
• 情報理論
• 情報エントロピー
• 情報量

• MacKay, David JC 情報理論、推論、学習アルゴリズムケンブリッジ: ケンブリッジ大学出版局、2003年。ISBN 0-521-64298-1