微分エントロピー

情報理論における微分エントロピー（連続エントロピーとも呼ばれる）は、シャノンエントロピーを連続確率分布に一般化した、絶対的に連続な確率分布の特性である。

測度論の観点から言えば、確率測度の微分エントロピーとは、その測度からルベーグ測度への負の相対エントロピーのことである。ここで、ルベーグ測度は正規化されていないにもかかわらず、あたかも確率測度であるかのように扱われる。

させて${\displaystyle X}$確率密度関数を持つ確率変数である${\displaystyle f}$そのサポートはセットです$\displaystyle {\mathcal {X}}}$微分エントロピー${\displaystyle h(X)}$または${\displaystyle h(f)}$^{[ 1 ] : 243}と定義される

明示的な密度関数表現を持たないが、明示的な分位関数表現を持つ確率分布の場合、${\displaystyle Q(p)}$、 それから${\displaystyle h(Q)}$は、の導関数によって定義できる。${\displaystyle Q(p)}$すなわち、分位密度関数${\displaystyle Q'(p)}$[ ^{2 ]： 54-59​}

$${\displaystyle h(Q)=\int _{0}^{1}\log Q'(p)\,dp.}$$

離散的な類似物と同様に、微分エントロピーの単位は対数の底に依存し、通常は2（つまり、単位はビット）です。異なる底で取られた対数については、対数単位を参照してください。ジョイント、条件付き微分エントロピー、相対エントロピーなどの関連概念も同様に定義されます。離散的な類似物とは異なり、微分エントロピーには測定に使用される単位に依存するオフセットがあります。${\displaystyle X}$. ^{[ 3 ] : 183–184}例えば、ミリメートルで測定された量の微分エントロピーは、メートルで測定された同じ量の微分エントロピーよりもlog(1000)大きくなります。無次元量の微分エントロピーは、同じ量を 1000 で割った値よりもlog(1000)大きくなります。

離散エントロピーの性質を微分エントロピーに適用しようとする際には注意が必要である。なぜなら、確率密度関数は1より大きくなる可能性があるからである。例えば、一様分布${\displaystyle {\mathcal {U}}(0,1/2)}$負の微分エントロピーを持つ。つまり、より秩序立っている。${\displaystyle {\mathcal {U}}(0,1)}$現在示されているように

$${\displaystyle \int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,}$$

より少ない${\displaystyle {\mathcal {U}}(0,1)}$これは微分エントロピーがゼロである。したがって、微分エントロピーは離散エントロピーのすべての性質を共有するわけではない。

継続的な相互情報${\displaystyle I(X;Y)}$は、離散情報の尺度としてその根本的な意義を保持しているという特徴を持ち、実際には、分割の離散相互情報の極限である。${\displaystyle X}$そして${\displaystyle Y}$これらの分割がますます細かくなるにつれて、非線形同相写像（連続かつ一意に可逆な写像）^{[ 4 ]} 、線形変換^{[ 5 ]を含む、不変になります。}${\displaystyle X}$そして${\displaystyle Y}$そして、これは連続的な値空間を許容するチャネルを介して伝送できる離散情報の量を表しています。

離散エントロピーの直接的な類似物を連続空間に拡張したものについては、 離散点の極限密度を参照してください。

• 確率密度については${\displaystyle f}$そして${\displaystyle g}$カルバック・ライブラー情報量${\displaystyle D_{KL}(f\parallel g)}$0以上で、等号が成立するのは、${\displaystyle f=g}$ほぼどこでも。同様に、2 つの確率変数についても${\displaystyle X}$そして${\displaystyle Y}$、${\displaystyle I(X;Y)\geq 0}$そして${\displaystyle h(X\mid Y)\leq h(X)}$等号は、${\displaystyle X}$そして${\displaystyle Y}$独立している。
• 微分エントロピーの連鎖律は離散の場合と同様に成り立つ^{[ 1 ]： 253}$${\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}\mid X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i}).}$$
• 微分エントロピーは並進不変である。つまり定数に対して${\displaystyle c}$[ ^{1 ] : 253​}$${\displaystyle h(X+c)=h(X)}$$
• 微分エントロピーは一般に、任意の可逆写像の下で不変ではない。
  特に、定数の場合${\displaystyle a}$、$${\displaystyle h(aX)=h(X)+\log |a|}$$
  ベクトル値確率変数の場合${\displaystyle \mathbf {X} }$そして可逆な（正方）行列${\displaystyle \mathbf {A} }$^{[ 1 ]： 253}$${\displaystyle h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(\left|\det \mathbf {A} \right|\right)}$$
• 一般的に、ランダムベクトルから同じ次元の別のランダムベクトルへの変換の場合${\displaystyle \mathbf {Y} =m\left(\mathbf {X} \right)}$対応するエントロピーは、$${\displaystyle h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert \,dx}$$どこ${\displaystyle \left\vert {\frac {\partial m}{\partial x}}\right\vert }$は変換のヤコビアンである${\displaystyle m}$^{[ 6 ]}上記の不等式は、変換が全単射である場合は等式になります。さらに、${\displaystyle m}$が剛体回転、平行移動、またはそれらの組み合わせである場合、ヤコビ行列式は常に 1 であり、${\displaystyle h(Y)=h(X)}$。
• ランダムベクトル${\displaystyle X\in \mathbb {R} ^{n}}$平均はゼロで、共分散行列は${\displaystyle K}$、${\textstyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]}$等号は、${\displaystyle X}$は同時ガウス分布に従う（下記参照）。^{[ 1 ]： 254}

しかし、微分エントロピーには他に望ましい特性がない。

• これは変数変換に対して不変ではないため、無次元変数に対して最も有用である。
• それはマイナスになる可能性がある。

これらの欠点に対処する微分エントロピーの修正版は、相対情報エントロピー（カルバック・ライブラー情報量としても知られる）であり、不変尺度因子が含まれています（離散点の極限密度を参照）。

させて${\displaystyle X}$パラメータを持つ指数分布に従う確率変数である${\displaystyle \lambda }$つまり、確率密度関数

$${\displaystyle f(x)=\lambda e^{-\lambda x}{\text{ for }}x\geq 0.}$$

その微分エントロピーは次のようになる。 $${\displaystyle {\begin{aligned}h_{e}(X)&=-\int _{0}^{\infty }\lambda e^{-\lambda x}\log \left(\lambda e^{-\lambda x}\right)dx\\[2pt]&=-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)\\[2pt]&=-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda \operatorname {E} [X]\\[4pt]&=-\log \lambda +1\,.\end{aligned}}}$$

ここ、${\displaystyle h_{e}(X)}$代わりに${\displaystyle h(X)}$対数が底eであることを明確にし、計算を簡略化するため。

微分エントロピーは、推定量の期待二乗誤差の下限を与える。任意の確率変数に対して${\displaystyle X}$推定器${\displaystyle {\widehat {X}}}$以下のことが成り立つ：^{[ 1 ]}$${\displaystyle \operatorname {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi e}}e^{2h(X)}}$$ 等号は、${\displaystyle X}$はガウス型確率変数であり、${\displaystyle {\widehat {X}}}$は平均です${\displaystyle X}$。

以下の表${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt}$ガンマ関数は、${\displaystyle \psi (x)={\frac {d}{dx}}\log \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$はディガンマ関数です。${\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$はベータ関数であり、γE_はオイラー定数である。^{[ 7 ]： 219-230}

微分エントロピーの多くは^{[ 8 ] : 120–122から得られたものである。}

微分エントロピーは連続座標変換に対して不変ではありません。また、離散エントロピーのすべての性質を共有するわけでもありません。例えば、負の値をとることもあります。微分エントロピーの代わりに、点の密度が増加する集合上で計算された離散エントロピーの極限を導出することができます。このようにして得られる式は非負となり、座標に依存しないエントロピーの記述が可能になります。^{[ 9 ]： 181–218}

この微分エントロピーの修正は、尺度を必要とする点で異なります。${\displaystyle m(x)}$その表現は以下のとおりです。

$${\displaystyle D(p\parallel m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$$

もし${\displaystyle m(x)}$は確率密度であり、これはカルバック・ライブラー情報量であり、非負性が成り立つ場合です。座標変換を実行すると、両方とも${\displaystyle p(x)}$そして${\displaystyle m(x)}$変換されます。計算された値は一定のままになります。

上記の微分エントロピーの定義は、範囲を分割することによって得られます。${\displaystyle X}$長さのビンに${\displaystyle h}$関連するサンプルポイントを含む${\displaystyle ih}$ゴミ箱の中で、${\displaystyle X}$リーマン積分可能。これは量子化されたバージョンを与える。${\displaystyle X}$定義される${\displaystyle X_{h}=ih}$もし${\displaystyle ih\leq X\leq (i+1)h}$するとエントロピーは${\displaystyle X_{h}=ih}$[ ^{1 ]​}

$${\displaystyle H_{h}=-\sum _{i}hf(ih)\log(f(ih))-\sum hf(ih)\log(h).}$$

右辺の第１項は微分エントロピーを近似し、第２項は近似的に${\displaystyle -\log(h)}$。この手順は、連続確率変数の離散的な意味でのエントロピーが次のようになることを示唆していることに注意してください。${\displaystyle \infty }$。

• 情報エントロピー
• 自己情報
• エントロピー推定

• 「微分エントロピー」、数学百科事典、EMS Press、2001年 [1994年]
• 「微分エントロピー」。PlanetMath 。