レニエントロピー

情報理論において、レーニエントロピーは、ハートレーエントロピー、シャノンエントロピー、衝突エントロピー、最小エントロピーなど、エントロピーのさまざまな概念を一般化した量である。レーニエントロピーは、独立したイベントの加法性を維持しながら情報を定量化する最も一般的な方法を模索したアルフレッド・レーニにちなんで名付けられた。 ^{[1] [2]}フラクタル次元推定の文脈では、レーニエントロピーは一般化次元の概念の基礎を形成している。^[3]

レニエントロピーは、生態学や統計学において多様性の指標として重要である。また、レニエントロピーは量子情報においても重要であり、エンタングルメントの尺度として使用できる。ハイゼンベルクのXYスピン鎖モデルでは、αの関数としてのレニエントロピーは、モジュラー群の特定の部分群に関する保型関数であるため、明示的に計算できる。^{[4] [5]}理論計算機科学 では、最小エントロピーは乱数抽出器のコンテキストで使用されている。

⁠ ⁠${\displaystyle \alpha}$および⁠ ⁠のレーニエントロピーは次のように定義される^[1]${\displaystyle 0<\alpha <\infty }$${\displaystyle \alpha \neq 1}$

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log {\Bigg (}\sum _{i=1}^{n}p_{i}^{\alpha }{\Bigg )}.}$

さらに次のよう に定義される。${\displaystyle \alpha =0,​​1,\infty }$

${\displaystyle \mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X).}$

ここで、は、集合内の可能な結果と、 ⁠ ⁠の対応する確率を持つ離散確率変数です。結果として得られる情報の単位は、対数の底によって決まります 。たとえば、底が 2 の場合はshannon、底がeの場合はnat です。確率がすべての⁠ ⁠に対して である場合、分布のすべての Rényi エントロピーは等しくなります: ⁠ ⁠。一般に、すべての離散確率変数⁠ ⁠に対して、は⁠ ⁠内の非増加関数です。 ${\displaystyle X}$${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$${\displaystyle i=1,\dots ,n}$${\displaystyle p_{i}=1/n}$${\displaystyle i=1,\dots ,n}$${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$${\displaystyle X}$${\displaystyle \mathrm {H} _{\alpha }(X)}$${\displaystyle \alpha}$

アプリケーションでは、多くの場合、Rényi エントロピーと確率ベクトルの αノルムの間の次の関係を利用します。

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left(\|P\|_{\alpha }\right).}$

ここで、離散確率分布は、および⁠ ⁠ を含む⁠ 内のベクトルとして解釈されます。 ${\displaystyle P=(p_{1},\dots,p_{n})}$${\displaystyle \mathbb {R} ^{n}}$${\displaystyle p_{i}\geq 0}$${\displaystyle \textstyle \sum _{i=1}^{n}p_{i}=1}$

任意の に対するレーニエントロピーはシューア凹面です。シューア・オストロフスキー基準によって証明されています。${\displaystyle \alpha \geq 0}$

がゼロに近づくにつれて、レーニエントロピーは、確率に関係なく、非ゼロの確率を持つすべてのイベントをより均等に重み付けするようになります。 ⁠ ⁠の極限では、レーニエントロピーはXの サポートのサイズの対数にすぎません。 の極限は シャノンエントロピーです。 が無限大に近づくにつれて、レーニエントロピーは、最も確率の高いイベントによってますます決定されるようになります。 ${\displaystyle \alpha}$${\displaystyle \alpha \to 0}$${\displaystyle \alpha \to 1}$${\displaystyle \alpha}$

${\displaystyle \mathrm {H} _{0}(X)}$は非ゼロ確率の数である。 ^[6]確率がすべて非ゼロの場合、それは単に⁠ ⁠のアルファベットの濃度（⁠ ⁠）の対数であり、 ⁠ ⁠のハートレーエントロピーと呼ばれることもある。 ${\displaystyle \log n}$${\displaystyle n}$${\displaystyle {\mathcal {A}}}$${\displaystyle X}$${\displaystyle X}$

${\displaystyle \mathrm {H} _{0}(X)=\log n=\log |{\mathcal {A}}|\,}$

の極限値はシャノンエントロピーである: ^[7]${\displaystyle \mathrm {H} _{\alpha }}$${\displaystyle \alpha \to 1}$

${\displaystyle \mathrm {H} _{1}(X)\equiv \lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=-\sum _{i=1}^{n}p_{i}\log p_{i}}$

衝突エントロピーは、単に「レーニエントロピー」と呼ばれることもあり、次のよう${\displaystyle \alpha =2}$な ケースを指します。

${\displaystyle \mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log P(X=Y),}$

ここで、 と は独立かつ同一に分布します。衝突エントロピーは一致指数と関連しています。これはシンプソン多様性指数の負の対数です。 ${\displaystyle X}$${\displaystyle Y}$

⁠ ⁠${\displaystyle \alpha \rightarrow \infty }$の極限では、レーニエントロピーは最小エントロピー⁠ ⁠に収束します。 ${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \mathrm {H} _{\infty }}$

${\displaystyle \mathrm {H} _{\infty }(X)\doteq \min _{i}(-\log p_{i})=-(\max _{i}\log p_{i})=-\log \max _{i}p_{i}\,.}$

同様に、最小エントロピーは、すべてのイベントが最大で⁠ ⁠ の確率で発生する最大の実数bです。 ${\displaystyle \mathrm {H} _{\infty }(X)}$${\displaystyle 2^{-b}}$

最小エントロピーという名前は、これがレーニエントロピーのファミリーの中で最小のエントロピー測定であることに由来しています。この意味で、これは離散ランダム変数の情報量を測定する最も強力な方法です。特に、最小エントロピーはシャノンエントロピーよりも大きくなることはありません。

最小エントロピーは、理論計算機科学におけるランダム性抽出器にとって重要な用途があります。抽出器は、大きな最小エントロピーを持つランダム ソースからランダム性を抽出することができます。このタスクには、単に大きなシャノン エントロピーを持つだけでは不十分です。

これは任意の確率分布に対して非増加であり、[ ^8]の微分法によって証明できる。 ${\displaystyle \mathrm {H} _{\alpha }}$${\displaystyle \alpha }$${\displaystyle p_{i}}$

${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{KL}(z\|p)}$

これは、カルバック・ライブラー情報（常に非負） に比例します。${\displaystyle \textstyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$特に、分布が均一である場合を除いて、厳密に正になります。

極限では、 ⁠ ⁠となります。 ${\displaystyle \alpha \to 1}$${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}(\ln p_{i}+H(p))^{2}}$

特定のケースでは、不等式はジェンセンの不等式によっても証明できる：^{[9] [10]}

${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$

⁠ ⁠${\displaystyle \alpha >1}$の値については、逆方向の不等式も成り立つ。特に、^{[11] [12]}

${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$

一方、与えられた最小エントロピーを持つランダム変数の場合、シャノンエントロピーは任意に高くなる可能性があります。この例として、およびとなるランダム変数のシーケンスが挙げられます(ただし⁠ ⁠ )。 ${\displaystyle \mathrm {H} _{1}}$${\displaystyle X}$${\displaystyle X_{n}\sim \{0,\ldots ,n\}}$${\displaystyle n\geq 1}$${\displaystyle P(X_{n}=0)=1/2}$${\displaystyle P(X_{n}=x)=1/(2n)}$${\displaystyle \mathrm {H} _{\infty }(X_{n})=\log 2}$${\displaystyle \mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2}$

絶対的なレーニエントロピーに加えて、レーニはカルバック・ライブラー情報量を一般化する情報量スペクトルも定義した。^[13]

分布Pから分布Qへのレーニの階数⁠ ⁠${\displaystyle \alpha }$またはアルファダイバージェンスは次のように定義される。

${\displaystyle D_{\alpha }(P\Vert Q)={\frac {1}{\alpha -1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}{\Bigg )}={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}[(p_{i}/q_{i})^{\alpha -1}]\,}$

⁠ ⁠${\displaystyle 0<\alpha <\infty }$および⁠ ⁠${\displaystyle \alpha \neq 1}$のとき。特別な値α = 0, 1, ∞に対するレーニ距離は極限をとることで定義でき、特に極限α → 1 はカルバック・ライブラー距離を与えます。

いくつかの特殊なケース:

⁠ ⁠ : ${\displaystyle D_{0}(P\Vert Q)=-\log Q(\{i:p_{i}>0\})}$Qのもとでp _i > 0となる対数確率を引いたもの。

⁠ ⁠ :${\displaystyle D_{1/2}(P\Vert Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$バタチャリヤ係数の対数の2倍を引いたもの; (ニールセン＆ボルツ (2010))

⁠ ⁠${\displaystyle D_{1}(P\Vert Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$ :カルバック・ライブラー距離;

⁠ ⁠${\displaystyle D_{2}(P\Vert Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$ : 確率の期待比の対数。

⁠ ⁠${\displaystyle D_{\infty }(P\Vert Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$ : 確率の最大比の対数。

レーニ情報量は、単に が0 以上であり、P = Qの場合にのみ 0 であることを意味する情報量です。任意の固定分布PとQに対して、レーニ情報量はその次数αの関数として非減少であり、それが有限であるαの集合上で連続です。 ^[13]または簡潔に言えば、分布P を分布Qに置き換えた場合に得られる次数αの情報量です。^[1]${\displaystyle D_{\alpha }(P\|Q)}$

2つの確率分布は、一方の分布が公式オッズを定義し、もう一方の分布が実際の確率を含む運のゲームと見なすことができます。実際の確率を知ることで、プレーヤーはゲームから利益を得ることができます。期待利益率は、次のようにレニイダイバージェンスと関連しています^[14]

${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$

ここで、 はゲームの公式オッズ（つまり「市場」）を定義する分布、は投資家が信じる分布、は投資家のリスク回避度（アロー・プラットの相対的リスク回避度）です。 ${\displaystyle m}$${\displaystyle b}$${\displaystyle R}$

真の分布が（必ずしも投資家の信念と一致するとは限らないが）、長期実現利率は同様の数学的構造を持つ真の期待に収束する^[14]${\displaystyle p}$${\displaystyle b}$

${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$

シャノンエントロピーとカルバック・ライブラー距離を与える値⁠ ⁠は、${\displaystyle \alpha =1}$条件付き確率の連鎖律が正確に成り立つ唯一の値です。

${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$

絶対エントロピーについては

${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$

相対エントロピーについて。

特に後者は、何らかの基礎となる事前の測度m ( x , a )からの乖離を最小化する分布p ( x , a )を求め、aの分布にのみ影響する新しい情報を取得した場合、 p ( x | a )の分布はm ( x | a )のまま変化しないことを意味します。

その他のレーニ距離は、正かつ連続であること、1対1の座標変換に対して不変であること、AとXが独立であるときに加法的に結合することなどの条件を満たすため、p ( A , X ) = p ( A ) p ( X )であれば、

${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$

そして

${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$

量のより強い特性により、通信理論からの 条件付き情報と相互情報の定義が可能になります。${\displaystyle \alpha =1}$

指数族のレーニエントロピーと発散は単純な表現が可能である^[15]

${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}[e^{(\alpha -1)k(x)}]\right)}$

そして

${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta :\theta ')}{1-\alpha }}}$

どこ

${\displaystyle J_{F,\alpha }(\theta :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')}$

ジェンセン差分発散です。

量子物理学におけるレーニエントロピーは、密度行列への非線形依存性のため、観測可能とは見なされません。(この非線形依存性は、シャノンエントロピーの特殊なケースにも適用されます。) ただし、エネルギー移動の2時間測定(フルカウンティング統計とも呼ばれる)を通じて操作上の意味を与えることができます^[要出典]。

量子力学的なレーニエントロピーの限界はフォンノイマンエントロピーです。 ${\displaystyle \alpha \to 1}$

• 多様性指標
• ツァリスエントロピー
• 一般化エントロピー指数