レニーエントロピー

情報理論において、レニーエントロピーは、ハートレーエントロピー、シャノンエントロピー、衝突エントロピー、最小エントロピーなど、さまざまなエントロピーの概念を一般化した量です。レニーエントロピーは、独立事象の加法性を維持しながら情報を定量化する最も一般的な方法を探したアルフレッド・レニーにちなんで名付けられました。 ^{[ 1 ] [ 2 ]}フラクタル次元推定の文脈では、レニーエントロピーは一般化次元の概念の基礎を形成します。^{[ 3 ]}

レニーエントロピーは、生態学や統計学において多様性の指標として重要である。レニーエントロピーは量子情報においても重要であり、エンタングルメントの尺度として使用できる。ハイゼンベルクXYスピン鎖モデルでは、モジュラー群の特定の部分群に関して保型関数であるため、 αの関数としてのレニーエントロピーを明示的に計算できる。^{[ 4 ] [ 5 ]}理論計算機科学 では、ランダム性抽出器の文脈で最小エントロピーが使用される。

させて${\displaystyle X}$集合内の可能な結果を​​持つ離散確率変数である${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$および対応する確率${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$のために⁠${\displaystyle i=1,\dots ,n}$⁠。次に、Rényi の秩序エントロピー⁠${\displaystyle \alpha }$⁠、そこで${\displaystyle 0<\alpha <\infty }$そして​${\displaystyle \alpha \neq 1}$⁠は^{[ 1 ]}と定義される。$${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log \left(\sum _{i=1}^{n}p_{i}^{\alpha }\right).}$$ さらに詳しく定義すると${\displaystyle \alpha =0,​​1,\infty }$として $${\displaystyle \mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X).}$$

結果として得られる情報単位は対数の底によって決まります 。例えば、底が 2 の場合はシャノン、底がeの場合はナットです。確率が${\displaystyle p_{i}=1/n}$すべての人にとって${\displaystyle i=1,\dots ,n}$⁠すると、分布のすべてのレニーエントロピーは等しくなります。${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$一般に、すべての離散確率変数について${\displaystyle X}$⁠、${\displaystyle \mathrm {H} _{\alpha }(X)}$はにおいて増加しない関数である${\displaystyle \alpha }$⁠ .

応用例では、確率ベクトルの αノルムとレニーエントロピーの間の以下の関係がよく利用される。$${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left({\left\|P\right\|}_{\alpha }\right).}$$ ここでは、離散確率分布${\displaystyle P=(p_{1},\dots ,p_{n})}$はベクトルとして解釈される$\displaystyle \mathbb {R} ^{n}}$と${\displaystyle p_{i}\geq 0}$そして${\textstyle \sum _{i=1}^{n}p_{i}=1}$。

任意のレニーエントロピー${\displaystyle \alpha \geq 0}$シュール凹関数は、シュール・オストロフスキー基準によって証明できる性質である。

として${\displaystyle \alpha }$がゼロに近づくにつれて、レニーエントロピーは、確率に関係なく、ゼロでない確率を持つすべての事象をより均等に重み付けするようになる 。${\displaystyle \alpha \to 0}$⁠ 、レニーエントロピーは、 Xの サポートのサイズの対数です。 $\alpha \to 1$はシャノンエントロピーです。${\displaystyle \alpha =2}$レニーエントロピーは衝突確率と関連しており、その量は$\displaystyle 2^{H_{2}}=1/\sum p_{i}^{2}}$これは参加率として知られており、凝縮系物理学やランダム行列理論において、分布に寄与する有効な状態数を測定するために広く用いられています。${\displaystyle \alpha }$無限大に近づくにつれて、レニーエントロピーは最も確率の高い事象によってますます決定されるようになる。

それ${\displaystyle \mathrm {H} _{\alpha }}$は増加しない${\displaystyle \alpha }$任意の確率分布に対して${\displaystyle p_{i}}$⁠ 、これ は微分によって証明できる^{[ 9 ]}$${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{\text{KL}}(z\|p)}$$これは、カルバック・ライブラー情報量（常に非負） に比例する。${\textstyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$特に、分布が一様分布の場合を除き、常に正の値をとる。

で$\alpha \to 1$制限があります、$${\textstyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}{\left(\ln p_{i}+H(p)\right)}^{2}}$$。

特定のケースでは、不等式はイェンセンの不等式によっても証明できます。^{[ 10 ] [ 11 ]}$${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$$

値については、${\displaystyle \alpha >1}$⁠、逆方向の不等式も成り立つ。特に、 ^{[ 12 ] [ 13 ]}$${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$$

一方、シャノンエントロピー${\displaystyle \mathrm {H} _{1}}$ランダム変数は任意に高い値をとることができる${\displaystyle X}$与えられた最小エントロピーを持つもの。その例として、ランダム変数のシーケンスが挙げられる。${\displaystyle X_{n}\sim \{0,\ldots ,n\}}$のために${\displaystyle n\geq 1}$そのため${\displaystyle P(X_{n}=0)=1/2}$そして${\displaystyle P(X_{n}=x)=1/(2n)}$以来${\displaystyle \mathrm {H} _{\infty }(X_{n})=\log 2}$しかし​${\displaystyle \mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2}$⁠ .

絶対レニーエントロピーに加えて、レニーはカルバック・ライブラーダイバージェンスを一般化したダイバージェンス尺度のスペクトルも定義した。^{[ 14 ]}

レーニの秩序の発散⁠${\displaystyle \alpha }$または、分布Pと分布Qのアルファダイバージェンスは次のように定義されます $${\displaystyle {\begin{aligned}D_{\alpha }(P\Vert Q)&={\frac {1}{\alpha -1}}\log \left(\sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }\right)\\[1ex]&={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}\left[{\left(p_{i}/q_{i}\right)}^{\alpha -1}\right]\,\end{aligned}}}$$ いつ⁠${\displaystyle 0<\alpha <\infty }$そして​​${\displaystyle \alpha \neq 1}$⁠ 。極限を取ることで、特別な値α = 0、1、∞に対するレニー発散を定義できます。特に、極限α → 1はカルバック・ライブラー発散を与えます。

いくつかの特殊なケース：

• ⁠${\displaystyle D_{0}(P\Vert Q)=-\log Q(\{i:p_{i}>0\})}$⁠ : Q の下でp _i > 0となる対数確率をマイナスします。
• ⁠${\displaystyle D_{1/2}(P\Vert Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$⁠ :バタチャリヤ係数の対数の2倍を引いた値。（ニールセン＆ボルツ（2010））
• ⁠${\displaystyle D_{1}(P\Vert Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$⁠ :カルバック・ライブラー情報量;
• ⁠${\displaystyle D_{2}(P\Vert Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$：確率の期待比の対数。
• ⁠${\displaystyle D_{\infty }(P\Vert Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$：確率の最大比の対数。

レニー発散は確かに発散であり、それは単純に${\displaystyle D_{\alpha }(P\|Q)}$は 0 以上であり、P = Qの場合にのみ 0 になります。任意の固定分布PとQに対して、レニー発散は次数αの関数として非減少であり、有限となるαの集合上で連続です。 ^{[ 14 ]}または、簡潔にするために、分布Pを分布Qに置き換えた場合に得られる次数αの情報です。^{[ 1 ]}

2 つの確率分布は、一方の分布が公式のオッズを定義し、もう一方の分布が実際の確率を含む、偶然のゲームと見なすことができます。実際の確率を知ることで、プレイヤーはゲームから利益を得ることができます。期待利益率は、次のように Rényi ダイバージェンスと関連付けられます^{[ 15 ] 。}$${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$$ どこ${\displaystyle m}$ゲームの公式オッズ（つまり「マーケット」）を定義する分布は、${\displaystyle b}$投資家が信じる分配と${\displaystyle R}$これは投資家のリスク回避度（アロー・プラット相対リスク回避度）です。

真の分布が${\displaystyle p}$（必ずしも投資家の信念と一致するとは限らない）${\displaystyle b}$⁠ )、長期実現率は、同様の数学的構造を持つ真の期待値に収束します^{[ 15 ]。}$${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$$

値​${\displaystyle \alpha =1}$⁠ は、シャノンエントロピーとカルバック・ライブラーダイバージェンスを与える値であり、条件付き確率の連鎖律が厳密に成り立つ唯一の値です。 $${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$$ 絶対エントロピーについては、 $${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$$ 相対エントロピーについて。

特に後者は、ある基礎となる事前尺度m ( x , a )からの乖離を最小化する分布p ( x , a )を求め、aの分布にのみ影響を与える新しい情報を取得した場合、 p ( x | a )の分布はm ( x | a )のままで変化しないことを意味します。

他のレニー発散は、正かつ連続であること、1対1の座標変換の下で不変であること、 AとXが独立である場合に加法的に結合することの基準を満たしており、 p ( A , X ) = p ( A ) p ( X )であれば、 $${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$$ そして $${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$$

より強い特性${\displaystyle \alpha =1}$これらの量を用いることで、通信理論における条件付き情報と相互情報を定義することができる。

指数族のレニーエントロピーとダイバージェンスは単純な式で表せる^{[ 16 ]}$${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}\left[e^{(\alpha -1)k(x)}\right]\right)}$$ そして $${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta$$ :\theta ')}{1-\alpha }}} ここで $${\displaystyle J_{F,\alpha }(\theta$$ :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')} は Jensen 差分発散です。

レニーエントロピーは量子の場合に一般化することができ、

${\displaystyle H_{\alpha }(\rho ):={\frac {1}{1-\alpha }}\log \operatorname {tr} (\rho ^{\alpha })}$

どこ${\displaystyle \rho }$は正規化された密度行列です。その極限は${\displaystyle \alpha \to 1}$はフォン・ノイマンエントロピーである。^{[ 17 ]}

レニー相対エントロピー（または発散）は、次の2つの方法で一般化できます。単純な量子レニー相対エントロピー

${\displaystyle D_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} (\rho ^{\alpha }\sigma ^{1-\alpha })}$

そして挟まれたレニー相対エントロピー

${\displaystyle {\tilde {D}}_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} \left[\left(\sigma ^{\frac {1-\alpha }{2\alpha }}\rho \sigma ^{\frac {1-\alpha }{2\alpha }}\right)^{\alpha }\right]}$

両方とも極限で量子相対エントロピーに収束する${\displaystyle \alpha \to 1}$しかし、サンドイッチ型レニー相対エントロピーは条件付きエントロピーを定義する際に便利な特性を持ち、^{[ 17 ]}量子鍵配送に応用されている。^{[ 18 ] [ 19 ]}

量子魔法の尺度の一つは、 αオーダーの安定化レニーエントロピー^{[ 20 ]}である。

${\displaystyle M_{\alpha }={\frac {1}{1-\alpha }}\log \left[{\frac {1}{2^{N}}}\sum _{{\hat {P}}\in \mathbb {P} _{N}}\langle {\hat {P}}\rangle ^{2\alpha }\right]}$

と${\displaystyle {\hat {P}}}$マルチキュービットパウリ群であり、${\displaystyle \langle {\hat {P}}\rangle =\langle \psi |{\hat {P}}|\psi \rangle }$は、量子力学における期待値である。${\displaystyle N}$-量子ビットシステム。

Hill (1973) は、次数αの Rényi エントロピーの指数関数が、現在Hill 数として知られる1 つのパラメータ族の多様性指数を定義することを示しました。^α D = exp( H _α )。^{[ 21 ]} α = 0の場合、これは種の豊富さ (存在する種の総数) を与え、α = 1 の場合、シャノン エントロピーの指数関数を与え、α = 2 の場合、等しく一般的な種の有効数を数える逆シンプソン指数を与えます。Hill のフレームワークは、これまでばらばらだったいくつかの多様性尺度を、希少種と一般的な種にどれだけの重みを与えるかだけが異なる単一のパラメータ族のメンバーとして統合します。

• 多様性指標
• ツァリスのエントロピー
• 一般化エントロピー指数