情報次元

情報理論において、情報次元とは、ユークリッド空間におけるランダムベクトルの情報量であり、ランダムベクトルの細かく量子化されたバージョンの正規化されたエントロピーに基づいています。この概念は、1959年にアルフレッド・レーニによって初めて導入されました。^[1]

簡単に言えば、これは確率分布のフラクタル次元の尺度です。これは、空間を連続的に細かく離散化することによって与えられる シャノンエントロピーの成長率を特徴付けます。

2010 年に、Wu と Verdú は、エンコーダ/デコーダのさまざまな規則性制約の下でのアナログ ソースの ほぼロスレスなデータ圧縮の基本限界として、Rényi 情報次元の操作上の特徴付けを示しました。

離散確率変数 のエントロピーは ${\displaystyle Z}$

${\displaystyle \mathbb {H} _{0}(Z)=\sum _{z\in supp(P_{Z})}P_{Z}(z)\log _{2}{\frac {1} {P_{Z}(z)}}}$

ここで はのときの確率測度であり、 は集合 を表します。 ${\displaystyle P_{Z}(z)}$${\displaystyle Z}$${\displaystyle Z=z}$${\displaystyle supp(P_{Z})}$${\displaystyle \{z|z\in {\mathcal {Z}},P_{Z}(z)>0\}}$

を任意の実数値のランダム変数とする。正の整数が与えられたとき、新しい離散ランダム変数を作成する。 ${\displaystyle X}$ ${\displaystyle m}$

${\displaystyle \langle X\rangle _{m}={\frac {\lfloor mX\rfloor }{m}}}$

ここで、は実数をそれより小さい最大の整数に 変換する床演算子です。${\displaystyle \lfloor \cdot \rfloor }$

${\displaystyle {\underline {d}}(X)=\liminf _{m\rightarrow \infty }{\frac {\mathbb {H} _{0}(\langle X\rangle _{m})}{\log _{2}m}}}$

そして

${\displaystyle {\bar {d}}(X)=\limsup _{m\rightarrow \infty }{\frac {\mathbb {H} _{0}(\langle X\rangle _{m})}{\log _{2}m}}}$

はそれぞれ の下限情報次元と上限情報次元と呼ばれます。 のとき、この値を の情報次元と呼びます。 ${\displaystyle X}$${\displaystyle {\underline {d}}(X)={\bar {d}}(X)}$${\displaystyle X}$

${\displaystyle d(X)=\lim _{m\rightarrow \infty }{\frac {\mathbb {H} _{0}(\langle X\rangle _{m})}{\log _{2}m}}}$

情報次元のいくつかの重要な特性: ${\displaystyle d(X)}$

• 軽度の条件が満たされる場合は、 となります。${\displaystyle \mathbb {H} (\lfloor X\rfloor )<\infty }$${\displaystyle 0\leq {\underline {d}}(X)\leq {\bar {d}}(X)\leq 1}$
• 次元ランダムベクトルの場合、最初の特性は に一般化できます。${\displaystyle n}$${\displaystyle {\vec {X}}}$${\displaystyle 0\leq {\underline {d}}({\vec {X}})\leq {\bar {d}}({\vec {X}})\leq n}$
• 指数部分列に制限する場合は、上位情報次元と下位情報次元を計算するだけで十分です。${\displaystyle m=2^{l}}$
• ${\displaystyle {\underline {d}}(X)}$量子化で丸め関数または天井関数が使用される場合は変更されません。${\displaystyle {\bar {d}}(X)}$

情報次元が存在する場合、この分布の次元エントロピーは次のように 定義できる。${\displaystyle d}$${\displaystyle d}$

${\displaystyle \mathbb {H} _{d(X)}(X)=\lim _{n\rightarrow +\infty }(\mathbb {H} _{0}(\langle X\rangle _{n})-d(X)\log _{2}n)}$

ただし、極限が存在する場合です。 の場合、ゼロ次元エントロピーは標準シャノンエントロピーに等しくなります。 整数次元 の場合、次元エントロピー は、それぞれの微分エントロピーを定義する 倍積分です。 ${\displaystyle d=0}$ ${\displaystyle \mathbb {H} _{0}(X)}$${\displaystyle d=n\geq 1}$${\displaystyle n}$${\displaystyle n}$

1994年、川端とデンボは、Kawabata & Dembo 1994で、ランダム変数の レート歪み値に基づいて情報を測定する新しい方法を提案しました。この尺度は次のように定義されます。

${\displaystyle d_{R}(X)=-2{\frac {R(X,D)}{\log D}},}$

ここで、レート歪み関数は次のように定義される。 ${\displaystyle R(X,D)}$

${\displaystyle R(X,D)=\min _{\|X-{\hat {X}}\|_{2}\leq D}I(X,{\hat {X}}),}$

または同等に、の -近似値につながる最小限の情報。 ${\displaystyle D}$${\displaystyle X}$

彼らはさらに、そのような定義が情報次元の定義と同等であることを証明した。正式には、

${\displaystyle d_{R}(X)=d(X).}$

上記のRényi情報次元の定義を使用して、d次元エントロピーと同様の尺度がCharusaie、Amini、Rini 2022で定義されています。次元レートバイアスと呼ばれるこの値は、レート歪み関数の有限項を捉える方法で定義されています。正式には、 ${\displaystyle b(X)}$

${\displaystyle R(X,D)=-{\frac {d(X)}{2}}\log {\frac {2\pi eD}{d(X)}}+b(X).}$

次元率バイアスは、連続分布、離散分布、離散連続混合分布のd次元率に等しくなります。さらに、特異ランダム変数の集合に対して計算可能ですが、そこにはd次元エントロピーが必ずしも存在するわけではありません。

最後に、次元率バイアスはシャノンのエントロピーと微分エントロピーを一般化し、次の式を使用して 相互情報量を求めることができます。${\displaystyle I(X;Y)}$

${\displaystyle I(X;Y)=b(X)+b(Y)-b(X,Y).}$

ルベーグ分解定理^[2] によれば、確率分布は混合分布によって一意に表すことができる。

${\displaystyle v=pP_{Xd}+qP_{Xc}+rP_{Xs}}$

ここで、およびは純粋に原子的な確率測度（離散部分）、 は絶対的に連続的な確率測度、およびは ルベーグ測度に関して特異だが原子を含まない確率測度（特異部分）です。が となる確率変数で あるとします。 の分布が次のように表せると仮定します。${\displaystyle p+q+r=1}$${\displaystyle p,q,r\geq 0}$${\displaystyle P_{Xd}}$${\displaystyle P_{Xc}}$${\displaystyle P_{Xs}}$${\displaystyle X}$${\displaystyle \mathbb {H} (\lfloor X\rfloor )<\infty }$${\displaystyle X}$

${\displaystyle v=(1-\rho )P_{Xd}+\rho P_{Xc}}$

ここで は離散測度であり、 はとなる絶対連続確率測度である。すると${\displaystyle P_{Xd}}$${\displaystyle P_{Xc}}$${\displaystyle 0\leq \rho \leq 1}$

${\displaystyle d(X)=\rho }$

さらに、 と微分エントロピーが与えられている場合、-次元エントロピーは次のように単純に表される。${\displaystyle \mathbb {H} _{0}(P_{Xd})}$${\displaystyle h(P_{Xc})}$${\displaystyle d}$

${\displaystyle \mathbb {H} _{\rho }(X)=(1-\rho )\mathbb {H} _{0}(P_{Xd})+\rho h(P_{Xc})+\mathbb {H} _{0}(\rho )}$

ここで、 は離散確率変数のシャノンエントロピーであり、次のように与えられる。${\displaystyle \mathbb {H} _{0}(\rho )}$${\displaystyle Z}$${\displaystyle P_{Z}(1)=\rho }$${\displaystyle P_{Z}(0)=1-\rho }$

${\displaystyle \mathbb {H} _{0}(\rho )=\rho \log _{2}{\frac {1}{\rho }}+(1-\rho )\log _{2}{\frac {1}{1-\rho }}}$

ガウス確率分布を持つ信号を考えます。

信号を半波整流器に通すと、負の値はすべて0になり、その他の値はそのままになります。半波整流器は次のような関数で特徴付けられます。

${\displaystyle f(x)={\begin{cases}x,&{\text{if }}x\geq 0\\0,&x<0\end{cases}}}$

すると、整流器の出力では、信号は整流されたガウス分布になります。これは原子質量が 0.5 で特徴付けられ、すべての に対してガウス PDF を持ちます。 ${\displaystyle x>0}$

この混合分布に上記の式を適用して分布の情報次元を取得し、次元エントロピーを計算します。${\displaystyle d}$${\displaystyle d}$

${\displaystyle d(X)=\rho =0.5}$

平均ゼロのガウス分布の正規化された右側部分はエントロピーを持つので、 ${\displaystyle h(P_{Xc})={\frac {1}{2}}\log _{2}(2\pi e\sigma ^{2})-1}$

${\displaystyle {\begin{aligned}\mathbb {H} _{0.5}(X)&=(1-0.5)(1\log _{2}1)+0.5h(P_{Xc})+\mathbb {H} _{0}(0.5)\\&=0+{\frac {1}{2}}({\frac {1}{2}}\log _{2}(2\pi e\sigma ^{2})-1)+1\\&={\frac {1}{4}}\log _{2}(2\pi e\sigma ^{2})+{\frac {1}{2}}\,{\text{ bit(s)}}\end{aligned}}}$

情報次元と微分エントロピーは密接に関連していることが示されている^[3]。

を連続密度を持つランダム変数とし ます。${\displaystyle X}$${\displaystyle f(x)}$

の範囲を長さ のビンに分割するとします。平均値定理により、各ビン内には次のような 値が存在し、${\displaystyle X}$${\displaystyle \Delta }$${\displaystyle x_{i}}$

${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\;\mathrm {d} x}$

離散化されたランダム変数を考えます 。 ${\displaystyle X^{\Delta }=x_{i}}$${\displaystyle i\Delta \leq X<(i+1)\Delta }$

各サポートポイントの確率は ${\displaystyle X^{\Delta }=x_{i}}$

${\displaystyle P_{X^{\Delta }}(x_{i})=\int _{i\Delta }^{(i+1)\Delta }f(x)\;\mathrm {d} x=f(x_{i})\Delta }$

とする。 のエントロピーは ${\displaystyle S=\operatorname {supp} (P_{X^{\Delta }})}$${\displaystyle X^{\Delta }}$

${\displaystyle {\begin{aligned}\mathbb {H} _{0}(X^{\Delta })&=-\sum _{x_{i}\in S}P_{X^{\Delta }}\log _{2}P_{X^{\Delta }}\\&=-\sum _{x_{i}\in S}f(x_{i})\Delta \log _{2}(f(x_{i})\Delta )\\&=-\sum _{x_{i}\in S}\Delta f(x_{i})\log _{2}f(x_{i})-\sum _{x_{i}\in S}f(x_{i})\Delta \log _{2}\Delta \\&=-\sum _{x_{i}\in S}\Delta f(x_{i})\log _{2}f(x_{i})-\log _{2}\Delta \\\end{aligned}}}$

と設定すると、情報次元の定義とまったく同じ量子化が行われます。離散確率変数のイベントを再ラベルしてもエントロピーは変化しないため、 ${\displaystyle \Delta =1/m}$${\displaystyle x_{i}=i/m}$

${\displaystyle \mathbb {H} _{0}(X^{1/m})=\mathbb {H} _{0}(\langle X\rangle _{m}).}$

これにより

${\displaystyle \mathbb {H} _{0}(\langle X\rangle _{m})=-\sum {\frac {1}{m}}f(x_{i})\log _{2}f(x_{i})+\log _{2}m}$

そして、が十分に大きい 場合、${\displaystyle m}$

${\displaystyle -\sum \Delta f(x_{i})\log _{2}f(x_{i})\approx \int f(x)\log _{2}{\frac {1}{f(x)}}\mathrm {d} x}$

これは連続確率変数の微分エントロピーである。特に、がリーマン積分可能であれば、 ${\displaystyle h(x)}$${\displaystyle f(x)}$

${\displaystyle h(X)=\lim _{m\rightarrow \infty }\mathbb {H} _{0}(\langle X\rangle _{m})-\log _{2}(m).}$

これを次元エントロピーと比較すると、微分エントロピーはまさに1次元エントロピーであることがわかる。 ${\displaystyle d}$

${\displaystyle h(X)=\mathbb {H} _{1}(X).}$

実際、これは高次元に一般化できる。レニイは、が-次元ユークリッド空間のランダムベクトルで、確率密度関数と整数部の有限エントロピー（）を持つ絶対連続分布である場合、 ${\displaystyle {\vec {X}}}$${\displaystyle n}$${\displaystyle \Re ^{n}}$${\displaystyle f_{\vec {X}}({\vec {x}})}$${\displaystyle H_{0}(\langle {\vec {X}}\rangle _{m})<\infty }$${\displaystyle d({\vec {X}})=n}$

そして

${\displaystyle \mathbb {H} _{n}({\vec {X}})=\int \cdots \int f_{\vec {X}}({\vec {x}})\log _{2}{\frac {1}{f_{\vec {X}}({\vec {x}})}}\mathrm {d} {\vec {x}},}$

積分が存在する場合。

分布の情報次元は、この分布から得られる変数を圧縮する場合、圧縮率の理論的な上限を示します。ロスレス データ圧縮のコンテキストでは、無限の精度を持つ実数をより小さな実数で圧縮しようとします。

ロスレスデータ圧縮の主な目的は、によるソース実現の効率的な表現を見つけることです。のコードは、マッピングのペアです。 ${\displaystyle x^{n}\in {\mathcal {X}}^{n}}$${\displaystyle y^{n}\in {\mathcal {Y}}^{n}}$${\displaystyle (n,k)-}$${\displaystyle \{X_{i}:i\in {\mathcal {N}}\}}$

• エンコーダー:ソースからの情報を通信または保存用のシンボルに変換するもの。${\displaystyle f_{n}:{\mathcal {X}}^{n}\rightarrow {\mathcal {Y}}^{k}}$
• デコーダー:逆のプロセスで、コード シンボルを受信者が理解できる形式に変換します。${\displaystyle g_{n}:{\mathcal {Y}}^{k}\rightarrow {\mathcal {X}}^{n}}$

ブロックエラー確率は です。 ${\displaystyle {\mathcal {P}}\{g_{n}(f_{n}(X^{n}))\neq X^{n}\}}$

を の最小値として定義し、十分に大きいすべての に対してとなるようなコード列が存在するようにします。 ${\displaystyle r(\epsilon )}$${\displaystyle r\geq 0}$${\displaystyle (n,\lfloor rn\rfloor )-}$${\displaystyle {\mathcal {P}}\{g_{n}(f_{n}(X^{n}))\neq X^{n}\}\leq \epsilon }$${\displaystyle n}$

基本的にはコード長とソース長の比率を示し、特定のエンコーダとデコーダのペアがどれだけ優れているかを示します。ロスレスソースコーディングの基本的な制限は次のとおりです。^[4]${\displaystyle r(\epsilon )}$

連続エンコーダ関数とその連続デコーダ関数を考えてみましょう。 および に規則性を課さない場合、の豊富な構造により、すべての に対して最小の-達成可能レートが得られます。これは、無限の圧縮率を持つエンコーダとデコーダのペアを構築できることを意味します。 ${\displaystyle f(x):{\mathbb {R} }^{n}\rightarrow {\mathbb {R} }^{\lfloor Rn\rfloor }}$${\displaystyle g(x):{\mathbb {R} }^{\lfloor Rn\rfloor }\rightarrow {\mathbb {R} }^{n}}$${\displaystyle f(x)}$${\displaystyle g(x)}$${\displaystyle \Re }$${\displaystyle \epsilon }$${\displaystyle R_{0}(\epsilon )=0}$${\displaystyle 0<\epsilon \leq 1}$

重要で意味のある結論を得るために、線形エンコーダとボレル デコーダの最小達成可能レートを とします。ランダム変数が離散部分と連続部分が混在する分布を持つ場合、すべて に対してとなります。デコーダをリプシッツ連続関数に制限し、が成り立つとすると、すべて に対して の 最小達成可能レートがとなります。 ${\displaystyle R^{*}(\epsilon )}$${\displaystyle \epsilon -}$${\displaystyle X}$${\displaystyle R^{*}(\epsilon )=d(X)}$${\displaystyle 0<\epsilon \leq 1}$${\displaystyle {\bar {d}}(X)<\infty }$${\displaystyle \epsilon -}$${\displaystyle R(\epsilon )\geq {\bar {d}}(X)}$${\displaystyle 0<\epsilon \leq 1}$

ロスレスデータ圧縮における情報次元の基本的な役割は、iidデータを超えてさらに広がります。特定のプロセス（移動平均プロセスなど）の場合、ロスレス圧縮の比率も情報次元率に等しいことが示されています。^[5]この結果により、プロセスの限界分布のみを考慮するだけでは不可能だったさらなる圧縮が可能になります。

• フラクタル次元
• 相関次元
• エントロピー（情報理論）

• Çınlar, Erhan (2011).確率と確率論. 数学の大学院テキスト. 第261巻. Springer. doi :10.1007/978-0-387-87859-1. ISBN 978-0-387-87858-4。

• Cover, Thomas M.; Thomas, Joy A. (2012). 情報理論の要素 (第2版). Wiley. pp. 247–248. ISBN 9781118585771。

• レニー、A. (1959 年 3 月)。 「確率分布の次元とエントロピーについて」。Acta Mathematica Academiae Scientiarum Hungaricae。10 (1-2): 193-215。土井：10.1007/BF02063299。ISSN  0001-5954。S2CID  121006720。

• Wu , Yihong; Verdu, S. (2010 年 8 月)。「Rényi 情報次元: ほぼロスレスなアナログ圧縮の基本的限界」。IEEE Transactions on Information Theory。56 ( 8): 3721–3748。doi : 10.1109 /TIT.2010.2050803。ISSN 0018-9448。S2CID  206737933  。
• Charusaie, M.; Amini, A.; Rini, S. (2022年5月). 「アフィン特異ランダムベクトルの圧縮性尺度」. IEEE Transactions on Information Theory . 68 (9): 6245–6275. arXiv : 2001.03884 . doi : 10.1109/TIT.2022.3174623 .

• 川端 剛志; デンボ 明生 (1994 年 9 月). 「集合と尺度の速度歪み次元」. IEEE Transactions on Information Theory . 40 (5): 1564–1572. doi : 10.1109/18.333868 .