エントロピー（情報理論）

情報理論は、データ圧縮のように、メッセージを伝達するために必要な最小限の情報量を計算するのに役立ちます。たとえば、バイナリチャネルを介して 4 つの文字「A」、「B」、「C」、「D」からなるシーケンスを送信することを考えてみましょう。4 つの文字すべてが等しい確率 (25%) で出現する場合、各文字をエンコードするために 2 ビットを使用するのが最善です。「A」は「00」、「B」は「01」、「C」は「10」、「D」は「11」としてコード化されるかもしれません。しかし、各文字の確率が等しくない場合、たとえば「A」が 70%、'B'が 26%、'C' と 'D' がそれぞれ 2% で出現する場合、可変長コードを割り当てることができます。この場合、「A」は「0」、「B」は「10」、「C」は「110」、「D」は「111」と符号化されます。この表現では、70%の確率で1ビット、26%の確率で2ビット、4%の確率で3ビットの送信が必要となります。平均的には、エントロピーが低いため（「A」の後に「B」が続く頻度が高く、合わせて96%の文字を占めるため）、2ビット未満で済みます。確率加重対数確率の合計を計算することで、この効果を測定し、捉えることができます。

英語のテキストは、文字の羅列として扱うと、エントロピーがかなり低い、つまり予測しやすいと言えます。例えば、「e」は「z」よりもはるかに多く出現し、「qu」という組み合わせは「q」を含む他のどの組み合わせよりもはるかに多く出現し、「th」という組み合わせは「z」、「q」、「qu」よりも多く出現すると、かなり確信を持って言えます。最初の数文字を読めば、残りの単語を推測できる場合が多いのです。英語のテキストは、メッセージの文字あたり0.6～1.3ビットのエントロピーを持っています。^{[ 7 ]： 234}

エントロピーは、測度論の言葉で次のように形式的に定義できる。^{[ 11 ]}${\displaystyle (X,\Sigma ,\mu )}$を確率空間とする。${\displaystyle A\in \Sigma }$イベントになる。​${\displaystyle A}$は $${\displaystyle \sigma _{\mu }(A)=-\ln \mu (A).}$$

予想外の${\displaystyle A}$は $${\displaystyle h_{\mu }(A)=\mu (A)\sigma _{\mu }(A).}$$

A${\displaystyle \mu }$-ほぼパーティションは集合族です${\displaystyle P\subseteq {\mathcal {P}}(X)}$そのため${\displaystyle \mu (\bigcup P)=1}$そして${\displaystyle \mu (A\cap B)=0}$すべての異なる${\displaystyle A,B\in P}$（これは、分割の通常の条件の緩和です。）エントロピー${\displaystyle P}$は $${\displaystyle \mathrm {H} _{\mu }(P)=\sum _{A\in P}h_{\mu }(A).}$$

させて${\displaystyle M}$シグマ代数である${\displaystyle X}$エントロピー${\displaystyle M}$は $${\displaystyle \mathrm {H} _{\mu }(M)=\sup _{P\subseteq M}\mathrm {H} _{\mu }(P).}$$ 最後に、確率空間のエントロピーは${\displaystyle \mathrm {H} _{\mu }(\Sigma )}$つまり、エントロピーは${\displaystyle \mu }$すべての可測部分集合のシグマ代数の${\displaystyle X}$。

エントロピーの別の特徴付けでは、次の性質を使用します。p _i = Pr( X = x _i )およびΗ _n ( p ₁ , ..., p _n ) = Η( X )と表記します。

1. 連続性：Hは連続であるべきであり、確率の値を非常にわずかに変化させても、エントロピーの変化はわずかであるべきである。
2. 対称性:結果x _{i の}順序が変わってもH は変化しないはずです。つまり、${\displaystyle \mathrm {H} _{n}\left(p_{1},p_{2},\ldots ,p_{n}\right)=\mathrm {H} _{n}\left(p_{i_{1}},p_{i_{2}},\ldots ,p_{i_{n}}\right)}$任意の順列に対して${\displaystyle \{i_{1},...,i_{n}\}}$の${\displaystyle \{1,...,n\}}$。
3. 最大：${\displaystyle \mathrm {H} _{n}}$すべての結果が等しく起こりうる場合、最大になるはずです。${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)}$。
4. 結果の数の増加: 等確率の事象の場合、エントロピーは結果の数とともに増加するはずです。${\displaystyle \mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.}$
5. 加法性: n 個の均一に分布した要素の集合が、それぞれb ₁、 ... 、b _k個の要素を持つk個のボックス (サブシステム)に分割されている場合、集合全体のエントロピーは、ボックスのシステムのエントロピーと、各ボックスの個々のエントロピーの合計に等しくなければなりません。各ボックスのエントロピーは、その特定のボックスに存在する確率で重み付けされます。

シャノンエントロピーの簡潔な公理的特徴付けは、Aczél、Forte、Ng ^{[ 15 ]}によって以下の性質を通じて与えられた。

1. 劣加法性： ${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$ 同時分布する確率変数${\displaystyle X,Y}$。
2. 加法性： ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X)+\mathrm {H} (Y)}$ランダム変数${\displaystyle X,Y}$独立している。
3. 拡張性： ${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$つまり、確率がゼロの結果を追加してもエントロピーは変化しない。
4. 対称：${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$置換の下で不変である${\displaystyle p_{1},\ldots ,p_{n}}$。
5. 確率が低い場合は、小さいサイズで十分です。 ${\displaystyle \lim _{q\to 0^{+}}\mathrm {H} _{2}(1-q,q)=0}$。

情報理論においてエントロピーという言葉を採用するきっかけとなったのは、シャノンの公式と統計力学における非常に類似した既知の公式との密接な類似性であった。

統計熱力学において、熱力学系の熱力学的エントロピーSの最も一般的な式はギブスエントロピーである。$${\displaystyle S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i}\,,}$$ ここで、k _Bはボルツマン定数、p _iはミクロ状態の確率である。ギブスエントロピーは、ルートヴィヒ・ボルツマン(1872 年)の先行研究を受けて、1878 年にJ. ウィラード・ギブスによって定義された。^{[ 16 ]}

ギブスエントロピーは、量子物理学の世界においてもほぼそのままの形で、 1927年にジョン・フォン・ノイマンによって導入されたフォン・ノイマンエントロピーへと変換される。 $${\displaystyle S=-k_{\text{B}}\,{\rm {Tr}}(\rho \ln \rho )\,,}$$ ここで、ρは量子力学系の密度行列であり、Trはトレースである。^{[ 17 ]}

日常的な実用レベルでは、情報エントロピーと熱力学的エントロピーの関連性は明らかではありません。物理学者や化学者は、不変の確率分布よりも、熱力学第二法則に従ってシステムが初期状態から自発的に変化していく際のエントロピーの変化に関心を持つ傾向があります。ボルツマン定数k _{Bの微小さが示すように、化学的および物理的プロセスにおけるごく微量の物質であっても、} S / k _Bの変化は、データ圧縮や信号処理におけるエントロピー量と比べると極めて大きなエントロピー量になります。古典熱力学では、エントロピーは巨視的な測定値に基づいて定義され、情報エントロピーの定義の中心となる確率分布には一切言及していません。

熱力学と現在情報理論として知られる分野との関連性は、ボルツマンによって初めて示され、彼の方程式によって表現された。

$${\displaystyle S=k_{\text{B}}\ln W,}$$

どこ${\displaystyle S}$は特定のマクロ状態 (温度、体積、エネルギーなどの熱力学的パラメータによって定義される) の熱力学的エントロピーであり、Wは与えられたマクロ状態を生み出すことができるミクロ状態 (さまざまなエネルギー状態の粒子のさまざまな組み合わせ) の数であり、k _Bはボルツマン定数です。^{[ 18 ]}各ミクロ状態は等しく起こりやすいと仮定されているため、特定のミクロ状態の確率はp _i = 1/ Wです。これらの確率を上記のギブスエントロピー (または同等にk _Bにシャノンエントロピーを掛けたもの)の式に代入すると、ボルツマン方程式が得られます。情報理論の用語では、システムの情報エントロピーは、マクロ状態が与えられたときにミクロ状態を決定するために必要な「欠落した」情報の量です。

ジェインズ(1957)の見解では、 ^{[ 19 ]}統計力学によって説明される熱力学的エントロピーは、シャノンの情報理論の応用として見なされるべきである。熱力学的エントロピーは、古典熱力学の巨視的変数のみによる記述では伝えられない、システムの詳細な微視的状態を定義するために必要な、さらにシャノン情報の量に比例すると解釈され、比例定数はボルツマン定数である。システムに熱を加えると、システムの巨視的変数の測定可能な値と一致するシステムの可能な微視的状態の数が増加し、完全な状態記述が長くなるため、システムの熱力学的エントロピーが増加する。(記事を参照: 最大エントロピー熱力学)。マックスウェルの悪魔は、個々の分子の状態に関する情報を使用することで、システムの熱力学的エントロピーを (仮説的に) 減少させることができる。しかし、ランダウアー（1961年）と共同研究者^{[ 20 ]}が示したように、悪魔自身が機能するためには、その過程で熱力学的エントロピーを、少なくとも最初に取得して保存しようとするシャノン情報の量だけ増加させなければならず、したがって全体の熱力学的エントロピーは減少しない（これがパラドックスを解決する）。ランダウアーの原理は、コンピュータが一定量の情報を処理するために生成しなければならない熱量の下限を課すが、現代のコンピュータははるかに効率が悪い。

シャノンのエントロピーの定義を情報源に適用すると、その情報源を符号化されたバイナリ数字として確実に送信するために必要な最小チャネル容量を決定できます。シャノンのエントロピーは、メッセージに含まれる情報を測定するものであり、メッセージの決定可能な部分（または予測可能な部分）とは対照的です。後者の例としては、言語構造の冗長性や、文字や単語のペア、トリプレットなどの出現頻度に関する統計的特性などがあります。最小チャネル容量は、理論的には典型的なセットを使用することで、実際にはハフマン、レンペル・ジブ、または算術符号化を使用することで実現できます。（コルモゴロフ複雑性も参照。）実際には、圧縮アルゴリズムは、エラーを防ぐためにチェックサムの形で適切な冗長性を意図的に含めています。データソースのエントロピー率は、それを符号化するために必要なシンボルあたりの平均ビット数です。人間の予測者を使用したシャノンの実験では、英語では文字あたり0.6～1.3ビットの情報率を示しています。^{[ 21 ]} PPM圧縮アルゴリズムは、英語のテキストで1文字あたり1.5ビットの圧縮率を達成できます。

圧縮方式が可逆圧縮（解凍によって常に元のメッセージ全体を復元できる方式）である場合、圧縮されたメッセージは元のメッセージと同じ量の情報を含みますが、より少ない文字で伝達されます。文字あたりの情報量（エントロピー）は多くなります。圧縮されたメッセージは冗長性が少なくなります。シャノンのソース符号化定理は、可逆圧縮方式では平均してメッセージのビットあたり1ビットを超える情報を持つようにメッセージを圧縮することはできないが、適切な符号化方式を採用することで、メッセージのビットあたり1ビット未満の情報量を達成できると述べています。ビットあたりのメッセージのエントロピーにそのメッセージの長さを掛けたものが、メッセージに含まれる総情報量の尺度となります。シャノンの定理はまた、可逆圧縮方式ではすべてのメッセージを短くすることはできないことを示唆しています。一部のメッセージが短くなると、鳩の巣原理によ​​り、少なくとも1つのメッセージが長くなります。実際の使用においては、これは一般的に問題になりません。なぜなら、通常は意味不明なテキストではなく英語の文書、ノイズではなくデジタル写真など、特定の種類のメッセージを圧縮することにのみ関心があり、圧縮アルゴリズムによってありそうもない、あるいは興味のないシーケンスが大きくなることは問題にならないからです。

2011年のScience誌に掲載された研究では、2007年に利用可能な最も効果的な圧縮アルゴリズムに基づいて正規化された、最適に圧縮された情報を保存および伝達する世界の技術的能力を推定し、それによって技術的に利用可能な情報源のエントロピーを推定している。^{[ 22 ]： 60-65}

著者らは、1986年と2007年に人類が情報を保存する技術的能力（完全にエントロピー的に圧縮された情報）を推定している。彼らは情報を3つのカテゴリに分類している。媒体に情報を保存する、一方通行の放送ネットワークを介して情報を受信する、双方向の電気通信ネットワークを介して情報を交換する、という3つである。^{[ 22 ]}

エントロピーは生物多様性を測定するいくつかの方法の1つであり、シャノン指数の形で適用されます。^{[ 23 ]}多様性指数は、生態学的豊かさ、均等性、優占度を考慮した、群集内の種など、データセットに存在する異なるタイプの数を定量的に統計的に測定するものです。具体的には、シャノンエントロピーは、パラメータが1に等しい真の多様性指数である¹ Dの対数です。シャノン指数は、タイプの相対的な存在量に関連しています。

エントロピーに関連する概念は数多く存在し、それらはシーケンスやメッセージの情報量を数学的に定量化する。

• 特定の確率分布から取得された個々のメッセージまたはシンボルの自己情報（メッセージまたはシーケンスを個々のイベントとして見る）、
• メッセージまたはシーケンス（一連のイベントとして見なされる）を構成するシンボルの結合エントロピー、
• 確率過程のエントロピー率（メッセージまたはシーケンスは一連の事象として捉えられる）。

（「自己情報率」は、特定の確率過程によって生成されるメッセージまたはシンボルの特定のシーケンスに対しても定義できます。定常過程の場合、これは常にエントロピー率と等しくなります。）また、異なる情報源を比較または関連付けるために、他の情報量も使用されます。

上記の概念を混同しないことが重要です。多くの場合、どちらの概念が意図されているかは文脈からしか判断できません。例えば、英語の「エントロピー」は1文字あたり約1ビットであると言う場合、実際には英語を確率過程としてモデル化し、そのエントロピー率について述べているのです。シャノン自身もこの用語をこのように用いていました。

非常に大きなブロックを使用する場合、シーケンスの確率分布が正確にはわからないため、文字あたりのエントロピー率の推定値は人為的に低くなる可能性があります。これは単なる推定値です。これまでに出版されたすべての本のテキストをシーケンスとみなし、各シンボルが完全な本のテキストであるとします。出版された本がN冊あり、各本が一度だけ出版されている場合、各本の確率の推定値は1/ Nであり、エントロピー (ビット単位) は−log ₂ (1/ N ) = log ₂ ( N )となります。実用的なコードとしては、これは各本に一意の識別子を割り当て、本を参照したいときはいつでも本のテキストの代わりにその識別子を使用することに相当します。これは本について話すには非常に便利ですが、個々の本や言語全般の情報内容を特徴付けるにはあまり便利ではありません。確率分布、つまりすべての本の完全なテキストを知らなければ、識別子から本を再構築することは不可能です。重要な考え方は、確率モデルの複雑さを考慮する必要があるということです。コルモゴロフ複雑性は、この考え方を理論的に一般化したもので、特定の確率モデルに依存しないシーケンスの情報内容を考慮することを可能にします。これは、シーケンスを出力する汎用コンピュータ向けの最短プログラムを検討します。与えられたモデルに対してシーケンスのエントロピー率とコードブック（つまり確率モデル）を達成するコードは、そのようなプログラムの一つですが、必ずしも最短プログラムとは限りません。

フィボナッチ数列は 1, 1, 2, 3, 5, 8, 13, ... であり、この数列をメッセージ、各数をシンボルとみなすと、メッセージの文字数とほぼ同じ数のシンボルが存在し、エントロピーは約log ₂ ( n )となります。フィボナッチ数列の最初の 128 シンボルのエントロピーは約 7 ビット/シンボルですが、この数列は [ F( n ) = F( n −1) + F( n −2) for n = 3, 4, 5, ... , F(1) =1 , F(2) = 1 ] という式で表すことができ、この式のエントロピーははるかに低く、フィボナッチ数列の任意の長さに適用できます。

暗号解読では、エントロピーは暗号鍵の予測不可能性の尺度としてよく使用されますが、その真の不確実性は測定不可能です。たとえば、一様かつランダムに生成された 128 ビットの鍵は 128 ビットのエントロピーを持ちます。また、平均して${\displaystyle 2^{127}}$総当たり攻撃で解読するには推測が必要です。可能な鍵が均等に選択されていない場合、エントロピーでは必要な推測の数を捉えることができません。^{[ 24 ] [ 25 ]}代わりに、推測と呼ばれる尺度を使用して、総当たり攻撃に必要な労力を測定できます。^{[ 26 ]}

暗号化で使用される不均一な分布によって、他の問題が発生する場合があります。たとえば、排他的論理和を使用する 1,000,000 桁のバイナリ ワンタイム パッドを考えてみましょう。パッドのエントロピーが 1,000,000 ビットであれば、完璧です。パッドのエントロピーが 999,999 ビットで、均等に分布している場合 (パッドの各ビットが 0.999999 ビットのエントロピーを持つ) は、十分なセキュリティを提供する可能性があります。しかし、パッドのエントロピーが 999,999 ビットで、最初のビットが固定され、残りの 999,999 ビットが完全にランダムである場合、暗号文の最初のビットは全く暗号化されません。

テキストのエントロピーを定義する一般的な方法は、テキストのマルコフモデルに基づいています。次数0のソース（各文字は前の文字とは独立して選択される）の場合、バイナリエントロピーは次のようになります。

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\log p_{i},}$$

ここでp _iはiの確率です。1 次マルコフ源(文字を選択する確率が直前の文字のみに依存するもの) の場合、エントロピー率は次のようになります。^{[ 27 ]}

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}\ p_{i}(j)\log p_{i}(j),}$$

ここでiは状態(特定の先行文字) であり、${\displaystyle p_{i}(j)}$これは、前の文字がiである場合にjとなる確率です。

2次マルコフ源の場合、エントロピー率は

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\sum _{k}p_{i,j}(k)\ \log p_{i,j}(k).}$$

シャノンエントロピーは、離散値をとる確率変数に限定されます。有限または無限のサポートを持つ確率密度関数f ( x )を持つ連続確率変数に対応する式は次のとおりです。${\displaystyle \mathbb {X} }$実数直線上のエントロピーは、上記のエントロピーの形式を期待値として用いる類推によって定義される。^{[ 10 ]： 224}

$${\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log f(X)]=-\int _{\mathbb {X} }f(x)\log f(x)\,\mathrm {d} x.}$$

これは微分エントロピー（または連続エントロピー）です。連続エントロピーh [ f ]の前身は、ボルツマンのH 定理における関数Ηの式です。

両方の関数の類似性は示唆に富むものの、次の疑問を提起する必要がある。微分エントロピーはシャノン離散エントロピーの有効な拡張と言えるだろうか？微分エントロピーはシャノン離散エントロピーが持つ多くの特性を欠いており 、負の値をとることもある。そのため、離散点の密度を制限する など、いくつかの修正が提案されている。

この質問に答えるには、2つの機能間の関連性を確立する必要がある。

ビンサイズがゼロに近づくにつれて、一般的に有限な尺度を得るため。離散的な場合、ビンサイズは、確率がp _nで表されるn 個の (有限または無限) ビンのそれぞれの (暗黙の) 幅です。連続領域が一般化されるにつれて、幅を明示的にする必要があります。

これを行うには、連続関数f をサイズのビンに離散化することから始めます。${\displaystyle \Delta }$ 平均値の定理により、各ビンには次のような 値x _iが存在する。 $${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\,dx}$$ 関数fの積分は、(リーマン的な意味で)次のように近似できる。 $${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=\lim _{\Delta \to 0}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta ,}$$ この制限と「ビンサイズがゼロになる」は同等です。

我々は $${\displaystyle \mathrm {H} ^{\Delta }:=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log \left(f(x_{i})\Delta \right)}$$ そして対数を展開すると、次のようになる。 $${\displaystyle \mathrm {H} ^{\Delta }=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(\Delta ).}$$

Δ → 0のとき、次のようになります。

$${\displaystyle {\begin{aligned}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta &\to \int _{-\infty }^{\infty }f(x)\,dx=1\\\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))&\to \int _{-\infty }^{\infty }f(x)\log f(x)\,dx.\end{aligned}}}$$

注：log(Δ) → −∞ （Δ → 0のとき）となるため、微分エントロピーまたは連続エントロピーの特別な定義が必要となる。

$${\displaystyle h[f]=\lim _{\Delta \to 0}\left(\mathrm {H} ^{\Delta }+\log \Delta \right)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx,}$$

これは、前述のとおり、微分エントロピーと呼ばれます。つまり、微分エントロピーは、n → ∞のときのシャノンエントロピーの極限ではありません。むしろ、シャノンエントロピーの極限とは無限大のオフセット分だけ異なります（情報次元に関する記事も参照）。

その結果、シャノンエントロピーとは異なり、微分エントロピーは一般に不確実性や情報の適切な尺度ではないことが判明しました。例えば、微分エントロピーは負の値をとることがあります。また、連続座標変換に対して不変ではありません。この問題は、x が次元を持つ変数である場合の単位変換によって説明できます。この場合、 f ( x )の単位は1/ xになります。対数の引数は無次元でなければならず、そうでなければ不適切であるため、上記の微分エントロピーは不適切になります。Δがxの何らかの「標準」値（つまり「ビンサイズ」）であり、したがって同じ単位を持つ場合、修正された微分エントロピーは適切な形式で次のように記述できます。 $${\displaystyle \mathrm {H} =\int _{-\infty }^{\infty }f(x)\log(f(x)\,\Delta )\,dx,}$$そして、 x の単位をどのように選択しても結果は同じになります。実際、離散エントロピーの極限は${\displaystyle N\rightarrow \infty }$また、以下の用語も含まれる${\displaystyle \log(N)}$これは一般的には無限大になります。これは当然のことです。連続変数は離散化すると通常無限大のエントロピーを持ちます。離散点の極限密度は、量子化スキーム全体で一様分布よりも、分布をどれだけ簡単に記述できるかを示す尺度です。

離散の場合と連続の場合の両方で同様に有効なエントロピーのもう1つの有用な尺度は、分布の相対エントロピーです。これは、分布から参照尺度mへのカルバック・ライブラー情報量として次のように定義されます。確率分布p が尺度mに関して絶対連続である、つまり、 m積分が 1 である非負のm積分可能な関数fに対してp ( dx ) = f ( x ) m ( dx )の形であると仮定すると、相対エントロピーは次のように定義できます。 $${\displaystyle D_{\mathrm {KL} }(p\|m)=\int \log(f(x))p(dx)=\int f(x)\log(f(x))m(dx).}$$

この形式では、相対エントロピーは、（符号の変化を除いて）計数測度 m の離散エントロピーと、ルベーグ測度 m の微分エントロピーの両方を一般化します。測度mが確率分布である場合、相対エントロピーは非負であり、測度としてp = mの場合はゼロになります。これは任意の測度空間に対して定義されるため、測度mの変換を適切に考慮すれば、座標に依存せず、座標の再パラメータ化の下で不変です。相対エントロピー、および（暗黙的に）エントロピーと微分エントロピーは、「参照」測度mに依存します。

その簡単な例として、ルーミス・ホイットニーの不等式の別の証明があります。任意の部分集合A ⊆ Z ^dに対して、次の式が成り立ちます。 $${\displaystyle |A|^{d-1}\leq \prod _{i=1}^{d}|P_{i}(A)|}$$ ここで、P _iはi番目の座標における直交投影である。 $${\displaystyle P_{i}(A)=\{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{d}):(x_{1},\ldots ,x_{d})\in A\}.}$$

証明はシアラーの不等式の単純な系として導かれる。X 1 _, ..., X _{d が}確率変数であり、S ₁ , ..., S _nが{1, ..., d }の部分集合であり、1 からdまでのすべての整数がこれらの部分集合のうち ちょうどr 個に含まれる場合、$${\displaystyle \mathrm {H} [(X_{1},\ldots ,X_{d})]\leq {\frac {1}{r}}\sum _{i=1}^{n}\mathrm {H} [(X_{j})_{j\in S_{i}}]}$$ どこ${\displaystyle (X_{j})_{j\in S_{i}}}$これは、 S _iのインデックスjを持つランダム変数X _jのデカルト積です(したがって、このベクトルの次元はS _iのサイズに等しくなります)。

ここからルーミス・ホイットニーがどのように導かれるかを概説します。実際、X をAの値をとる一様分布の確率変数とし、 Aの各点が等しい確率で発生するとします。すると (上述のエントロピーのさらなる性質により) Η( X ) = log | A |となります。ここで| A |_はAの濃度を表します。S i = {1, 2, ..., i −1, i +1, ..., d } とします。範囲は${\displaystyle (X_{j})_{j\in S_{i}}}$P _i ( A )に含まれているので、${\displaystyle \mathrm {H} [(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|}$. 次に、これを使用してシアラーの不等式の右辺を制限し、得られた不等式の両辺を指数化します。

整数0 < k < nに対して、 q = k / nとする。すると $${\displaystyle {\frac {2^{n\mathrm {H} (q)}}{n+1}}\leq {\tbinom {n}{k}}\leq 2^{n\mathrm {H} (q)},}$$^[ 33 ^{] : 43​}$${\displaystyle \mathrm {H} (q)=-q\log _{2}(q)-(1-q)\log _{2}(1-q).}$$

これをうまく解釈すると、長さnで1 がちょうどk個含まれるバイナリ文字列の数はおよそ次のようになる。${\displaystyle 2^{n\mathrm {H} (k/n)}}$[ ^{34 ]​}

• カバー、TM、トーマス、JA（2006）、『情報理論の基礎』第2版、Wiley-Interscience、ISBN 978-0-471-24195-9
• MacKay, DJC (2003), Information Theory, Inference and Learning Algorithms , Cambridge University Press, ISBN 978-0-521-64298-9
• Arndt, C. (2004), Information Measures: Information and its Description in Science and Engineering , Springer, ISBN 978-3-540-40855-0
• Gray, RM (2011), Entropy and Information Theory , Springer.
• マーティン、ナサニエル FG; イングランド、ジェームズ W. (2011).エントロピーの数学理論. ケンブリッジ大学出版局. ISBN 978-0-521-17738-2。
• シャノン、CE、ウィーバー、W. (1949) 『コミュニケーションの数学理論』、イリノイ大学出版局。ISBN 0-252-72548-4
• Stone, JV (2014)、 「情報理論入門」 第1章。2016年6月3日にWayback Machineにアーカイブ済み。シェフィールド大学、イングランド。ISBN 978-0956372857。
• Tribus, Myron (1961).熱力学と熱静力学：エネルギー、情報、物質の状態への入門、および工学的応用。大学基礎工学シリーズ、第1巻。プリンストン：D. Van Nostrand。OCLC 1036889774。