エントロピー（情報理論）

情報理論では、ランダム変数のエントロピーは、変数の潜在的な状態または起こり得る結果に関連する不確実性または情報の平均レベルを定量化します。これは、すべての潜在的な状態にわたる確率の分布を考慮して、変数の状態を説明するために必要な情報の期待量を測定します。集合内の値を取り、に従って分布する離散ランダム変数 を考えると、エントロピーは となり 、ここで は変数の可能な値の合計を表します。^{[注 1] の}底、つまり対数の選択は、アプリケーションによって異なります。底 2 はビット単位(または「シャノン」) を与え、底e は「自然単位」nat を与え、底 10 は「ディット」、「バン」、または「ハートリー」の単位を与えます。エントロピーの同等の定義は、変数の自己情報の期待値です。 ^[1]${\displaystyle X}$${\displaystyle {\mathcal {X}}}$${\displaystyle p\colon {\mathcal {X}}\to [0,1]}$$${\displaystyle \mathrm {H} (X):=-\sum _{x\in {\mathcal {X}}}p(x)\log p(x),}$$${\displaystyle \Sigma }$${\displaystyle \log }$

情報エントロピーの概念は、1948年の論文「通信の数学的理論」^{[2] [3]で}クロード・シャノンによって導入され、シャノンエントロピーとも呼ばれています。シャノンの理論は、データソース、通信チャネル、受信者の3つの要素で構成されるデータ通信システムを定義しています。シャノンが表現した「通信の基本問題」は、チャネルを介して受信した信号に基づいて、受信者がソースによって生成されたデータを識別できるようにすることです。^{[2] [3]}シャノンは、データソースからのメッセージをエンコード、圧縮、および送信するさまざまな方法を検討し、ソース符号化定理で、エントロピーが、ソースからのデータをどれだけ完全にノイズのないチャネルにロスなく圧縮できるかについての絶対的な数学的制限を表すことを証明しました。シャノンは、ノイズのあるチャネル符号化定理で、ノイズのあるチャネルに対してこの結果を大幅に強化しました。

情報理論におけるエントロピーは、統計熱力学におけるエントロピーと直接類似しています。この類似性は、ランダム変数の値がミクロ状態のエネルギーを示すときに生じるため、エントロピーのギブスの公式は、形式的にはシャノンの公式と同一です。エントロピーは、組合せ論や機械学習など、数学の他の分野にも関連しています。定義は、エントロピーが変数の平均結果がどれだけ有益であるかを測る尺度であるべきであることを確立する一連の公理から導き出すことができます。連続ランダム変数の場合、微分エントロピーはエントロピーに類似しています。定義は上記を一般化したものです。 ${\displaystyle \mathbb {E} [-\log p(X)]}$

情報理論の核となる考え方は、伝達されるメッセージの「情報価値」は、メッセージの内容がどの程度意外であるかによって決まるというものです。非常に起こりそうな出来事が起こる場合、メッセージにはほとんど情報がありません。一方、非常に起こりそうにない出来事が起こる場合、メッセージにははるかに多くの情報が含まれます。たとえば、ある特定の数字が宝くじの当選番号にならないという知識は、ほとんど情報を提供しません。なぜなら、選ばれた特定の数字はほぼ確実に当選しないからです。しかし、特定の数字が宝くじに当選するという知識は、非常に低い確率の出来事が起こることを伝えるため、情報価値が高くなります。

イベントの情報量（驚きまたは自己情報とも呼ばれる）は、イベントの確率が減少するにつれて増加する関数です。が1に近い場合、イベントの驚きは低くなりますが、 が0に近い場合、イベントの驚きは高くなります。 この関係は関数によって記述されます。 ここで、は対数で、イベントの確率が1のときに驚きが0になります。^[4]実際、logは、セクション§ 特性評価で定義された特定の条件セットを満たす唯一の関数です。 ${\displaystyle E}$${\displaystyle p(E)}$${\displaystyle p(E)}$${\displaystyle p(E)}$$${\displaystyle \log \left({\frac {1}{p(E)}}\right),}$$${\displaystyle \log }$

したがって、ある 出来事の情報、つまり驚きは 次のように定義できる。 ${\displaystyle E}$$${\displaystyle I(E)=-\log _{2}(p(E)),}$$$${\displaystyle I(E)=\log _{2}\left({\frac {1}{p(E)}}\right).}$$

エントロピーは、ランダムな試行の結果を特定することによって伝達される情報の期待される（つまり、平均の）量を測定しま す。^{[5] ：67}これは、サイコロを投げる方がコインを投げるよりもエントロピーが高いことを意味します。なぜなら、サイコロを投げたときの各出目の確率（ ）は、コインを投げたときの各出目の 確率（ ）よりも小さいからです。 ${\displaystyle p=1/6}$${\displaystyle p=1/2}$

表が出る確率がpで、裏が出る確率が1 − pのコインを考えてみましょう。最大の驚きはp = 1/2のときで、一方の結果が他方よりも優れているとは予想されません。この場合、コイン投げのエントロピーは 1ビットです。(同様に、等確率の値を持つ1 つのトリットには、3 つの値のいずれかを取ることができるため、(約 1.58496) ビットの情報が含まれます。) 最小の驚きはp = 0またはp = 1のときで、イベントの結果は事前にわかっており、エントロピーは 0 ビットです。エントロピーが 0 ビットのとき、これは 1 と呼ばれることもあり、不確実性がまったくなく、選択の自由がなく、情報もありません。p の他の値は、0 ビットから 1 ビットの間のエントロピーを与えます。 ${\displaystyle \log _{2}3}$

情報理論は、データ圧縮などで、メッセージを伝達するために必要な最小の情報量を計算するのに役立ちます。たとえば、バイナリ チャネルを介して 4 つの文字「A」、「B」、「C」、「D」を含むシーケンスを送信する場合を考えてみましょう。4 つの文字がすべて同じ確率 (25%) である場合、各文字をエンコードするのに 2 ビットを使用する以外に方法はありません。「A」は「00」、「B」は「01」、「C」は「10」、「D」は「11」とコード化できます。ただし、各文字の確率が等しくない場合、たとえば「A」が 70% の確率で発生し、「B」が 26%、「C」と「D」がそれぞれ 2% の確率で発生する場合は、可変長コードを割り当てることができます。この場合、「A」は「0」、「B」は「10」、「C」は「110」、「D」は「111」とコード化されます。この表現では、70% の確率で 1 ビットのみ送信する必要があり、26% の確率で 2 ビット、4% の確率で 3 ビットを送信する必要があります。平均すると、エントロピーが低いため 2 ビット未満で済みます (「A」の後に「B」が続く頻度が高いため、文字の 96% を占めます)。確率加重対数確率の合計を計算することで、この効果を測定し、捕捉します。

英語のテキストは文字列として扱われ、エントロピーはかなり低い。つまり、かなり予測しやすい。たとえば、「e」は「z」よりもはるかに一般的であり、「qu」の組み合わせは「q」を含む他のどの組み合わせよりもはるかに一般的であり、「th」の組み合わせは「z」、「q」、「qu」よりも一般的であるということはほぼ確実である。最初の数文字を読めば、単語の残りを推測できる場合が多い。英語のテキストは、メッセージの文字ごとに0.6～1.3ビットのエントロピーを持つ。^{[6] : 234}

ボルツマンのΗ定理にちなんで名付けられた、シャノンは離散確率変数のエントロピーΗ（ギリシャ語の大文字のイータ）を定義しました。離散確率変数は集合内の値を取り、次のように分布します。 ${\textstyle X}$${\displaystyle {\mathcal {X}}}$${\displaystyle p:{\mathcal {X}}\to [0,1]}$${\displaystyle p(x):=\mathbb {P} [X=x]}$

$${\displaystyle \mathrm {H} (X)=\mathbb {E} [\operatorname {I} (X)]=\mathbb {E} [-\log p(X)].}$$

ここで は期待値演算子であり、I はXの情報量である。^{[7] : 11  [8] : 19–20}はそれ自体がランダム変数である。 ${\displaystyle \mathbb {E} }$ ${\displaystyle \operatorname {I} (X)}$

エントロピーは次のように明示的に記述できます 。 ここで、bは使用される対数の底です。bの一般的な値は2、オイラー数e、10であり、対応するエントロピーの単位はb = 2の場合はビット、b = eの場合はナット、b = 10の場合はバンです。^[9]$${\displaystyle \mathrm {H} (X)=-\sum _{x\in {\mathcal {X}}}p(x)\log _{b}p(x),}$$

ある に対しての場合、対応する加数0 log _b (0)の値は0と取られ、これは の極限と一致する: ^{[10] : 13}${\displaystyle p(x)=0}$${\displaystyle x\in {\mathcal {X}}}$ $${\displaystyle \lim _{p\to 0^{+}}p\log(p)=0.}$$

2つの変数と集合からそれぞれ値を取る条件付きエントロピーを次のように定義することもできます: ^{[10] : 16} ここで、およびです。この量は、ランダム変数が与えられたときのランダム変数に残っているランダム性として理解されるべきです。 ${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$ $${\displaystyle \mathrm {H} (X|Y)=-\sum _{x,y\in {\mathcal {X}}\times {\mathcal {Y}}}p_{X,Y}(x,y)\log {\frac {p_{X,Y}(x,y)}{p_{Y}(y)}},}$$${\displaystyle p_{X,Y}(x,y):=\mathbb {P} [X=x,Y=y]}$${\displaystyle p_{Y}(y)=\mathbb {P} [Y=y]}$${\displaystyle X}$${\displaystyle Y}$

エントロピーは測度論の言語で次のように正式に定義できる: ^{[11] を}確率空間とする。を事象とする。の驚きは ${\displaystyle (X,\Sigma ,\mu )}$${\displaystyle A\in \Sigma }$${\displaystyle A}$$${\displaystyle \sigma _{\mu }(A)=-\ln \mu (A).}$$

予想通りの サプライズは${\displaystyle A}$$${\displaystyle h_{\mu }(A)=\mu (A)\sigma _{\mu }(A).}$$

ほぼ分割とは、すべての異なる に対してかつとなる集合族のことである。（これは分割の通常の条件を緩和したものである。） のエントロピーは ${\displaystyle \mu }$ ${\displaystyle P\subseteq {\mathcal {P}}(X)}$${\displaystyle \mu (\mathop {\cup } P)=1}$${\displaystyle \mu (A\cap B)=0}$${\displaystyle A,B\in P}$${\displaystyle P}$$${\displaystyle \mathrm {H} _{\mu }(P)=\sum _{A\in P}h_{\mu }(A).}$$

を 上のシグマ代数とします。 のエントロピーは です。 最後に、確率空間のエントロピーは、つまり のすべての測定可能な部分集合のシグマ代数のに関するエントロピーです。 ${\displaystyle M}$${\displaystyle X}$${\displaystyle M}$$${\displaystyle \mathrm {H} _{\mu }(M)=\sup _{P\subseteq M}\mathrm {H} _{\mu }(P).}$$${\displaystyle \mathrm {H} _{\mu }(\Sigma )}$${\displaystyle \mu }$${\displaystyle X}$

必ずしも公平ではないが、表か裏が出る確率がわかっているコインを投げることを考えてみましょう。これはベルヌーイ過程としてモデル化できます。

コインが公平であれば、次のコイン投げの結果が不明であるというエントロピーは最大になります（つまり、表と裏の両方が1/2の確率で同じである場合）。これは、次のコイン投げの結果を予測することが最も難しいため、不確実性が最大になる状況です。コイン投げの結果は、1ビットの情報だけをもたらします。これは、 $${\displaystyle {\begin{aligned}\mathrm {H} (X)&=-\sum _{i=1}^{n}{p(x_{i})\log _{b}p(x_{i})}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\log _{2}{\frac {1}{2}}}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\cdot (-1)}=1.\end{aligned}}}$$

しかし、コインが不公平で、表か裏が出る確率がpとq （ p ≠ q ）であることが分かっている場合、不確実性は少なくなります。コインを投げるたびに、片方の面がもう片方よりも出る可能性が高くなります。不確実性の減少は、エントロピーの低下として定量化されます。平均すると、コインを投げるたびに得られる情報は 1 ビット未満です。たとえば、p = 0.7 の場合、 $${\displaystyle {\begin{aligned}\mathrm {H} (X)&=-p\log _{2}(p)-q\log _{2}(q)\\&=-0.7\log _{2}(0.7)-0.3\log _{2}(0.3)\\&\approx -0.7\cdot (-0.515)-0.3\cdot (-1.737)\\&=0.8816<1.\end{aligned}}}$$

一様確率は最大の不確実性、したがって最大のエントロピーをもたらす。したがって、エントロピーは一様確率に関連付けられた値からしか減少しない。極端なケースは、決して裏が出ない両面コイン、または決して表が出ない両面コインの場合である。その場合、不確実性は存在しない。エントロピーはゼロである。コインを投げるたびに新しい情報が得られない。なぜなら、コインを投げるたびに結果が常に確定しているからである。^{[10] : 14–15}

−Σ p _i log( p _i )の意味を理解するために、まず確率p _iのイベントiに関して情報関数Iを定義する。イベントiの観測によって得られる情報量は、シャノンの情報の基本的性質の解から導かれる：^[12]

1. I( p )はpについて単調に減少します。つまり、イベントの確率が増加すると、観測されるイベントからの情報は減少し、逆もまた同様です。
2. I(1) = 0 : 常に発生するイベントは情報を伝達しません。
3. I( p ₁ · p ₂ ) = I( p ₁ ) + I( p ₂ ) :独立したイベントから学習された情報は、各イベントから学習された情報の合計です。

2 つの独立したイベントがある場合、最初のイベントがn 個の 等確率の結果のうちの 1 つをもたらし、別のイベントがm 個の等確率の結果のうちの 1 つをもたらす場合、結合イベントにはmn 個の等確率の結果が存在します。つまり、最初の値をエンコードするのにlog ₂ ( n )ビットが必要で、 2 番目の値をエンコードするのにlog ₂ ( m )ビットが必要な場合、両方をエンコードするにはlog ₂ ( mn ) = log ₂ ( m ) + log ₂ ( n )が必要です。

シャノンは、の適切な選択は次のように与えられることを発見した。^[13]${\displaystyle \operatorname {I} }$ $${\displaystyle \operatorname {I} (p)=\log \left({\tfrac {1}{p}}\right)=-\log(p).}$$

実際、 の可能な値はの場合のみです。さらに、 kの値を選択することはの値を選択することと同じであり、x は対数 の底に対応します。したがって、エントロピーは上記の 4 つの特性によって 特徴付けられます。${\displaystyle \operatorname {I} }$${\displaystyle \operatorname {I} (u)=k\log u}$${\displaystyle k<0}$${\displaystyle x>1}$${\displaystyle k=-1/\log x}$

さまざまな情報単位( 2 進対数log ₂の場合はbits、自然対数lnの場合はnats、10 進対数log ₁₀の場合はbansなど) は、互いに定数倍です。たとえば、公平なコイン投げの場合、表が出ればlog ₂ (2) = 1ビットの情報が得られ、これは約 0.693 nats または 0.301 10 進桁です。加法性のため、n回コインを投げるとnビットの情報が得られ、これは約0.693 n nats または0.301 n 10 進桁 です。

観測されたイベントの意味(メッセージの意味)は、エントロピーの定義では重要ではありません。エントロピーは特定のイベントを観測する確率のみを考慮するため、エントロピーに含まれる情報は、基礎となる確率分布に関する情報であり、イベント自体の意味ではありません。

エントロピーの別の特徴付けでは、次の特性を使用します。p _i = Pr( X = x _i )およびΗ _n ( p ₁ , ..., p _n ) = Η( X )と表記します。

1. 連続性: H は連続的である必要があるため、確率の値をわずかに変更しても、エントロピーはわずかにしか変化しません。
2. 対称性:結果x _{i の}順序が変わってもH は変化しません。つまり、の任意の順列に対してです。${\displaystyle \mathrm {H} _{n}\left(p_{1},p_{2},\ldots p_{n}\right)=\mathrm {H} _{n}\left(p_{i_{1}},p_{i_{2}},\ldots ,p_{i_{n}}\right)}$ ${\displaystyle \{i_{1},...,i_{n}\}}$${\displaystyle \{1,...,n\}}$
3. 最大値:すべての結果が等しく起こり得る場合、つまり の場合、最大値になります。${\displaystyle \mathrm {H} _{n}}$${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)}$
4. 結果の数の増加：等確率のイベントの場合、エントロピーは結果の数とともに増加するはずである。つまり、${\displaystyle \mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.}$
5. 加法性: 均一に分布したn 個の要素の集合が、それぞれb ₁、...、b _k個の要素を持つk個のボックス (サブシステム)に分割されている場合、集合全体のエントロピーは、ボックスのシステムのエントロピーと、各ボックスに含まれる確率で重み付けされた各ボックスの個々のエントロピーの合計に等しくなります。

加法性の法則は次のような結果をもたらす。b ₁ + ... + b _k = nとなる正の整数 b _iに対して、

${\displaystyle \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)=\mathrm {H} _{k}\left({\frac {b_{1}}{n}},\ldots ,{\frac {b_{k}}{n}}\right)+\sum _{i=1}^{k}{\frac {b_{i}}{n}}\,\mathrm {H} _{b_{i}}\left({\frac {1}{b_{i}}},\ldots ,{\frac {1}{b_{i}}}\right).}$

k = n、b ₁ = ... = b _n = 1を選択すると、特定の結果のエントロピーはゼロになります: Η ₁ (1) = 0 。これは、 n 個のシンボルを持つソースセットの効率が、そのn元エントロピーに等しいと単純に定義できることを意味します。冗長性 (情報理論)も参照してください。

ここでの特徴付けは、集合 の分割に関して加法的な性質を課します。一方、条件付き確率は乗法的な性質 によって定義されます。対数がこれら 2 つの操作を仲介することに注目してください。条件付きエントロピーと関連量は、順に単純な関係を継承します。前のセクションの測度論的定義では、エントロピーを極値分割の期待される驚きの合計として定義しました。ここで、対数はアドホックであり、エントロピー自体は測度ではありません。少なくともバイナリ文字列の情報理論では、は実用的な解釈に適しています。 ${\displaystyle P(A\mid B)\cdot P(B)=P(A\cap B)}$${\displaystyle \mu (A)\cdot \ln \mu (A)}$${\displaystyle \log _{2}}$

このような関係に動機づけられて、関連した競合する量が大量に定義されてきた。たとえば、デイビッド・エラーマンの「分割の論理」の分析では、全体集合の部分集合の構造と双対となる競合する尺度を定義している。 ^{[14]情報は分割の尺度である「ディット」（区別）として定量化される。「ディット」は}シャノンのビットに変換でき、条件付きエントロピーなどの式を得ることができる。

シャノンエントロピーのもう一つの簡潔な公理的特徴付けは、アチェル、フォルテ、ン^[15]によって以下の性質を通じて与えられた。

1. 劣加法性: 共分布するランダム変数の場合。${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$${\displaystyle X,Y}$
2. 加法性: ランダム変数が独立している場合。${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X)+\mathrm {H} (Y)}$${\displaystyle X,Y}$
3. 拡張可能性: つまり、確率 0 の結果を追加してもエントロピーは変化しません。${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$
4. 対称性:は の順列に対して不変です。${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$${\displaystyle p_{1},\ldots ,p_{n}}$
5. 確率が小さい場合は小さい: 。${\displaystyle \lim _{q\to 0^{+}}\mathrm {H} _{2}(1-q,q)=0}$

上記の特性を満たす関数は、非負の定数を持つシャノンエントロピーの定数倍でなければならないことが示された。^[15]前述のエントロピーの特徴付けと比較して、この特徴付けは、確率ベクトルの関数としてのエントロピーの特性ではなく、ランダム変数の関数としてのエントロピーの特性（劣加法性と加法性）に焦点を当てています。 ${\displaystyle \mathrm {H} }$${\displaystyle p_{1},\ldots ,p_{n}}$

「小さな確率に対しては小さい」という性質を捨てれば、シャノンエントロピーとハートレーエントロピーの非負線形結合になる必要があることは注目に値する。^[15]${\displaystyle \mathrm {H} }$

シャノンエントロピーは以下の特性を満たしており、そのうちのいくつかについては、エントロピーをランダム変数Xの値を明らかにすることによって得られる（または排除される）情報の期待量として解釈すると有用である。

• 確率ゼロのイベントを追加または削除しても、エントロピーには影響しません。

${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$。

• n つの異なる結果を伴うイベントの最大エントロピーはlog _b ( n )です。これは均一な確率分布によって達成されます。つまり、起こり得るすべてのイベントが等確率であるときに不確実性が最大になります。

${\displaystyle \mathrm {H} (p_{1},\dots ,p_{n})\leq \log _{b}n}$. ^{[10] : 29}

• ( X , Y )を評価することによって（つまり、XとY を同時に評価することによって）明らかになるエントロピーまたは情報量は、 2 つの連続した実験を行うことによって明らかになる情報に等しい。つまり、最初にYの値を評価し、次にYの値がわかっている場合にXの値を明らかにする。これは次のように記述できる。^{[10] : 16}

${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X|Y)+\mathrm {H} (Y)=\mathrm {H} (Y|X)+\mathrm {H} (X).}$

• が関数である場合、 となる。前の式を に適用すると、${\displaystyle Y=f(X)}$${\displaystyle f}$${\displaystyle \mathrm {H} (f(X)|X)=0}$${\displaystyle \mathrm {H} (X,f(X))}$

${\displaystyle \mathrm {H} (X)+\mathrm {H} (f(X)|X)=\mathrm {H} (f(X))+\mathrm {H} (X|f(X)),}$

したがって、変数のエントロピーは、変数が関数に渡された場合にのみ減少します。${\displaystyle \mathrm {H} (f(X))\leq \mathrm {H} (X)}$

• XとY が2 つの独立したランダム変数である場合、 Yの値を知っていても、Xの値に関する知識には影響しません(2 つは独立しているため、互いに影響を及ぼさないため)。

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X).}$

• より一般的には、任意の確率変数XとYに対して、

${\displaystyle \mathrm {H} (X|Y)\leq \mathrm {H} (X)}$. ^{[10] : 29}

• 2つの同時発生のエントロピーは、各個別イベントのエントロピーの合計、すなわち に等しくなる。2つのイベントが独立している場合に限り、等しい。^{[10] : 28}${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$
• エントロピーは確率質量関数において凹である、すなわち^{[10] ：30}${\displaystyle \mathrm {H} (p)}$${\displaystyle p}$

${\displaystyle \mathrm {H} (\lambda p_{1}+(1-\lambda )p_{2})\geq \lambda \mathrm {H} (p_{1})+(1-\lambda )\mathrm {H} (p_{2})}$

すべての確率質量関数とに対して。^{[10] : 32}${\displaystyle p_{1},p_{2}}$${\displaystyle 0\leq \lambda \leq 1}$

• したがって、負のエントロピー（negentropy）関数は凸であり、その凸共役はLogSumExpです。

情報理論でエントロピーという言葉を採用するきっかけとなったのは、シャノンの公式と統計力学のよく知られた公式との類似性でした。

統計熱力学において、熱力学系の熱力学的エントロピー Sの最も一般的な式はギブスエントロピーである。

${\displaystyle S=-k_{\text{B}}\sum p_{i}\ln p_{i}\,,}$

ここでk _Bはボルツマン定数、p _{i は}ミクロ状態の確率である。ギブスエントロピーは、ボルツマン（1872）の研究に続いて1878年にJ.ウィラードギブスによって定義された。 ^[16]

ギブスエントロピーは量子物理学の世界にほぼそのまま翻訳され、1927 年に ジョン・フォン・ノイマンによって導入されたフォン・ノイマンエントロピーになります。

${\displaystyle S=-k_{\text{B}}\,{\rm {Tr}}(\rho \ln \rho )\,,}$

ここでρは量子力学系の密度行列であり、Trはトレースである。^[17]

日常の実際的なレベルでは、情報エントロピーと熱力学的エントロピーの関係は明らかではありません。物理学者や化学者は、不変の確率分布よりも、熱力学の第二法則に従ってシステムが初期条件から自発的に進化するときに生じるエントロピーの変化に興味を持つ傾向があります。ボルツマン定数k _Bの微小さが示すように、化学プロセスや物理プロセスにおける物質の微量であっても、S / k _Bの変化は、データ圧縮や信号処理におけるものと比べて極めて大きなエントロピー量を表します。古典的な熱力学では、エントロピーはマクロ的な測定値で定義され、情報エントロピーの定義の中心となる確率分布には言及していません。

熱力学と現在情報理論として知られているものとの関係は、ルートヴィヒ・ボルツマンによって初めて確立され、彼の方程式によって表現されました。

${\displaystyle S=k_{\text{B}}\ln W,}$

ここで、は特定のマクロ状態の熱力学的エントロピー（温度、体積、エネルギーなどの熱力学的パラメータによって定義される）、W は特定のマクロ状態を生み出すことができるミクロ状態（さまざまなエネルギー状態の粒子のさまざまな組み合わせ）の数、k _{B は}ボルツマン定数です。^[18]各ミクロ状態は等しく発生する可能性があると想定されているため、特定のミクロ状態の確率はp _i = 1/ Wです。これらの確率を上記のギブスエントロピー（または同等のk _Bとシャノンエントロピーの積）の式に代入すると、ボルツマン方程式が得られます。情報理論の用語では、システムの情報エントロピーは、マクロ状態が与えられた場合にミクロ状態を決定するために必要な「失われた」情報の量です。 ${\displaystyle S}$

ジェインズ(1957)の見解では、 ^[19]統計力学によって説明される熱力学的エントロピーは、シャノンの情報理論の応用として捉えるべきである。つまり、熱力学的エントロピーは、古典的熱力学の巨視的変数のみによる記述では伝えられない、システムの詳細な微視的状態を定義するために必要なさらなるシャノン情報の量に比例すると解釈され、比例定数はボルツマン定数にすぎない。システムに熱を加えると、そのマクロ変数の測定可能な値と一致するシステムの可能な微視的状態の数が増加するため、熱力学的エントロピーが増加し、完全な状態記述が長くなる。(記事「最大エントロピー熱力学」を参照)。マクスウェルの悪魔は、個々の分子の状態に関する情報を使用して、システムの熱力学的エントロピーを (仮説的に) 削減できる。しかし、ランダウアー（1961年）と同僚^[20]が示したように、悪魔が機能するためには、その過程で少なくとも彼が最初に獲得して保存することを提案しているシャノン情報の量だけ熱力学的エントロピーを増加させる必要がある。したがって、熱力学的エントロピーの合計は減少しない（これによりパラドックスが解決される）。ランダウアーの原理は、コンピュータが一定量の情報を処理するために生成しなければならない熱量に下限を課しているが、現代のコンピュータははるかに効率が悪い。

シャノンのエントロピーの定義を情報源に適用すると、その情報源を符号化された2進数として確実に送信するために必要な最小チャネル容量を決定できます。シャノンのエントロピーは、メッセージに含まれる情報を測定するものであり、決定されている（または予測できる）メッセージの部分ではありません。後者の例には、言語構造の冗長性や、文字や単語のペア、トリプレットなどの出現頻度に関する統計的特性があります。最小チャネル容量は、理論上は典型的セットを使用して実現できますが、実際にはハフマン符号化、レンペル・ジフ符号化、または算術符号化を使用します。（コルモゴロフ複雑度も参照してください。）実際には、圧縮アルゴリズムには、エラーを防ぐために、チェックサムの形で慎重に冗長性が意図的に含まれています。データソースのエントロピー率は、それを符号化するために必要なシンボルあたりの平均ビット数です。人間の予測者によるシャノンの実験では、英語では1文字あたり0.6〜1.3ビットの情報率を示しています。^[21] PPM圧縮アルゴリズムは英語テキストで1文字あたり1.5ビットの圧縮率を達成できる。

圧縮方式が可逆である場合、つまり解凍によって元のメッセージ全体を常に復元できる場合、圧縮されたメッセージは元のメッセージと同じ情報量を持ちますが、通信する文字数は少なくなります。文字あたりの情報量が多くなります (エントロピーが高くなります)。圧縮されたメッセージは冗長性が低くなります。シャノンの情報源符号化定理によれば、可逆圧縮方式では、平均して、メッセージ 1 ビットあたり 1 ビットを超える情報を持つようにメッセージを圧縮することはできないが、適切な符号化方式を採用することで、メッセージ 1 ビットあたり 1 ビット未満の情報であればどのような値でも実現できます。メッセージのビットあたりのエントロピーにそのメッセージの長さを掛けたものが、メッセージに含まれる総情報量の尺度となります。シャノンの定理は、すべてのメッセージを短くできる可逆圧縮方式はないことも意味します。鳩の巣原理によ​​り、一部のメッセージが短くなった場合、少なくとも 1 つのメッセージが長くなります。実際の使用においては、これは通常問題にはなりません。なぜなら、意味不明なテキストではなく英語の文書や、ノイズではなくデジタル写真など、特定の種類のメッセージを圧縮することだけが目的であり、圧縮アルゴリズムによって、ありそうもないシーケンスや興味のないシーケンスが大きくなっても、それは重要ではないからです。

2011年にサイエンス誌に掲載された研究では、2007年に利用可能な最も効果的な圧縮アルゴリズムに基づいて標準化された最適に圧縮された情報を保存および通信する世界の技術的能力を推定し、技術的に利用可能な情報源のエントロピーを推定しています。^{[22] : 60–65}

著者らは、1986年と2007年に人類が情報（完全にエントロピー圧縮された）を保存する技術的能力を推定している。彼らは情報を、媒体に情報を保存すること、一方向の放送ネットワークを介して情報を受信すること、双方向の通信ネットワークを介して情報を交換することの3つのカテゴリーに分類している。^[22]

エントロピーは生物多様性を測定するいくつかの方法の1つであり、シャノン指数の形で適用されます。^{[23]多様性指数は、生態学的}豊かさ、均等性、優位性を考慮して、データセット内に存在する異なるタイプの数（コミュニティ内の種など）を定量的に統計的に測定したものです。具体的には、シャノンエントロピーは^1Dの対数であり、パラメーターが1に等しい真の多様性指数です。シャノン指数は、タイプの相対的な存在量に関連しています。

シーケンスまたはメッセージの情報内容を数学的に定量化するエントロピー関連の概念は数多くあります。

• 与えられた確率分布から得られた個々のメッセージまたはシンボルの自己情報（個々のイベントとして見られるメッセージまたはシーケンス）、
• メッセージまたはシーケンス（一連のイベントとして見られる）を形成するシンボルの結合エントロピー、
• 確率過程のエントロピー率（メッセージまたはシーケンスは一連のイベントとして見られます）。

（「自己情報率」は、特定の確率過程によって生成されるメッセージまたはシンボルの特定のシーケンスに対しても定義できます。これは、定常過程の場合、常にエントロピー率に等しくなります。）他の情報量も、異なる情報源を比較または関連付けるために使用されます。

上記の概念を混同しないことが重要です。多くの場合、どちらが意味されているかは文脈からのみ明らかです。たとえば、英語の「エントロピー」は文字あたり約 1 ビットであると誰かが言う場合、実際には英語を確率過程としてモデル化し、そのエントロピー率について話していることになります。シャノン自身もこの用語をこのように使用しました。

非常に大きなブロックを使用すると、シーケンスの確率分布が正確にはわからないため、文字あたりのエントロピー率の推定値が不自然に低くなる可能性があります。これは推定値にすぎません。これまでに出版されたすべての本のテキストをシーケンスと見なし、各シンボルが完全な本のテキストであるとすると、出版された本がN冊あり、各本が一度だけ出版されている場合、各本の確率の推定値は1/ N、エントロピー (ビット単位) は-log ₂ (1/ N ) = log ₂ ( N )です。実用的なコードとして、これは各本に一意の識別子を割り当て、本を参照したいときはいつでも本のテキストの代わりにそれを使用することに相当します。これは本について話すときには非常に便利ですが、個々の本、または言語一般の情報内容を特徴付けるのにはあまり役立ちません。確率分布、つまりすべての本の完全なテキストを知らずに、識別子から本を再構築することはできません。重要なアイデアは、確率モデルの複雑さを考慮しなければならないということです。コルモゴロフ複雑度は、この考え方を理論的に一般化したものであって、特定の確率モデルに依存せずにシーケンスの情報内容を考慮できるもので、シーケンスを出力する汎用コンピュータの最短プログラムを考慮します。特定のモデルとコードブック (つまり確率モデル) のシーケンスのエントロピー率を達成するコードは、そのようなプログラムの 1 つですが、最短ではない可能性があります。

フィボナッチ数列は 1、1、2、3、5、8、13、... です。数列をメッセージ、各数字を記号として扱うと、メッセージ内の文字とほぼ同じ数の記号があり、エントロピーは約log ₂ ( n )になります。フィボナッチ数列の最初の 128 個の記号のエントロピーは約 7 ビット/記号ですが、数列は式 [ F( n ) = F( n −1) + F( n −2) ( n = 3、4、5、...、F(1) =1、F(2) = 1 )] を使用して表すことができ、この式はエントロピーがはるかに低く、任意の長さのフィボナッチ数列に適用されます。

暗号解読では、エントロピーは暗号鍵の予測不可能性を表す尺度として大まかに使われることが多いが、その実際の不確実性は測定できない。例えば、均一かつランダムに生成された128ビットの鍵には128ビットのエントロピーがある。また、ブルートフォース攻撃で解読するには（平均して）推測回数が必要である。エントロピーは、可能性のある鍵が均一に選択されていない場合に必要な推測回数を捉えることができない。^{[24] [25]代わりに、}推測と呼ばれる尺度を使用してブルートフォース攻撃に必要な労力を測定できる。^[26]${\displaystyle 2^{127}}$

暗号化で使用される不均一な分布から、他の問題が発生する場合があります。たとえば、排他的論理和を使用する 1,000,000 桁のバイナリワンタイム パッドです。パッドに 1,000,000 ビットのエントロピーがある場合、これは完璧です。パッドに 999,999 ビットのエントロピーがあり、均等に分散されている場合 (パッドの各ビットのエントロピーは 0.999999 ビット)、優れたセキュリティが提供される場合があります。ただし、パッドに 999,999 ビットのエントロピーがあり、最初のビットが固定され、残りの 999,999 ビットが完全にランダムである場合、暗号文の最初のビットはまったく暗号化されません。

テキストのエントロピーを定義する一般的な方法は、テキストのマルコフ モデルに基づいています。順序 0 のソース (各文字は最後の文字とは独立して選択されます) の場合、バイナリ エントロピーは次のようになります。

${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum p_{i}\log p_{i},}$

ここで、p _{i は}iの確率です。1次マルコフ情報源（文字を選択する確率が直前の文字のみに依存する情報源）の場合、エントロピー率は次のようになります。

${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}\ p_{i}(j)\log p_{i}(j),}$ ^[要出典]

ここで、i は状態(特定の先行文字)であり、 i が前の文字で ある場合にjが出現する確率です。${\displaystyle p_{i}(j)}$

2次のマルコフ情報源の場合、エントロピー率は

${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\sum _{k}p_{i,j}(k)\ \log \ p_{i,j}(k).}$

非一様分布のソースセットは、一様分布の同じセット（つまり「最適化されたアルファベット」）よりもエントロピーが低くなります。このエントロピーの不足は、効率と呼ばれる比率で表すことができます。 ^[27]${\displaystyle {\mathcal {X}}}$

${\displaystyle \eta (X)={\frac {H}{H_{max}}}=-\sum _{i=1}^{n}{\frac {p(x_{i})\log _{b}(p(x_{i}))}{\log _{b}(n)}}.}$

対数の基本的な性質を適用すると、この量は次のように表現することもできます。

${\displaystyle \eta (X)=-\sum _{i=1}^{n}{\frac {p(x_{i})\log _{b}(p(x_{i}))}{\log _{b}(n)}}=\sum _{i=1}^{n}{\frac {\log _{b}(p(x_{i})^{-p(x_{i})})}{\log _{b}(n)}}=\sum _{i=1}^{n}\log _{n}(p(x_{i})^{-p(x_{i})})=\log _{n}(\prod _{i=1}^{n}p(x_{i})^{-p(x_{i})}).}$

効率は、通信チャネルの有効利用を定量化する際に有用である。この定式化は、エントロピーを最大エントロピーで割ったものであるため、正規化エントロピーとも呼ばれる。さらに、効率は（正の）底bの選択には無関係であり、これは上記の最終対数内での無感応性によって示される。 ${\displaystyle {\log _{b}(n)}}$

シャノンエントロピーは離散値をとるランダム変数に限定される。実数直線上の有限または無限の台を持つ確率密度関数 f ( x )を持つ連続ランダム変数の対応する式は、上記のエントロピーの形式を期待値として使用して類推によって定義される：^{[10] ：224}${\displaystyle \mathbb {X} }$

${\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log f(X)]=-\int _{\mathbb {X} }f(x)\log f(x)\,\mathrm {d} x.}$

これは微分エントロピー（または連続エントロピー）です。連続エントロピーh [ f ]の前身は、ボルツマンのH定理における関数Ηの表現です。

両方の関数の類似性は示唆に富んでいますが、次のような疑問が生じます。微分エントロピーは、シャノン離散エントロピーの有効な拡張でしょうか? 微分エントロピーには、シャノン離散エントロピーが持ついくつかの特性 (負の値になる可能性さえあります) が欠けており、離散点の密度を制限するなどの修正が提案されています。

この質問に答えるには、2 つの機能間の接続を確立する必要があります。

ビンのサイズがゼロに近づくにつれて、一般的に有限の尺度を取得します。離散的なケースでは、ビンのサイズは、確率がp _nで示されるn 個の（有限または無限の）ビンのそれぞれの（暗黙の）幅です。連続ドメインが一般化されると、幅を明示的にする必要があります。

これを行うには、連続関数f をサイズ のビンに離散分割することから始めます。平均値定理により、各ビンに 値x _{i が}存在し、 関数fの積分は(リーマンの意味で) で近似できます。 この制限と「ビンのサイズがゼロになる」ことは同等です。 ${\displaystyle \Delta }$$${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\,dx}$$$${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=\lim _{\Delta \to 0}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta ,}$$

と表記し 、対数展開すると、 $${\displaystyle \mathrm {H} ^{\Delta }:=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log \left(f(x_{i})\Delta \right)}$$$${\displaystyle \mathrm {H} ^{\Delta }=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(\Delta ).}$$

Δ → 0 のとき、

${\displaystyle {\begin{aligned}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta &\to \int _{-\infty }^{\infty }f(x)\,dx=1\\\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))&\to \int _{-\infty }^{\infty }f(x)\log f(x)\,dx.\end{aligned}}}$

注意：Δ → 0としてlog(Δ) → −∞となるには、微分エントロピーまたは連続エントロピーの特別な定義が必要です。

${\displaystyle h[f]=\lim _{\Delta \to 0}\left(\mathrm {H} ^{\Delta }+\log \Delta \right)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx,}$

これは、前述のように、微分エントロピーと呼ばれます。これは、微分エントロピーがn → ∞のシャノンエントロピーの限界ではないことを意味します。むしろ、シャノンエントロピーの限界とは無限のオフセットで異なります（情報次元に関する記事も参照）。

その結果、シャノン エントロピーとは異なり、微分エントロピーは一般に不確実性や情報の適切な尺度ではないことが判明しました。たとえば、微分エントロピーは負になる可能性があり、連続座標変換に対して不変ではありません。この問題は、xが次元付き変数である場合の単位の変更によって説明できます。この場合、 f ( x )の単位は1/ xになります。対数の引数は無次元である必要があります。そうでない場合は不適切であるため、上記の微分エントロピーは不適切になります。Δがxの「標準」値(つまり「ビン サイズ」) であり、したがって同じ単位である場合、修正された微分エントロピーは次のように適切な形式で記述できます。

$${\displaystyle \mathrm {H} =\int _{-\infty }^{\infty }f(x)\log(f(x)\,\Delta )\,dx,}$$

そして、 xの単位をどのような選択にしても結果は同じになります。実際、離散エントロピーの極限には の項も含まれ、これは一般に無限大になります。これは予想どおりです。連続変数は離散化されると通常無限のエントロピーを持ちます。離散点の極限密度は、実際には、分布がその量子化スキームにわたって均一な分布よりもどれだけ簡単に記述できるかを示す尺度です。 ${\displaystyle N\rightarrow \infty }$${\displaystyle \log(N)}$

離散的および連続的な場合に同様に機能する、もう 1 つの有用なエントロピーの尺度は、分布の相対エントロピーです。これは、分布から参照測度mへのKullback-Leibler ダイバージェンスとして次のように定義されます。確率分布p が測度mに関して絶対連続であると仮定します。つまり、 m積分可能で負でない関数fに対してp ( dx ) = f ( x ) m ( dx )の形式をとり、m積分値が 1であると仮定すると、相対エントロピーは次のように定義されます。

${\displaystyle D_{\mathrm {KL} }(p\|m)=\int \log(f(x))p(dx)=\int f(x)\log(f(x))m(dx).}$

この形式では、相対エントロピーは、離散エントロピー（測度mは計数測度）と微分エントロピー（測度mはルベーグ測度）の両方を（符号の変更を除いて）一般化します。測度m自体が確率分布である場合、相対エントロピーは非負であり、測度としてp = mの場合はゼロです。これは任意の測度空間に対して定義されるため、測度mの変換を適切に考慮すれば、座標に依存せず、座標の再パラメータ化に対して不変です。相対エントロピー、および（暗黙的に）エントロピーと微分エントロピーは、「基準」測度mに依存します。

テレンス・タオは、エントロピーを利用して、エルデシュの矛盾問題を解決するための有用な関係を作った。^{[28] [29]}

直感的には、証明の背後にある考え方は、連続するランダム変数（ここで、ランダム変数はリウヴィル関数（素数の分布を調べるのに役立つ数学関数）を使用して定義される） 間のシャノンエントロピーに関する情報量が少ない場合、 X _H = というものでした。また、区間 [n, n+H] では、その区間の合計が任意に大きくなる可能性があります。たとえば、一連の +1（X _H'が取り得る値）はエントロピーが非常に低く、その合計は大きくなります。しかし、重要な洞察は、H を拡大するとエントロピーが無視できないほど減少し、その結果、このランダム変数上の数学的オブジェクトが無制限に増加することを示すことは、エルデシュの矛盾問題に従って無制限に増加することを示すことと同等であるということです。 ${\displaystyle \lambda (n+H)}$

証明は非常に複雑で、シャノンエントロピーの新しい使用法だけでなく、リウヴィル関数と短い間隔での変調乗法関数の平均の使用においても画期的な進歩をもたらしました。これを証明することで、この特定の問題に対する 「パリティ障壁」も破られました。

証明におけるシャノンエントロピーの使用は斬新ですが、この方向への新たな研究のきっかけとなる可能性があります。

エントロピーは組合せ論において有用な量となっている。

この簡単な例として、ルーミス・ホイットニー不等式の別の証明がある。任意の部分集合^A⊆Zdに対して、

${\displaystyle |A|^{d-1}\leq \prod _{i=1}^{d}|P_{i}(A)|}$

ここで、P _{i は}i番目の座標における直交投影です。

${\displaystyle P_{i}(A)=\{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{d}):(x_{1},\ldots ,x_{d})\in A\}.}$

証明はシアラーの不等式の単純な系として続く。X 1 , ..., X _{d が}ランダム変数であり、S ₁ , ..., S _nが{1, ..., _d }の部分集合であり、1からdまでのすべての整数がこれらの部分集合のちょうどrに含まれる場合、

${\displaystyle \mathrm {H} [(X_{1},\ldots ,X_{d})]\leq {\frac {1}{r}}\sum _{i=1}^{n}\mathrm {H} [(X_{j})_{j\in S_{i}}]}$

ここで、はS _i内のインデックスjを持つランダム変数X _jの直積です (したがって、このベクトルの次元はS _iのサイズに等しくなります)。 ${\displaystyle (X_{j})_{j\in S_{i}}}$

ここから Loomis–Whitney がどのように導かれるかを概説します。実際、X をAと A内の値を持つ一様分布のランダム変数とし、 A内の各点が等しい確率で発生するようにします。すると (上記のエントロピーのさらなる特性により) Η( X ) = log| A |となり、ここで| A | はAの濃度を表します。S _i = {1, 2, ..., i −1, i +1, ..., d } とします。 の範囲はP _i ( A )に含まれるため となります。次にこれを使用して Shearer の不等式の右辺を境界付けし、結果として得られる不等式の反対辺を累乗します。 ${\displaystyle (X_{j})_{j\in S_{i}}}$${\displaystyle \mathrm {H} [(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|}$

0 < k < nの整数に対してq = k / nとします。すると

${\displaystyle {\frac {2^{n\mathrm {H} (q)}}{n+1}}\leq {\tbinom {n}{k}}\leq 2^{n\mathrm {H} (q)},}$

どこ

${\displaystyle \mathrm {H} (q)=-q\log _{2}(q)-(1-q)\log _{2}(1-q).}$^{[30] : 43}

これをうまく解釈すると、長さnのバイナリ文字列のうち、ちょうどk個の1を持つものの数はおよそである、ということになる。^[31]${\displaystyle 2^{n\mathrm {H} (k/n)}}$

機械学習の技術は、主に統計学と情報理論から生まれています。一般的に、エントロピーは不確実性の尺度であり、機械学習の目的は不確実性を最小限に抑えることです。

決定木学習アルゴリズムは、相対エントロピーを使用して、各ノードのデータに適用される決定ルールを決定します。^[32]決定木における情報ゲインは 、のエントロピーと与えられた の条件付きエントロピーの差に等しく、属性の値をさらに知ることで得られる期待情報、つまりエントロピーの減少を定量化します。情報ゲインは、データセットのどの属性が最も多くの情報を提供するかを特定し、ツリーのノードを最適に分割するために使用する必要があるかを識別するために使用されます。 ${\displaystyle IG(Y,X)}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$

ベイズ推論モデルでは、事前確率分布を得るために最大エントロピーの原理がよく適用されます。^[33]この考え方は、システムの現在の知識状態を最もよく表す分布は最大のエントロピーを持つ分布であり、したがって事前分布として適しているというものです。

ロジスティック回帰や人工ニューラルネットワークによる機械学習の分類では、多くの場合、クロスエントロピー損失と呼ばれる標準的な損失関数が採用され、これは真実分布と予測分布間の平均クロスエントロピーを最小化します。^[34]一般に、クロスエントロピーは、KLダイバージェンス（相対エントロピーとも呼ばれる）に似た2つのデータセット間の差の尺度です。

この記事には、Creative Commons Attribution/Share-Alike Licenseに基づいてライセンスされているPlanetMathの Shannon のエントロピーの資料が組み込まれています。

• Cover, TM、Thomas, JA (2006)、Elements of Information Theory – 2nd Ed.、Wiley-Interscience、ISBN 978-0-471-24195-9 
• MacKay, DJC (2003)、情報理論、推論、学習アルゴリズム、ケンブリッジ大学出版局、ISBN 978-0-521-64298-9 
• Arndt, C. (2004)、情報測定：科学と工学における情報とその記述、Springer、ISBN 978-3-540-40855-0 
• Gray, RM (2011)、「エントロピーと情報理論」、Springer。
• マーティン、ナサニエル FG; イングランド、ジェームズ W. (2011)。エントロピーの数学的理論。ケンブリッジ大学出版局。ISBN 978-0-521-17738-2。
• シャノン, CE、ウィーバー, W. ( 1949)コミュニケーションの数学的理論、イリノイ大学出版局。ISBN 0-252-72548-4 
• Stone, JV (2014)、 「情報理論：チュートリアル入門」第1章、Wayback Machineで2016年6月3日にアーカイブ、シェフィールド大学、イギリス。ISBN 978-0956372857。 

• 「エントロピー」、数学百科事典、EMS Press、2001 [1994]
• 「エントロピー」は、2016 年 6 月 4 日に、Rosetta CodeのWayback Machineにアーカイブされました。Rosetta Codeは、さまざまなプログラミング言語での Shannon エントロピーの実装のリポジトリです。
• エントロピー 2016 年 5 月 31 日にWayback Machineにアーカイブされました。エントロピー概念のあらゆる側面を扱う学際的なジャーナルです。オープン アクセス。