情報コンテンツ

情報理論において、情報量、自己情報量、驚き情報量、またはシャノン情報量は、ランダム変数から特定のイベントが発生する確率から導き出される基本量です。これは、オッズや対数オッズと同様に、確率を表現する別の方法と考えることができますが、情報理論の設定では特に数学的な利点があります。

シャノン情報は、特定の結果の「驚き」のレベルを定量化するものとして解釈できます。これは非常に基本的な量であるため、ランダム変数の最適なソース コーディングを前提としてイベントを送信するために必要なメッセージの長さなど、他のいくつかの設定にも表示されます。

シャノン情報量はエントロピーと密接に関係しており、エントロピーはランダム変数の自己情報の期待値であり、ランダム変数が「平均して」どれだけ驚くべきものであるかを定量化します。これは、観測者がランダム変数を測定する際に得ると期待する自己情報量の平均です。^[1]

情報の内容はさまざまな情報単位で表現できますが、最も一般的なのは以下で説明する「ビット」（正式にはシャノンと呼ばれます）です。

「困惑」という用語は、一連の将来のイベントに内在する不確実性を定量化するために言語モデルで使用されてきました。

クロード・シャノンの自己情報の定義は、いくつかの公理を満たすように選択されました。

1. 確率が 100% のイベントはまったく驚くべきことではなく、何の情報も得られません。
2. 出来事が起こる可能性が低いほど、その出来事はより驚くべきものであり、より多くの情報をもたらします。
3. 2 つの独立したイベントが別々に測定された場合、情報の総量は個々のイベントの自己情報の合計になります。

詳細な導出は以下で説明しますが、乗法的なスケーリング係数まで、これら 3 つの公理を満たす唯一の確率関数が存在することが示されます。大まかに言えば、実数と確率のイベントが与えられた場合、情報コンテンツは次のように定義されます。 ${\displaystyle b>1}$ ${\displaystyle x}$ ${\displaystyle P}$$${\displaystyle \mathrm {I} (x):=-\log _{b}{\left[\Pr {\left(x\right)}\right]}=-\log _{b}{\left(P\right)}.}$$

基数b は上記のスケーリング係数に対応します。bの異なる選択は、異なる情報単位に対応します。b = 2の場合、単位はシャノン(記号 Sh) で、しばしば「ビット」と呼ばれます。b = eの場合、単位は自然情報単位(記号 nat) です。b = 10の場合、単位はハートレー(記号 Hart) です。

正式には、確率質量関数を持つ離散確率変数が与えられた場合、結果としての測定の自己情報は次のように定義される^[2]${\displaystyle X}$ ${\displaystyle p_{X}{\left(x\right)}}$${\displaystyle X}$ ${\displaystyle x}$ $${\displaystyle \operatorname {I} _{X}(x):=-\log {\left[p_{X}{\left(x\right)}\right]}=\log {\left({\frac {1}{p_{X}{\left(x\right)}}}\right)}.}$$

上記の自己情報量の表記法は普遍的ではありません。この表記法は関連する相互情報量にもよく使用されるため、多くの著者はエントロピーに大文字を使用するのと同様に、自己エントロピーにも小文字を使用します。 ${\displaystyle I_{X}(x)}$${\displaystyle I(X;Y)}$${\displaystyle h_{X}(x)}$${\displaystyle H(X)}$

与えられた確率空間では、より稀なイベントの測定は、より一般的な値よりも直感的に「驚くべき」ものであり、より多くの情報コンテンツをもたらします。したがって、自己情報は確率の厳密に減少する単調関数であり、時には「反調」関数とも呼ばれます。

標準確率は区間 の実数で表されますが、自己情報量は区間 の拡張実数で表されます。特に、対数の底を任意に選択した場合、次の式が成り立ちます。 ${\displaystyle [0,1]}$${\displaystyle [0,\infty ]}$

• 特定のイベントの発生確率が 100% の場合、その自己情報とは、その発生が「まったく驚くべきことではない」ことを意味し、何の情報も生成しません。${\displaystyle -\log(1)=0}$
• 特定のイベントの発生確率が 0% の場合、その自己情報は次のようになります。つまり、その発生は「無限に驚くべき」ものです。${\displaystyle -\log(0)=\infty }$

このことから、いくつかの一般的な特性が得られます。

• 直感的に、予期しない出来事を観察することでより多くの情報が得られます。それは「驚くべき」ことです。
  • たとえば、アリスが宝くじに当たる確率が 100 万分の 1 である場合、アリスの友人ボブは、アリスがその日に宝くじに当たったことを知ることで、彼女が外れたことを知ることよりも大幅に多くの情報を得ることができます。(宝くじの数学も参照してください。)
• これにより、ランダム変数の自己情報とその分散の間に暗黙的な関係が確立されます。

シャノン情報は、対数オッズと密接に関係しています。特に、あるイベント が与えられたとき、が発生する確率、 が発生しない確率であるとします。この場合、対数オッズは次のように定義されます。 ${\displaystyle x}$${\displaystyle p(x)}$${\displaystyle x}$${\displaystyle p(\lnot x)=1-p(x)}$${\displaystyle x}$$${\displaystyle {\text{log-odds}}(x)=\log \left({\frac {p(x)}{p(\lnot x)}}\right)}$$

これは、2 つのシャノン情報の差として表現できます。 $${\displaystyle {\text{log-odds}}(x)=\mathrm {I} (\lnot x)-\mathrm {I} (x)}$$

言い換えれば、対数オッズは、イベントが発生しなかった場合の驚きのレベルから、イベントが発生したときの驚きのレベルを引いたものとして解釈できます。

2つの独立したイベントの情報量は、各イベントの情報量の合計です。この性質は数学では加法性として知られ、特に測度論と確率論ではシグマ加法性として知られています。それぞれ確率質量関数とを持つ2つの独立したランダム変数を考えてみましょう。結合確率質量関数は ${\textstyle X,\,Y}$ ${\displaystyle p_{X}(x)}$${\displaystyle p_{Y}(y)}$

$${\displaystyle p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)}$$

と は独立しているからです。結果の情報量は、例については、以下の § 2 つの独立した、同一に分布するサイコロを 参照してください。${\textstyle X}$${\textstyle Y}$ ${\displaystyle (X,Y)=(x,y)}$$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[p_{X}}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}}$$

尤度に対応する特性は、独立したイベントの対数尤度が各イベントの対数尤度の合計であるということです。対数尤度を「サポート」または負の驚き (イベントが特定のモデルをサポートする度合い。モデルは、イベントがモデルを与えられた場合に驚くべきものでない限り、イベントによってサポートされます) と解釈すると、独立したイベントがサポートを追加することを意味します。つまり、2 つのイベントが一緒に統計的推論に提供する情報は、それらの独立した情報の合計です。

上記のランダム変数のシャノンエントロピーは、定義により、測定の期待情報量 に等しいと定義されます。^{[3] : 11  [4] : 19–20} 期待値は、そのサポート上の離散値に対して取られます。 ${\displaystyle X}$ $${\displaystyle {\begin{alignedat}{2}\mathrm {H} (X)&=\sum _{x}{-p_{X}{\left(x\right)}\log {p_{X}{\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}}$$${\displaystyle X}$

エントロピー自体はランダム変数の「自己情報」と呼ばれることもあります。これはおそらく、エントロピーが を満たすためです。ここで、 は自身との相互情報量です。 ^[5]${\displaystyle \mathrm {H} (X)=\operatorname {I} (X;X)}$${\displaystyle \operatorname {I} (X;X)}$${\displaystyle X}$

連続ランダム変数の場合、対応する概念は微分エントロピーです。

この尺度は、結果を見たときの「驚き」を表すため、意外とも呼ばれています（非常にありそうもない結果は非常に意外です）。この用語（対数確率尺度として）は、マイロン・トリバスが1961年の著書「サーモスタティックスとサーモダイナミクス」で作った造語です。^{[6] [7]}

イベントが（変数の）ランダムな実現である場合、変数の自己情報は実現の自己情報の 期待値として定義されます。

公平なコインを投げるベルヌーイ試行を考えてみましょう。コインが表と裏になる確率（公平なコインと表と裏を参照）はそれぞれ半分です。変数を表として測定すると、関連する情報ゲインは となり 、公平なコインが表になった場合の情報ゲインは 1シャノンになります。^[2]同様に、裏を測定する場合の情報ゲインは ${\displaystyle X}$${\displaystyle {\text{H}}}$${\displaystyle {\text{T}}}$${\textstyle p_{X}{({\text{H}})}=p_{X}{({\text{T}})}={\tfrac {1}{2}}=0.5}$$${\displaystyle \operatorname {I} _{X}({\text{H}})=-\log _{2}{p_{X}{({\text{H}})}}=-\log _{2}\!{\tfrac {1}{2}}=1,}$$${\displaystyle T}$$${\displaystyle \operatorname {I} _{X}(T)=-\log _{2}{p_{X}{({\text{T}})}}=-\log _{2}{\tfrac {1}{2}}=1{\text{ Sh}}.}$$

公平な 6 面サイコロ があるとします。サイコロを振ったときの値は、確率質量関数を持つ離散一様確率変数 です。4 が出る確率は、他の有効なサイコロを振ったときと同様に です。したがって、4 を振ることの情報量は です。 ${\displaystyle X\sim \mathrm {DU} [1,6]}$ $${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{6}},&k\in \{1,2,3,4,5,6\}\\0,&{\text{otherwise}}\end{cases}}}$$${\textstyle p_{X}(4)={\frac {1}{6}}}$$${\displaystyle \operatorname {I} _{X}(4)=-\log _{2}{p_{X}{(4)}}=-\log _{2}{\tfrac {1}{6}}\approx 2.585\;{\text{Sh}}}$$

2つの独立した、同一分布のランダム変数が あり、それぞれが独立した6面サイコロの振りに対応するとします。との結合分布は${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$${\displaystyle X}$${\displaystyle Y}$$${\displaystyle {\begin{aligned}p_{X,Y}\!\left(x,y\right)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&{}={\begin{cases}\displaystyle {1 \over 36},\ &x,y\in [1,6]\cap \mathbb {N} \\0&{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

ランダム変量 の情報量は、 イベントの加法性によって計算することもできる。 ${\displaystyle (X,Y)=(2,\,4)}$$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}},\end{aligned}}}$$$${\displaystyle {\begin{aligned}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\left[p_{X,Y}{(2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y}(4)\right]}\\&=2\log _{2}\!{6}\\&\approx 5.169925{\text{ Sh}}.\end{aligned}}}$$

どのサイコロがどの値だったかは知らなくても、サイコロの値に関する情報を受け取る場合、いわゆる計数変数を使用してアプローチを形式化することができ 、その場合、計数は多項分布に従う。$${\displaystyle C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}}$$${\displaystyle k\in \{1,2,3,4,5,6\}}$${\textstyle \sum _{k=1}^{6}{C_{k}}=2}$ $${\displaystyle {\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}}$$

これを検証するために、6つの結果はイベントに対応しており、合計確率は⁠${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$${\displaystyle C_{k}=2}$1/6⁠。これらは、結果が同じであるため、どのサイコロがどの結果を出したかという同一性が忠実に保存されている唯一のイベントです。他の数字を出したサイコロを区別する知識がなければ、他の組み合わせは、1つのサイコロがある数字を出し、もう1つのサイコロが異なる数字を出したことに相当し、それぞれ確率が⁠${\textstyle {\binom {6}{2}}=15}$ 1/18⁠ . 確かに、必要に応じて。 ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$

当然のことながら、両方のサイコロが同じ特定の数字として振られたことを知ることの情報量は、1 つのサイコロが 1 つの数字で、もう 1 つのサイコロが別の数字であったことを知ることの情報量よりも多くなります。 のイベントとを例に挙げます。たとえば、および です。 ${\displaystyle A_{k}=\{(X,Y)=(k,k)\}}$${\displaystyle B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}}$${\displaystyle j\neq k,1\leq j,k\leq 6}$${\displaystyle A_{2}=\{X=2{\text{ and }}Y=2\}}$${\displaystyle B_{3,4}=\{(3,4),(4,3)\}}$

情報内容は $${\displaystyle \operatorname {I} (A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{ Sh}}}$$ $${\displaystyle \operatorname {I} \left(B_{3,4}\right)=-\log _{2}\!{\tfrac {1}{18}}=4.169925{\text{ Sh}}}$$

両方のサイコロが同じ目を出すというイベントを とし、サイコロが異なる目を出すというイベントを とします。するととなります。イベントの情報内容は ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$${\displaystyle {\text{Diff}}={\overline {\text{Same}}}}$${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$$${\displaystyle \operatorname {I} ({\text{Same}})=-\log _{2}\!{\tfrac {1}{6}}=2.5849625{\text{ Sh}}}$$ $${\displaystyle \operatorname {I} ({\text{Diff}})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{ Sh}}.}$$

2つの独立したランダム変数の合計の確率質量または密度関数（まとめて確率測度）は、各確率測度の畳み込みです。独立した公平な6面サイコロのロールの場合、ランダム変数は確率質量関数 を持ち、 は離散畳み込み を表します。結果は確率 です。したがって、主張される情報は ${\displaystyle Z=X+Y}$${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \over 36}}$${\displaystyle *}$ ${\displaystyle Z=5}$${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$$${\displaystyle \operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{9}}=\log _{2}{9}\approx 3.169925{\text{ Sh}}.}$$

上記の§ 公平なサイコロ投げの例を一般化して、一般的な離散一様確率変数(DURV)を考えます。便宜上、 と定義します。確率質量関数は です。一般に、DURV の値は整数である必要はなく、情報理論の目的のために一様間隔である必要もありません。等確率 であれば十分です。^[2]あらゆる観測の情報ゲインは${\displaystyle X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.}$${\textstyle N:=b-a+1}$$${\displaystyle p_{X}(k)={\begin{cases}{\frac {1}{N}},&k\in [a,b]\cap \mathbb {Z} \\0,&{\text{otherwise}}.\end{cases}}}$$${\displaystyle X=k}$$${\displaystyle \operatorname {I} _{X}(k)=-\log _{2}{\frac {1}{N}}=\log _{2}{N}{\text{ Sh}}.}$$

上記の場合、 は、によって決定論的に与えられる確率分布を持つ定数ランダム変数に退化し、確率測度はディラック測度になります。が取り得る唯一の値は であるため、 の任意の測定の情報内容はです。一般に、既知の値を測定しても得られる情報はありません。^[2]${\displaystyle b=a}$${\displaystyle X}$ ${\displaystyle X=b}$ ${\textstyle p_{X}(k)=\delta _{b}(k)}$${\displaystyle X}$ ${\displaystyle b}$${\displaystyle X}$$${\displaystyle \operatorname {I} _{X}(b)=-\log _{2}{1}=0.}$$

上記のすべてのケースを一般化して、サポートと確率質量関数が次式で表される カテゴリカル 離散確率変数を考える。 ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$

$${\displaystyle p_{X}(k)={\begin{cases}p_{i},&k=s_{i}\in {\mathcal {S}}\\0,&{\text{otherwise}}.\end{cases}}}$$

情報理論の目的上、値は数値である必要はなく、確率測度に正規化された有限測度の測度空間上の相互に排他的な任意のイベントである可能性があります。 一般性を失うことなく、カテゴリ分布が集合上でサポートされていると想定できます。数学的構造は確率理論の観点から同型であり、したがって情報理論でも同型です。 ${\displaystyle s\in {\mathcal {S}}}$ ${\displaystyle p}$${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$

結果の情報が提供される ${\displaystyle X=x}$

$${\displaystyle \operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.}$$

これらの例から、既知の分布を持つ任意の独立した DRVセットの情報を加法によって計算することが可能です。

定義により、情報は、受信者が事前に情報を知らなかった場合にのみ、情報を所有する発信エンティティから受信エンティティに転送されます。受信エンティティがメッセージを受信する前にメッセージの内容を事前に確実に知っていた場合は、受信したメッセージの情報量はゼロです。受信者によるメッセージの内容の事前知識が 100% 未満の場合にのみ、メッセージは実際に情報を伝達します。

たとえば、コメディアンのジョージ・カーリンのキャラクター（ヒッピー・ディッピー・ウェザーマン）を引用すると、

今夜の天気予報：暗い。 夜通し暗いまま、朝には広く明るくなる。^[8]

極地の近くに住んでいないと仮定すると、その予報で伝えられる情報量はゼロです。なぜなら、予報を受け取る前に、夜になると必ず暗くなることが分かっているからです。

したがって、イベントの発生を通知する内容を伝達するメッセージに含まれる自己情報の量は、そのイベントの確率のみに依存します。 ${\displaystyle \omega _{n}}$

$${\displaystyle \operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))}$$ 以下に何らかの関数を決定します。 の場合、 です。 の場合、 です。 ${\displaystyle f(\cdot )}$${\displaystyle \operatorname {P} (\omega _{n})=1}$${\displaystyle \operatorname {I} (\omega _{n})=0}$${\displaystyle \operatorname {P} (\omega _{n})<1}$${\displaystyle \operatorname {I} (\omega _{n})>0}$

さらに、定義により、自己情報の尺度は非負で加法的です。イベントを通知するメッセージが2 つの独立したイベントとの交差である場合、イベント発生の情報は、独立したイベントと発生の両方の複合メッセージの情報です。複合メッセージの情報量は、個々のコンポーネント メッセージとの情報量の合計に等しくなることが期待されます。 ${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$${\displaystyle A}$${\displaystyle B}$$${\displaystyle \operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B).}$$

事象とが独立しているため、事象の確率は ${\displaystyle A}$${\displaystyle B}$${\displaystyle C}$$${\displaystyle \operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B).}$$

しかし、関数を適用すると、 ${\displaystyle f(\cdot )}$$${\displaystyle {\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}}$$

コーシーの関数方程式に関する研究のおかげで、となる性質を持つ 単調関数は対数関数のみで ある。異なる基数の対数間の唯一の操作上の差異は、異なるスケーリング定数の差異であるため、次のように仮定できる。 ${\displaystyle f(\cdot )}$$${\displaystyle f(x\cdot y)=f(x)+f(y)}$$${\displaystyle \log _{b}(x)}$

$${\displaystyle f(x)=K\log(x)}$$

ここで、は自然対数です。イベントの確率は常に 0 から 1 の間であり、これらのイベントに関連付けられた情報は非負でなければならないため、 が必要となります。 ${\displaystyle \log }$${\displaystyle K<0}$

これらの特性を考慮すると、確率による結果に関連する自己情報は次のように定義されます。 ${\displaystyle \operatorname {I} (\omega _{n})}$${\displaystyle \omega _{n}}$${\displaystyle \operatorname {P} (\omega _{n})}$$${\displaystyle \operatorname {I} (\omega _{n})=-\log(\operatorname {P} (\omega _{n}))=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)}$$

イベントの確率が小さいほど、イベントが実際に発生したというメッセージに関連付けられた自己情報の量が多くなります。上記の対数が 2 を底とする場合、 の単位はshannonです。これは最も一般的な方法です。を底とする自然対数を使用する場合、単位はnatになります。 10 を底とする対数の場合、情報の単位はhartleyです。 ${\displaystyle \omega _{n}}$${\displaystyle I(\omega _{n})}$${\displaystyle e}$

簡単に説明すると、コインを 4 回連続で投げて 4 回表が出た場合 (または特定の結果) に関連する情報量は 4 シャノン (確率 1/16) で、指定された結果以外の結果になった場合に関連する情報量は約 0.09 シャノン (確率 15/16) です。詳細な例については上記を参照してください。

• コルモゴロフ複雑性
• 驚きの分析

• CE シャノン、「通信の数学的理論」、ベルシステム技術ジャーナル、第27巻、pp 379-423、（パートI）、1948年。

• サプライズ対策の例
• 分子情報理論の用語集に「意外な」項目が登場
• ベイズ驚き理論