情報の量

情報に関する数学理論は、確率論と統計学に基づいており、情報量をいくつかの情報量で測定します。ここで、情報量とは測定によって定量化できる性質のことです。^{[ a ]}

以下の式における対数の底の選択によって、使用される情報の単位が決まります。情報エントロピーの最も一般的な単位は、ビット、より正確にはシャノン^{[ 3 ]}で、これは二進対数に基づいています。ビットはシャノンの代わりに頻繁に使用されますが、その名前は、エントロピー（情報量）に関係なく、バイナリ値またはストリームを参照するためにデータ処理で使用されるビットと区別されません。その他の単位には、自然対数に基づくナット、および底10または常用対数に基づくハートレーがあります。

シャノンは、メッセージの自己情報量または「驚き度」と呼ばれる情報量尺度を導き出した。${\displaystyle m}$:

${\displaystyle \operatorname {I} (m)=\log \left({\frac {1}{p(m)}}\right)=-\log(p(m))\,}$

どこ${\displaystyle p(m)=\mathrm {Pr} (M=m)}$メッセージの確率は${\displaystyle m}$メッセージ空間内のすべての可能な選択肢から選ばれる${\displaystyle M}$対数の底はスケーリング係数にのみ影響し、結果として測定された情報量の表現単位に影響します。対数の底が2の場合、情報量はシャノン単位、またはより一般的には単に「ビット」単位で表されます（他の文脈では、ビットはむしろ「バイナリ数字」として定義され、その平均情報量は最大で1シャノンです）。

情報源からの情報は、受信者がそもそもその情報を持っていなかった場合に限り、受信者にもたらされる。特定の事象（P=1）に関する情報（あるいは、例えばバックチャネルを通じて確実に知られている事象）を伝えるメッセージは、上記の式が示すように、情報を提供しない。発生頻度の低いメッセージは、発生頻度の高いメッセージよりも多くの情報を含んでいる。

また、2つ（またはそれ以上）の無関係なメッセージからなる複合メッセージの情報量は、各メッセージの情報量の合計に等しいことも示せる。これは、複合メッセージを考えることで、この定義を用いて導き出すことができる。${\displaystyle m\&n}$2 つの確率変数 M と N の値に関する情報を、基本メッセージmとnを連結したメッセージを使用して提供する。各メッセージの情報内容は次のように与えられる。${\displaystyle \operatorname {I} (m)}$そして${\displaystyle \operatorname {I} (n)}$それぞれ。メッセージmとnがそれぞれ M と N のみに依存し、プロセス M と N が独立である場合、${\displaystyle P(m\&n)=P(m)P(n)}$（統計的独立性の定義）上記の定義から明らかなように、${\displaystyle \operatorname {I} (m\&n)=\operatorname {I} (m)+\operatorname {I} (n)}$。

例えば、天気予報の放送が「今夜の予報：暗い。朝まで薄明かりがまばらに残るまで、暗闇が続くでしょう。」だとします。このメッセージにはほとんど情報がありません。しかし、吹雪の予報には必ず情報が含まれています。なぜなら、吹雪は毎晩起こるものではないからです。マイアミのような温暖な地域での正確な降雪予報には、さらに多くの情報が含まれるでしょう。雪が全く降らない場所（あり得ない出来事）での降雪予報に含まれる情報量は、最も多く（無限大）なります。

離散メッセージ空間のエントロピー${\displaystyle M}$これは、どのメッセージが選択されるかについての不確実性の度合いを示す指標です。メッセージの平均自己情報量として定義されます。${\displaystyle m}$そのメッセージスペースから：

${\displaystyle \mathrm {H} (M)=\mathbb {E} \left[\operatorname {I} (M)\right]=\sum _{m\in M}p(m)\operatorname {I} (m)=-\sum _{m\in M}p(m)\log p(m)}$

どこ

${\displaystyle \mathbb {E} [\cdot ]}$期待値演算を表します。

エントロピーの重要な特性は、メッセージ空間内のすべてのメッセージの確率が等しいときに最大化されることです（例：${\displaystyle p(m)=1/|M|}$）。 この場合${\displaystyle \mathrm {H} (M)=\log |M|}$。

時々、その機能は${\displaystyle \mathrm {H} }$分布の確率で表すと次のようになります。

${\displaystyle \mathrm {H} (p_{1},p_{2},\ldots ,p_{k})=-\sum _{i=1}^{k}p_{i}\log p_{i},}$それぞれ${\displaystyle p_{i}\geq 0}$そして${\displaystyle \sum _{i=1}^{k}p_{i}=1}$

この重要な特殊ケースとして、二値エントロピー関数が挙げられる。

${\displaystyle \mathrm {H} _{\mbox{b}}(p)=\mathrm {H} (p,1-p)=-p\log p-(1-p)\log(1-p)\,}$

2つの離散確率変数の結合エントロピー${\displaystyle X}$そして${\displaystyle Y}$は、結合分布のエントロピーとして定義される。${\displaystyle X}$そして${\displaystyle Y}$:

${\displaystyle \mathrm {H} (X,Y)=\mathbb {E} _{X,Y}\left[-\log p(x,y)\right]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

もし${\displaystyle X}$そして${\displaystyle Y}$それらが独立である場合、結合エントロピーは単純に個々のエントロピーの合計になります。

（注：表記が似ているものの、結合エントロピーと交差エントロピーを混同してはならない。）

確率変数の特定の値が与えられた場合${\displaystyle Y}$条件付きエントロピー${\displaystyle X}$与えられた${\displaystyle Y=y}$は次のように定義されます。

${\displaystyle \mathrm {H} (X|y)=\mathbb {E} _{\left[X|Y\right]}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)}$

どこ${\displaystyle p(x|y)={\frac {p(x,y)}{p(y)}}}$は条件付き確率です${\displaystyle x}$与えられた${\displaystyle y}$。

条件付きエントロピー${\displaystyle X}$与えられた${\displaystyle Y}$曖昧な表現とも呼ばれる${\displaystyle X}$について${\displaystyle Y}$は次のように表されます。

${\displaystyle \mathrm {H} (X|Y)=\mathbb {E} _{Y}\left[\mathrm {H} \left(X|y\right)\right]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}.}$

これは確率論における条件付き期待値を利用しています。

条件付きエントロピーの基本的な性質は次のとおりです。

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y).\,}$

カルバック・ライブラー情報量（または情報量、情報利得、相対エントロピー）は、2つの分布を比較する方法であり、「真の」確率分布と、${\displaystyle p}$、そして任意の確率分布${\displaystyle q}$データを圧縮する際に、${\displaystyle q}$は、実際には、あるデータの根底にある分布です。${\displaystyle p}$が正しい分布である場合、カルバック・ライブラー情報量は、圧縮に必要なデータあたりの平均追加ビット数、つまり数学的には、

${\displaystyle D_{\mathrm {KL} }{\bigl (}p(X)\|q(X){\bigr )}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}$

それはある意味で「距離」${\displaystyle q}$に${\displaystyle p}$ただし、対称ではないため、真の指標とは言えません。

最も有用で重要な情報尺度の1つは、相互情報量、またはトランス情報量であることが判明しました。これは、ある確率変数を観測することによって、別の確率変数についてどれだけの情報が得られるかを示す尺度です。${\displaystyle X}$相対的に${\displaystyle Y}$（これは概念的には、平均的な情報量を表しています。${\displaystyle X}$観察によって得られるもの${\displaystyle Y}$) は次のように与えられます。

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}{p(x|y)\log {\frac {p(x|y)}{p(x)}}}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}.}$

相互情報量の基本的な性質は次のとおりです。

${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)-\mathrm {H} (X|Y).\,}$

つまり、知っていること${\displaystyle Y}$平均で節約できます${\displaystyle \operatorname {I} (X;Y)}$エンコードのビット${\displaystyle X}$知らないことと比較して${\displaystyle Y}$相互情報量は対称的である。

${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y).\,}$

相互情報量は、事後確率分布の 平均カルバック・ライブラー情報量（情報利得）として表現できる。${\displaystyle X}$値を考慮すると${\displaystyle Y}$以前の分布に対して${\displaystyle X}$:

${\displaystyle \operatorname {I} (X;Y)=\mathbb {E} _{p(y)}\left[D_{\mathrm {KL} }{\bigl (}p(X|Y=y)\|p(X){\bigr )}\right].}$

言い換えれば、これは平均的に確率分布がどれだけ${\displaystyle X}$値が与えられた場合、変更されます${\displaystyle Y}$これは、周辺分布の積から実際の同時分布への乖離として再計算されることが多い。

${\displaystyle \operatorname {I} (X;Y)=D_{\mathrm {KL} }{\bigl (}p(X,Y)\|p(X)p(Y){\bigr )}.}$

相互情報量は、分割表と多項分布の文脈における対数尤度比検定、およびピアソンの χ ²検定と密接に関連しています。相互情報量は、2 つの変数間の独立性を評価するための統計量とみなすことができ、明確に定義された漸近分布を持ちます。

離散エントロピーの基本的な尺度は、和を積分に、確率質量関数を確率密度関数に置き換えることで、類推により連続空間にも拡張されてきた。どちらの場合も、相互情報量は問題となる2つの情報源に共通する情報ビット数を表すが、類推は同一の性質を意味するものではない。例えば、微分エントロピーは負の値をとることもある。

エントロピー、結合エントロピー、条件付きエントロピー、相互情報量の微分類推は、以下のように定義される。

${\displaystyle h(X)=-\int _{X}f(x)\log f(x)\,dx}$

${\displaystyle h(X,Y)=-\int _{Y}\int _{X}f(x,y)\log f(x,y)\,dx\,dy}$

${\displaystyle h(X|y)=-\int _{X}f(x|y)\log f(x|y)\,dx}$

${\displaystyle h(X|Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(y)}{f(x,y)}}\,dx\,dy}$

${\displaystyle \operatorname {I} (X;Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(x,y)}{f(x)f(y)}}\,dx\,dy}$

どこ${\displaystyle f(x,y)}$は結合密度関数であり、${\displaystyle f(x)}$そして${\displaystyle f(y)}$は周辺分布であり、${\displaystyle f(x|y)}$これは条件付き分布です。

• 情報理論
• ISO 80000-13 - 国際数量体系第13部：情報科学および技術