情報理論

ソースの確率質量関数に基づいて、シンボルあたりのビット単位でシャノンエントロピーHは、シンボルの情報量の期待値として定義されます。 ^{[ 36 ] [ 37 ]}

個々のソースシンボルによって伝達される情報量${\displaystyle x_{i}}$確率で${\displaystyle p_{i}}$自己情報または驚きとして知られています。${\displaystyle I(p_{i})}$この量は次のように定義されます。^{[ 38 ] [ 39 ]}

${\displaystyle I(p_{i})=-\log _{2}(p_{i})}$

出現確率の低いシンボルほど驚き度が高く、つまりその出現はより多くの情報を提供する。^{[ 38 ]}エントロピー${\displaystyle H}$は、ソースの確率分布からのすべての可能なシンボルの驚きの加重平均です。^{[ 40 ] [ 41 ]}

${\displaystyle H(X)\ =\ \mathbb {E} _{X}[I(x)]\ =\ \sum _{i}p_{i}I(p_{i})\ =\ -\sum _{i}p_{i}\log _{2}(p_{i})}$

直感的に、エントロピー${\displaystyle H(X)}$離散確率変数Xの不確実性の度合いは、その値に関連する不確実性の度合いの尺度である。${\displaystyle X}$分布のみが分かっている場合。^{[ 36 ]}エントロピーが高いほど結果がより均等に分布していることを示し、結果を予測するのが難しくなります。^{[ 42 ]}

例えば、1000ビット（0と1）を送信し、各ビットの値が送信前に受信側に既知（特定の値が確実に決まっている）であれば、情報は送信されません。しかし、各ビットが独立して0または1になる確率が等しい場合、1000シャノンの情報（ビットと呼ばれることが多い）が送信されたことになります。^{[ 43 ]}

2つの離散確率変数XとYの結合エントロピーは、それらのペアリング( X , Y )のエントロピーに等しい。これは、 XとYが独立である場合、それらの結合エントロピーはそれぞれのエントロピーの合計になることを意味する。

例えば、( X , Y )がチェスの駒の位置を表し、Xが行、Yが列を表す場合、駒の行と列の結合エントロピーは、駒の位置のエントロピーになります。

${\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

表記は似ているものの、結合エントロピーと交差エントロピーを混同してはならない。

結合エントロピー${\displaystyle n}$離散確率変数${\displaystyle X^{n}\triangleq (X_{1},X_{2},\ldots ,X_{n})}$は

${\displaystyle H(X^{n})=H(X_{1},X_{2},\ldots ,X_{n})=\mathbb {E} \left[-\log P_{X_{1},\ldots ,X_{n}}(X_{1},\ldots ,X_{n})\right]}$

これは、それらの同時確率質量関数の総和としても表すことができます。

${\displaystyle H(X^{n})=-\sum _{x_{1}}\cdots \sum _{x_{n}}P_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\log P_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}$。

したがって、結合エントロピーは、確率変数が積空間の値をとるベクトルである場合のエントロピーのサブケースにすぎません。^{[ 35 ]}

確率変数Yが与えられたときのXの条件付きエントロピーまたは条件付き不確実性( Yに関するXの曖昧さとも呼ばれる) は、 Yに関する平均条件付きエントロピーである。^{[ 51 ]}

${\displaystyle H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y)。}$

エントロピーは確率変数または確率変数が特定の値であるという条件に基づいて定義できるため、これら2つの条件付きエントロピーの定義を混同しないように注意する必要があります。前者の定義の方がより一般的に使用されています。この形式の条件付きエントロピーの基本的な特性は次のとおりです。

${\displaystyle H(X|Y)=H(X,Y)-H(Y).\,}$

相互情報量は、ある確率変数を観測することによって、別の確率変数について得られる情報量を測定する指標です。これは通信において重要であり、送受信信号間で共有される情報量を最大化するために利用できます。XとYの相互情報量は次のように表されます。

${\displaystyle I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}$

ここで、SI（Specific Mutual Information）は点ごとの相互情報量です。

相互情報量の基本的な性質は次のとおりです。

${\displaystyle I(X;Y)=H(X)-H(X|​​Y).\,}$

つまり、知っていること${\textstyle Y}$エンコード時に平均I ( X ; Y )ビットを節約できます${\displaystyle X}$知らないことと比較して${\displaystyle Y}$。

相互情報量は対称的である。

${\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,}$

相互情報は、事後確率分布間の平均カルバック・ライブラー情報量（情報利得）として表すことができる。${\displaystyle X}$値を考慮すると${\textstyle Y}$そして事前分布は${\displaystyle X}$:

${\displaystyle I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))]。}$

言い換えれば、これは平均的に確率分布がどれだけ${\displaystyle X}$値が与えられた場合、変更されます${\textstyle Y}$これは、周辺分布の積から実際の同時分布への乖離として再計算されることが多い。

${\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).}$

相互情報量は、分割表や多項分布の文脈における対数尤度比検定、およびピアソンのχ²^検定と密接に関連しています。相互情報量は、2つの変数間の独立性を評価するための統計量とみなすことができ、明確に定義された漸近分布を持ちます。

カルバック・ライブラー情報量（または情報量、情報利得、相対エントロピー）は、2つの分布を比較する方法です。1つは「真の」確率分布です。${\displaystyle p(X)}$⁠、そして任意の確率分布${\displaystyle q(X)}$⁠。データを圧縮する際に、次のような仮定を置くとします。${\displaystyle q(X)}$⁠は、あるデータの根底にある分布ですが、実際には、${\displaystyle p(X)}$⁠ が正しい分布である場合、カルバック・ライブラー情報量は、圧縮に必要なデータあたりの平均追加ビット数です。したがって、次のように定義されます。

${\displaystyle D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}$

KLダイバージェンスは「距離尺度」として用いられることもありますが、対称性がなく、三角不等式を満たさないため、真の尺度ではありません（準尺度です）。

KLダイバージェンスのもう一つの解釈は、真実からの事前情報によってもたらされる「不必要な驚き」である。${\displaystyle X}$確率分布を持つ離散集合からランダムに抽出される予定である。${\displaystyle p(x)}$アリスが真の分布を知っている場合${\displaystyle p(x)}$一方、ボブは分布が${\displaystyle q(x)}$⁠ 、そうすると、平均的には、ボブはアリスよりも、その価値を見て驚くでしょう。${\displaystyle X}$KLダイバージェンスは、ボブの（主観的な）驚きからアリスの驚きを引いた（客観的な）期待値であり、対数が2進数の場合はビット単位で測定されます。このようにして、ボブの事前確率が「間違っている」程度を、それが彼をどれだけ「不必要に驚かせる」と予想されるかという観点から定量化できます。

カルバック・ライブラー情報は、非対称仮説検定における最適な誤差指数であるため、情報理論と仮説検定を結びつける役割を果たします。

指向情報、${\displaystyle I(X^{n}\to Y^{n})}$は、ランダム過程からの情報フローを定量化する情報理論の尺度である。${\displaystyle X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}}$ランダムなプロセスへ${\displaystyle Y^{n}=\{Y_{1},Y_{2},\ドット,Y_{n}\}}$指向情報という用語はジェームズ・マッセイによって造語され、次のように定義される。

${\displaystyle I(X^{n}\to Y^{n})\ \triangleq \ \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$、

どこ${\displaystyle I(X^{i};Y_{i}|Y^{i-1})}$条件付き相互情報量${\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}$。

相互情報とは対照的に、方向性情報は対称的ではない。${\displaystyle I(X^{n}\to Y^{n})}$因果的に伝達される情報ビットを測定します${\displaystyle X^{n}}$に${\displaystyle Y^{n}}$指向情報には、フィードバック付きチャネルの容量^{[ 52 ] [ 53 ]}、フィードバック付き離散メモリレスネットワークの容量[54]、因果サイド情報付きギャンブル^{[ 55 ]} 、因果サイド情報付き圧縮^{[ 56 ]} 、リアルタイム制御通信設定[57][58]、^{統計物理学[ 59 ]など、因果}関係が重要な役割を果たす問題に多くの応用例が^{あります。}

その他の重要な情報理論的量としては、レニーエントロピーとツァリスエントロピー（エントロピー概念の一般化）、微分エントロピー（連続分布への情報量の一般化）、条件付き相互情報量などが挙げられる。また、実用的情報量は、意思決定においてどれだけの情報が用いられたかを測る尺度として提案されている。

連続的にメッセージを生成するプロセスはすべて情報源とみなすことができる。記憶のない情報源とは、各メッセージが独立同分布の確率変数である情報源のことである。一方、エルゴード性と定常性の性質は、より緩やかな制約を課す。このような情報源はすべて確率的である。これらの用語は、情報理論の分野外でも十分に研究されている。

情報理論の主な目的は、チャネルを介した通信を実現することである。しかし、チャネルはしばしば信号を正確に再現できず、ノイズ、無音期間、その他の信号劣化によって品質が低下することが多い。

離散チャネルを介した通信プロセスについて考えてみましょう。そのプロセスの単純なモデルを以下に示します。

${\displaystyle {\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}}$

ここ${\displaystyle X}$は送信されるメッセージの空間を表し、${\textstyle Y}$単位時間内にチャネルを介して受信されるメッセージの空間。p ( y | x )を条件付き確率分布関数とする。${\textstyle Y}$与えられた${\displaystyle X}$我々は、p ( y | x )を通信チャネルの固有の固定特性 (チャネルのノイズの性質を表す) とみなします。すると、${\displaystyle X}$そして${\textstyle Y}$これは、チャネルと、チャネル上で送信するメッセージの周辺分布f ( x )の選択によって完全に決定されます。これらの制約の下で、チャネル上で通信できる情報量、つまり信号量を最大化したいと考えます。このための適切な尺度は相互情報量であり、この最大相互情報量はチャネル容量と呼ばれ、次式で与えられます。

${\displaystyle C=\max _{f}I(X;Y).\!}$

この容量は、情報レートR (通常Rはシンボルあたりのビット数)での通信に関して、以下の特性を持ちます。任意の情報レートR < Cおよび符号化エラーε > 0 に対して、十分に大きなNに対して、長さNでレート ≥ Rのコードと復号アルゴリズムが存在し、ブロックエラーの最大確率は ≤ εとなります。つまり、任意の小さなブロックエラーで送信することが可能です。さらに、任意のレートR > Cに対しては、任意の小さなブロックエラーで送信することは不可能です。

チャネル符号化とは、ノイズの多いチャネル上で、チャネル容量に近い速度で小さな符号化誤差でデータを送信するために使用できる、ほぼ最適な符号を見つけることに関係する。

代替可能な情報とは、符号化の手段が重要ではない情報のことである。 ^{[ 65 ]}古典的な情報理論家やコンピュータ科学者は、主にこの種の情報に関心を持っている。これは、話せる情報と呼ばれることもある。^{[ 66 ]}

情報理論の概念、方法、アプローチは、ネットワーク生理学において幅広く応用されています。^{[ 67 ] [ 68 ] [ 69 ]}この分野は、動的システムの適応ネットワークに基づいて、生理システムがネットワークとしてどのように情報を交換、処理、統合して、(i) レベルとスケール (細胞内から臓器および個体レベルまで) にわたって機能を調整し、(ii) 健康および疾患において異なる生理状態を生成するかを調査するための定量的フレームワークを提供します。相互情報量、伝達エントロピー、共情報量などの尺度を通じて、情報理論は、生理システムとサブシステム間の結合強度、方向性、相乗効果/冗長性、および高次の相互作用を検出することを可能にし、ネットワークの相互通信と調節が生物内でどのように発生するかを明らかにします。情報理論的アプローチの応用は、さまざまな状態における脳と身体ネットワーク間の情報伝達の分析から、心臓と呼吸器の相互作用まで多岐にわたります。 ^{[ 70 ] [ 71 ] [ 72 ] [ 73 ] [ 74 ] [ 75 ]}心筋相互作用; ^{[ 76 ]}皮質筋相互作用; ^{[ 77 ] [ 78 ]}脳波相互作用と脳機能ネットワーク; ^{[ 79 ] [ 80 ] [ 81 ] [ 82 ] [ 83 ]}極限環境におけるネットワーク生理学。^{[ 84 ]}

情報理論の概念は、暗号と暗号解読に適用される。チューリングの情報単位である「バン」は、ウルトラ計画で使用され、ドイツのエニグマ暗号機の解読に役立ち、ヨーロッパにおける第二次世界大戦の終結を早めた。シャノン自身は、現在「一意性距離」と呼ばれる重要な概念を定義した。これは、平文の冗長性に基づいて、一意解読性を保証するために必要な最小限の暗号文量を与えることを目的としている。

情報理論によれば、秘密を守ることは一見簡単そうに見えても、実際にははるかに難しい。総当たり攻撃によって、非対称鍵暗号方式や、ブロック暗号など、最も一般的に使用されている対称鍵暗号方式（秘密鍵暗号方式とも呼ばれる）に基づくシステムが破られる可能性がある。こうした方式の安全性は、既知の攻撃では実用的な時間内に破ることができないという前提に基づいている。

情報理論的安全性とは、総当たり攻撃に対して脆弱でないワンタイムパッドなどの方法を指します。このような場合、平文と暗号文間の正の条件付き相互情報量（鍵を条件とする）によって適切な送信が保証され、平文と暗号文間の無条件相互情報量はゼロのままであるため、完全に安全な通信が実現します。言い換えれば、盗聴者は暗号文を知っていても鍵を知らなければ平文の推測精度を向上させることはできません。しかし、他の暗号システムと同様に、情報理論的に安全な方法であっても正しく適用するには注意が必要です。ヴェノナ計画は、鍵素材の不適切な再利用により、ソ連のワンタイムパッドを解読することに成功しました。

擬似乱数生成器は、コンピュータ言語ライブラリやアプリケーションプログラムで広く利用されています。しかし、現代のコンピュータ機器やソフトウェアの決定論的な性質を回避できないため、ほぼ例外なく暗号化用途には適していません。改良された乱数生成器の一種は、暗号的に安全な擬似乱数生成器と呼ばれていますが、それでも意図どおりに動作させるには、ソフトウェア外部の乱数シードが必要です。これらは、注意深く行えば、抽出器を介して取得できます。抽出器における十分なランダム性の尺度は、最小エントロピーであり、これはレニーエントロピーを介してシャノンエントロピーと関連付けられる値です。レニーエントロピーは、暗号システムにおけるランダム性の評価にも使用されます。これらの尺度は関連していますが、その違いから、シャノンエントロピーが高い乱数変数が必ずしも抽出器での使用、ひいては暗号化用途に適しているとは限りません。

情報理論の初期の商業的応用例の一つは、地震探査による石油探査の分野であった。この分野の研究により、目的の地震信号から不要なノイズを除去して分離することが可能になった。情報理論とデジタル信号処理は、従来のアナログ方式に比べて解像度と画像の鮮明度を大幅に向上させる。^{[ 85 ]}

記号学者のドエデ・ナウタとヴィンフリート・ノースは、チャールズ・サンダース・パースが記号論に関する著作の中で情報理論を構築したとみなしていた。 ^{[ 86 ] : 171 [ 87 ] : 137}ナウタは記号論的情報理論を「符号化、フィルタリング、情報処理の内部プロセス」の研究と定義した。 ^{[ 86 ] : 91}

ウンベルト・エーコやフェルッチョ・ロッシ＝ランディなどの記号学者は、冗長性やコード制御といった情報理論の概念を用いて、イデオロギーをメッセージ伝達の一形態として説明してきた。それは、支配的な社会階級が高度な冗長性を示す記号を用いてメッセージを発信し、競合するメッセージの中から1つのメッセージだけが解読されるというものである。^{[ 88 ]}

認知科学では、認知神経科学における結合問題の文脈において、神経情報の統合的なプロセス組織を分析するために、定量的情報理論的手法が応用されてきた。^{[ 89 ]}この文脈では、機能的クラスター（ジェラルド・エデルマンとジュリオ・トノーニの機能的クラスタリングモデルと動的コア仮説（DCH）^{[ 90 ]}）や有効情報（トノーニの意識の統合情報理論（IIT）^{[ 91 ] [ 92 ] [ 93 ]}）などの情報理論的尺度が定義される（再入プロセス組織、すなわち神経細胞集団間の神経生理学的活動の同期に基づいて）、または統計的手法に基づく自由エネルギー最小化の尺度（カール・J・フリストンの自由エネルギー原理（FEP）、自己組織化システムにおけるあらゆる適応的変化が自由エネルギーの最小化につながると述べる情報理論的尺度、およびベイズ脳仮説^{[ 94 ] [ 95 ][ 96 ] [ 97 ] [ 98 ] ）のいずれかが}定義される。

情報理論は、地球外生命体の探査^{[ 99 ]} 、ブラックホール^{[ 100 ]} 、バイオインフォマティクス^{[ 101 ]}、ギャンブル^{[ 102 ] [ 103 ]}にも応用されている。

• ハートリー、RVL
• 情報理論の歴史
• シャノン、CE
• 情報理論のタイムライン
• ヨッキー、HP
• アンドレイ・コルモゴロフ