情報理論

情報理論は、情報の定量化、保存、通信に関する数学的研究である。この分野は1940年代にクロード・シャノンによって確立され、確固たる基盤を築いたが^{[1] 、初期の貢献は1920年代に}ハリー・ナイキストとラルフ・ハートリーの著作を通じてなされた。これは、電子工学、数学、統計学、コンピュータサイエンス、神経生物学、物理学、電気工学の交差点に位置する。^{[2] [3]}

情報理論における重要な尺度はエントロピーです。エントロピーは、ランダム変数の値またはランダムプロセスの結果に含まれる不確実性の量を定量化します。たとえば、公平なコイン投げの結果（2 つの可能性が同程度）を識別する場合、サイコロを振って結果を識別する場合（6 つの可能性が同程度）よりも情報が少なくなります（エントロピーが低く、不確実性が低い）。情報理論におけるその他の重要な尺度には、相互情報量、チャネル容量、誤差指数、相対エントロピーがあります。情報理論の重要なサブフィールドには、情報源符号化、アルゴリズム複雑性理論、アルゴリズム情報理論、情報理論的セキュリティなどがあります。

情報理論の基本テーマの応用には、ソースコーディング/データ圧縮（ ZIPファイルなど）、チャネルコーディング/エラー検出と訂正（ DSLなど）などがあります。その影響は、深宇宙へのボイジャーミッションの成功、コンパクトディスクの発明、携帯電話の実現可能性、インターネットの発展に極めて重要でした。 ^[3]この理論は、統計的推論、^[4] 暗号、神経生物学、^[5] 知覚、^[6] 信号処理、^[2]言語学、分子コードの進化^[7]と機能^[8] (バイオインフォマティクス)、熱物理学、^[9] 分子動力学、^[10] ブラックホール、量子コンピューティング、情報検索、諜報収集、盗作検出、^[11] パターン認識、異常検出、^[12]音楽分析、^{[13] [14]} 芸術創作、^[15]画像システム設計、^{[16]さらには}認識論など、他の分野にも応用されています。^[17]

情報理論は、情報の伝送、処理、抽出、および利用を研究する。抽象的には、情報は不確実性の解決と考えることができる。ノイズの多いチャネルを介した情報通信の場合、この抽象的な概念は、1948 年にクロード シャノンが「通信の数学的理論」と題する論文で形式化されており、この論文では、情報は可能なメッセージの集合と考えられ、目標はノイズの多いチャネルを介してこれらのメッセージを送信し、チャネル ノイズにもかかわらず、受信者がエラーの可能性を低くしてメッセージを再構築できるようにすることである。シャノンの主な結果であるノイズの多いチャネル符号化定理は、多くのチャネル使用の限界において、漸近的に達成可能な情報レートはチャネル容量に等しく、この量はメッセージが送信されるチャネルの統計のみに依存することを示した。^[5]

符号理論は、ノイズの多いチャネルでのデータ通信の効率を高め、誤り率をチャネル容量近くまで下げるための明示的な方法（符号と呼ばれる）を見つけることに関係しています。これらの符号は、データ圧縮（ソース符号化）技術と誤り訂正（チャネル符号化）技術に大まかに分類できます。後者の場合、シャノンの研究で可能だと証明された方法を見つけるのに何年もかかりました。^{[引用が必要]}

情報理論コードの 3 番目のクラスは、暗号化アルゴリズム (コードと暗号の両方) です。 符号理論と情報理論の概念、方法、結果は、ユニットバンなど、暗号化と暗号解読で広く使用されています。^{[引用が必要]}

情報理論という学問を確立し、世界中の注目を集めた画期的な出来事は、1948年7月と10月にベルシステム技術ジャーナルに発表されたクロード・E・シャノンの古典的論文「通信の数学的理論」であった。彼は「情報理論の父」として知られるようになった。^{[18] [ 19] [20]シャノンは、1939年に}ヴァネヴァー・ブッシュに宛てた手紙の中で、情報理論に関する初期のアイデアのいくつかを概説していた。^[20]

この論文以前に、ベル研究所で開発された情報理論のアイデアは限られており、それらはすべて暗黙のうちに事象の確率が等しいと仮定していた。ハリー・ナイキストの 1924 年の論文「電信速度に影響を与える特定の要因」には、「情報」とそれが通信システムによって伝送される「回線速度」を定量化する理論的なセクションが含まれており、関係式W = K log m (ボルツマン定数を思い出す) が示されている。ここで、Wは情報の伝送速度、m は各時間ステップで選択できる異なる電圧レベルの数、Kは定数である。ラルフ・ハートリーの 1928 年の論文「情報の伝送」では、情報という言葉を測定可能な量として使用し、受信者が 1 つのシンボル シーケンスを他のシーケンスと区別する能力を反映して、情報をH = log S ⁿ = n log Sとして定量化している。ここで、S は可能なシンボルの数、n は伝送内のシンボルの数である。したがって、情報の単位は10 進数であり、それ以来、情報の単位、スケール、または測定単位として、彼に敬意を表してハートリーと呼ばれることもあります。アラン・チューリングは1940 年に、ドイツの第二次世界大戦時のエニグマ暗号の解読に関する統計分析の一環として、同様のアイデアを使用しました。^{[引用が必要]}

異なる確率の事象を扱う情報理論の背後にある数学の多くは、ルートヴィヒ・ボルツマンとJ・ウィラード・ギブスによって熱力学の分野で開発された。情報理論的エントロピーと熱力学的エントロピーの関係は、 1960年代のロルフ・ランダウアーの重要な貢献を含め、 「熱力学と情報理論におけるエントロピー」で考察されている。^[要出典]

シャノンの革命的かつ画期的な論文は、1944年末までにベル研究所でほぼ完成しており、情報理論の基礎となる統計プロセスとして、初めてコミュニケーションの質的および量的モデルを紹介し、次のような主張で始まっている。

「コミュニケーションの根本的な問題は、ある時点で選択されたメッセージを、別の時点で正確にまたは近似的に再現することです。」

それに伴って、

• 情報源の情報エントロピーと冗長性、および情報源符号化定理によるその関連性。
• 相互情報量、およびノイズの多いチャネルのチャネル容量（ノイズの多いチャネル符号化定理によって与えられる完全な損失のない通信の保証を含む）。
• ガウスチャネルのチャネル容量に関するシャノン・ハートレーの法則の実際的な結果。
• ビット— 情報の最も基本的な単位を捉える新しい方法。[^要出典]

情報理論は確率論と統計に基づいており、定量化された情報は通常ビットで記述されます。情報理論は、ランダム変数に関連付けられた分布の情報の尺度に関係することがよくあります。最も重要な尺度の 1 つはエントロピーと呼ばれ、他の多くの尺度の基礎を形成します。エントロピーにより、単一のランダム変数の情報の尺度を定量化できます。^[21]もう 1 つの便利な概念は、2 つのランダム変数で定義される相互情報量です。これは、それらの変数に共通する情報の尺度を表し、それらの相関関係を説明するために使用できます。前者の量は、ランダム変数の確率分布の特性であり、指定された分布を持つ独立したサンプルによって生成されたデータを確実に圧縮できる速度の制限を与えます。後者は、2 つのランダム変数の結合分布の特性であり、チャネル統計が結合分布によって決定される場合、長いブロック長の制限内でノイズの多いチャネルを介した信頼性の高い通信の最大速度です。

次の式で対数の底を選択すると、使用される情報エントロピーの単位が決まります。 一般的な情報単位は、 2 進対数に基づくビットです。 その他の単位には、自然対数に基づくnatや、常用対数に基づく10 進数があります。

以下では、 p log pという形式の式は、慣例により、 p = 0のときは常にゼロとみなされます。 これは、任意の対数の底に対して である ため正当化されます。${\displaystyle \lim _{p\rightarrow 0+}p\log p=0}$

通信される各ソースシンボルの確率質量関数に基づいて、シャノンエントロピー Hはビット単位（シンボルあたり）で次のように表される。

${\displaystyle H=-\sum _{i}p_{i}\log _{2}(p_{i})}$

ここで、p _{i は、}ソース シンボルのi番目の可能な値の発生確率です。この式は、底 2 の対数を使用するため、エントロピーを「ビット」単位 (シンボルあたり) で表します。この底 2 のエントロピー測定は、シャノンに敬意を表してシャノンと呼ばれることもあります。エントロピーは、自然対数 (底e、eはオイラー数) を使用して計算されることもよくあります。これにより、エントロピーの測定値がシンボルあたり nats で表され、式に追加の定数を含める必要がなくなるため、分析が簡素化されることがあります。他の底も使用できますが、あまり一般的ではありません。たとえば、底2 ⁸ = 256の対数は、シンボルあたりバイトの測定値を生成し、底 10 の対数は、シンボルあたり 10 進数 (またはハートレー) の測定値を生成します。

直感的には、離散確率変数XのエントロピーH _Xは、その分布のみがわかっている場合に Xの値に関連する不確実性の量を測る尺度です。

独立かつ同一に分布する(iid) N個のシンボルのシーケンスを発信するソースのエントロピーは、N ⋅ Hビット ( N個のシンボルのメッセージあたり) です。ソース データ シンボルが同一に分布しているが独立していない場合、長さNのメッセージのエントロピーはN ⋅ Hより小さくなります。

1000 ビット (0 と 1) を送信し、これらの各ビットの値が送信前に受信者にわかっている (確実に特定の値を持っている) 場合、情報が送信されないことは明らかです。ただし、各ビットが独立して 0 または 1 になる可能性が等しい場合は、1000 シャノンの情報 (ビットと呼ばれることが多い) が送信されています。これらの 2 つの極端な値の間では、情報は次のように定量化できます。X がとり得るすべてのメッセージ{ x ₁ , ..., x n _}の集合を とし、p ( x ) を何らかの の確率とすると、 XのエントロピーHは次のように定義されます。^[22]${\displaystyle \mathbb {X} }$${\displaystyle x\in \mathbb {X} }$

${\displaystyle H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).}$

（ここで、I ( x )は自己情報量、つまり個々のメッセージのエントロピー寄与であり、期待値です。）エントロピーの特性は、メッセージ空間内のすべてのメッセージが等確率p ( x ) = 1/ nのときに最大化されることです。つまり、最も予測不可能であり、その場合H ( X ) = log nです。 ${\displaystyle \mathbb {E} _{X}}$

2 つの結果を持つランダム変数の情報エントロピーの特殊なケースは、バイナリ エントロピー関数です。これは通常、対数の底が 2 であるため、単位はシャノン (Sh) になります。

${\displaystyle H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

2 つの離散ランダム変数XとYの結合エントロピーは、単にそれらのペアリングのエントロピー( X、Y )です。つまり、XとYが独立している場合、それらの結合エントロピーは個々のエントロピーの合計になります。

たとえば、( X , Y ) がチェスの駒の位置を表す場合( Xが行、Yが列)、駒の行と列の結合エントロピーは、駒の位置のエントロピーになります。

${\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

表記は似ていますが、結合エントロピーと交差エントロピーを混同しないでください。

確率変数Yが与えられたときのXの条件付きエントロピーまたは条件付き不確実性（XのYに関する同義語とも呼ばれる）は、 Y上の平均条件付きエントロピーである：^[23]

${\displaystyle H(X|Y)=\mathbb {E} _{Y}[H(X|y)]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=-\sum _{x,y}p(x,y)\log p(x|y).}$

エントロピーはランダム変数またはランダム変数が特定の値であることに条件付けられるため、条件付きエントロピーのこれら 2 つの定義を混同しないように注意する必要があります。前者の方が一般的に使用されています。この形式の条件付きエントロピーの基本的な特性は次のとおりです。

${\displaystyle H(X|Y)=H(X,Y)-H(Y).\,}$

相互情報量は、あるランダム変数を観察することによって別のランダム変数について得られる情報量を測定し、送信信号と受信信号の間で共有される情報量を最大化するために使用できるため、通信において重要です。X と Y の相対的な相互情報量は次のように表されます。

${\displaystyle I(X;Y)=\mathbb {E} _{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}$

ここで、SI（特定相互情報量）は点ごとの相互情報量です。

相互情報量の基本的な性質は

${\displaystyle I(X;Y)=H(X)-H(X|Y).\,}$

つまり、Yがわかっている場合、 Yがわからない場合と比較して、X をエンコードする際に平均I ( X ; Y )ビットを節約できます。

相互情報量は対称的である:

${\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,}$

相互情報量は、 Yの値が与えられた場合のXの事後確率分布とXの事前分布との間の平均カルバック・ライブラー・ダイバージェンス（情報ゲイン）として表すことができます。

${\displaystyle I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X|Y=y)\|p(X))].}$

言い換えれば、これは、 Yの値が与えられた場合に、 Xの確率分布が平均してどれだけ変化するかの尺度です。これは、多くの場合、周辺分布の積から実際の結合分布への乖離として再計算されます。

${\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(X,Y)\|p(X)p(Y)).}$

相互情報量は、分割表や多項分布の文脈における対数尤度比検定、およびピアソンの χ ²検定と密接に関連しています。相互情報量は、一対の変数間の独立性を評価するための統計量と見なすことができ、明確に指定された漸近分布を持ちます。

カルバック・ライブラー・ダイバージェンス（または情報ダイバージェンス、情報ゲイン、相対エントロピー）は、2つの分布を比較する方法です。つまり、「真の」確率分布 ⁠ ⁠${\displaystyle p(X)}$と任意の確率分布⁠ ⁠です。 ${\displaystyle q(X)}$⁠ ⁠${\displaystyle q(X)}$がデータの基になる分布であると仮定してデータを圧縮した場合（実際には⁠ ⁠ が${\displaystyle p(X)}$正しい分布である場合）、カルバック・ライブラー・ダイバージェンスは、圧縮に必要なデータあたりの平均追加ビット数です。これは次のように定義されます。

${\displaystyle D_{\mathrm {KL} }(p(X)\|q(X))=\sum _{x\in X}-p(x)\log {q(x)}\,-\,\sum _{x\in X}-p(x)\log {p(x)}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}$

KL ダイバージェンスは「距離メトリック」として使用されることもありますが、対称ではなく、三角不等式を満たさないため、真のメトリックではありません(半準メトリックになります)。

KL ダイバージェンスの別の解釈は、真実からの事前分布によってもたらされる「不必要な驚き」です。つまり、確率分布⁠ ⁠の離散集合から数Xがランダムに抽出されようとしているとします。アリスが真の分布⁠ ⁠を知っていて、ボブがその分布であると信じている (事前分布を持っている)場合、平均するとボブはアリスよりもXの値を見て驚くでしょう。KL ダイバージェンスは、ボブの (主観的な) 驚きからアリスの驚きを引いた (客観的な) 期待値であり、対数が2を底とする場合はビットで測定されます。このように、ボブの事前分布が「間違っている」程度は、ボブをどの程度「不必要に驚かせる」と予想されるかという観点から定量化できます。 ${\displaystyle p(x)}$${\displaystyle p(x)}$${\displaystyle q(x)}$

有向情報量（directed information）は、ランダムプロセスからランダムプロセスへの情報の流れを定量化する情報理論の尺度である。有向情報量という用語は、ジェームズ・マッセイによって造られ、次のように定義される ${\displaystyle I(X^{n}\to Y^{n})}$${\displaystyle X^{n}=\{X_{1},X_{2},\dots ,X_{n}\}}$${\displaystyle Y^{n}=\{Y_{1},Y_{2},\dots ,Y_{n}\}}$

${\displaystyle I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$、

ここで、 は条件付き相互情報量です。 ${\displaystyle I(X^{i};Y_{i}|Y^{i-1})}$ ${\displaystyle I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}$

相互情報量とは対照的に、有向情報は対称ではありません。は、からに因果的に伝達される情報ビットを測定します[因果伝達^の定義?]。有向情報は、フィードバック付きチャネルの容量、^{[24] [25]}フィードバック付き離散メモリレスネットワークの容量、^[26]因果サイド情報によるギャンブル、 ^{[27]因果サイド情報による}圧縮、^[28]リアルタイム制御通信設定、^{[29] [30]}統計物理学など、因果関係が重要な役割を果たす問題 に多くの用途があります。 ^[31]${\displaystyle I(X^{n}\to Y^{n})}$${\displaystyle X^{n}}$${\displaystyle Y^{n}}$

その他の重要な情報理論的量には、レーニエントロピーとツァリスエントロピー（エントロピーの概念の一般化）、微分エントロピー（情報量の連続分布への一般化）、条件付き相互情報量などがあります。また、意思決定にどれだけの情報が使用されたかを測る尺度として、実用的な情報が提案されています。

符号理論は、情報理論の最も重要かつ直接的な応用の 1 つです。これは、ソース符号理論とチャネル符号理論に細分できます。情報理論では、データの統計的記述を使用して、データの説明に必要なビット数、つまりソースの情報エントロピーを定量化します。

• データ圧縮 (ソース コーディング): 圧縮の問題には 2 つの定式化があります。
  • ロスレスデータ圧縮: データは正確に再構築される必要があります。
  • 非可逆データ圧縮: 歪み関数によって測定された指定された忠実度レベル内で、データを再構築するために必要なビットを割り当てます。情報理論のこのサブセットは、レート歪み理論と呼ばれます。
• エラー訂正コード (チャネル コーディング): データ圧縮では冗長性が可能な限り除去されますが、エラー訂正コードでは、ノイズの多いチャネルを介してデータを効率的かつ忠実に送信するために必要な適切な種類の冗長性 (つまり、エラー訂正) が追加されます。

符号化理論を圧縮と伝送に分けることは、情報伝送定理、または多くの状況で情報の普遍的な通貨としてビットを使用することを正当化するソース・チャネル分離定理によって正当化されます。ただし、これらの定理は、1 人の送信ユーザーが 1 人の受信ユーザーに通信したい場合にのみ当てはまります。複数の送信機 (多重アクセス チャネル)、複数の受信機 (ブロードキャスト チャネル)、または中間の「ヘルパー」 (リレー チャネル)、またはより一般的なネットワークがあるシナリオでは、圧縮してから伝送するという方法は最適ではなくなる可能性があります。

連続したメッセージを生成するプロセスはすべて、情報源とみなすことができます。メモリのない情報源とは、各メッセージが独立した同一分布のランダム変数であるものの、エルゴード性と定常性の特性によって課される制約がそれほど厳しくない情報源のことです。このような情報源はすべて確率的です。これらの用語は、情報理論以外でも独自によく研究されています。

情報率は、シンボルあたりの平均エントロピーです。記憶のない情報源の場合、これは単に各シンボルのエントロピーですが、定常確率過程の場合は、

${\displaystyle r=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},\ldots );}$

つまり、生成されたすべてのシンボルを前提としたシンボルの条件付きエントロピーである。より一般的なプロセスが必ずしも定常ではない場合、平均速度は

${\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});}$

つまり、シンボルあたりの結合エントロピーの限界である。定常ソースの場合、これら2つの式は同じ結果を与える。^[32]

情報レートは次のように定義される。

${\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}I(X_{1},X_{2},\dots X_{n};Y_{1},Y_{2},\dots Y_{n});}$

情報理論では、言語の「速度」または「エントロピー」について話すのが一般的です。これは、たとえば情報源が英語の散文である場合に適しています。情報源の速度は、その冗長性と圧縮率に関係しており、これはソースコーディングの主題です。

チャネルを介した通信は、情報理論の主な目的です。しかし、チャネルでは信号を正確に再現できないことが多く、ノイズ、無音期間、その他の信号破損によって品質が低下することがよくあります。

離散チャネルを介した通信プロセスについて考えてみましょう。プロセスの簡単なモデルを以下に示します。

${\displaystyle {\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}}$

ここで、X は送信されるメッセージの空間を表し、Y はチャネル上で単位時間内に受信されるメッセージの空間を表します。p ( y | x ) は、 Xが与えられたときのYの条件付き確率分布関数です。 p ( y | x )は、通信チャネルの固有の固定プロパティ (チャネルのノイズの性質を表す) であると見なします。すると、 XとYの結合分布は、チャネルと、チャネルを介して送信することを選択したメッセージの周辺分布であるf ( x )の選択によって完全に決まります。これらの制約の下で、チャネルを介して通信できる情報レート、つまり信号を最大化したいと考えています。これに対する適切な尺度は相互情報量であり、この最大相互情報はチャネル容量と呼ばれ、次のように与えられます。

${\displaystyle C=\max _{f}I(X;Y).\!}$

この容量は、情報レートR (ここで、Rは通常、シンボルあたりのビット数)での通信に関連して、次の特性を持ちます。 情報レートR < Cおよび符号化エラーε > 0 の場合、十分に大きいNに対して、長さNおよびレート ≥ Rのコードと、ブロック エラーの最大確率が ≤ εとなるような復号化アルゴリズムが存在します。つまり、常に任意に小さいブロック エラーで送信できます。 さらに、任意のレートR > Cの場合、任意に小さいブロック エラーで送信することは不可能です。

チャネル コーディングは、ノイズの多いチャネルを介して、チャネル容量に近い速度で小さなコーディング エラーでデータを送信するために使用できる、ほぼ最適なコードを見つけることに関係しています。

• ガウスノイズの影響を受ける連続時間アナログ通信チャネル—シャノン・ハートレーの定理を参照。
• 交差確率pのバイナリ対称チャネル( BSC)は、確率pで入力ビットを反転するバイナリ入力、バイナリ出力チャネルです。BSC の容量はチャネル使用ごとに1 − H _b ( p )ビットです。ここで、H _{b は}2 を底とする対数のバイナリエントロピー関数です。

• 消失確率pのバイナリ消失チャネル( BEC)は、バイナリ入力、3 値出力のチャネルです。チャネル出力は 0、1、および消失と呼ばれる 3 番目のシンボル「e」のいずれかになります。消失は、入力ビットに関する情報が完全に失われることを表します。BEC の容量は、チャネル使用ごとに1 − pビットです。

実際には多くのチャネルはメモリを持っています。つまり、 の時点では、チャネルは条件付き確率 で与えられます。 という表記法を使う方が便利な場合が多く、チャネルは になります。このような場合、容量は、フィードバックがない場合には相互情報率で与えられ、フィードバックがある場合もない場合も有向情報率で与えられます^{[24] [33]} (フィードバックがない場合、有向情報は相互情報量に等しくなります)。 ${\displaystyle i}$${\displaystyle P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).}$${\displaystyle x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})}$${\displaystyle P(y_{i}|x^{i},y^{i-1}).}$

代替可能な情報とは、符号化の手段が重要ではない情報である。^[34]古典的な情報理論家やコンピュータ科学者は、主にこの種の情報に関心を持っている。これは、話し言葉可能な情報と呼ばれることもある。^[35]

情報理論の概念は、暗号学と暗号解読に応用されています。チューリングの情報単位であるバンは、ウルトラ計画で使用され、ドイツのエニグマ機械語を解読し、ヨーロッパにおける第二次世界大戦の終結を早めました。シャノン自身は、現在では単一性距離と呼ばれる重要な概念を定義しました。これは、平文の冗長性に基づいて、一意の解読可能性を保証するために必要な最小限の暗号文を提供する試みです。

情報理論によれば、秘密を守ることは一見するよりもはるかに難しいと考えられています。ブルート フォース攻撃は、非対称鍵アルゴリズム、またはブロック暗号などの対称鍵アルゴリズム(秘密鍵アルゴリズムと呼ばれることもあります)の最も一般的な方法に基づくシステムを破ることができます。このような方法のセキュリティは、既知の攻撃では実用的な時間内にそれらを破ることができないという仮定に基づいています。

情報理論的セキュリティとは、ブルートフォース攻撃に対して脆弱ではないワンタイムパッドなどの方法を指します。このような場合、平文と暗号文の間の正の条件付き相互情報量（鍵を条件とする）によって適切な送信が保証される一方で、平文と暗号文の間の無条件相互情報量はゼロのままであるため、通信は完全に安全です。言い換えれば、盗聴者は暗号文の知識を得ても鍵の知識がないため、平文の推測精度を向上させることはできません。ただし、他の暗号化システムと同様に、情報理論的に安全な方法であっても正しく適用するには注意が必要です。たとえば、ヴェノナ プロジェクトでは、鍵素材の不適切な再利用により、ソビエト連邦のワンタイムパッドを解読することができました。

疑似乱数生成器は、コンピュータ言語ライブラリやアプリケーション プログラムで広く利用できます。これらは、現代のコンピュータ機器やソフトウェアの決定論的な性質を回避できないため、ほとんどの場合、暗号化には適していません。改良された乱数生成器の一種は、暗号的に安全な疑似乱数生成器と呼ばれますが、意図したとおりに機能するにはソフトウェア外部の乱数シードが必要です。これらは、慎重に行えば、抽出器を介して取得できます。抽出器における十分な乱数の尺度は、最小エントロピーです。これは、レーニ エントロピーを介してシャノン エントロピーに関連する値です。レーニ エントロピーは、暗号化システムにおける乱数の評価にも使用されます。関連はあるものの、これらの尺度には違いがあるため、シャノン エントロピーの高い乱数変数は、必ずしも抽出器での使用に適さず、したがって暗号化にも適さないことになります。

情報理論の初期の商業的応用の一つは地震による石油探査の分野であった。この分野の研究により、望ましくないノイズを目的の地震信号から除去して分離することが可能になった。情報理論とデジタル信号処理は、従来のアナログ方式に比べて解像度と画像の鮮明度を大幅に向上させた。^[36]

記号学者のドエデ・ナウタとヴィンフリート・ノスはともに、チャールズ・サンダース・パースが記号論の著作の中で情報理論を創始したと考えていた。^{[37] : 171  [38] : 137}ナウタは記号論的情報理論を「コーディング、フィルタリング、情報処理の内部プロセス」の研究と定義した。^{[37] : 91}

冗長性やコード制御などの情報理論の概念は、ウンベルト・エーコやフェルッチオ・ロッシ＝ランディなどの記号学者によって、イデオロギーをメッセージ伝達の一形態として説明するために使用されてきた。イデオロギーでは、支配的な社会階級が、競合する複数のメッセージの中から1つのメッセージだけが解読されるような高度な冗長性を示す記号を使用してメッセージを発信する。^[39]

定量的情報理論的方法は、認知神経科学における結合問題の文脈における神経情報の統合プロセス組織を分析するために認知科学に適用されてきました。^[40]この文脈では、機能クラスター（ジェラルド・エーデルマンとジュリオ・トノーニの機能クラスタリングモデルと動的コア仮説（DCH）^[41]）や有効情報（トノーニの意識の統合情報理論（IIT）^{[42] [43] [44]}）などの情報理論的尺度が定義される（リエントラントプロセス組織、すなわち神経細胞集団のグループ間の神経生理学的活動の同期に基づいて）、または統計的手法に基づく自由エネルギー最小化の尺度（カール・J・フリストンの自由エネルギー原理（FEP、自己組織化システムにおけるあらゆる適応的変化は自由エネルギーの最小化につながるという情報理論的尺度、およびベイズ脳仮説^{[45] [46] [ 47] [48] [49]}））のいずれか。

情報理論は、地球外知的生命体^[50]、 ブラックホール、バイオインフォマティクス^[要出典]、ギャンブルの探索にも応用されています。

• ハートリー、RVL
• 情報理論の歴史
• シャノン、CE
• 情報理論のタイムライン
• ヨッキー、HP
• アンドレイ・コルモゴロフ

• 「情報」、数学百科事典、EMS Press、2001 [1994]
• ランバート FL (1999)、「シャッフルされたカード、散らかった机、乱雑な寮の部屋 - エントロピー増加の例? ナンセンス!」、化学教育ジャーナル
• IEEE 情報理論学会および ITSOC のモノグラフ、調査、レビューは、2018 年 6 月 12 日にWayback Machineにアーカイブされています。