情報理論の歴史

最も古い通信方法の中には、後にシャノンが情報理論の発展において体系化したアイデアを暗黙のうちに利用したものがあった。 1830年代から始まった電信では、モールス符号はより頻繁に使用される文字の頻度を考慮した。そのため、1つの「ドット」で表される「E」は、1つの「ドット」の後に3つの「ダッシュ」で表される「J」のようなあまり使用されない文字よりも速く送信される。このように情報を符号化するというアイデアは、ロスレスデータ圧縮の基礎となっている。100年後、周波数変調は、帯域幅を単なる自由度の一つとみなすことができることを示した。現在では主にオーディオエンジニアリングの珍品と見なされているボコーダーは、もともと1939年に、携帯電話が現在音声品質と帯域幅のトレードオフを行うのとほぼ同じように、元のメッセージよりも少ない帯域幅を使用するように設計された。

シャノンの研究の最も直接的な前身は、1920年代にハリー・ナイキストとラルフ・ハートリーによって発表された2つの論文であり、シャノンが1940年代初頭にベル研究所に着任した当時、彼らはともにベル研究所の研究リーダーであった。

ナイキストの1924年の論文「電信速度に影響を与えるいくつかの要因」は、主に電信信号の詳細な工学的側面に関するものである。しかし、より理論的なセクションでは、「情報」と、通信システムによって伝送できる「回線速度」を定量化することについて議論し、次の関係を示している。

${\displaystyle W=K\log m\,}$

ここで、Wは情報伝達速度、mは各時間ステップで選択できる異なる電圧レベルの数、Kは定数である。^{[ 1 ]}

ハートレーの1928年の論文「情報の伝達」は、情報という言葉（技術的な意味で）を用いることでさらに踏み込み、この文脈における情報は測定可能な量であり、受信者が、記号が表す可能性のある関連する意味やその他の心理的または意味論的な側面とは全く関係なく、送信者が意図した記号のシーケンスが他のシーケンスではないことを区別できる能力のみを反映していることを明確にした。彼はこの情報量を次のように定量化した。

${\displaystyle H=\log S^{n}\,}$

ここで、Sは可能なシンボルの数、n は送信中のシンボルの数です。したがって、情報の自然な単位は十進数であり、後に彼の名誉を称えてハートレーと改名され、情報の単位、尺度、または測定として用いられました。ハートレー情報H ₀は、可能性の総数の対数を表す量として今でも使用されています。^{[ 2 ]}

同様の対数₁₀確率の単位であるbanと、その派生単位であるdeciban (ban の 10 分の 1) は、 1940 年にアラン・チューリングによって、第二次世界大戦中のドイツのエニグマ暗号解読の統計分析の一環として導入されました。decibannage は、可能性の総数 (の対数) の減少 (ハートレー情報の変化に類似) を表し、また、一連の観測からある仮説が別の仮説よりも優れていると推測できる対数尤度比(または証拠の重みの変化) も表します。証拠の重みの期待される変化は、後にカルバック識別情報と呼ばれるものと同じです。

しかし、この考え方の根底には、確率が異なる事象の情報内容ではなく、依然として等しい事前確率という概念があり、また、そのような多様な結果の伝達に関する問題の根底にある構想もまだ存在していなかった。

1939年にヴァネヴァー・ブッシュに宛てた手紙の中で、シャノンはすでに情報理論に関する初期のアイデアのいくつかを概説していた。^{[ 3 ]}

不均等な確率が実際によく知られていた分野の一つは統計力学であり、ルートヴィヒ・ボルツマンは1872年のH定理の文脈で初めてこの量を導入した。

${\displaystyle H=-\sum f_{i}\log f_{i}}$

ボルツマンは、同種の粒子からなる気体中の単一粒子が取り得る状態の広がりを測る尺度として、各可能な状態の相対頻度分布をfで表した。ボルツマンは、粒子間の衝突の影響により、平衡に達するまでH関数が初期配置から必然的に増加すると数学的に主張し、さらに、これをクラウジウスの巨視的熱力学的エントロピーの根底にある微視的根拠として特定した。

ボルツマンの定義は、アメリカの数学物理学者J・ウィラード・ギブスによってすぐに統計力学的エントロピーの一般式へと改良され、もはや同一で相互作用しない粒子を必要とせず、代わりにシステム全体の完全なミクロ状態iの確率分布p _iに基づいている。

${\displaystyle S=-k_{\text{B}}\sum p_{i}\ln p_{i}\,}$

統計力学から得られるこの（ギブスの）エントロピーは、クラウジウスの古典的な熱力学的定義に直接対応していることがわかる。

シャノン自身は、自身の新しい尺度と熱力学における以前の研究との密接な類似性に特に気づいていなかったようだが、ジョン・フォン・ノイマンは気づいていた。シャノンが新しい尺度の名前を決めかねており、「情報」という用語がすでに使い古されていることを懸念していたとき、フォン・ノイマンは彼にきっぱりと言ったという。「エントロピーと呼ぶべきだ。理由は二つある。まず第一に、君の不確定性関数は統計力学でその名前で使われているので、すでに名前がついている。第二に、そしてより重要なことだが、エントロピーが実際には何なのか誰も正確には知らないので、議論においては君が常に有利になるだろう。」

（情報理論的エントロピーと熱力学的エントロピーの関連性、特に1960年代のロルフ・ランダウアーによる重要な貢献については、 「熱力学と情報理論におけるエントロピー」という記事でさらに詳しく解説されています。）