Loading article…
1940年代にクロード・シャノンとラルフ・ハートレーによって開発された情報理論の数式は、1870年代にルートヴィヒ・ボルツマンとJ・ウィラード・ギブスによって考案された統計熱力学の数式と類似しており、統計熱力学ではエントロピーの概念が中心となっているため、シャノンは不確実性の尺度として同じ「エントロピー」という用語を用いるよう説得された。情報エントロピーは、しばしば物理的（熱力学的）エントロピーと同等であるとみなされる。
1870年代にルートヴィヒ・ボルツマンとJ・ウィラード・ギブスによって確立された統計力学理論におけるエントロピーの定義式は、次の形式である。
どこは平衡アンサンブルから得られたミクロ状態iの確率であり、はボルツマン定数です。
1948年にクロード・E・シャノンによって確立された情報理論におけるエントロピーの定義式は、次の形式である。
どこメッセージの確率はメッセージ空間Mから取得され、bは使用される対数の底です。b の一般的な値は2、オイラー数e、および 10 であり、エントロピーの単位は、b = 2 の場合はシャノン(またはビット) 、b = eの場合はナット、b = 10の場合はハートレーです。[ 1 ]
数学的には、 H はメッセージ空間全体にわたって平均情報と見なすこともできます。なぜなら、あるメッセージが確率p iで発生すると、情報量 −log( p i ) (情報量または自己情報と呼ばれる) が得られるからです。
すべてのミクロ状態が等確率である場合（ミクロカノニカルアンサンブル）、統計的熱力学的エントロピーはボルツマンによって与えられた形式に簡略化される。
ここで、Wは巨視的な熱力学的状態に対応する微視的状態の数である。したがって、Sは温度に依存する。
すべてのメッセージが等確率である場合、情報エントロピーはハートレーエントロピーに縮小します。
どこはメッセージ空間Mの濃度です。
熱力学の定義における対数は自然対数である。自然対数を用いたギブスのエントロピー公式は、ルドルフ・クラウジウスの巨視的古典熱力学のすべての性質を再現することが示される。（記事「エントロピー（統計的観点） 」を参照）。
情報エントロピーの場合、対数を自然対数の底に取ることもできます。これは、情報量を通常のビット（より厳密にはシャノン）ではなくナットで測定することに相当します。実際には、情報エントロピーはほぼ常に2を底とする対数を用いて計算されますが、この違いは単位の変更に過ぎません。1ナットは約1.44 シャノンです。
体積仕事しかできない単純な圧縮性システムの場合、熱力学第一法則は次のようになる。
しかし、この方程式は、物理学者や化学者が「還元」または無次元エントロピーσ = S / kと呼ぶものを用いて同様に記述することもできるので、
SがTと共役であるのと同様に、σはkBT （分子スケールでTに特徴的なエネルギー）と共役である。
したがって、統計力学におけるエントロピーの定義（ギブスのエントロピー公式））そして古典熱力学では（、および基本的な熱力学的関係）は、ミクロカノニカルアンサンブル、およびリザーバーと平衡状態にある熱力学系を記述する統計アンサンブル（カノニカルアンサンブル、グランドカノニカルアンサンブル、等温等圧アンサンブルなど）に対して等価である。この等価性は教科書でよく示されている。しかし、エントロピーの熱力学的定義とギブスエントロピーの等価性は一般的ではなく、一般化ボルツマン分布の固有の性質である。[ 2 ]
さらに、統計力学におけるエントロピーの定義は、以下の仮定の下で古典熱力学のエントロピーと等価な唯一のエントロピーであることが示されています。[ 3 ]
上記にもかかわらず、この2つの量には違いがある。情報エントロピーHは、あらゆる確率分布に対して計算できる（「メッセージ」が、起こりうる事象の空間の中で、確率p iの事象iが発生したこととみなされる場合）のに対し、熱力学的エントロピーSは、熱力学的確率p iに特化している。ただし、この違いは実際よりも理論的なものであり、あらゆる確率分布は、何らかの熱力学的システムによって任意に近似できる。
さらに、この2つの間には直接的な関連性があります。問題となる確率が熱力学的確率p iである場合、(縮小)ギブスエントロピーσ は、システムの巨視的記述が与えられた場合に、その詳細な微視的状態を定義するために必要なシャノン情報量と単純に見なすことができます。あるいは、 1930 年に化学エントロピーについて書いたGN ルイスの言葉を借りれば、「エントロピーの増加は常に情報の損失を意味し、それ以上のものではない」。より具体的に言うと、底が 2 の対数を使用する離散的な場合、縮小ギブスエントロピーは、巨視的状態がわかっている場合に、微視的状態を完全に指定するために回答する必要のある最小のイエス・ノー質問数の平均に等しくなります。
さらに、適切な制約の下でギブスエントロピーを最大化することによって、ボルツマン分布などの統計力学の平衡分布を見つけるための処方箋（ギブスアルゴリズム）は、熱力学に特有のものではなく、平均値に一定の制約を課した上で、最大限に情報量の少ない確率分布を見つけたい場合に、統計的推論において一般的に関連する原理と見なすことができる。（これらの観点は、「最大エントロピー熱力学」という記事でさらに詳しく検討されている。）
情報理論におけるシャノンエントロピーは、シンボルあたりのビット数で表されることがあります。物理的なエントロピーは、「量あたり」( h ) を基準とする場合があり、これは通常の総エントロピーである「外延的」エントロピーではなく、「内包的」エントロピーと呼ばれます。メッセージの「シャノン値」( H ) は、そのメッセージの総「外延的」情報エントロピーであり、メッセージのビット数のh倍です。
hとSの間には、均質な物質のモル、キログラム、体積、または粒子ごとに発生する各ミクロ状態に記号を割り当て、これらの記号の「h」を計算することで、直接的かつ物理的に現実的な関係を見出すことができます。理論的にも観測的にも、記号（ミクロ状態）は異なる確率で発生し、これがhを決定します。単位物質のモル、キログラム、体積、または粒子がN個ある場合、h（単位物質あたりのビット数）とナッツ単位の物理的エントロピーの関係は次のようになります。
ここで、ln(2)はシャノンエントロピーの底2から物理エントロピーの自然底eへの変換係数です。N hはエントロピーSを持つ物理システムの状態を記述するために必要なビット単位の情報量です。 ランダウアーの原理は、N hビットの情報を不可逆的に消去またはマージすることによって、理想的に効率的なメモリ変更または論理演算に必要な最小エネルギーE（したがって発生する熱Q ）は、温度のS倍になることを示すことで、この現実を実証しています。
ここで、hは情報ビット単位、EとQは物理ジュール単位である。これは実験的に確認されている。[ 4 ]
温度は理想気体中の粒子あたりの平均運動エネルギーの尺度であり (ケルビン = 2 / 3ジュール/ k B )、したがってk BのJ/K 単位は無次元 (ジュール / ジュール) です。 k bは理想気体の3 / 2ケルビン単位のエネルギーをジュールに変換する係数です。理想気体の粒子あたりの運動エネルギーの測定値がケルビンではなくジュールで表される場合、上記の式のk b は3/2に置き換えられます。これは、Sが、情報の単位 (この場合は nats) 以外の基本的な物理単位を持たない、ミクロ状態の真の統計的尺度であることを示しています。nats は、慣例によりどの対数の底が選択されたかを示す記述にすぎません。
情報を持っているだけで原理的に熱力学的な結果が生じる可能性があることを示す物理的な思考実験は、1929年にレオ・シラードによって、有名なマクスウェルの悪魔のシナリオ[ 5 ]の改良版（そしてジュール膨張の思考実験の逆転版）として確立されました。
マクスウェルの装置を考えてみましょう。ただし、箱の中にはガス粒子が1つだけ入っているとします。悪魔が粒子が箱のどちら側にあるかを知っている場合（これは1ビットの情報に相当します）、箱の2つの半分の間のシャッターを閉じ、ピストンを抵抗なく空の半分に押し込み、そして粒子を取り出すことができます。シャッターを再び開けると、ジュール単位の有用な仕事が得られます。その後、粒子は等温膨張して元の平衡体積に戻ります。したがって、適切な条件下では、シャノン情報の1ビット（ブリルアンの用語ではネゲントロピーの1ビット）を持つことは、物理システムのエントロピーの減少に実際に対応します。全体のエントロピーは減少しませんが、情報から自由エネルギーへの変換は可能です。
この思考実験は、悪魔としてコンピュータに接続された高速カメラを備えた位相差顕微鏡を使用して物理的に実証されています。[ 6 ]この実験では、フィードバック制御によってブラウン粒子に対して情報からエネルギーへの変換が行われます。つまり、粒子に与えられた仕事と、その位置で得られた情報を同期させます。さまざまなフィードバックプロトコルのエネルギーバランスを計算すると、 Jarzynski 等式にはフィードバックに含まれる情報量を考慮した一般化が必要であることが確認されています。
実際、一般化して言えば、物理的な表現を持つ情報はすべて、何らかの形で物理システムの統計力学的な自由度の中に埋め込まれているはずだ。
したがって、ロルフ・ランダウアーは1961年に、もしこれらの自由度が熱平衡状態にあると仮定すると、それらを既知の状態に再設定した場合、熱力学的エントロピーは実際に減少すると主張した。これは、不確実性が何らかの形で他の場所に排出される場合、つまり、環境（または情報を持たない自由度）のエントロピーが、熱力学第二法則で要求されるように、適切な量の熱を得ることによって少なくとも同等の量だけ増加する場合にのみ、情報保存型の微視的決定論的ダイナミクスの下で達成できる。具体的には、ランダム性の1ビットが消去されるごとにkT ln(2)の熱を得る必要がある。
一方、ランダウアーは、論理的に可逆な操作がシステム内で物理的に可逆な方法で実現される可能性について、熱力学的な異論はないと主張した。対応するエントロピーの増加を伴う必要があるのは、論理的に不可逆な操作、例えば、ビットを既知の状態に消去することや、2つの計算パスをマージすることだけである。情報が物理的なものである場合、その表現のすべての処理、すなわち生成、符号化、伝送、復号、解釈は、自由エネルギーの消費によってエントロピーが増加する自然なプロセスである。[ 7 ]
マクスウェルの悪魔／シラードエンジンのシナリオに当てはめると、粒子の状態をエントロピーコストなしで計算装置に「読み込む」ことが可能かもしれないということになります。ただし、これは装置が不確定性の熱平衡状態にあるのではなく、既知の状態に既に設定されている場合に限ります。装置をこの状態に設定（またはリセット）するには、シラード粒子の状態を知ることで節約できるすべてのエントロピーを消費することになります。
2008年と2009年に、研究者たちはランダウアーの原理が熱力学第二法則と情報利得に伴うエントロピー変化から導き出せることを示し、量子および古典的なフィードバック制御システムの熱力学を発展させた。 [ 8 ] [ 9 ]
シャノンエントロピーは、物理学者レオン・ブリルアンによって、ネゲントロピーと呼ばれる概念と関連付けられました。1953年、ブリルアンは、情報ビット値の変化には少なくともkT ln(2)のエネルギーが必要であることを示す一般式[ 10 ]を導出しました。これは、レオ・シラードのエンジンが理想的な場合に生成する仕事と同じエネルギーであり、これはランダウアーが発見した量と同じです。彼の著書[11]では、この問題をさらに探求し、ビット値の変化の原因（測定、はい/いいえの質問に対する決定、消去、表示など）はすべて同じ量のkT ln(2)のエネルギーを必要とすると結論付けました。したがって、システムのミクロ状態に関する情報を取得することはエントロピー生成と関連付けられ、消去はビット値が変化している場合にのみエントロピー生成をもたらします。もともと熱平衡状態にあるサブシステムに情報ビットを設定すると、局所的なエントロピーが減少します。しかし、ブリルアンによれば、局所システムの熱力学的エントロピーの減少は他の場所での熱力学的エントロピーの増加をもたらすため、熱力学第二法則に違反することはありません。このようにして、ブリルアンは、以前の理解ではカルノー効率が1を超える可能性があるため議論の的となっていたネゲントロピーの意味を明確にしました。さらに、ブリルアンによって定式化されたエネルギーと情報の関係は、脳が処理するビット数と消費するエネルギーの関係として提案されています。コレルとフォーケ[ 12 ]は、デ・カストロ[ 13 ]がランダウアー限界を脳の計算の熱力学的下限として解析的に発見したと主張しました。しかし、進化は最もエネルギー効率の良いプロセスを「選択」してきたと考えられていますが、物理的な下限は脳内では現実的な量ではありません。第一に、物理学で考慮される最小処理単位は原子/分子であり、これは脳の実際の動作とはかけ離れているためです。第二に、ニューラルネットワークには重要な冗長性とノイズ要因が組み込まれており、その効率が大幅に低下するためです。[ 14 ] Laughlinら[ 15 ]は、感覚情報の処理に必要なエネルギーコストを初めて明示した研究者です。彼らの研究結果によると、視覚感覚データの場合、1ビットの情報を送信するコストは約5×10⁻¹⁴ジュール、つまり10⁴ ATP分子。したがって、神経処理効率はランダウアーの限界kT ln(2) Jには遠く及ばないものの 、興味深い事実として、現代のコンピュータよりもはるかに効率的である。
2009年、MahulikarとHerwigは、熱力学的ネゲントロピーを、動的に秩序づけられたサブシステムの周囲に対する特定のエントロピー不足として再定義した。[ 16 ]この定義により、秩序が存在する間、熱力学第二法則から導かれることが数学的に示されているネゲントロピー原理 の定式化が可能になった。
ヒルシュマンは、[ 17 ]ヒルシュマンの不確定性を参照、ハイゼンベルクの不確定性原理は、量子力学的状態の量子観測可能な確率分布の古典的な分布エントロピーの合計、すなわち座標空間および運動量空間における波動関数の二乗の和に対する特定の下限として表現できることを示した（プランク単位で表現した場合）。結果として得られる不等式は、ハイゼンベルクの不確定性関係に対するより厳密な制約を与える。
位置と運動量は量子共役変数であり、したがって同時観測できないため、 「結合エントロピー」を割り当てることは意味があります。数学的には、これらは結合分布として扱われなければなりません。この結合エントロピーは、フォン・ノイマンエントロピー、−Tr ρ ln ρ = −⟨ln ρ ⟩とは等価ではないことに注意してください。ヒルシュマンのエントロピーは、量子状態の混合の完全な情報内容を説明すると言われています。[ 18 ]
（量子情報の観点からフォン・ノイマンエントロピーに不満を抱いているストットランド、ポメランスキー、バッハマット、コーエンらは、量子力学的状態の固有の不確定性を反映した、これまでとは異なるエントロピーの定義を導入した。この定義により、純粋状態の最小不確定性エントロピーと混合状態の過剰統計エントロピーを区別することができる。[ 19 ]）
、シラード型マクスウェルの悪魔の最初の実現例を示した。
