熱力学と情報理論におけるエントロピー

1870 年代にルートヴィヒ・ボルツマンとJ. ウィラード・ギブスによって確立された統計熱力学定式化における熱力学的エントロピーの数学的表現は、 1940 年代にクロード・シャノンとラルフ・ハートリーによって開発された情報エントロピーに似ています。

1870 年代にルートヴィヒ・ボルツマンとJ. ウィラード・ギブスによって確立された統計力学の理論におけるエントロピーの定義式は次の形式です。

${\displaystyle S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i},}$

ここで、 は平衡集団から取られたミクロ状態iの確率であり、 はボルツマン定数です。 ${\displaystyle p_{i}}$ ${\displaystyle k_{B}}$

1948 年にクロード E. シャノンが確立した情報理論におけるエントロピーの定義式は次のようになります。

${\displaystyle H=-\sum _{i}p_{i}\log _{b}p_{i},}$

ここで、 はメッセージ空間Mから取得されるメッセージの確率であり、bは使用される対数の底です。 bの一般的な値は2、オイラー数e、および 10 であり、エントロピーの単位はb = 2 の場合はシャノン（またはビット） 、b  =  eの場合はナット、b  = 10の場合はハートレーです。 ^[1]${\displaystyle p_{i}}$${\displaystyle m_{i}}$

数学的には、H はメッセージ空間全体にわたる平均情報とみなすこともできます。これは、特定のメッセージが確率p _iで発生すると、情報量 −log( p _i ) (情報量または自己情報量と呼ばれる) が得られるためです。

すべてのミクロ状態が等確率（ミクロカノニカル集団）である場合、統計的熱力学的エントロピーはボルツマンによって与えられた形に縮小される。

${\displaystyle S=k_{\text{B}}\ln W,}$

ここで、W はマクロな熱力学的状態に対応するミクロ状態の数です。したがって、S は温度に依存します。

すべてのメッセージが等確率である場合、情報エントロピーはハートレーエントロピーに減少する。

${\displaystyle H=\log _{b}|M|\ ,}$

ここで、メッセージ空間Mの基数です。 ${\displaystyle |M|}$

熱力学の定義における対数は自然対数です。自然対数を用いたギブスのエントロピーの式は、ルドルフ・クラウジウスの巨視的古典熱力学のすべての特性を再現することが示せます。(記事「エントロピー(統計的観点)」を参照)。

情報エントロピーの場合、対数は自然底にすることもできます。これは、通常のビット (またはより正式にはシャノン) ではなく、NAT で情報を測定することを選択することと同じです。実際には、情報エントロピーはほとんどの場合、底 2 の対数を使用して計算されますが、この違いは単位の変更以外の何物でもありません。1 NAT は約 1.44 シャノンです。

体積仕事しか行えない単純な圧縮性システムの場合、熱力学の第一法則は次のようになる。

${\displaystyle dE=-pdV+TdS.}$

しかし、この式は物理学者や化学者が「縮小」または無次元エントロピーと呼ぶもの、σ = S / kで表すこともできる。

${\displaystyle dE=-pdV+k_{\text{B}}Td\sigma .}$

SがTと共役であるのと同様に、σはk _B T (分子スケールで Tに特有のエネルギー)と共役です。

したがって、統計力学におけるエントロピーの定義（ギブスのエントロピー公式 ）と古典熱力学におけるエントロピーの定義（、および基本的な熱力学関係）は、ミクロカノニカル集団、およびカノニカル集団、グランドカノニカル集団、等温等圧集団など、リザーバーと平衡状態にある熱力学系を記述する統計集団に対して同等である。この同等性は教科書でよく示されている。しかし、熱力学におけるエントロピーの定義とギブスのエントロピーの同等性は一般的なものではなく、一般化ボルツマン分布の排他的な特性である。^[2]${\displaystyle S=-k_{\mathrm {B} }\sum _{i}p_{i}\log p_{i}}$${\displaystyle dS={\frac {\delta Q_{\text{rev}}}{T}}}$

さらに、統計力学におけるエントロピーの定義は、以下の仮定の下で古典的熱力学のエントロピーと同等の唯一のエントロピーであることが示されている。^[3]

前述のことにもかかわらず、2 つの量には違いがあります。情報エントロピー Η は、任意の 確率分布に対して計算できます(「メッセージ」が、起こり得るイベントの空間外で、確率p _iのイベントi が発生したと解釈される場合)。一方、熱力学的エントロピーS は、熱力学的確率p _iに特に関連しています。ただし、この違いは実際よりも理論的なものであり、任意の確率分布は、何らかの熱力学システムによって任意に近似できるためです。^{[引用が必要]}

さらに、この 2 つを直接関連付けることもできます。問題の確率が熱力学的確率p _iである場合、(縮小)ギブス エントロピー σ は、システムのマクロ的な記述が与えられた場合に、システムの詳細なミクロ的な状態を定義するために必要なシャノン情報量としてのみ考えることができます。または、 1930 年に化学エントロピーについて書いたGN Lewisの言葉を借りれば、「エントロピーの増加は常に情報の損失を意味し、それ以上のものではありません」。より具体的には、2 を底とする対数を使用する離散的なケースでは、縮小ギブス エントロピーは、マクロ的な状態がわかっている場合に、ミクロ的な状態を完全に指定するために回答する必要のある、最小数の「はい/いいえ」の質問の平均に等しくなります。

さらに、適切な制約の下でギブスのエントロピーを最大化することによってボルツマン分布などの統計力学の平衡分布を見つけるための処方箋（ギブスのアルゴリズム）は、平均に対する一定の制約の下で最大限に情報のない確率分布を見つけることが望まれる場合、熱力学に特有のものではなく、統計的推論における一般的な関連原理と見ることができます。（これらの観点については、記事「最大エントロピー熱力学」でさらに詳しく説明します。）

情報理論におけるシャノン エントロピーは、シンボルあたりのビット数で表現されることがあります。物理的なエントロピーは、「量あたり」の基準 ( h ) で表され、「強度」エントロピーと呼ばれる通常の総エントロピー (「拡張」エントロピーと呼ばれる) とは異なります。メッセージの「シャノン」 ( Η ) は、その総「拡張」情報エントロピーであり、メッセージ内のビット数の h倍です。

hとSの直接的かつ物理的に実際の関係は、均質な物質のモル、キログラム、体積、または粒子ごとに発生する各ミクロ状態にシンボルを割り当て、これらのシンボルの「h」を計算することによって見つけることができます。理論または観察により、シンボル (ミクロ状態) は異なる確率で発生し、これによってh が決まります。単位物質のモル、キログラム、体積、または粒子が N 個ある場合、 h (単位物質あたりのビット数) と nats での物理的広範エントロピー の関係は次のようになります。

${\displaystyle S=k_{\mathrm {B} }\ln(2)Nh}$

ここで、ln(2) はシャノンエントロピーの基数 2 から物理エントロピーの自然基数 e への変換係数です。N hは、エントロピーSの物理システムの状態を記述するために必要なビット単位の情報量です。 ランダウアーの原理は、N hビットの情報を不可逆的に消去または結合することによって理想的に効率的なメモリ変更または論理操作に必要な最小エネルギーE (したがって生成される熱Q ) は、温度のS倍であり、これは

${\displaystyle E=Q=Tk_{\mathrm {B} }\ln(2)Nh,}$

ここでhは情報ビット、EとQは物理ジュールである。これは実験的に確認されている。^[4]

温度は理想気体中の粒子あたりの平均運動エネルギーの尺度です（ケルビン = ⁠2/3⁠ジュール/ k _{B ) なので、} k _Bの J/K 単位は無次元 (ジュール/ジュール) です。k _bは、 ⁠のエネルギーから3/2⁠ 理想気体のケルビンからジュールへの変換。理想気体の粒子あたりの運動エネルギーの測定値がケルビンではなくジュールで表された場合、上記の式のk _{b は}3/2 に置き換えられます。これは、S が、情報の単位 (この場合は nats) 以外の基本的な物理単位を持たない、ミクロ状態の真の統計的尺度であることを示しています。これは、慣例により選択された対数の底を示すだけのステートメントです。

情報の所有が原理的に熱力学的な結果をもたらす可能性があることを示す物理的な思考実験は、1929年にレオ・シラードによって、有名なマクスウェルの悪魔のシナリオ^{[5] （および}ジュール膨張の思考実験の逆転）を改良したものとして確立されました。

マクスウェルのセットアップを、箱の中にあるガス粒子が 1 つだけの場合について考えてみましょう。悪魔が箱のどちらの半分に粒子があるか (1 ビットの情報に相当) がわかれば、箱の 2 つの半分の間にあるシャッターを閉じ、箱の空の半分にピストンを無抵抗で閉じ、シャッターを再び開けるとジュール単位の有用な仕事を引き出すことができます。その後、粒子は等温で膨張して元の平衡占有体積に戻ります。したがって、適切な状況では、シャノン情報の 1 ビット (ブリルアンの用語では 1 ビットのネゲントロピー) を所有することは、実際に物理システムのエントロピーの減少に相当します。全体的なエントロピーは減少しませんが、情報から自由エネルギーへの変換は可能です。 ${\displaystyle k_{\text{B}}T\ln 2}$

この思考実験は、コンピュータに接続された高速カメラを備えた位相差顕微鏡を悪魔として使い、物理的に実証された。^{[6]この実験では、}ブラウン運動粒子に対する情報からエネルギーへの変換は、フィードバック制御、つまり粒子に与えられた仕事とその位置で得られた情報を同期させることによって行われる。異なるフィードバックプロトコルのエネルギーバランスを計算することで、ジャルジンスキーの等式には、フィードバックに含まれる情報量を考慮した一般化が必要であること が確認された。

実際、一般化することができます。物理的な表現を持つあらゆる情報は、何らかの形で物理システムの統計力学的な自由度に埋め込まれている必要があります。

したがって、ロルフ・ランダウアーは1961 年に、熱平衡状態の自由度から始めて、その後、それらを既知の状態にリセットすると、熱力学的エントロピーが実際に減少するだろうと主張しました。これは、情報を保存する微視的決定論的ダイナミクスの下で、不確実性が何らかの形でどこか別の場所に捨てられる場合にのみ達成できます。つまり、環境のエントロピー (または情報を持たない自由度) が、適切な量の熱を得ることによって、第二法則で要求されているように少なくとも同等の量だけ増加する場合です。具体的には、ランダム性が 1 ビット消去されるごとにkT  ln 2 の熱です。

一方、ランダウアーは、論理的に可逆な操作がシステム内で物理的に可逆な方法で実現される可能性に対して熱力学的な異論はないと主張した。論理的に不可逆な操作、たとえばビットを既知の状態に消去したり、2つの計算パスをマージしたりする操作のみが、対応するエントロピーの増加を伴わなければならない。情報が物理的である場合、その表現のすべての処理、つまり生成、エンコード、送信、デコード、解釈は、自由エネルギーの消費によってエントロピーが増加する自然なプロセスである。^[7]

これをマクスウェルの悪魔/シラードエンジンのシナリオに適用すると、エントロピーを消費せずに粒子の状態を計算装置に「読み込む」ことが可能かもしれないことが示唆されます。ただし、装置が不確実な熱状態にあるのではなく、既知の状態にすでに設定されている場合に限ります。装置をこの状態に設定(またはリセット) するには、シラード粒子の状態を知ることで節約できるすべてのエントロピーを消費します。

2008年と2009年に研究者らは、ランダウアーの原理が熱力学の第二法則と情報利得に関連するエントロピー変化から導き出され、量子および古典的フィードバック制御システムの熱力学を発展させることができることを示しました。^{[8] [9]}

シャノンエントロピーは、物理学者レオン・ブリルアンによって、ネゲントロピーと呼ばれる概念に関連付けされています。1953年、ブリルアンは、情報ビット値の変更には少なくともkT ln(2)のエネルギーが必要であるという一般的な方程式^{[10]を導き出しました。これは、}レオ・シラードのエンジンが理想的な場合に生成する 仕事と同じエネルギーであり、ランダウアーが発見した量と同じです。彼は著書^[11]でこの問題をさらに検討し、ビット値の変更のあらゆる原因（測定、はい/いいえの質問に関する決定、消去、表示など）には、同じ量、kT  ln(2)のエネルギーが必要であると結論付けました。その結果、システムのミクロ状態に関する情報の取得はエントロピー生成と関連しており、消去はビット値が変化している場合にのみエントロピー生成をもたらします。もともと熱平衡状態にあるサブシステムに情報ビットを設定すると、局所的なエントロピーの減少が起こります。しかし、ブリルアンによれば、局所システムの熱力学的エントロピーの減少は、他の場所での熱力学的エントロピーの増加につながるため、熱力学の第二法則に違反するものではありません。このようにして、ブリルアンは、以前の理解ではカルノー効率が 1 を超える可能性があるため議論の的となっていたネゲントロピーの意味を明確にしました。さらに、ブリルアンによって定式化されたエネルギーと情報の関係は、脳が処理するビットの量と消費するエネルギーの関係として提案されています。コレルとフォーケ^[12]は、デ カストロ^{[13] が}ランダウアー限界を脳の計算の熱力学的下限として解析的に発見したと主張しました。しかし、進化は最もエネルギー効率の良いプロセスを「選択」したと考えられていますが、物理的な下限は脳内では現実的な量ではありません。第一に、物理学で考慮される最小処理単位は原子/分子であり、これは脳の実際の動作とはかけ離れているからです。第二に、ニューラルネットワークには、効率を大幅に低下させる重要な冗長性とノイズ要因が組み込まれているからです。^[14] Laughlin et al. ^[15]は、感覚情報の処理にかかるエネルギーコストを明示的に定量化した最初の研究です。クロバエにおける彼らの研究結果から、視覚感覚データの場合、1ビットの情報の伝送コストは約5 × 10 ⁻¹⁴ジュール、つまり10 ⁴ ATP分子であることが明らかになりました。したがって、ニューラル処理の効率は、LandauerのkTln(2) Jの限界にはまだまだ遠いですが、興味深いことに、現代のコンピュータよりはまだはるかに効率的です。

2009年、マフリカーとハーウィグは、熱力学的ネゲントロピーを、周囲と比較した動的に秩序化されたサブシステムの特定のエントロピー不足として再定義しました。^{[16]この定義により、秩序が存在する間、熱力学の第2法則から数学的に従うことが示された}ネゲントロピー原理 の定式化が可能になりました。

ハーシュマンは^[17]ハーシュマンの不確定性を参照しながら、ハイゼンベルクの不確定性原理は、量子力学的状態の量子観測確率分布の古典的分布エントロピーの合計、座標における波動関数の2乗、およびプランク単位で表された運動量空間の特定の下限として表せることを示した。結果として得られる不等式は、ハイゼンベルクの不確定性関係のより厳密な境界を提供する。

位置と運動量は量子共役変数であり、したがって同時に観測できないため、 「結合エントロピー」を割り当てることは意味がある。数学的には、それらは結合分布として扱われる必要がある。この結合エントロピーはフォンノイマンエントロピー、−Tr ρ ln ρ = −⟨ln ρ ⟩と同等ではないことに注意する。ヒルシュマンのエントロピーは、量子状態の混合物の完全な情報量を説明すると言われている。^[18]

（量子情報の観点から見たフォン・ノイマン・エントロピーに対する不満は、ストットランド、ポメランスキー、バッハマット、コーエンによって表明されており、彼らは量子力学的状態の固有の不確実性を反映した、さらに異なるエントロピーの定義を導入した。この定義により、純粋状態の最小不確実性エントロピーと混合物の過剰統計エントロピーを区別することができる。^[19]）

• Bennett, CH (1973). 「計算の論理的可逆性」IBM J. Res. Dev . 17 (6): 525–532. doi :10.1147/rd.176.0525.
• ブリルアン、レオン（2004）、科学と情報理論（第2版）、ドーバー、ISBN 978-0-486-43918-1[1962年オリジナルの再出版。]
• Frank, Michael P. (2002 年 5月～ 6 月)。「コンピューティングの物理的限界」。 科学と工学におけるコンピューティング。4 (3): 16～25。Bibcode : 2002CSE.....4c..16F。CiteSeerX 10.1.1.429.1618。doi : 10.1109 /5992.998637。OSTI 1373456。S2CID  499628 。 
• グレヴェン、アンドレアス。ケラー、ゲルハルト。ウォーネッケ、ジェラルド編。 （2003年）。エントロピ。プリンストン大学出版局。ISBN 978-0-691-11338-8。(さまざまな分野に現れるエントロピーの概念の概要を示す、非常に技術的な著作集。)
• カリニン、MI; コノノゴフ、SA (2005)、「ボルツマン定数、温度のエネルギー的意味、および熱力学的不可逆性」、計測技術、48 (7): 632–636、doi :10.1007/s11018-005-0195-9、S2CID  118726162。
• Koutsoyiannis, D. (2011)、「極限エントロピー生成の結果としてのハースト・コルモゴロフダイナミクス」、Physica A、390 (8): 1424–1432、Bibcode :2011PhyA..390.1424K、doi :10.1016/j.physa.2010.12.035。
• Landauer, R. ( 1993). 「情報は物理的である」。物理学と計算に関するワークショップ PhysComp'92 議事録。ロサンゼルス アラミトス: IEEE Comp. Sci.Press。pp. 1–4。doi :10.1109 / PHYCMP.1992.615478。ISBN 978-0-8186-3420-8. S2CID  60640035。
• Landauer, R. (1961). 「コンピューティングプロセスにおける不可逆性と熱発生」IBM J. Res. Dev . 5 (3): 183–191. doi :10.1147/rd.53.0183.
• Leff, HS; Rex, AF 編 (1990)。『マクスウェルの悪魔: エントロピー、情報、コンピューティング』。プリンストン NJ: プリンストン大学出版局。ISBN 978-0-691-08727-6。
• ミドルトン、D. (1960)。統計的コミュニケーション理論入門。マグロウヒル。
• シャノン、クロード E. (1948 年 7 月 - 10 月)。「通信の数学的理論」。ベルシステム技術ジャーナル。27 (3): 379–423。doi :10.1002/j.1538-7305.1948.tb01338.x。hdl : 10338.dmlcz /101429。（PDF形式）

• 情報処理と熱力学的エントロピー スタンフォード哲学百科事典。
• 科学のさまざまな分野で生じるエントロピーの概念への直感的なガイド — エントロピーの概念の解釈に関するウィキブック。