最大エントロピー熱力学

物理学において、最大エントロピー熱力学（口語的にはMaxEnt 熱力学）は、平衡熱力学と統計力学を推論プロセスとみなします。より具体的には、MaxEntはシャノン情報理論、ベイズ確率、最大エントロピー原理に根ざした推論技術を適用します。これらの技術は、不完全または不十分なデータからの予測を必要とするあらゆる状況に関連しています（例：画像再構成、信号処理、スペクトル解析、逆問題）。MaxEnt熱力学は、1957年のPhysical Reviewに掲載されたEdwin T. Jaynesの2つの論文から始まりました。^{[1] [2]}

MaxEnt のテーゼの中心となるのは、最大エントロピーの原理です。この原理では、与えられたモデルの一部と、そのモデルに関連する特定のデータが必要です。この原理では、モデルを表すために好ましい確率分布を選択します。与えられたデータは、確率分布に関する「テスト可能な情報」 ^{[3] [4]}、たとえば特定の期待値を示していますが、それ自体では確率分布を一意に決定するのに十分ではありません。この原理では、シャノン情報エントロピーを最大化する分布を優先すべきであるとしています。

${\displaystyle S_{\text{I}}=-\sum _{i}p_{i}\ln p_{i}.}$

これはギブスアルゴリズムとして知られ、1878年にJ.ウィラード・ギブスによって導入され、統計的集団を構築して平衡状態の熱力学系の特性を予測するものです。これは平衡系の熱力学的特性の統計力学的分析の基礎となっています（分配関数を参照）。

したがって、圧力、体積、温度などの状態関数である平衡熱力学的エントロピー S _Thと、それらの変数の期待値のみに条件付けられた最大の不確実性を持つ予測分布の情報エントロピーとの間には直接的な関係が確立されます。

${\displaystyle S_{\text{Th}}(P,V,T,\ldots )_{\text{(eqm)}}=k_{\text{B}}\,S_{\text{I}}(P,V,T,\ldots )}$

ボルツマン定数k _{B はここでは基本的な物理的意味を持たないが、}クラウジウス（1865）によるエントロピーの以前の歴史的な定義との一貫性を保つために必要である（ボルツマン定数を参照）。

しかし、MaxEnt 派は、MaxEnt アプローチは統計的推論の一般的な手法であり、これよりもはるかに幅広い応用が可能であると主張しています。したがって、次の式を最大化することで、「一定期間にわたる」軌跡 Γ の分布を予測するためにも使用できます。

${\displaystyle S_{\text{I}}=-\sum p_{\Gamma }\ln p_{\Gamma }}$

この「情報エントロピー」は、必ずしも熱力学的エントロピーと単純に一致するわけではありません。しかし、これは、非平衡熱力学系が時間の経過とともにどのように変化するかを予測するために使用できます。

非平衡シナリオの場合、局所的な熱力学的平衡を仮定する近似では、最大エントロピーアプローチにより、オンサガーの逆数関係とグリーン–久保関係が直接的に導かれます。このアプローチは、平衡から遠く離れたシナリオのいくつかの非常に特殊なケースを研究するための理論的枠組みも作成し、エントロピー生成変動定理の導出を容易にします。非平衡プロセスの場合、マクロ的な記述の場合と同様に、ミクロな統計力学の説明に対するエントロピーの一般的な定義も欠けています。

技術ノート:微分エントロピーの記事で論じた理由により、シャノンエントロピーの単純な定義は、連続確率分布関数を持つランダム変数には直接適用できなくなりました。代わりに、最大化すべき適切な量は「相対情報エントロピー」です。

${\displaystyle H_{\text{c}}=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

H _{c は、} m ( x ) とp ( x ) のカルバック・ライブラー・ダイバージェンス、つまり判別情報の負の値です。ここで、m ( x ) は変数の事前不変測度です。相対エントロピーH _cは常にゼロ未満で、m ( x )ではなくp ( x )に固定することによって失われる不確実性のビット数 (の負の値) と考えることができます。シャノンエントロピーとは異なり、相対エントロピーH _{c は、連続的な}xに対して有限かつ明確に定義され、1対1の座標変換で不変であるという利点があります。離散確率分布の場合、 m ( x _i ) が均一であるという仮定、つまり統計熱力学の基礎となる等事前確率の原理を立てることができると、 2つの式は一致します。

MaxEnt の視点の支持者は、熱力学における概念的/哲学的な問題のいくつかについて明確な立場を取っています。この立場は、以下に概説されています。

Jaynes (1985、^[5] 2003、^[6] et passim ) は確率の概念について論じた。MaxEnt の観点によれば、統計力学における確率は 2 つの要因によって共同で決定される。1 つは基礎となる状態空間 (例: Liouvillian位相空間) のそれぞれ指定された特定のモデル、もう 1 つはシステムのそれぞれ指定された特定の部分的記述 (MaxEnt 確率割り当てを制約するために使用されるシステムのマクロ記述) である。確率は、これらの入力が与えられると、特定の人の主観や恣意的な意見とは無関係に、すべての合理的な調査員にとって同じ、一意に定義された確率分布が得られるという意味で客観的である。確率は、指定されたデータで定義され、すべての合理的な調査員にとって同じ、明確で客観的な推論規則によってそれらのデータから導き出されるという意味で認識論的である。^[7]ここで、認識論的という言葉は、あらゆる合理的な研究者にとって同じ客観的で非個人的な科学的知識を指し、特定の人の主観的または恣意的な信念を指す意見的という言葉と対照的な意味で使用されています。この対比はプラトンとアリストテレスによって使用され、今日でも信頼されています。

ジェインズもこの文脈で「主観的」という言葉を使ったが、それは他の人たちがこの文脈でこの言葉を使っていたからである。彼は、ある意味では知識の状態は主観的な側面を持っていることを認めた。それは単にそれが思考、つまり精神的なプロセスを指しているからである。しかし彼は、最大エントロピーの原理は、思考者の性格とは無関係に、合理的で客観的な思考のみを指していると強調した。一般的に、哲学的観点からは、「主観的」と「客観的」という言葉は矛盾していない。実体はしばしば主観的側面と客観的側面の両方を持っている。ジェインズは、思考が主観的側面を持っていると言えるからといって、思考は自動的に非客観的であるという一部の著者の批判を明確に否定した。彼は科学的推論、科学の認識論の基礎としての主観性を明確に否定し、科学的推論は完全に厳密に客観的な基礎を持つことを要求した。^[8]それにもかかわらず、批評家たちはジェインズの考えは「主観的」であると主張して彼を攻撃し続けている。ある著者はジェインズのアプローチを「超主観主義」とさえ呼んでおり、^[9]「主観主義という言葉が物理学者の間に作り出したパニック」についても言及している^{[10] 。}

確率は、データと、アナリストのシステムのマクロ的な説明に使用されるモデルに関する知識の程度と情報不足の両方を表し、また、それらのデータが基礎となる現実の性質について何を語っているかを表します。

確率の適合性は、指定されたマクロモデルの制約が、実験的に再現可能な動作のすべてを捉えるのに十分な精度と/またはシステムの完全な記述であるかどうかに依存します。これは事前に保証することはできません。このため、MaxEnt の支持者は、この方法を予測統計力学とも呼んでいます。予測が失敗することもあります。しかし、失敗した場合、これは、システム内の再現可能な動作を捉えるために必要な、考慮されていなかった新しい制約の存在を示すため、有益です。

熱力学的エントロピー (平衡時) は、モデル記述の状態変数の関数です。したがって、モデル記述の他の変数と同様に「現実的」です。確率割り当てのモデル制約が「適切な」記述であり、再現可能な実験結果を予測するために必要なすべての情報が含まれている場合、これには、古典的な熱力学のエントロピーを含む式を使用して予測できるすべての結果が含まれます。その意味で、MaxEnt S _{Th は}、古典的な熱力学のエントロピーと同様に「現実的」です。

もちろん、現実にはシステムの実際の状態は 1 つしかありません。エントロピーはその状態の直接的な関数ではありません。エントロピーは、（主観的に選択された）マクロモデルの説明を通じてのみ、実際の状態の関数になります。

ギブスの集団は、同じシステムで実験を何度も繰り返すのではなく、異なるシステムで実験を何度も繰り返すという概念を理想化します。したがって、長期時間平均とエルゴード仮説は、20 世紀前半に強い関心を集めたにもかかわらず、厳密に言えば、システムがどのような状態にあるかの確率割り当てとは関係ありません。

しかし、測定の少し前にシステムが特定の方法で準備されているという追加の知識がある場合、これは変わります。その場合、測定時にまだ関連性のある追加の情報が得られるかどうかを検討する必要があります。システムのさまざまな特性が「急速に混合」されるかどうかという問題は、非常に興味深いものになります。結合されたシステムの一部の自由度に関する情報は、すぐに使用できなくなる可能性がありますが、システムの他の特性に関する情報は、かなりの期間関連性を持ち続ける可能性があります。

少なくとも、システムの中期および長期の相関特性は、それ自体が興味深い実験対象です。それらを正確に予測できないことは、モデルにマクロ的に決定可能な関連する物理特性が欠けている可能性があることを示す良い指標です。

ハミルトン力学のリウヴィルの定理によれば、位相空間内の点群の超体積は、システムが進化しても一定のままです。したがって、元の情報に基づいて条件付けし、それらのミクロ状態を時間的に進めていくと、情報エントロピーも一定のままになるはずです。

${\displaystyle \Delta S_{\text{I}}=0\,}$

しかし、時が経つにつれ、当初私たちが持っていた情報に直接アクセスすることは難しくなります。システムのマクロ的な説明で簡単にまとめられるのではなく、個々の分子の位置と運動量の間の非常に微妙な相関関係にますます関連しています。（ボルツマンのH 定理と比較してください。）同様に、これは、6N 次元位相空間におけるシステム全体の確率分布がますます不規則になり、当初の厳密に定義された可能性のボリュームではなく、細長い指に広がることを意味します。

古典的熱力学は、エントロピーがマクロ変数の状態関数であるという仮定、つまり、システムの履歴はどれも重要ではないため、すべて無視できるという 仮定に基づいています。

拡張され、かすかな進化した確率分布は、初期のシャノンエントロピーS _Th ⁽¹⁾をまだ持ち、時刻t ₂で観測されたマクロ変数の期待値を再現するはずです。しかし、それはもはや必ずしもその新しいマクロ記述の最大エントロピー分布ではありません。一方、新しい熱力学的エントロピーS _Th ⁽²⁾は、その構造上、確実に最大エントロピー分布を測定します。したがって、次のことが期待されます。

${\displaystyle {S_{\text{Th}}}^{(2)}\geq {S_{\text{Th}}}^{(1)}}$

抽象的なレベルでは、この結果は、システムに関して当初持っていた情報の一部がマクロレベルでは「もはや役に立たなくなった」ことを意味します。6 N次元の確率分布のレベルでは、この結果は粗粒化、つまり非常に細かいスケールの詳細を平滑化することによる情報損失 を表します。

上記に関して、いくつかの注意事項を考慮する必要があります。

1. MaxEnt 学派によるすべての統計力学の結果と同様に、この熱力学的エントロピーの増加は予測にすぎません。特に、初期のマクロ的な記述には、後のマクロ的な状態を予測するのに関連するすべての情報が含まれていると想定しています。ただし、たとえば、初期の記述が、後で重要になるシステムの準備の側面を反映していない場合は、そうではない可能性があります。その場合、MaxEnt 予測の「失敗」は、システムの物理的性質において見落としている可能性のある、関連する何かがさらにあることを示しています。

また、この議論によれば、量子測定、特にデコヒーレンス解釈では、以前はアクセスできなかったマクロな情報が利用可能になるように見えるため、明らかに予期しないエントロピーの減少をもたらす可能性があると示唆されることもあります。(ただし、量子測定のエントロピー計算は難しいです。完全なデコヒーレンスを得るには、無限のエントロピーを持つ無限の環境を想定する可能性があるためです。)

2. これまでの議論では、変動の問題については触れられていない。また、時刻t _{1で予測される、時刻}t _{2 の}変数の不確実性は、測定誤差よりもはるかに小さいと暗黙的に想定されている。しかし、測定によってシステムに関する知識が有意に更新されれば、システムの状態に関する不確実性は減少し、新しいS _I ^(2)はS _I ⁽¹⁾よりも小さくなる。（ラプラスの悪魔の能力を認めれば、この新しい情報の結果を逆にマッピングすることもできるため、時刻t ₁の動的状態に関する不確実性もS _I ^(1)からS _I ⁽²⁾に減少することに注意してください）。

S _Th ⁽²⁾ > S _I ⁽²⁾であることは分かっていますが、これがS _Th ⁽¹⁾ = S _I ⁽¹⁾より大きいかどうかはもはや確信できません。これにより、 S _Thの変動の可能性が残されます。熱力学的エントロピーは上昇するだけでなく、「下降」する可能性もあります。より洗練された分析は、時間依存の MaxEnt 画像の結果として確立できるエントロピー変動定理によって与えられます。

3. 先ほど示したように、MaxEnt 推論は逆の場合も同様にうまく機能します。したがって、特定の最終状態が与えられた場合、以前の状態に関する知識を向上させるために何を「遡及」できるかを尋ねることができます。ただし、上記の第 2 法則の議論も逆になります。つまり、時間t ₂でのマクロ情報があれば、その情報もあまり役に立たなくなると予想されます。2 つの手順は時間対称です。しかし、今度は、情報はより早い時間にますます役に立たなくなります。( Loschmidt のパラドックスと比較してください。) MaxEnt 推論は、現在の低エントロピー状態の最も可能性の高い起源は、以前の高エントロピー状態からの自発的な変動であると予測します。しかし、これは、私たちが知っていること、つまり、過去にさかのぼってもエントロピーが着実に増加していることと矛盾します。

これに対する MaxEnt 支持者の反応は、MaxEnt 推論の予測におけるこのような体系的な失敗は「良い」ことであるというものである。^[11]つまり、問題の仕様において重要な物理的情報が見落とされているという明確な証拠があるということである。ダイナミクスが時間対称であることが正しい場合、低い熱力学的エントロピーを持つ初期構成が、高い熱力学的エントロピーを持つ初期構成よりも起こりやすいという事前確率を手動で設定する必要があるように思われる。これは、直接のダイナミクスでは説明できない。おそらく、これは宇宙論的スケールでの宇宙の明らかな時間非対称な進化の反映として生じる (時間の矢印を参照)。

最大エントロピー熱力学にはいくつかの重要な反対意見があるが、その理由の一部は、特に平衡から遠く離れた新しい検証可能な予測に関して、最大エントロピー学派から発表された結果が比較的少ないことである。^[12]

この理論は内部の一貫性という観点からも批判されている。例えば、ラドゥ・バレスクはマックスエント学派とジェインズの研究を強く批判している。バレスクは、ジェインズと同僚の理論は曖昧な結果を生み出す非推移的進化法則に基づいていると述べている。理論のいくつかの問題点は解決できるが、この理論は「確固たる基盤を欠き」、「新たな具体的な結果に至っていない」。^[13]

最大エントロピーアプローチは情報エントロピーに直接基づいているが、エントロピーの明確な物理的定義がある場合にのみ物理学に適用できる。非平衡系に対するエントロピーの明確で一意な一般物理的定義は存在しない。非平衡系とは、プロセス中に考慮される一般的な物理系であり、熱力学的平衡の内部状態にある熱力学的系ではない。^[14]したがって、エントロピーの明確な物理的定義が見つかるまでは、最大エントロピーアプローチは非平衡系には適用できない。この問題は、局所的な熱力学的平衡が維持されず、どちらの系も明確に定義された温度を持たない場合でも、熱がより高温の物理系からより低温の物理系に伝達される可能性があるという事実に関連している。古典的なエントロピーは、状態変数によって定義される熱力学的平衡の内部状態にある系に対して定義され、非ゼロのフラックスはないため、フラックス変数は状態変数として現れない。しかし、プロセス中の強い非平衡系の場合、状態変数には非ゼロのフラックス変数が含まれている必要がある。エントロピーの古典的な物理的定義は、特にフラックスが局所的な熱力学的平衡を破壊するほど大きい場合には、このケースをカバーしていません。言い換えれば、一般に非平衡システムのエントロピーについては、定義には、古典的な静的熱力学的状態変数を超えて、少なくとも非ゼロのフラックスを含むプロセスの指定が含まれる必要があります。最大化される「エントロピー」は、手元の問題に対して適切に定義される必要があります。不適切な「エントロピー」が最大化されると、間違った結果になる可能性があります。原則として、最大エントロピー熱力学は、古典的な熱力学的エントロピーのみを狭く指すものではありません。それは、手元の問題を定式化するために使用されたデータに明確に依存する、物理学に適用される情報エントロピーに関するものです。アタードによると、強い非平衡熱力学によって分析される物理的問題の場合、彼が第2エントロピーと呼ぶものを含む、物理的に異なるいくつかの種類のエントロピーを考慮する必要があります。アタードは次のように書いている。「与えられた初期マクロ状態におけるミクロ状態の第2エントロピーを最大化すると、最も可能性の高い目標マクロ状態が得られる。」^[15] 物理的に定義された第2エントロピーは、情報の観点からも考慮することができる。

• エドウィン・トンプソン・ジェインズ
• 熱力学第一法則
• 熱力学の第二法則
• 最大エントロピーの原理
• 最小差別情報の原則
• カルバック・ライブラー距離
• 量子相対エントロピー
• 情報理論と測度理論
• エントロピーの力の不平等

• Balescu, Radu (1997).統計ダイナミクス: 平衡を外れた物質. ロンドン: インペリアル・カレッジ・プレス. Bibcode :1997sdmo.book.....B.
• Jaynes, ET (1968 年 9 月). 「事前確率」(PDF) . IEEE Transactions on Systems Science and Cyber​​netics . SSC–4 (3): 227–241. doi :10.1109/TSSC.1968.300117.
• Guttmann, YM (1999).統計物理学における確率の概念、ケンブリッジ大学出版局、ケンブリッジ、英国、ISBN 978-0-521-62128-1。 
• Jaynes, ET (1979)。「最大エントロピーについて我々はどこに立っているのか?」(PDF)。Levine, R.、Tribus M. (編)。最大エントロピー形式論。MIT プレス。ISBN 978-0-262-12080-7。
• Jaynes, ET (1985). 「いくつかのランダムな観察」. Synthese . 63 : 115–138. doi :10.1007/BF00485957. S2CID  46975520.
• Jaynes, ET (2003). Bretthorst, GL (編).確率論: 科学の論理. ケンブリッジ: ケンブリッジ大学出版局. ISBN 978-0-521-59271-0。
• クライドン、アクセル; ローレンツ、ラルフ D. (2005)。非平衡熱力学とエントロピーの生成: 生命、地球、そしてその先。シュプリンガー。pp. 42– 。ISBN 978-3-540-22495-2。