ネゲントロピー

情報理論と統計学では、ネゲントロピーは正規性への距離の尺度として使用されます。「負のエントロピー」という概念とフレーズは、エルヴィン・シュレーディンガーが1944年の科学普及書「生命とは何か?」^{で導入しました。 [1]}その後、フランスの 物理学者 レオン・ブリルアンがこのフレーズをネゲントロピー(ネゲントロピー)に短縮しました。 ^{[2] [3]} 1974年、アルバート・セント＝ジェルジは、ネゲントロピーという用語をシントロピーに置き換えることを提案しました。この用語は、生物学と物理学の統一理論を構築しようとしたイタリアの数学者ルイジ・ファンタピエが1940年代に始めたと考えられます。バックミンスター・フラーはこの用法を普及させようとしましたが、ネゲントロピーは今でも一般的です。

シュレーディンガーは著書「生命とは何か?」の注釈の中で、このフレーズの使用について説明しています。

...もし私が彼ら（物理学者）だけを対象にしていたら、議論を自由エネルギーに移すべきだった。この文脈では自由エネルギーの方が馴染みのある概念だ。しかし、この高度に専門的な用語は、平均的な読者にこの 2 つのものの違いを理解させるには、言語的にエネルギーに近すぎるように思われた。

情報理論と統計学において、ネゲントロピーは正規分布への距離の尺度として用いられる。^{[4] [5] [6]}与えられた平均と分散を持つすべての分布の中で、正規分布またはガウス分布は最も高いエントロピーを持つ分布である。ネゲントロピーは、与えられた分布と、同じ平均と分散を持つガウス分布とのエントロピーの差を測定する。したがって、ネゲントロピーは常に非負であり、座標の線形可逆変化によって不変であり、信号がガウス分布で ある場合にのみゼロになる。

ネゲントロピーは次のように定義される

${\displaystyle J(p_{x})=S(\varphi _{x})-S(p_{x})\,}$

ここで、 はと同じ平均と分散を持つガウス密度の微分エントロピーであり、は の微分エントロピーです。 ${\displaystyle S(\varphi _{x})}$${\displaystyle p_{x}}$${\displaystyle S(p_{x})}$${\displaystyle p_{x}}$

${\displaystyle S(p_{x})=-\int p_{x}(u)\log p_{x}(u)\,du}$

ネゲントロピーは統計学や信号処理で利用されており、独立成分分析で利用されるネットワークエントロピーと関連している。^{[7] [8]}

分布のネゲントロピーは、と、と同じ平均と分散を持つガウス分布との間のカルバック・ライブラー距離に等しい（証明については、微分エントロピー § 正規分布における最大化を参照）。特に、ネゲントロピーは常に非負である。 ${\displaystyle p_{x}}$${\displaystyle p_{x}}$

自由エネルギー（自由エンタルピー）と密接に関連した物理量があり、その単位はエントロピーで、統計学や情報理論で知られるネゲントロピーと同型である。1873年、ウィラード・ギブスは自由エンタルピーに対応する自由エネルギーの概念を示す図を作成した。図には、エントロピー容量と呼ばれる量を見ることができる。この量は、内部エネルギーを変えたり体積を増やしたりすることなく増加させることができるエントロピーの量である。^[9]言い換えれば、それは想定される条件下での可能な最大エントロピーと実際のエントロピーとの差である。これは、統計学や情報理論で採用されているネゲントロピーの定義と正確に対応している。同様の物理量は、1869年にマシューによって等温過程に対して導入され^{[10] [11] [12]}（両方の量は数字の符号のみが異なる）その後プランクによって等温-等圧過程に対して導入された。^{[13]最近では、}自由エントロピーとしても知られるマシュー・プランク熱力学的ポテンシャルが、統計力学のいわゆるエントロピー定式化において大きな役割を果たすことが示されており、^[14]分子生物学^[15]や熱力学的非平衡過程^{[16]などにも応用されています。}

${\displaystyle J=S_{\max }-S=-\Phi =-k\ln Z\,}$

どこ：

${\displaystyle S}$エントロピーは

${\displaystyle J}$ネゲントロピー（ギブスの「エントロピー容量」）である

${\displaystyle \Phi}$マシューの可能性は

${\displaystyle Z}$は分割関数である

${\displaystyle k}$ボルツマン定数

特に、数学的には、ネゲントロピー（負のエントロピー関数、物理学では自由エントロピーとして解釈される）は、LogSumExp（物理学では自由エネルギーとして解釈される） の凸共役です。

1953年、レオン・ブリルアンは、情報ビット値の変更には少なくともエネルギーが必要であるという一般的な方程式^{[17]を導き出しました。これは、理想的な場合に}レオ・シラードのエンジンが生成する仕事と同じエネルギーです。彼は著書^[18]でこの問題をさらに探求し、このビット値の変更の原因（測定、はい/いいえの質問に関する決定、消去、表示など）はすべて同じ量のエネルギーが必要であると結論付けました。 ${\displaystyle kT\ln 2}$

• エクセルギー
• 自由エントロピー
• 熱力学と情報理論におけるエントロピー

無料辞書『ウィクショナリー』で「negentropy」を調べてください。