自由エネルギーの原理

自由エネルギー原理は、情報物理学の数学原理です。理論的枠組みとしてfMRI脳画像データに適用すると、脳は内部モデルに基づいて予測を行うことで驚きや不確実性を減らし、感覚入力を使用してモデルを更新することで予測の精度を向上させることが示唆されます。この原理は、感覚フィードバックによって予測に基づいた行動を洗練させる能動的推論とベイズ推論の統合を近似しています。この原理から、脳機能、知覚、行動に関する幅広い推論が行われてきました。^{[ 1 ]}生体システムへの適用可能性については疑問視されています。^{[ 2 ] [ 3 ] [ 4 ]}

生物物理学や認知科学において、自由エネルギー原理は物理システムの表現能力、つまり存在するものが結合しているシステムの特性を追跡しているように見える理由を形式的に説明する。 ^{[ 5 ]}この原理は、物理システムのダイナミクスが驚き（ある結果の負の対数確率）を最小化すること、あるいは同等に自由エネルギー（その変分上限）を最小化することを確立する。この原理は、脳機能に対するベイズ的アプローチや人工知能に対するいくつかのアプローチで使用されており、変分ベイズ法と形式的に関連している。カール・フリストンは、神経科学における身体化された知覚-行動ループの説明としてこれを導入した。^{[ 6 ]}

自由エネルギー原理は、あるシステムとは別個のものであるが、別のシステム（例えば、埋め込み環境）と結合しているシステムの挙動をモデル化するものであり、2つのシステム間のインターフェースを実装する自由度はマルコフブランケットとして知られています。正式には、自由エネルギー原理は、システムが「特定の分割」（つまり、粒子への分割）を持つ場合、そのシステムのサブセットは他のサブセット（内部状態と外部状態または経路）の統計的構造を追跡すると述べています。

自由エネルギー原理は、脳を「推論エンジン」と捉えるベイズ的な考え方に基づいています。自由エネルギー原理の下では、システムは驚きの少ない経路を追求します。言い換えれば、モデル予測と感覚および関連する知覚との間の差を最小化します。この差は変分自由エネルギーによって定量化され、システムの継続的な修正、つまり世界を予測により近づけるように変化させることによって最小化されます。世界を積極的に変化させて期待される状態に近づけることで、システムはシステムの自由エネルギーを最小化します。フリストンは、これがすべての生物学的反応の原理であると主張し^{[ 7 ]} 、精神障害や人工知能にも適用されると述べています。能動的推論原理に基づくAIの実装は、他の方法よりも優れていることが示されています^{[ 7 ] 。}

自由エネルギー原理は情報物理学にも適用され、数学的に真である。自由エネルギー原理を反証しようとするのはカテゴリー錯誤であり、経験的観察によって微積分を反証しようとするのと似ている。（観察によって数学理論をこのように無効にすることはできない。代わりに形式的矛盾が必要となる。）2018年のインタビューで、フリストンはその意味を次のように説明した。^{[ 8 ]}

ここで根本的な区別をしておくことは有益だと思う。なぜなら、それは後で再び参照できるからだ。

区別されるのは状態理論と過程理論、つまり、物事が従うかもしれないし従わないかもしれない規範的原理と、その原理がどのように実現されるかについての過程理論または仮説との違いです。この区別の下では、自由エネルギー原理は予測符号化やベイズ脳仮説などとは明確に区別されます。なぜなら、自由エネルギー原理は原理そのものだからです。ハミルトンの定常作用の原理と同様に、反証することはできません。反証することもできません。実際、測定可能なシステムがその原理に適合するかどうかを問わない限り、それを使ってできることはほとんどありません。一方、脳が何らかの形のベイズ推論や予測符号化を行うという仮説は、あくまで仮説です。これらの仮説は、経験的証拠によって裏付けられる場合もあれば、そうでない場合もあります。

フリストンはこれらの仮説に対する経験的証拠の多くの例を報告した。^{[ 9 ]}

細胞や脳のような自己組織化生物システムが変分自由エネルギーを最小化するものとして理解できるという考えは、ヘルムホルツの無意識的推論に関する研究^{[ 10 ]} と、それに続く心理学^{[ 11 ]}および機械学習^{[ 12 ]}における研究に基づいています。変分自由エネルギーは、観測と、それらの隠れた原因に関する確率密度関数です。この変分密度は、仮説的な原因から予測される観測を生成する確率モデルに関連して定義されます。この設定では、自由エネルギーはベイズモデルの証拠の近似値を提供します。^{[ 13 ]}したがって、その最小化はベイズ推論プロセスと見なすことができます。システムが自由エネルギーを最小化するために積極的に観測を行うとき、暗黙のうちに能動的な推論を実行し、その世界のモデルに対する証拠を最大化します。

しかし、自由エネルギーは結果の自己情報量の上限でもあり、驚きの長期平均はエントロピーです。これは、システムが自由エネルギーを最小化するように行動する場合、暗黙のうちに、サンプリングする結果（または感覚状態）のエントロピーの上限を設定することを意味します。^{[ 14 ] [ 15 ]}

能動的推論では、近似ベイズ推論の手法を用いて、感覚データの原因を、そのデータがどのように発生するかを 示す「生成」モデルから推論し、その推論に基づいて行動を導きます。ベイズの定理は、このような因果モデルの確率的に最適な逆問題を特徴づけますが、その適用は通常、計算上困難であるため、近似法が用いられます。能動的推論において、このような近似法の主要なクラスは変分法です。これは、実用的および理論的な理由の両方に基づいています。実用的理由としては、多くの場合、単純な推論手順につながること、理論的理由としては、前述のように、変分法が基本的な物理原理と関連していることが挙げられます。

これらの変分法は、ベイズ最適推論（または「事後確率」）と、その方法による近似値との間の乖離の上限を最小化することによって進行します。この上限は自由エネルギーとして知られており、それゆえ、知覚は入力感覚情報に関する自由エネルギーの最小化として、行動は出力行動情報に関する同じ自由エネルギーの最小化として特徴づけることができます。この全体的な二重最適化は能動的推論の特徴であり、自由エネルギー原理は、知覚と行動を行うすべてのシステムがこのように特徴づけられるという仮説の根底にあります。

自由エネルギー原理による能動的推論のメカニズムを例示するためには、生成モデルを指定する必要があり、これは通常、因果モデルを特徴付ける確率密度関数の集合を含みます。そのような指定の1つは次のとおりです。システムは状態空間に存在するものとしてモデル化されます。${\displaystyle X}$状態がこの空間の点を形成するという意味で。状態空間は次のように因数分解される。${\displaystyle X=\Psi \times S\times A\times R}$、 どこ${\displaystyle \Psi }$は、エージェントから「隠されている」（直接知覚またはアクセスできないという意味で）「外部」状態の空間である。${\displaystyle S}$は、エージェントによって直接知覚される感覚状態の空間であり、${\displaystyle A}$はエージェントの可能な行動の空間であり、${\displaystyle R}$これは、エージェントにとってプライベートな「内部」状態の空間である。

図1に引き続き、以下では${\displaystyle {\dot {\psi }},\psi ,s,a}$そして${\displaystyle \mu }$（連続）時間の関数である${\displaystyle t}$生成モデルは、以下の密度関数の仕様です。

• 感覚モデル、${\displaystyle p_{S}:S\times \Psi \times A\to \mathbb {R} }$しばしば次のように書かれる${\displaystyle p_{S}(s\mid \psi ,a)}$外部の状態や行動が与えられた場合の感覚データの可能性を特徴付ける。
• 環境ダイナミクスの確率モデル、${\displaystyle p_{\Psi }:\Psi \times \Psi \times A\to \mathbb {R} }$しばしば書かれる${\displaystyle p_{\Psi }({\dot {\psi }}\mid \psi ,a)}$エージェントが外部状態が時間とともにどのように変化すると予想するかを特徴づける${\displaystyle t}$エージェントの行動を考慮すると、
• アクションモデル、${\displaystyle p_{A}:A\times R\times S\to \mathbb {R} }$書かれた${\displaystyle p_{A}(a\mid \mu ,s)}$エージェントの行動がその内部状態と感覚データにどのように依存するかを特徴づけること。
• 内部モデル、${\displaystyle p_{R}:R\times S\to \mathbb {R} }$書かれた${\displaystyle p_{R}(\mu \mid s)}$エージェントの内部状態が、その感覚データにどのように依存するかを特徴づける。

これらの密度関数は、生成モデルの完全な仕様を表す「ジョイントモデル」の要素を決定し、次のように記述できます。

${\displaystyle p({\dot {\psi }},s,a,\mu \mid \psi )=p_{S}(s\mid \psi ,a)p_{\Psi }({\dot {\psi }}\mid \psi ,a)p_{A}(a\mid \mu ,s)p_{R}(\mu \mid s)}$。

ベイズの定理は「事後密度」を決定する${\displaystyle p_{\text{Bayes}}({\dot {\psi }}|s,a,\mu ,\psi )}$これは、外部状態に関する確率的に最適な信念を表している。${\displaystyle {\dot {\psi }}}$前の状態を考慮すると${\displaystyle \psi }$エージェントの行動、感覚信号、内部状態。コンピューティングは${\displaystyle p_{\text{Bayes}}}$計算上扱いが困難であるが、自由エネルギー原理は「変分密度」の存在を主張する${\displaystyle q({\dot {\psi }}|s,a,\mu ,\psi )}$、 どこ${\displaystyle q}$は近似値です${\displaystyle p_{\text{Bayes}}}$自由エネルギーは次のように定義される。

${\displaystyle {\begin{aligned}{\underset {\mathrm {自由エネルギー} }{\underbrace {F(\mu ,a\,;s)} }}&={\underset {\text{期待エネルギー}}{\underbrace {\mathbb {E} _{q({\dot {\psi }})}[-\log p({\dot {\psi }},s,a,\mu \mid \psi )]} }}-{\underset {\mathrm {エントロピー} }{\underbrace {\mathbb {H} [q({\dot {\psi }}\mid s,a,\mu ,\psi )]} }}\\&={\underset {\mathrm {驚き} }{\underbrace {-\log p(s)} }}+{\underset {\mathrm {発散} }{\underbrace {\mathbb {KL} [q({\dot {\psi }}\mid s,a,\mu ,\psi )\parallel p_{\text{Bayes}}({\dot {\psi }}\mid s,a,\mu ,\psi )]} }}\\&\geq {\underset {\mathrm {surprise} }{\underbrace {-\log p(s)} }}\end{aligned}}}$

そして、行動と知覚を共同最適化問題として定義する。

${\displaystyle {\begin{aligned}\mu ^{*}&={\underset {\mu }{\operatorname {arg\,min} }}\{F(\mu ,a\,;\,s)\}\\a^{*}&={\underset {a}{\operatorname {arg\,min} }}\{F(\mu ^{*},a\,;\,s)\}\end{aligned}}}$

内部状態${\displaystyle \mu }$これらは通常、「変分」密度のパラメータを符号化するものとみなされる。${\displaystyle q}$したがって、エージェントの事後信念に関する「最善の推測」は${\displaystyle \Psi }$なお、自由エネルギーはエージェントの（周辺的、または平均的な）感覚的驚きの尺度の上限でもあるため、自由エネルギーの最小化はしばしば驚きの最小化によって動機づけられる。

Free energy minimisation provides a useful way to formulate normative (Bayes optimal) models of neuronal inference and learning under uncertainty^[40] and therefore subscribes to the Bayesian brain hypothesis.^[41] The neuronal processes described by free energy minimisation depend on the nature of hidden states: ${\displaystyle \Psi =X\times \Theta \times \Pi }$これらは、時間依存変数、時間不変パラメータ、およびランダム変動の精度（逆分散または温度）から構成される。変数、パラメータ、および精度を最小化することは、それぞれ推論、学習、および不確実性の符号化に対応する。

知覚精度、注意、顕著性

精度パラメータを最適化することは、予測誤差のゲイン（カルマンゲイン参照）を最適化することに相当する。予測符号化の神経学的に妥当な実装では、^{[ 44 ]}これは表層錐体細胞の興奮性を最適化することに相当し、注意ゲインの観点から解釈されてきた。^{[ 47 ]}

注意に関する主要な未解決問題として取り上げられてきたトップダウン対ボトムアップ論争に関して、計算モデルはトップダウンとボトムアップのメカニズム間の相互作用の循環的な性質を説明することに成功しました。確立された注意の創発モデルであるSAIMを使用して、著者らはPE-SAIMと呼ばれるモデルを提案しました。これは、標準バージョンとは対照的に、トップダウンの立場から選択的注意にアプローチします。このモデルは、データとその原因、言い換えれば生成モデルと事後確率との間の差を示すエネルギー関数を最小化するために、予測誤差が同じレベルまたは1つ上のレベルに伝達されることを考慮に入れています。妥当性を高めるために、刺激間の神経競合もモデルに組み込みました。このモデルの注目すべき特徴は、タスク実行中の予測誤差のみの観点から自由エネルギー関数を再定式化することです。

${\displaystyle {\dfrac {\partial E^{total}(Y^{VP},X^{SN},x^{CN},y^{KN})}{\partial y_{mn}^{SN}}}=x_{mn}^{CN}-b^{CN}\varepsilon _{nm}^{CN}+b^{CN}\sum _{k}(\varepsilon _{knm}^{KN})}$

どこ${\displaystyle E^{total}}$はニューラルネットワークの総エネルギー関数であり、${\displaystyle \varepsilon _{knm}^{KN}}$は、生成モデル（事前）と事後との間の予測誤差であり、時間とともに変化します。^{[ 48 ]} 2 つのモデルを比較すると、それぞれの結果に顕著な類似性が見られる一方で、注目すべき相違点も明らかになります。標準バージョンの SAIM では、モデルの焦点は主に興奮性接続にありますが、PE-SAIM では、抑制性接続が推論に利用されます。このモデルは、人間の実験から得られた EEG および fMRI データを高精度で予測するのにも適していることが証明されています。同様に、Yahya らは、主に SAIM に依存する隠れた選択的視覚注意におけるテンプレート マッチングの計算モデルを提案するために、自由エネルギー原理を適用しました。^{[ 49 ]}この研究によると、元のニューラル ネットワークにトップダウン信号を挿入することで、状態空間全体の総自由エネルギーに到達し、フィードフォワードとバックワードの両方の予測誤差を含む動的システムを導出します。

勾配降下法をアクションに適用すると${\displaystyle {\dot {a}}=-\partial _{a}F(s,{\tilde {\mu }})}$運動制御は、下行性（皮質脊髄路）予測によって活性化される古典的な反射弓の観点から理解することができる。これにより、平衡点解を自由度問題^{[ 50 ]}から運動軌跡へと一般化する形式論が提供される。

• 行動特異的知覚– 知覚に関する心理学的理論 
• 適応システム– 環境に適応できるシステム 
• アフォーダンス– 物体または環境に対する動作の可能性 
• オートポイエーシス– 自らを生成できるシステム 
• 脳機能に対するベイズ的アプローチ― 統計原理を通して脳の能力を説明する 
• 構成法則- 自然界における設計進化の法則（生物・無生物を問わず）
• 意思決定理論― 応用確率論の一分野 
• 身体化された認知― 学際的理論 
• エントロピー力– 基本的な相互作用ではなく、熱力学に由来する物理的な力 
• 情報計量学― 科学的モデリングと情報処理への学際的アプローチ 
• 最適制御– 動的システムから望ましい出力を得るための数学的手法 
• 予測符号化― 脳機能の理論 
• 最小エネルギーの原理― 熱力学第二法則の再確認 
• 自己組織化― 局所的な相互作用によって秩序が形成される過程 
• 驚き度– 情報理論における量 リダイレクト先の短い説明を表示するページ 
• シナジェティクス（ハーケン）– 学際科学 
• 変分ベイズ法– ベイズ推論および機械学習で使用される数学的手法 

• 行動科学と脳科学（アンディ・クラーク著）