自由エネルギー原理

自由エネルギー原理は、脳が内部モデルに基づいて予測を行い、感覚入力を使用してそれを更新することで驚きや不確実性を軽減することを示唆する理論的枠組みです。これは、予測の精度を高めるために内部モデルと外界を一致させるという脳の目的を強調しています。この原理は、ベイズ推論と能動推論を統合したもので、行動は予測によって導かれ、感覚フィードバックによってそれが洗練されます。これは、脳の機能、知覚、行動を理解する上で幅広い意味を持っています。^[1]

生物物理学と認知科学において、自由エネルギー原理は、物理システムの表現能力の形式的な説明を記述する数学的原理である。つまり、存在するものが、それが結合しているシステムの特性を追跡しているように見えるのはなぜかを説明するものである。^[2]

この原理は、物理システムのダイナミクスが、驚き（何らかの結果の負の対数確率）と呼ばれる量、またはそれと同等の、自由エネルギーと呼ばれる変分上限を最小化することを確立しています。この原理は、特に脳機能に対するベイズ的アプローチで使用されていますが、人工知能に対するいくつかのアプローチでも使用されています。これは、変分ベイズ法と正式に関連しており、もともとは神経科学における具体化された知覚-行動ループの説明としてカール・フリストンによって導入されました。^[3]

自由エネルギー原理は、別のシステム (埋め込み環境など) とは別個だが結合しているシステムの動作をモデル化します。この場合、2 つのシステム間のインターフェイスを実装する自由度は、マルコフ ブランケットと呼ばれます。より正式には、自由エネルギー原理は、システムが「特定のパーティション」(つまり、マルコフ ブランケットを持つ粒子) を持つ場合、そのシステムのサブセットは他のサブセット (システムの内部状態と外部状態またはパスと呼ばれる) の統計構造を追跡すると述べています。

自由エネルギー原理は、脳を「推論エンジン」とするベイズの考えに基づいています。自由エネルギー原理では、システムは驚きが最も少ない経路を追求します。つまり、世界のモデルと感覚および関連する知覚に基づく予測との差を最小化します。この差は変分自由エネルギーによって定量化され、システムの世界モデルを継続的に修正するか、世界をシステムの予測に近づけることで最小化されます。世界を積極的に変更して予想される状態に近づけることで、システムはシステムの自由エネルギーを最小化することもできます。フリストンは、これがすべての生物学的反応の原理であると想定しています。^{[4]フリストンは、彼の原理が}精神障害だけでなく人工知能にも当てはまると考えています。能動的推論原理に基づくAI実装は、他の方法よりも優れていることが示されています。^[4]

自由エネルギー原理は情報物理学の数学的原理です。最大エントロピー原理や最小作用原理と同様に、数学的根拠に基づいて正しいものです。自由エネルギー原理を偽ろうとすることは、経験的観察によって微積分を偽ろうとするのと同じような、カテゴリミスです。 （数学理論をこのように無効にすることはできません。代わりに、理論から形式的な矛盾を導き出す必要があります。）2018年のインタビューで、フリストンは自由エネルギー原理が反証の対象にならないためには何が必要なのかを説明しました。「この時点で根本的な区別をしておくことは有益だと思います。後でそれを主張することができます。その区別は状態理論とプロセス理論の違いです。つまり、物事が従うかもしれない、または従わないかもしれない規範的原理と、その原理がどのように実現されるかについてのプロセス理論または仮説の違いです。この区別の下では、自由エネルギー原理は予測コーディングやベイズ脳仮説のようなものとはまったく異なります。これは、自由エネルギー原理が原理であるためです。ハミルトンの定常作用の原理と同様に、それは反証できません。反証できません。実際、測定可能なシステムが原理に従うかどうかを尋ねない限り、それを使ってできることはあまりありません。一方、脳が何らかの行動をとるという仮説は、ベイズ推論や予測コーディングの形式は、仮説そのものである。これらの仮説は、経験的証拠によって裏付けられる場合もあれば、裏付けられない場合もある。」^[5]これらの仮説が経験的証拠によって裏付けられている例は数多くある。^[6]

細胞や脳のような自己組織化生物システムは変分自由エネルギーを最小化するものとして理解できるという考え方は、ヘルムホルツの無意識の推論に関する研究^[7] とその後の心理学^[8]および機械学習における研究に基づいています。^[9]変分自由エネルギーは、観測値とその隠れた原因の確率密度の関数です。この変分密度は、仮説上の原因から予測される観測値を生成する確率モデルに関連して定義されます。この設定では、自由エネルギーはベイズモデルの証拠の近似値を提供します。^[10]したがって、その最小化はベイズ推論プロセスと見なすことができます。システムが自由エネルギーを最小化するために積極的に観測を行う場合、暗黙的に能動的な推論が実行され、世界のモデルの証拠が最大化されます。

しかし、自由エネルギーは結果の自己情報の上限でもあり、驚きの長期平均はエントロピーです。つまり、システムが自由エネルギーを最小化するように動作する場合、サンプリングする結果、つまり感覚状態のエントロピーに暗黙的に上限が設定されます。^{[11] [12]}

能動推論は、良好調節定理^[13]や、自己組織化^{[14] [15]、}自己集合、パターン形成、オートポイエーシス^[16]、プラクトポイエーシス^[17]などの関連する自己組織化の説明と密接に関連しています。これは、サイバネティクス、シナジェティクス^[18]、身体化認知で考慮されるテーマを扱っています。自由エネルギーは、変分密度の下での観測の期待エネルギーからそのエントロピーを引いたものとして表現できるため、最大エントロピー原理^[19]とも関連しています。最後に、エネルギーの時間平均は作用であるため、変分自由エネルギー最小の原理は最小作用の原理です。スケール不変性を考慮する能動推論は、他の理論や領域にも適用されています。例えば、社会学^{[20] [21] [22] [23]}、言語学とコミュニケーション^{[24] [25] [26]}、記号学^{[27] [28]}、疫学^[29]などに応用されている。

負の自由エネルギーは、証拠の下限と形式的には同等であり、変分オートエンコーダなどの生成モデルをトレーニングするために機械学習で一般的に使用されます。

能動推論では、近似ベイズ推論の手法を適用して、データがどのように発生するかを示す 「生成」モデルから感覚データの原因を推論し、これらの推論を使用してアクションを導きます。ベイズの定理は、このような因果モデルの確率的に最適な反転を特徴付けますが、これを適用することは通常、計算上扱いにくいため、近似法が使用されます。能動推論では、このような近似法の代表的なクラスは変分法です。これは、実用的な理由と理論的な理由の両方によるものです。実用的な理由は、多くの場合、推論手順が単純になるためです。理論的理由は、前述のように、基本的な物理原理に関連しているためです。

これらの変分法は、ベイズ最適推論（または「事後」）と方法によるその近似値との間の乖離の上限を最小化することで進行します。この上限は自由エネルギーとして知られており、それに応じて、知覚は入ってくる感覚情報に関する自由エネルギーの最小化として、行動は出ていく行動情報に関する同じ自由エネルギーの最小化として特徴付けることができます。この全体的な二重最適化は能動推論の特徴であり、自由エネルギー原理は、知覚して行動するすべてのシステムをこのように特徴付けることができるという仮説です。

自由エネルギー原理による能動的な推論の仕組みを例示するには、生成モデルを指定する必要があり、これには通常、因果モデルを特徴付ける一連の確率密度関数が含まれます。そのような指定の 1 つを以下に示します。システムは、システムの状態がこの空間の点を形成するという意味で、状態空間 に存在するものとしてモデル化されます。次に、状態空間は に従って因数分解されます。ここで、はエージェントから「隠されている」(直接知覚またはアクセスできないという意味で)「外部」状態の空間、 はエージェントによって直接知覚される感覚状態の空間、はエージェントの可能なアクションの空間、 はエージェントに固有の「内部」状態の空間です。 ${\displaystyle X}$${\displaystyle X=\Psi \times S\times A\times R}$${\displaystyle \Psi}$${\displaystyle S}$${\displaystyle A}$${\displaystyle R}$

図 1 に沿って、以下ではと は(連続) 時間 の関数であることに注意してください。生成モデルは、次の密度関数の指定です。 ${\displaystyle {\dot {\psi}},\psi ,s,a}$${\displaystyle \mu}$${\displaystyle t}$

• 感覚モデル（ と表記されることが多い）は、外部の状態と動作が与えられた場合に感覚データが得られる可能性を特徴付ける。${\displaystyle p_{S}:S\times \Psi \times A\to \mathbb {R} }$${\displaystyle p_{S}(s\mid \psi ,a)}$
• 環境ダイナミクスの確率モデル（ と表記されることが多い）は、エージェントの行動を前提として、エージェントによって外部状態が時間の経過に伴ってどのように変化すると予想されるかを特徴付ける。${\displaystyle p_{\Psi }:\Psi \times \Psi \times A\to \mathbb {R} }$${\displaystyle p_{\Psi }({\dot {\psi }}\mid \psi ,a)}$${\displaystyle t}$
• エージェントの行動が内部状態と感覚データにどのように依存するかを特徴付ける行動モデル（ ）;${\displaystyle p_{A}:A\times R\times S\to \mathbb {R} }$${\displaystyle p_{A}(a\mid \mu ,s)}$
• エージェントの内部状態が感覚データにどのように依存するかを特徴付ける、 と書かれた内部モデル。${\displaystyle p_{R}:R\times S\to \mathbb {R} }$${\displaystyle p_{R}(\mu \mid s)}$

これらの密度関数は、生成モデルの完全な仕様を表す「ジョイントモデル」の因子を決定し、次のように記述できます。

${\displaystyle p_{\text{ベイズ}}({\dot {\psi }},s,a,\mu \mid \psi )=p_{S}(s\mid \psi ,a)p_{\Psi }({\dot {\psi }}\mid \psi ,a)p_{A}(a\mid \mu ,s)p_{R}(\mu \mid s)}$。

ベイズの法則は、その後「事後密度」を決定します。これは、前の状態とエージェントの行動、感覚信号、および内部状態を与えられた外部状態に関する確率的に最適な信念を表します。計算は計算的に扱いにくいため、自由エネルギー原理は「変分密度」の存在を主張します。ここで、は の近似値です。次に、自由エネルギーを次のように定義します。 ${\displaystyle p({\dot {\psi }}|s,a,\mu ,\psi )}$${\displaystyle \psi}$${\displaystyle p_{\text{ベイズ}}}$${\displaystyle q({\dot {\psi }}|s,a,\mu ,\psi )}$${\displaystyle q}$${\displaystyle p_{\text{ベイズ}}}$

${\displaystyle {\begin{aligned}{\underset {\mathrm {自由エネルギー} }{\underbrace {F(\mu ,a\,;s)} }}&={\underset {\text{期待エネルギー}}{\underbrace {\mathbb {E} _{q({\dot {\psi }})}[-\log p({\dot {\psi }},s,a,\mu \mid \psi )]} }}-{\underset {\mathrm {エントロピー} }{\underbrace {\mathbb {H} [q({\dot {\psi }}\mid s,a,\mu ,\psi )]} }}\\&={\underset {\mathrm {驚き} }{\underbrace {-\log p(s)} }}+{\underset {\mathrm {発散} }{\underbrace {\mathbb {KL} [q({\dot {\psi }}\mid s,a,\mu ,\psi )\parallel p_{\text{ベイズ}}({\dot {\psi }}\mid s,a,\mu ,\psi )]} }}\\&\geq {\underset {\mathrm {驚き} }{\underbrace {-\log p(s)} }}\end{aligned}}}$

そして行動と知覚を共同最適化問題として定義する

${\displaystyle {\begin{aligned}\mu ^{*}&={\underset {\mu }{\operatorname {arg\,min} }}\{F(\mu ,a\,;\,s))\}\\a^{*}&={\underset {a}{\operatorname {arg\,min} }}\{F(\mu ^{*},a\,;\,s)\}\end{aligned}}}$

ここで、内部状態は、通常、「変分」密度のパラメータをエンコードするものとみなされ、したがって、 における事後確信に関するエージェントの「最善の推測」となります。自由エネルギーは、エージェントの（限界、または平均）感覚的驚きの尺度の上限でもあるため、自由エネルギーの最小化は、驚きの最小化によって動機付けられることが多いことに注意してください。 ${\displaystyle \mu}$${\displaystyle q}$${\displaystyle \Psi}$

自由エネルギーの最小化は、ランダムな動的システムとして表現された自己組織化システムの特徴として提案されている。^{[30]この定式化は、内部状態と外部状態を分離する}マルコフブランケット（動作と感覚状態を含む）に基づいています。内部状態と動作が自由エネルギーを最小化すると、感覚状態のエントロピーに上限が設定されます。

${\displaystyle \lim _{T\to \infty }{\frac {1}{T}}{\underset {\text{free-action}}{\underbrace {\int _{0}^{T}F(s(t),\mu (t))\,dt} }}\geq \lim _{T\to \infty }{\frac {1}{T}}\int _{0}^{T}{\underset {\text{surprise}}{\underbrace {-\log p(s(t)\mid m)} }}\,dt=H[p(s\mid m)]}$

これは、エルゴード的仮定の下では、サプライズの長期平均がエントロピーであるためである。この境界は、熱力学の第二法則やゆらぎ定理に関連する種類の無秩序への自然な傾向に抵抗する。しかし、ランダム力学系、非平衡定常状態、エルゴード性など、統計物理学の概念に基づいて生命科学の統一原理を定式化することは、生物学的システムの理論的および経験的研究にかなりの制約を課し、生物学的システムを興味深い種類の自己組織化システムにするすべての特徴を不明瞭にするリスクがある。^[31]

^{全てのベイズ推論は自由エネルギー最小化[32] [検証失敗]}という観点から表現できる。内部状態に関して自由エネルギーが最小化されると、隠れた状態上の変分密度と事後密度間のカルバック・ライブラー距離が最小化される。これは、変分密度の形式が固定されている場合は近似ベイズ推論に相当し、それ以外の場合は正確なベイズ推論に相当する。したがって、自由エネルギー最小化はベイズ推論とフィルタリング（例えば、カルマンフィルタリング）の一般的な説明を提供する。これはベイズモデル選択にも使用され、自由エネルギーは複雑性と精度に便利に分解できる。

${\displaystyle {\underset {\text{free-energy}}{\underbrace {F(s,\mu )} }}={\underset {\text{complexity}}{\underbrace {D_{\mathrm {KL} }[q(\psi \mid \mu )\parallel p(\psi \mid m)]} }}-{\underset {\mathrm {accuracy} }{\underbrace {E_{q}[\log p(s\mid \psi ,m)]} }}}$

自由エネルギーが最小のモデルは、複雑性のコスト（オッカムの剃刀や計算コストのより正式な扱いを参照^[33]）の下で、データを正確に説明する。ここで、複雑性とは、変分密度と隠れた状態に関する事前の信念（つまり、データを説明するために使用される有効な自由度）との間の乖離である。

変分自由エネルギーは情報理論関数であり、熱力学的（ヘルムホルツ）自由エネルギーとは異なる。^[34]しかし、変分自由エネルギーの複雑性項は、ヘルムホルツ自由エネルギーと同じ不動点を共有する（システムは熱力学的に閉じているが孤立していないという仮定の下で）。これは、感覚摂動が（適切に長い期間）停止されると、複雑性が最小化されるためである（精度は無視できるため）。この時点で、システムは平衡状態にあり、内部状態は最小エネルギー原理によってヘルムホルツ自由エネルギーを最小化する。^[35]

自由エネルギーの最小化は、変分密度をパラメータ化する感覚状態と内部状態間の相互情報量を最大化することと同等である（エントロピー変分密度が固定されている場合）。これは、自由エネルギーの最小化を最小冗長性の原理と関連づけるものである。^{[36] [12]}

自由エネルギー最小化は、不確実性の下でのニューロンの推論と学習の規範的（ベイズ最適）モデルを定式化する便利な方法を提供し、ベイズ脳仮説^[37]を支持しています。^[38]自由エネルギー最小化によって記述されるニューロンプロセスは、時間依存変数、時間不変パラメータ、ランダム変動の精度（逆分散または温度）を含む隠れ状態の性質に依存します。変数、パラメータ、精度を最小化することは、それぞれ推論、学習、不確実性のエンコードに対応します。 ${\displaystyle \Psi =X\times \Theta \times \Pi }$

自由エネルギー最小化は、知覚における無意識の推論の概念を定式化し^{[7] [9]}、ニューロン処理の規範的（ベイズ的）理論を提供する。関連するニューロンダイナミクスのプロセス理論は、勾配降下法による自由エネルギーの最小化に基づいている。これは、一般化ベイズフィルタリングに対応する（ここで、~は一般化運動座標の変数を示し、 微分行列演算子である）：^[39]${\displaystyle D}$

${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\mu }F(s,\mu ){\Big |}_{\mu ={\tilde {\mu }}}}$

通常、自由エネルギーを定義する生成モデルは非線形かつ階層的である（脳の皮質階層のように）。一般化フィルタリングの特殊なケースにはカルマンフィルタリングが含まれるが、これは形式的には予測符号化^[40]と同等である。予測符号化は脳内のメッセージ伝達の一般的な比喩である。階層モデルでは、予測符号化は上昇（ボトムアップ）予測誤差と下降（トップダウン）予測の反復的な交換を伴い^{[41]、感覚[42]}と運動システムの解剖学と生理学と一致している。^[43]

予測コーディングでは、自由エネルギー（自由行動）の時間積分に対する勾配降下法を通じてモデルパラメータを最適化すると、連合可塑性またはヘブビアン可塑性に還元され、脳の シナプス可塑性と関連します。

精度パラメータの最適化は、予測誤差のゲイン（カルマンゲインを参照）の最適化に相当する。予測符号化の神経的に妥当な実装では、^[41]これは表層錐体細胞の興奮性の最適化に相当し、注意ゲインの観点から解釈されている。^[44]

注意に関する主要な未解決問題として扱われてきたトップダウン対ボトムアップ論争に関して、計算モデルはトップダウンとボトムアップのメカニズムの相互作用の循環的な性質を説明することに成功しました。著者らは、確立された注意の創発モデル、すなわち SAIM を使用して、PE-SAIM と呼ばれるモデルを提案しました。これは、標準バージョンとは対照的に、選択的注意をトップダウンの立場からアプローチします。このモデルは、データとその原因、つまり生成モデルと事後モデルの違いを示すエネルギー関数を最小化するために、予測誤差が同じレベルまたは 1 つ上のレベルに伝達されることを考慮します。妥当性を高めるために、著者らは刺激間の神経競合もモデルに組み込みました。このモデルの注目すべき特徴は、タスク実行中の予測誤差に関してのみ自由エネルギー関数を再定式化することです。

${\displaystyle {\dfrac {\partial E^{total}(Y^{VP},X^{SN},x^{CN},y^{KN})}{\partial y_{mn}^{SN}}}=x_{mn}^{CN}-b^{CN}\varepsilon _{nm}^{CN}+b^{CN}\sum _{k}(\varepsilon _{knm}^{KN})}$

ここで、はニューラルネットワークが伴う全エネルギー関数であり、は時間とともに変化する生成モデル（事前）と事後モデル間の予測誤差です。^[45] 2つのモデルを比較すると、それぞれの結果に顕著な類似性が見られますが、同時に顕著な相違点も浮き彫りになります。SAIMの標準バージョンでは、モデルは主に興奮性接続に重点を置いているのに対し、PE-SAIMでは、抑制性接続を活用して推論を行っています。このモデルは、人間の実験から得られたEEGおよびfMRIデータを高精度で予測できることも証明されています。同様に、Yahyaらも自由エネルギー原理を応用して、主にSAIMに依存する隠れた選択的視覚注意におけるテンプレートマッチングの計算モデルを提案しました。^[46]この研究によれば、全体の状態空間の全自由エネルギーは、元のニューラルネットワークにトップダウン信号を挿入することによって達成され、それによってフィードフォワード予測誤差とバックワード予測誤差の両方を含む動的システムを導出します。 ${\displaystyle E^{total}}$${\displaystyle \varepsilon _{knm}^{KN}}$

勾配降下法を行動に適用すると、運動制御は下降（皮質脊髄路）予測によって駆動される古典的な反射弧の観点から理解することができる。これは、自由度問題^[47]の平衡点解を運動軌跡に 一般化する形式論を提供する。${\displaystyle {\dot {a}}=-\partial _{a}F(s,{\tilde {\mu }})}$

能動推論は、値関数またはコスト関数を状態遷移またはフローに関する事前の信念に置き換えることで最適制御に関連付けられます。 ^{[48]これは、ベイジアンフィルタリングと}ベルマン方程式の解との密接な関係を利用します。ただし、能動推論は、状態空間のスカラー値関数 とベクトル値関数で指定されるフロー（の事前分布）から始まります（ヘルムホルツ分解を参照）。ここで、はランダム変動の振幅であり、コストはです。フローの事前分布は、適切な順方向コルモゴロフ方程式の解である状態の事前分布を誘導します。^[49]対照的に、最適制御は、（つまり、フローはカールフリーまたは詳細なバランスを持っている）という仮定の下で、コスト関数が与えられた場合にフローを最適化します。通常、これには逆方向コルモゴロフ方程式を解くことが含まれます。^[50]${\displaystyle f=\Gamma \cdot \nabla V+\nabla \times W}$${\displaystyle V(x)}$${\displaystyle W(x)}$${\displaystyle \Gamma }$${\displaystyle c(x)=f\cdot \nabla V+\nabla \cdot \Gamma \cdot V}$${\displaystyle p({\tilde {x}}\mid m)}$${\displaystyle p(x\mid m)=\exp(V(x))}$${\displaystyle W=0}$

最適決定問題（通常は部分観測マルコフ決定過程として定式化される）は、効用関数を事前の信念に吸収することによって能動推論の範囲内で扱われる。この設定では、高い効用（低コスト）を持つ状態は、エージェントが占有すると予想される状態である。制御をモデル化する隠れた状態を生成モデルに装備することにより、変分自由エネルギーを最小化するポリシー（制御シーケンス）は、高い効用状態につながる。^[51]

神経生物学的には、ドーパミンなどの神経調節物質は、予測誤差をコードする主細胞のゲインを調節することによって、予測誤差の精度を報告すると考えられています。^[52]これは、予測誤差を報告するドーパミンの役割自体[53]および関連する計算上の説明と密接に関連していますが、形式的には異なります。^[ 54 ^]

能動推論は、行動観察、^{[55]ミラー}ニューロン、^[56]サッカードと視覚探索、^{[57] [58]眼球運動、 [59]}睡眠、^[60]錯覚、^[61]注意、^[44]行動選択、^[52 ]意識、 [ ^{62] [63]}ヒステリー^[64 ]精神病など、認知神経科学、脳機能、神経精神医学のさまざまな問題に対処するために使用されてきた。^[65]能動推論における行動の説明は、脳には更新できない「頑固な予測」があり、それがこれらの予測を実現する行動につながるという考えに依存することが多い。^[66]

• 行動特有の知覚 - 人々が環境とその中の出来事を知覚するという心理学理論Pages displaying wikidata descriptions as a fallback
• アフォーダンス – 物体や環境に対する行動の可能性
• オートポイエーシス – 自動的な再生と維持を伴うシステム概念
• 脳機能に対するベイズ的アプローチ - 統計原理を通じて脳の能力を説明する
• コンストラクタル法則- 自然界、生物、無生物におけるデザイン進化の法則
• 意思決定理論 – 応用確率論の分野
• 身体化された認知 – 学際理論
• エントロピー力 – 基本的な相互作用ではなく熱力学から生じる物理的な力
• 最小エネルギー原理 - 第二法則に基づく熱力学定式化Pages displaying wikidata descriptions as a fallback
• インフォメトリクス – 科学的モデリングと情報処理への学際的アプローチ
• 最適制御 – 動的システムから望ましい出力を得るための数学的方法
• 適応型システム – 環境に適応できるシステム
• 予測コーディング – 脳機能の理論
• 自己組織化 – 局所的な相互作用によって秩序を作り出すプロセス
• 驚き – ランダム変数から特定のイベントが発生する確率から導かれる基本量Pages displaying short descriptions of redirect targets
• シナジェティクス（ハーケン）  - ヘルマン・ハーケンによって開発された熱力学とシステム現象に関する学派Pages displaying wikidata descriptions as a fallback
• 変分ベイズ法 – ベイズ推論と機械学習で使用される数学的手法