エネルギーベースのモデル

エネルギーベースモデル( EBM ) (カノニカルアンサンブル学習またはカノニカルアンサンブルによる学習– CELおよびLCEとも呼ばれる) は、統計物理学のカノニカルアンサンブル定式化をデータ学習に応用したものです。このアプローチは、生成型人工知能で顕著に見られます。

EBM は、特にグラフィカルモデルやその他の構造化モデルのトレーニングにおいて、このような学習に対する多くの確率的および非確率的アプローチに統一されたフレームワークを提供します。^{[引用が必要]}

EBM はターゲットデータセットの特性を学習し、類似しているがより大きなデータセットを生成します。EBM はデータセットの 潜在変数を検出し、同様の分布を持つ新しいデータセットを生成します。

エネルギーベースの生成ニューラルネットワーク ^{[1] [2]} は、エネルギー関数が最新のディープニューラルネットワークによってパラメータ化されたエネルギーベースのモデルの形でデータの明示的な確率分布を学習することを目的とした生成モデルの一種です。

ボルツマンマシンは、エネルギーの特定のパラメータ化を備えたエネルギーベースのモデルの特殊な形式です。^[3]

与えられた入力 に対して、モデルはボルツマン分布が確率（密度）であり、通常は となるようなエネルギーを記述します。 ${\displaystyle x}$${\displaystyle E_{\theta }(x)}$ ${\displaystyle P_{\theta }(x)=\exp(-\beta E_{\theta }(x))/Z(\theta )}$${\displaystyle \beta =1}$

正規化定数:

${\displaystyle Z(\theta ):=\int _{x\in X}dx\exp(-\beta E_{\theta }(x))}$

(パーティション関数とも呼ばれる) は、すべての可能な入力のすべてのボルツマン因子に依存するため、標準的な最尤推定法を使用するだけでは、トレーニング中に簡単に計算したり、確実に推定したりすることはできません。 ${\displaystyle x}$

しかし、トレーニング中に尤度を最大化するために、単一のトレーニング例の対数尤度の勾配は連鎖律を使用して与えられます。 ${\displaystyle x}$

${\displaystyle \partial _{\theta }\log \left(P_{\theta }(x)\right)=\mathbb {E} _{x'\sim P_{\theta }}[\partial _{\theta }E_{\theta }(x')]-\partial _{\theta }E_{\theta }(x)\,(*)}$

上記の式の勾配の期待値は、マルコフ連鎖モンテカルロ（MCMC）を使用して分布からサンプルを抽出することによって近似的に推定することができます。^[4]${\displaystyle x'}$${\displaystyle P_{\theta }}$

2003年のヒントンによるボルツマンマシンなどの初期のエネルギーベースのモデルでは、ブロックギブスサンプリングによってこの期待値を推定していました。新しいアプローチでは、より効率的な確率的勾配ランジュバンダイナミクス（LD）を利用して、以下を使用してサンプルを抽出します。^[5]

${\displaystyle x_{0}'\sim P_{0},x_{i+1}'=x_{i}'-{\frac {\alpha }{2}}{\frac {\partial E_{\theta }(x_{i}')}{\partial x_{i}'}}+\epsilon }$、

ここで、過去の値の再生バッファは、最適化モジュールを初期化するために LD で使用されます。 ${\displaystyle \epsilon \sim {\mathcal {N}}(0,\alpha )}$${\displaystyle x_{i}'}$

ニューラルネットワークのパラメータは、MCMCベースの最大尤度推定を介して生成的にトレーニングされます。^[6] 学習プロセスは「合成による分析」スキームに従います。各学習反復内で、アルゴリズムは勾配ベースのMCMC法（ランジュバンダイナミクスやハイブリッドモンテカルロなど）を使用して現在のモデルから合成例をサンプリングし、トレーニング例と合成例の差に基づいてパラメータを更新します（式を参照）。このプロセスは、モード探索とモードシフトの交互プロセスとして解釈でき、敵対的解釈もあります。^{[7] [8]}${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle (*)}$

本質的に、モデルは低いエネルギーを正しい値に関連付け、高いエネルギーを誤った値に関連付ける関数を学習します。 ${\displaystyle E_{\theta }}$

トレーニング後、収束したエネルギーモデルが与えられたら、メトロポリス・ヘイスティングスアルゴリズムを使用して新しいサンプルを抽出できます。受け入れ確率は次のように与えられます。 ${\displaystyle E_{\theta }}$

${\displaystyle P_{acc}(x_{i}\to x^{*})=\min \left(1,{\frac {P_{\theta }(x^{*})}{P_{\theta }(x_{i})}}\right).}$

「エネルギーベースモデル」という用語は、2003年のJMLR論文^[9]で初めて造られ、著者らはEBMを使用して独立成分分析を過剰完備設定に一般化することを定義しました。EBMに関するその他の初期の研究では、エネルギーを潜在変数と観測可能変数の組み合わせとして表現するモデルが提案されました。

EBM は次のような有用な特性を示します:

• シンプルさと安定性 - EBM は設計とトレーニングが必要な唯一のオブジェクトです。バランスを確保するために個別のネットワークをトレーニングする必要はありません。
• 適応計算時間 - EBMは、シャープで多様なサンプル、または（より速く）粗く多様性の少ないサンプルを生成することができます。無限の時間が与えられた場合、この手順は真のサンプルを生成します。^[7]
• 柔軟性 -変分オートエンコーダ(VAE) とフローベースのモデルでは、ジェネレーターは連続空間から異なるデータ モードを含む (場合によっては) 不連続空間へのマップを学習します。EBM は、分離した領域 (複数のモード) に低いエネルギーを割り当てることを学習できます。
• 適応型生成 - EBMジェネレータは確率分布によって暗黙的に定義され、分布が変化すると自動的に適応します（トレーニングなし）。これにより、EBMはジェネレータのトレーニングが実用的ではない領域に対処できるようになり、モードの崩壊を最小限に抑え、分布外のサンプルからのスプリアスモードを回避できます。^[4]
• 構成性 - 個々のモデルは正規化されていない確率分布であり、専門家の積やその他の階層的手法を通じてモデルを組み合わせることができます。

CIFAR-10やImageNet 32​​x32などの画像データセットでは、EBMモデルは比較的高速に高品質の画像を生成しました。EBMモデルは、ある種類の画像から学習した特徴を組み合わせて、他の種類の画像を生成することをサポートしていました。分布外データセットを使用して一般化することができ、フローベースモデルや自己回帰モデルよりも優れていました。EBMは敵対的摂動に対して比較的耐性があり、分類のトレーニングでそれらに対して明示的にトレーニングされたモデルよりも優れた動作を示しました。^[4]

対象アプリケーションには、自然言語処理、ロボット工学、コンピュータービジョンなどがあります。

最初のエネルギーベースの生成ニューラルネットワークは、2016年に画像パターン用に提案された生成ConvNetであり、ニューラルネットワークは畳み込みニューラルネットワークです。^{[10] [11]}モデルは、ビデオ、^{[7] [2]}および3Dボクセルの分布を学習するために、さまざまなドメインに一般化されています。^[12]これらは、そのバリアントでより効果的になっています。^{[13] [14] [15] [16] [17] [18]}これらは、データ生成（例：画像合成、ビデオ合成、 ^[7] 3D形状合成、^[4]など）、データ回復（例：欠落したピクセルまたは画像フレームを含むビデオの回復、^[7] 3D超解像、^[4]など）、データ再構成（例：画像再構成および線形補間^[14]）に有用であることが証明されています。

EBM は、変分オートエンコーダ(VAE)、生成的敵対的ネットワーク(GAN)、正規化フローなどの技術と競合します。

2020年にGrathwohlらによって提案されたジョイントエネルギーベースモデル（JEM）では、ソフトマックス出力を持つ任意の分類器をエネルギーベースモデルとして解釈できます。重要な観察点は、このような分類器が条件付き確率を予測するようにトレーニングされていることです。 ここで、はクラスyに対応するロジットのy番目のインデックスです。ロジットに変更を加えずに、ロジットを再解釈してジョイント確率密度を記述することが提案されました。 ${\displaystyle p_{\theta }(y|x)={\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{\sum _{j=1}^{K}e^{{\vec {f}}_{\theta }(x)[j]}}}\ \ {\text{ for }}y=1,\dotsc ,K{\text{ and }}{\vec {f}}_{\theta }=(f_{1},\dotsc ,f_{K})\in \mathbb {R} ^{K},}$${\displaystyle {\vec {f}}_{\theta }(x)[y]}$ ${\displaystyle {\vec {f}}}$

${\displaystyle p_{\theta }(y,x)={\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{Z(\theta )}},}$

未知の分配関数とエネルギーを持つ。周辺化により、正規化されていない密度が得られる。 ${\displaystyle Z(\theta )}$${\displaystyle E_{\theta }(x,y)=-f_{\theta }(x)[y]}$

${\displaystyle p_{\theta }(x)=\sum _{y}p_{\theta }(y,x)=\sum _{y}{\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{Z(\theta )}}=:\exp(-E_{\theta }(x)),}$

したがって、

${\displaystyle E_{\theta }(x)=-\log \left(\sum _{y}{\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{Z(\theta )}}\right),}$

任意の分類器を使用してエネルギー関数を定義できるようになります。 ${\displaystyle E_{\theta }(x)}$

• 経験的可能性
• 事後予測分布
• 対照学習

• エネルギーベースモデルにおける暗黙的生成と一般化 Yilun Du、Igor Mordatch https://arxiv.org/abs/1903.08689
• あなたの分類器は実はエネルギーベースのモデルであり、そのように扱うべきです、Will Grathwohl、Kuan-Chieh Wang、Jörn-Henrik Jacobsen、David Duvenaud、Mohammad Norouzi、Kevin Swersky https://arxiv.org/abs/1912.03263

• 「CIAR NCAPサマースクール」www.cs.toronto.edu . 2019年12月27日閲覧。
• Dayan, Peter; Hinton, Geoffrey; Neal, Radford; Zemel, Richard S. (1999)、「Helmholtz Machine」、Unsupervised Learning、The MIT Press、doi :10.7551/mitpress/7011.003.0017、ISBN 978-0-262-28803-3
• Hinton, Geoffrey E. (2002 年 8 月)。「対照的発散を最小化することでエキスパートの成果物をトレーニングする」。 ニューラルコンピューティング。14 ( 8): 1771–1800。doi : 10.1162 /089976602760128018。ISSN 0899-7667。PMID 12180402。S2CID  207596505  。
• Salakhutdinov, Ruslan; Hinton, Geoffrey (2009-04-15). 「ディープ ボルツマン マシン」。人工知能と統計: 448–455。