ボルツマンマシン

ボルツマンマシン（外部場付きシェリントン・カークパトリックモデルまたは確率的イジングモデルとも呼ばれる）は、ルートヴィヒ・ボルツマンにちなんで名付けられた、外部場を持つスピングラスモデル、すなわちシェリントン・カークパトリックモデル^{[ 1 ]}であり、確率的イジングモデルである。これは認知科学の文脈で応用される統計物理学の手法である^{[ 2 ]}。また^、マルコフ確率場にも分類される^{[ 3 ]}。

ボルツマンマシンは、その学習アルゴリズムの局所性とヘッブ的性質（ヘッブの法則によって学習される）と、その並列性とダイナミクスが単純な物理プロセスに似ていることから、理論的に興味深い。制約のない接続性を持つボルツマンマシンは、機械学習や推論の実際的な問題に役立つことが証明されていないが、接続性が適切に制約されていれば、学習は実際的な問題に役立つほど効率的になる可能性がある。^{[ 4 ]}

これらは、統計力学におけるボルツマン分布にちなんで名付けられており、その分布はサンプリング関数に使用されています。これらは、認知科学コミュニティ、特に機械学習において、ジェフリー・ヒントン、テリー・セジノウスキー、ヤン・ルカンによって広く普及・促進されました。 ^{[ 2 ]}これは、スピングラスのハミルトニアンをエネルギーとして学習タスクを定義する出発点として使用するため、 「エネルギーベースモデル」（EBM）の一部としてです。^{[ 5 ]}

ボルツマンマシンは、シェリントン・カークパトリックモデルと同様に、ネットワーク全体に定義された総「エネルギー」（ハミルトニアン）を持つユニットのネットワークです。そのユニットはバイナリ結果を生成します。ボルツマンマシンの重みは確率的です。グローバルエネルギー${\displaystyle E}$ボルツマンマシンにおける形式は、ホップフィールドネットワークおよびイジングモデルにおける形式と同一である。

${\displaystyle E=-\left(\sum _{i<j}w_{ij}\,s_{i}\,s_{j}+\sum _{i}\theta _{i}\,s_{i}\right)}$

どこ：

• ${\displaystyle w_{ij}}$ユニット間の接続強度${\displaystyle j}$ユニット${\displaystyle i}$。
• $\displaystyle s_{i}}$状態は、$\displaystyle s_{i}\in \{0,1\}}$単位の${\displaystyle i}$。
• $\displaystyle \theta _{i}}$単位のバイアス${\displaystyle i}$グローバルエネルギー関数において。（${\displaystyle -\theta _{i}}$（これはユニットの起動閾値です。）

多くの場合、重さ${\displaystyle w_{ij}}$対称行列として表される${\displaystyle W=[w_{ij}]}$対角線上にゼロが並ぶ。

単一ユニットから生じるグローバルエネルギーの差${\displaystyle i}$0（オフ）対1（オン）に等しい、と表記される$\displaystyle \Delta E_{i}}$重みの対称行列を仮定すると、次の式で与えられる。

${\displaystyle \Delta E_{i}=\sum _{j>i}w_{ij}\,s_{j}+\sum _{j<i}w_{ji}\,s_{j}+\theta _{i}}$

これは、2つの状態のエネルギーの差として表すことができる。

${\displaystyle \Delta E_{i}=E_{\text{i=off}}-E_{\text{i=on}}}$

各状態のエネルギーをボルツマン因子（ボルツマン分布 の性質で、ある状態のエネルギーはその状態の負の対数確率に比例する）に従って相対確率に置き換えると、次の式が得られます。

${\displaystyle \Delta E_{i}=-k_{B}T\ln(p_{\text{i=off}})-(-k_{B}T\ln(p_{\text{i=on}})),}$

どこ${\displaystyle k_{B}}$はボルツマン定数であり、温度という人工的な概念に吸収される。${\displaystyle T}$ユニットがオンまたはオフになる確率の合計は${\displaystyle 1}$簡略化を可能にする：

${\displaystyle -{\frac {\Delta E_{i}}{k_{B}T}}=-\ln(p_{i={\text{on}}})+\ln(p_{i={\text{off}}})=\ln {\Big (}{\frac {1-p_{i={\text{on}}}}{p_{i={\text{on}}}}}{\Big )}=\ln(p_{i={\text{on}}}^{-1}-1),}$

したがって、${\displaystyle i}$第 1 単位は次のように与えられる。

${\displaystyle p_{i={\text{on}}}={\frac {1}{1+\exp {\Big (}-{\frac {\Delta E_{i}}{k_{B}T}}{\Big )}}},}$

スカラー​${\displaystyle T}$これはシステムの温度と呼ばれます。この関係は、ボルツマンマシンの変形における確率表現に見られるロジスティック関数の源となっています。

ネットワークは、ユニットを繰り返し選択してその状態をリセットすることで動作します。ある温度で十分に長時間動作させた後、ネットワークのグローバル状態の確率は、ボルツマン分布に従って、そのグローバル状態のエネルギーのみに依存し、プロセスが開始された初期状態には依存しなくなります。これは、グローバル状態の対数確率がそのエネルギーに対して線形になることを意味します。この関係は、マシンが「熱平衡状態」にあるとき、つまりグローバル状態の確率分布が収束したときに成り立ちます。高温からネットワークを実行すると、温度は徐々に低下し、より低い温度で熱平衡状態に達します。その後、エネルギーレベルがグローバル最小値の周りで変動する分布に収束する可能性があります。このプロセスはシミュレーテッドアニーリングと呼ばれます。

ネットワークがこれらの状態に対する外部分布に従ってグローバル状態に収束するように訓練するには、確率が最も高いグローバル状態が最も低いエネルギーを持つように重みを設定する必要があります。これは訓練によって行われます。

ボルツマンマシンのユニットは、「可視」ユニット V と「隠れ」ユニット H に分けられます。可視ユニットは、「環境」から情報を受け取るユニットです。つまり、トレーニングセットは、セット V 上のバイナリベクトルのセットです。トレーニングセット上の分布は次のように表されます。${\displaystyle P^{+}(V)}$。

ボルツマンマシンが熱平衡に達すると、グローバル状態に関する分布は収束する。隠れユニットに関して周辺化した後、この分布を次のように表す。${\displaystyle P^{-}(V)}$。

私たちの目標は「実際の」分布を近似することです${\displaystyle P^{+}(V)}$使用${\displaystyle P^{-}(V)}$機械によって生成された。2 つの分布の類似性は、カルバック・ライブラー情報量によって測定される。${\displaystyle G}$:

${\displaystyle G=\sum _{v}{P^{+}(v)\ln \left({\frac {P^{+}(v)}{P^{-}(v)}}\right)}}$

ここで、和はすべての可能な状態にわたるものである。${\displaystyle V}$。${\displaystyle G}$は重みの関数であり、重みは状態のエネルギーを決定し、エネルギーは${\displaystyle P^{-}(v)}$ボルツマン分布が約束した通り。勾配降下アルゴリズム${\displaystyle G}$与えられた重量を変更する、${\displaystyle w_{ij}}$偏微分を差し引くことによって${\displaystyle G}$重量に関して。

ボルツマンマシンのトレーニングには、2 つの交互のフェーズが含まれます。1 つは「正」フェーズで、可視ユニットの状態はトレーニングセットからサンプリングされた特定のバイナリ状態ベクトルにクランプされます（${\displaystyle P^{+}}$) もう 1 つは「負の」フェーズで、ネットワークは自由に動作することが許されます。つまり、入力ノードの状態のみが外部データによって決定され、出力ノードは自由に動くことができます。与えられた重みに対する勾配は、${\displaystyle w_{ij}}$は、次の式で与えられます。^{[ 2 ]}

${\displaystyle {\frac {\partial {G}}{\partial {w_{ij}}}}=-{\frac {1}{R}}[p_{ij}^{+}-p_{ij}^{-}]}$

どこ：

• ${\displaystyle p_{ij}^{+}}$これは、機械が正の位相で平衡状態にあるときに、ユニットiとjの両方が稼働している確率です。
• ${\displaystyle p_{ij}^{-}}$これは、機械が負の位相で平衡状態にあるときに、ユニットiとjの両方が稼働している確率です。
• ${\displaystyle R}$学習率を表す

この結果は、熱平衡状態では確率が${\displaystyle P^{-}(s)}$世界のどの国家においても${\displaystyle s}$ネットワークが自由走行している場合、ボルツマン分布によって与えられます。

この学習ルールは、重みを変更するために必要な情報が「局所的」情報のみであるため、生物学的に妥当である。つまり、接続（生物学的にはシナプス）は、接続先の2つのニューロン以外の情報を必要としない。これは、バックプロパゲーションなど、他の多くのニューラルネットワーク学習アルゴリズムにおける接続に必要な情報よりも、生物学的に現実的である。

ボルツマンマシンの学習では、機械学習で広く用いられているEMアルゴリズムは使用されません。KLダイバージェンスを最小化することは、データの対数尤度を最大化することと同等です。したがって、学習手順では、観測データの対数尤度に対して勾配上昇法を実行します。これは、EMアルゴリズムとは対照的です。EMアルゴリズムでは、Mステップ中にデータ全体の尤度の期待値を最大化する前に、隠れノードの事後分布を計算する必要があります。

バイアスの学習方法は似ていますが、単一ノードの活動のみを使用します。

${\displaystyle {\frac {\partial {G}}{\partial {\theta _{i}}}}=-{\frac {1}{R}}[p_{i}^{+}-p_{i}^{-}]}$

理論的には、ボルツマンマシンは非常に汎用的な計算手段である。例えば、写真で学習させた場合、このマシンは理論的に写真の分布をモデル化し、そのモデルを用いて、例えば、部分的な写真を完成させることができる。

残念ながら、ボルツマンマシンには深刻な実用上の問題があります。それは、マシンがごくわずかなサイズを超えると、正しく学習できなくなるように見えることです。これは、特に以下の重要な効果によるものです。

• 平衡統計を収集するために必要な時間オーダーは、マシンのサイズと接続強度の大きさに比例して指数関数的に増加する。
• 接続されたユニットの活性化確率が0から1の中間値である場合、接続強度はより柔軟になり、いわゆる分散トラップが発生します。その結果、ノイズによって接続強度はランダムウォークに従い、最終的に活動が飽和状態に達します。

ボルツマンマシンは、デイビッド・シェリントンとスコット・カークパトリックによるシェリントン・カークパトリック・スピングラスモデルに基づいている。^{[ 15 ]}ジョン・ホップフィールドによる先駆的な論文（1982年）では、統計力学の手法、主に最近開発された（1970年代）スピングラス理論を応用して、連想記憶（後に「ホップフィールドネットワーク」と呼ばれる）を研究した。^{[ 16 ]}

認知科学におけるこのようなエネルギーベースのモデルの応用に関する最初の貢献は、ジェフリー・ヒントンとテリー・セジノウスキーの論文に現れた。^{[ 17 ] [ 18 ] [ 19 ]} 1995年のインタビューで、ヒントンは、1983年の2月か3月にホップフィールドネットワークにおけるシミュレーテッドアニーリングについて講演する予定だったので、講演のために学習アルゴリズムを設計する必要があり、その結果ボルツマン機械学習アルゴリズムが生まれたと述べている。^{[ 20 ]}

アニーリングギブスサンプリングを用いたイジングモデルを適用するというアイデアは、ダグラス・ホフスタッターのCopycatプロジェクト（1984年）で使用された。^{[ 21 ] [ 22 ]}

ボルツマンマシンの定式化において統計力学との明確な類推が示されたことで、物理学から借用した用語（例えば「エネルギー」）が用いられるようになり、それがこの分野の標準となった。この用語が広く採用された背景には、統計力学から様々な概念や手法が取り入れられるようになったという事実があるかもしれない。推論にシミュレーテッドアニーリングを用いるという様々な提案は、明らかに独立して行われたものであった。

同様の考え方（エネルギー関数の符号が反転している）は、ポール・スモレンスキーの「ハーモニー理論」にも見られる。^{[ 23 ]}イジングモデルはマルコフランダムフィールドに一般化することができ、言語学、ロボット工学、コンピュータビジョン、人工知能で広く応用されている。

2024年、ホップフィールドとヒントンは、ボルツマンマシンなどの機械学習への基礎的な貢献によりノーベル物理学賞を受賞しました。 ^{[ 24 ]}

• 制限付きボルツマンマシン
• ヘルムホルツ振動装置
• マルコフ確率場（MRF）
• イジングモデル（レンツ・イジングモデル）
• ホップフィールドネットワーク

• Hinton, GE ; Sejnowski, TJ (1986). DE Rumelhart; JL McClelland (編). "Learning and Relearning in Boltzmann Machines" (PDF) . Parallel Distributed Processing: E​​xplorations in the Microstructure of Cognition. Volume 1: Foundations : 282– 317. 2010-07-05 にオリジナル(PDF)からアーカイブされました。
• Hinton, GE (2002). "Training Products of Experts by Minimizing Contrastive Divergence" (PDF) . Neural Computation . 14 (8): 1771– 1800. CiteSeerX 10.1.1.35.8613 . doi : 10.1162/089976602760128018 . PMID 12180402 . S2CID 207596505 .   
• Hinton, GE ; Osindero, S.; Teh, Y. (2006). "ディープビリーフネットのための高速学習アルゴリズム" (PDF) . Neural Computation . 18 (7): 1527– 1554. CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513 . S2CID 2309950 .   
• コタリ P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817
• Montufar, Guido (2018). "制限付きボルツマンマシン: 概要とレビュー" (PDF) . MPI MiS (プレプ​​リント) . 2023年8月1日取得.

• ヒントンによるボルツマンマシンに関するScholarpediaの記事
• ジェフリー・ヒントンによるGoogleでの講演