ラプラス近似

ラプラス近似は、平均がMAP解に等しく、精度が観測されたフィッシャー情報に等しいガウス分布を近似することにより、事後確率分布の解析的表現を提供します。^{[1] [2]}この近似は、正則性条件下では、データポイントの数が無限大に近づくにつれて近似の誤差が0に近づくという、ベルンシュタイン・フォン・ミーゼスの定理によって正当化されます。 ^{[3] [4]}

たとえば、長さ の(未知の) パラメータ ベクトルを持つ入力と出力を含むデータ セットを持つ回帰モデルまたは分類モデルを考えます。尤度はで示され、パラメータ事前分布は です。出力とパラメータの結合密度を近似するとします。ベイズの式は次のようになります。 ${\displaystyle \{x_{n},y_{n}\}_{n=1,\ldots ,N}}$${\displaystyle x}$${\displaystyle y}$${\displaystyle \theta}$${\displaystyle D}$${\displaystyle p({\bf {y}}|{\bf {x}},\theta )}$ ${\displaystyle p(\theta )}$${\displaystyle p({\bf {y}},\theta |{\bf {x}})}$

${\displaystyle p({\bf {y}},\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}},\theta )p(\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}})p(\theta |{\bf {y}},{\bf {x}})\;\simeq \;{\tilde {q}}(\theta )\;=\;Zq(\theta ).}$

結合は尤度と事前分布の積に等しく、ベイズの定理により、周辺尤度 と事後分布の積に等しくなります。結合 の関数として見られるのは、正規化されていない密度です。${\displaystyle p({\bf {y}}|{\bf {x}})}$ ${\displaystyle p(\theta |{\bf {y}},{\bf {x}})}$${\displaystyle \theta }$

ラプラス近似では、ジョイントを正規化されていないガウス分布 で近似します。ここで、近似密度を表すために を使用し、正規化されていない密度、および（ に依存しない）の正規化定数を使用します。周辺尤度はパラメータ に依存せず、事後分布は に対して正規化されるため、これらをそれぞれ近似の および とすぐに同一視できます。${\displaystyle {\tilde {q}}(\theta )=Zq(\theta )}$${\displaystyle q}$${\displaystyle {\tilde {q}}}$${\displaystyle Z}$${\displaystyle {\tilde {q}}}$${\displaystyle \theta }$${\displaystyle p({\bf {y}}|{\bf {x}})}$${\displaystyle \theta }$${\displaystyle p(\theta |{\bf {y}},{\bf {x}})}$${\displaystyle \theta }$${\displaystyle Z}$${\displaystyle q(\theta )}$

ラプラス近似は

${\displaystyle p({\bf {y}},\theta |{\bf {x}})\;\simeq \;p({\bf {y}},{\hat {\theta }}|{\bf {x}})\exp {\big (}-{\tfrac {1}{2}}(\theta -{\hat {\theta }})^{\top }S^{-1}(\theta -{\hat {\theta }}){\big )}\;=\;{\tilde {q}}(\theta ),}$

ここで定義した

${\displaystyle {\begin{aligned}{\hat {\theta }}&\;=\;\operatorname {argmax} _{\theta }\log p({\bf {y}},\theta |{\bf {x}}),\\S^{-1}&\;=\;-\left.\nabla _{\theta }\nabla _{\theta }\log p({\bf {y}},\theta |{\bf {x}})\right|_{\theta ={\hat {\theta }}},\end{aligned}}}$

ここで、 は結合ターゲット密度のモードの位置であり、最大事後確率または MAP ポイントとも呼ばれ、 はモード における負の対数結合ターゲット密度の 2 次導関数の正定値行列です。したがって、ガウス近似は、モード における正規化されていないターゲット密度の値と対数曲率と一致します。 の値は通常、勾配ベースの方法を使用して求められます。 ${\displaystyle {\hat {\theta }}}$${\displaystyle S^{-1}}$${\displaystyle D\times D}$ ${\displaystyle \theta ={\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$

まとめると、

${\displaystyle {\begin{aligned}q(\theta )&\;=\;{\cal {N}}(\theta |\mu ={\hat {\theta }},\Sigma =S),\\\log Z&\;=\;\log p({\bf {y}},{\hat {\theta }}|{\bf {x}})+{\tfrac {1}{2}}\log |S|+{\tfrac {D}{2}}\log(2\pi ),\end{aligned}}}$

それぞれ、近似事後尤度と近似対数周辺尤度です。 ${\displaystyle \theta }$

ラプラス近似の主な弱点は、モードを中心に対称的であることと、非常に局所的であることです。近似全体が、ターゲット密度の1点の特性から導出されます。ラプラス法は広く使用されており、ニューラルネットワークの分野ではDavid MacKayによって開発され、^[5]ガウス過程の分野ではWilliamsとBarberによって開発されました。^[6]

• Amaral Turkman, M. Antónia; Paulino, Carlos Daniel; Müller, Peter (2019). 「古典的ラプラス法」。計算ベイズ統計学入門。 ケンブリッジ: ケンブリッジ大学出版局。 pp.  154– 159。ISBN 978-1-108-48103-8。
• Tanner , Martin A. (1996)。「ラプラス法に基づく事後モーメントと周辺化」。統計的推論ツール。ニューヨーク: Springer。pp.  44– 51。ISBN 0-387-94688-8。