期待の伝播

期待伝播法（EP）はベイズ機械学習の手法の一つである。^[1]

EPは確率分布の近似値を求めます。^[1]対象分布の因数分解構造を用いた反復アプローチを使用します。 ^[1]これは変分ベイズ法 などの他のベイズ近似アプローチとは異なります。^[1]

より具体的には、扱いにくい確率分布を扱いやすい分布で近似したいとします。期待値伝播法は、カルバック・ライブラー情報量を最小化することでこの近似を実現します。^[1]変分ベイズ法は、代わりに最小化します。^[1]${\displaystyle p(\mathbf {x} )}$${\displaystyle q(\mathbf {x} )}$ ${\displaystyle \mathrm {KL} (p||q)}$${\displaystyle \mathrm {KL} (q||p)}$

がガウス分布である場合、 はの平均との共分散にそれぞれ等しくなるように最小化されます。これをモーメントマッチングと呼びます。^[1]${\displaystyle q(\mathbf {x} )}$${\displaystyle {\mathcal {N}}(\mathbf {x} |\mu ,\Sigma )}$${\displaystyle \mathrm {KL} (p||q)}$${\displaystyle \mu}$${\displaystyle \Sigma }$${\displaystyle p(\mathbf {x} )}$${\displaystyle p(\mathbf {x} )}$

モーメントマッチングによる期待値の伝播は、 TrueSkillのメッセージパッシング方程式を導出するときに現れる指標関数の近似において重要な役割を果たします。

• Thomas Minka (2001 年 8 月 2 ～ 5 日)。「近似ベイズ推論の期待値伝播」。Jack S. Breese、Daphne Koller (編)。UAI '01: 人工知能における不確実性に関する第 17 回会議議事録(PDF)。ワシントン大学、ワシントン州シアトル、米国。pp. 362 ～ 369。{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク)

• ミンカのEP論文
• EP を使用した論文の一覧。