経験的ベイズ法

経験的ベイズ法は、データから事前確率分布を推定する統計的推論の手順です。このアプローチは、事前分布がデータを観測する前に固定される標準的なベイズ法とは対照的です。この観点の 違いにもかかわらず、経験的ベイズは、階層モデルの完全なベイズ処理の近似として見ることができます。階層の最上位レベルのパラメータは、積分されるのではなく、最も可能性の高い値に設定されます。^{[1]経験的ベイズは、}最大周辺尤度^[2] としても知られ、ハイパーパラメータを設定するための便利なアプローチですが、2000年代以降、高性能な計算技術がますます利用できるようになり、完全なベイズ階層分析にほとんど取って代わられました。ただし、潜在変数空間が高次元である 変分オートエンコーダなどのディープラーニングの変分法では、依然として一般的に使用されています。

経験的ベイズ法は、階層的ベイズモデルの完全なベイズ的処理の近似として考えることができます。

たとえば、2 段階の階層型ベイズ モデルでは、観測データは確率分布に従って観測されていないパラメータ セットから生成されるものと想定されます。次に、パラメータは、確率分布に従ってハイパーパラメータによって特徴付けられる母集団から抽出されたサンプルと見なすことができます。階層型ベイズ モデルでは、経験的ベイズ近似ではありませんが、ハイパーパラメータはパラメータ化されていない分布から抽出されるものと見なされます。 ${\displaystyle y=\{y_{1},y_{2},\dots ,y_{n}\}}$${\displaystyle \theta =\{\theta _{1},\theta _{2},\dots ,\theta _{n}\}}$${\displaystyle p(y\mid \theta )\,}$${\displaystyle \theta }$ ${\displaystyle \eta \,}$${\displaystyle p(\theta \mid \eta )\,}$${\displaystyle \eta \,}$${\displaystyle p(\eta )\,}$

したがって、特定の関心量に関する情報は、その量に直接依存するデータの特性からだけでなく、ハイパーパラメータによって要約された、データ全体から推測されるパラメータの集団全体の特性からも得られます。 ${\displaystyle \theta _{i}\;}$${\displaystyle y}$${\displaystyle \theta \;}$${\displaystyle \eta \;}$

ベイズの定理を用いると、

${\displaystyle p(\theta \mid y)={\frac {p(y\mid \theta )p(\theta )}{p(y)}}={\frac {p(y\mid \theta )}{p(y)}}\int p(\theta \mid \eta )p(\eta )\,d\eta \,.}$

一般に、この積分は解析的にも記号的にも扱いにくく、数値的方法で評価する必要があります。確率的 (ランダム) または決定論的近似を使用できます。確率的方法の例には、マルコフ連鎖モンテカルロ法とモンテカルロサンプリングがあります。決定論的近似については、求積法で説明します。

あるいは、この式は次のように書くこともできる。

${\displaystyle p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \mid y)\;d\eta \,,}$

そして積分の最後の因子は次のように表される。

${\displaystyle p(\eta \mid y)=\int p(\eta \mid \theta )p(\theta \mid y)\;d\theta .}$

これらは、ギブスサンプラーと構造的に質的に類似した反復スキームを示唆しており、およびへの近似値を連続的に改善していきます。まず、依存性を完全に無視してへの初期近似値を計算し、次に の初期近似分布に基づいてへの近似値を計算し、これを使用しての近似値を更新し、 を更新し、これを繰り返します。 ${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta }$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$

真の分布が鋭くピークを描いている場合、確率分布を分布のピーク（あるいはその平均）を表す 点推定値に置き換えても、積分決定はあまり変わらない可能性がある。${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$

${\displaystyle p(\theta \mid y)\simeq {\frac {p(y\mid \theta )\;p(\theta \mid \eta ^{*})}{p(y\mid \eta ^{*})}}\,.}$

この近似により、上記の反復スキームはEMアルゴリズムになります。

「経験的ベイズ」という用語は、さまざまな方法に当てはまりますが、そのほとんどは、上記のスキームまたはそれに非常によく似たスキームの初期の切り捨てと見なすことができます。 パラメータ には、通常、分布全体ではなく点推定が使用されます。 の推定は通常、 への最初の近似値から行われ、その後の調整は行われません。 のこれらの推定は、通常、 の適切な事前分布を考慮せずに行われます。 ${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta ^{*}\;}$${\displaystyle \eta }$

ロビンズ^[3]は、混合分布からのサンプリングのケースを検討した。ここで、各確率（ を条件とする）はポアソン分布によって指定され、 ${\displaystyle y_{i}}$${\displaystyle \theta _{i}}$

${\displaystyle p(y_{i}\mid \theta _{i})={{\theta _{i}}^{y_{i}}e^{-\theta _{i}} \over {y_{i}}!}}$

一方、 θの事前分布は、累積分布関数を持つ未知の分布からのiidであることを除いて指定されていません。複合サンプリングは、事故率や臨床試験など、さまざまな統計的推定問題で発生します。^[要出典]観測されたすべてのデータが与えられた場合 の の点予測を求めるだけです。事前分布が指定されていないため、 Gを知らずにこれを実行しようとします。^[4] ${\displaystyle G(\theta )}$${\displaystyle \theta _{i}}$

二乗誤差損失（SEL）の下では、条件付き期待値E（θ _i  |  Y _i  =  y _i）は予測に使用するのに適切な量である。ポアソン複合サンプリングモデルの場合、この量は

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i}}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta })}.}$

これは分子と分母の両方にを掛けることで簡略化でき、 ${\displaystyle ({y_{i}}+1)}$

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={{(y_{i}+1)p_{G}(y_{i}+1)} \over {p_{G}(y_{i})}},}$

ここでp _{G は}、 θ をGにわたって積分することによって得られる限界確率質量関数です。

これを利用するため、ロビンズ^[3]は、経験的頻度（）を使用して周辺分布を推定することを提案し、次のように完全にノンパラメトリックな推定値を得た。 ${\displaystyle \#\{Y_{j}\}}$

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})\approx (y_{i}+1){{\#\{Y_{j}=y_{i}+1\}} \over {\#\{Y_{j}=y_{i}\}}},}$

ここで は「数」を表します。(グッド・チューリング周波数推定も参照してください。) ${\displaystyle \#}$

例 – 事故率

保険会社の各顧客には「事故率」Θがあり、事故に対して保険がかけられていると仮定します。Θの確率分布は基礎分布であり、未知です。指定された期間に各顧客が被った事故の数は、特定の顧客の事故率に等しい期待値を持つポアソン分布になります。顧客が実際に経験した事故の数は、観測可能な量です。事故率Θの基礎確率分布を推定する大まかな方法​​は、指定された期間に0、1、2、3、...の事故に遭った全人口のメンバーの割合を、観測されたランダムサンプルの対応する割合として推定することです。これを実行した後、サンプル内の各顧客の事故率を予測することが望まれます。上記のように、ベースライン期間中に観測された事故数を与えられた事故率Θの条件付き 期待値を使用できます。したがって、顧客が基準期間中に 6 件の事故に遭った場合、その顧客の推定事故率は 7 × [7 件の事故に遭ったサンプルの割合] / [6 件の事故に遭ったサンプルの割合] となります。k件の事故に遭った人の割合がkの減少関数である場合、顧客の予測事故率は、観察された事故数よりも低くなることが多いことに注意してください。

この縮小効果は経験的ベイズ分析に典型的です。

がランダム変数で、 が観測されるがが隠れているとします。問題は、を条件として、の期待値を見つけることです。さらに、 、つまり、つまり であるとします。ここで、 は分散 の多変量ガウス分布です。 ${\displaystyle X,Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y|X\sim {\mathcal {N}}(X,\Sigma )}$${\displaystyle Y=X+Z}$${\displaystyle Z}$${\displaystyle \Sigma }$

次に、多変量ガウス分布の確率密度関数を直接計算することで、式が得られます。 を積分すると、次式が得られます。特に、これはの事前密度や事後密度にアクセスせずに のベイズ推定を実行できることを意味します。 唯一の要件はのスコア関数にアクセスできることです。 これは、スコアベースの生成モデリングに応用されています。^[5]$${\displaystyle \Sigma \nabla _{y}\rho (y|x)=\rho (y|x)(x-y)}$$${\displaystyle \rho (x)dx}$$${\displaystyle \Sigma \nabla _{y}\rho (y)=(\mathbb {E} [x|y]-y)\rho (y)\implies \mathbb {E} [x|y]=y+\Sigma \nabla _{y}\ln \rho (y)}$$${\displaystyle X}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$

尤度とその事前分布が単純なパラメトリック形式（単純な共役事前分布を持つ 1 次元または 2 次元の尤度関数など）をとる場合、経験ベイズの問題は、経験的測定の完全なセットを使用して周辺パラメータとハイパーパラメータを推定することだけです。たとえば、パラメトリック経験ベイズ点推定と呼ばれる一般的なアプローチの 1 つは、最大尤度推定値（MLE）またはモーメント展開を使用して周辺を近似することです。これにより、経験的平均と分散の観点からハイパーパラメータを表現できます。この簡略化された周辺分布により、経験的平均を事前分布の点推定に代入できます。結果として得られる事前分布の式は、以下に示すように大幅に簡略化されます。 ${\displaystyle m(y\mid \eta )}$${\displaystyle \eta }$${\displaystyle \eta }$${\displaystyle \theta }$${\displaystyle \theta }$

一般的なパラメトリック経験ベイズ モデルには、ポアソン–ガンマ モデル (下記)、ベータ二項モデル、ガウス–ガウス モデル、ディリクレ多項モデルのほか、ベイズ線形回帰(下記参照) やベイズ多変量線形回帰の特定モデルなどがあります。より高度なアプローチには、階層ベイズ モデルやベイズ混合モデルなどがあります。

ガウス-ガウスモデルを使用した経験的ベイズ推定の例については、「経験的ベイズ推定量」を参照してください。

たとえば、上記の例では、尤度をポアソン分布とし、事前分布を共役事前分布（ガンマ分布( ) ）で指定するとします（ただし）。 ${\displaystyle G(\alpha ,\beta )}$${\displaystyle \eta =(\alpha ,\beta )}$

${\displaystyle \rho (\theta \mid \alpha ,\beta )\,d\theta ={\frac {(\theta /\beta )^{\alpha -1}\,e^{-\theta /\beta }}{\Gamma (\alpha )}}\,(d\theta /\beta ){\text{ for }}\theta >0,\alpha >0,\beta >0\,\!.}$

事後分布もガンマ分布であること を示すのは簡単です。

${\displaystyle \rho (\theta \mid y)\propto \rho (y\mid \theta )\rho (\theta \mid \alpha ,\beta ),}$

ここで、周辺分布は に明示的に依存しないため省略されています。 に依存する項を展開すると、事後分布は次のようになります。 ${\displaystyle \theta }$${\displaystyle \theta }$

${\displaystyle \rho (\theta \mid y)\propto (\theta ^{y}\,e^{-\theta })(\theta ^{\alpha -1}\,e^{-\theta /\beta })=\theta ^{y+\alpha -1}\,e^{-\theta (1+1/\beta )}.}$

したがって、事後密度もガンマ分布 （ 、）です。また、周辺分布は単に事後分布全体に対する積分であり、負の二項分布となることにも注意してください。 ${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '=y+\alpha }$${\displaystyle \beta '=(1+1/\beta )^{-1}}$${\displaystyle \Theta }$

経験的ベイズを適用するには、最大尤度推定値（MLE）を使用して周辺分布を近似します。しかし、事後分布はガンマ分布であるため、周辺分布のMLEは事後分布の平均となり、これが必要な点推定値となります。ガンマ分布の平均は単純に であることを思い出すと、次の式が得られます。 ${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle \mu }$${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '\beta '}$

${\displaystyle \operatorname {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\frac {\beta }{1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).}$

およびの値を取得するために、経験ベイズでは経験データの完全なセットを使用して 平均と分散を推定することを規定しています。${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \alpha \beta }$${\displaystyle \alpha \beta ^{2}}$

したがって、結果として得られる点推定値は、標本平均と事前平均の加重平均のようになります。これは経験ベイズの一般的な特徴です。事前（つまり平均）の点推定値は、標本推定値と事前推定値の加重平均のようになります（分散の推定値についても同様です）。 ${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle {\bar {y}}}$${\displaystyle \mu =\alpha \beta }$

• ベイズ推定量
• ベイジアンネットワーク
• ハイパーパラメータ
• ハイパープライア
• 最良の線形不偏予測
• ロビンズの補題
• スパイクアンドスラブ変数選択

• Peter E. Rossi、Greg M. Allenby、Rob McCulloch (2012 年 5 月 14 日)。ベイズ統計とマーケティング。John Wiley & Sons。ISBN 978-0-470-86368-8。
• Casella, George (1985 年 5 月). 「経験的ベイズデータ分析入門」(PDF) . American Statistician . 39 (2): 83–87. doi :10.2307/2682801. hdl : 1813/32886 . JSTOR  2682801. MR  0789118.
• ニクーリン、ミハイル (1987)。「経験的ベイズアプローチの問題におけるバーンスタインの正則性条件」。ソビエト数学ジャーナル。36 (5): 596–600。doi : 10.1007/ BF01093293。S2CID  122405908 。

• 道路の安全性を推定するための経験的ベイズ法の使用（北米）
• 欠損データ解析のための経験的ベイズ法
• ベータ二項分布を使用して生体認証デバイスのパフォーマンスを評価する
• 階層的単純ベイズ分類器（連続変数および離散変数用）。