限界確率

周辺尤度は、パラメータ空間にわたって積分された尤度関数です。ベイズ統計では、パラメータのすべての可能な値に対して観測サンプルが生成される確率を表します。これはモデル自体の確率として理解できるため、モデルの証拠または単に証拠と呼ばれることがよくあります。

パラメータ空間での積分のため、周辺尤度はパラメータに直接依存しません。モデルの比較に焦点が当てられていない場合、周辺尤度は単に事後確率が適切な確率であることを保証する正規化定数です。これは統計力学の分割関数に関連しています。^[1]

によってパラメータ化されたある確率分布に従う、独立した同一分布のデータ ポイントの集合が与えられます。ここで、自体は分布によって記述されるランダム変数です。つまり、一般に周辺尤度は、が周辺化(積分) されているときの確率が何であるかを尋ねます。${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n}),}$${\displaystyle x_{i}\sim p(x|\theta )}$${\displaystyle \theta}$${\displaystyle \theta}$${\displaystyle \theta \sim p(\theta \mid \alpha ),}$${\displaystyle p(\mathbf {X} \mid \alpha )}$${\displaystyle \theta}$

${\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \operatorname { d} \!\シータ }$

上記の定義はベイズ統計の文脈で表現されており、この場合 は事前密度と呼ばれ、は尤度です。周辺尤度は、データと事前の一致を幾何学的な意味で定量化し、de Carvalho et al. (2019) で明確にされています^{[どのように？ ] 。古典的（}頻度主義）統計では、周辺尤度の概念は代わりに結合パラメータ の文脈で現れます。ここで、 は実際の対象パラメータであり、 は興味のない迷惑パラメータです。 の確率分布が存在する場合^{[疑わしい–議論]} 、を周辺化してについてのみ尤度関数を検討することが望ましいことがよくあります。 ${\displaystyle p(\theta \mid \alpha )}$${\displaystyle p(\mathbf {X} \mid \theta )}$${\displaystyle \theta =(\psi,\lambda)}$${\displaystyle \psi}$${\displaystyle \lambda}$${\displaystyle \lambda}$${\displaystyle \psi}$${\displaystyle \lambda}$

${\displaystyle {\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \演算子名 {d} \!\lambda }$

残念ながら、周辺尤度は一般に計算が困難です。特に周辺化パラメータがデータの分布の共役事前分布である場合、正確な解は分布の小さなクラスに対して知られています。その他の場合には、ガウス積分やモンテカルロ法などの一般的な方法、またはラプラス近似、ギブス/メトロポリスサンプリング、EMアルゴリズムなどの統計問題に特化した方法のいずれかの数値積分法が必要です。

上記の考慮事項を、観測値のセットではなく、単一のランダム変数 (データ ポイント) に適用することもできます。ベイズのコンテキストでは、これはデータ ポイントの 事前予測分布に相当します。${\displaystyle x}$

ベイズモデルの比較では、周辺化変数は特定のタイプのモデルのパラメータであり、残りの変数はモデル自体のアイデンティティです。この場合、周辺化尤度は、特定のモデルパラメータを仮定せずに、モデルタイプが与えられたデータの確率です。モデルパラメータについて書くと、モデルMの周辺尤度は次のようになります。 ${\displaystyle \theta}$${\displaystyle M}$${\displaystyle \theta}$

${\displaystyle p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \! \シータ }$

この文脈では、モデル証拠という用語が通常使用されます。この量は、モデルM ₁と別のモデルM _{2の事後オッズ比が}ベイズ係数と呼ばれる周辺尤度の比を含むため重要です。

${\displaystyle {\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}$

これは概略的に次のように述べられる。

事後オッズ= 事前オッズ ×ベイズ係数

• 経験的ベイズ法
• リンドリーのパラドックス
• 限界確率
• ベイズ情報量基準

• Charles S. Bos. 「限界尤度計算方法の比較」。W. Härdle および B. Ronz 編著、COMPSTAT 2002: Proceedings in Computational Statistics、pp. 111–117。2002 年。 ( SSRN  332860でプレプリントとして入手可能)
• de Carvalho, Miguel; Page, Garritt; Barney, Bradley (2019). 「ベイズ推論の幾何学について」ベイズ分析14 (4): 1013‒1036. (ウェブ上でプレプリントとして入手可能: [1])
• ランバート、ベン (2018)。「悪魔は分母の中にいる」。ベイズ統計の学生ガイド。セージ。pp. 109–120。ISBN 978-1-4739-1636-4。
• オンライン教科書: David JC MacKay著「情報理論、推論、学習アルゴリズム」 。