ベイズ推論

ベイズ推論は、事後確率を2つの前提条件、すなわち事前確率と観測データの統計モデルから導出された「尤度関数」の結果として導き出します。ベイズ推論は、ベイズの定理に従って事後確率を計算します。

$${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},}$$

どこ

• ${\displaystyle H}$これは、その確率がデータ（以下、証拠と呼ぶ）によって影響を受ける可能性のあるあらゆる仮説を表します。多くの場合、複数の仮説が競合しており、どの仮説が最も可能性が高いかを判断することが課題となります。
• ${\displaystyle P(H)}$事前確率は、仮説の確率の推定値である。${\displaystyle H}$データの前に${\displaystyle E}$現在の証拠によれば、観察されている。
• ${\displaystyle E}$証拠は、事前確率の計算に使用されなかった新しいデータに対応する。
• ${\displaystyle P(H\mid E)}$事後確率は、${\displaystyle H}$与えられた${\displaystyle E}$つまり、${\displaystyle E}$観察された結果に基づいて、仮説の確率を知りたいのです。
• ${\displaystyle P(E\mid H)}$観測する確率は${\displaystyle E}$与えられた${\displaystyle H}$そしてそれは尤度と呼ばれます。${\displaystyle E}$と${\displaystyle H}$固定すると、証拠が与えられた仮説と適合していることを示します。尤度関数は証拠の関数であり、${\displaystyle E}$事後確率は仮説の関数であるが、${\displaystyle H}$。
• ${\displaystyle P(E)}$これは、周辺尤度または「モデル証拠」と呼ばれることもあります。この要素は、検討されているすべての可能な仮説に対して同じです（仮説が${\displaystyle H}$（他のすべての要因とは異なり、記号のどこにも現れないため、異なる仮説の相対的な確率を決定する要因にはならない。）
• ${\displaystyle P(E)>0}$（そうでなければ${\displaystyle 0/0}$）

異なる値の場合${\displaystyle H}$要因のみ${\displaystyle P(H)}$そして${\displaystyle P(E\mid H)}$分子の両方とも、値に影響を与えます。${\displaystyle P(H\mid E)}$ 仮説の事後確率は、その事前確率（固有の可能性）と新たに得られた可能性（新たに観測された証拠との整合性）に比例する。

次のような場合${\displaystyle \neg H}$（"ない${\displaystyle H}$「」、論理的否定${\displaystyle H}$が有効な尤度である場合、ベイズの定理は次のように書き換えることができます。

$${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$$

なぜなら

$${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$$

そして

$${\displaystyle P(H)+P(\neg H)=1.}$$

これは、この用語に注目を集める

$${\displaystyle \left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.}$$

その項がほぼ 1 であれば、証拠が与えられた場合の仮説の確率は、${\displaystyle P(H\mid E)}$は、${\displaystyle {\tfrac {1}{2}}}$約 50% の確率で、同じくらいの確率か、可能性が低いかのどちらかです。その項が非常に小さく、ゼロに近い場合、証拠に基づいて仮説の確率は、${\displaystyle P(H\mid E)}$が 1 に近い場合、条件付き仮説はかなり可能性が高い。その項が非常に大きく、1 よりはるかに大きい場合、証拠を考慮すると、その仮説はかなり可能性が低い。仮説 (証拠を考慮しない場合) が可能性が低い場合、${\displaystyle P(H)}$小さい（ただし必ずしも天文学的に小さいとは限らない）${\displaystyle {\tfrac {1}{P(H)}}}$は 1 よりはるかに大きく、この項は次のように近似できます。${\displaystyle {\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}}$そして、関連する確率は互いに直接比較することができる。

この方程式を覚えるための手っ取り早く簡単な方法は、乗法の法則を使うことです。

$${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).}$$

ベイズ更新は広く用いられており、計算も容易である。しかし、合理的と考えられる更新規則はベイズ更新だけではない。

イアン・ハッキングは、従来の「ダッチブック」論証ではベイズ更新が明記されておらず、非ベイズ更新規則でもダッチブックを回避できる可能性が残されていると指摘した。ハッキングは次のように書いている。^{[ 3 ]}「ダッチブック論証も、確率公理の証明におけるパーソナリストの武器庫にある他の論証も、動的仮定を必然的に伴うものではない。ベイズ主義を伴うものは一つもない。したがって、パーソナリストは動的仮定がベイズ的であることを要求している。一貫性を保つために、パーソナリストが経験から学ぶベイズモデルを放棄することはあり得る。塩は味を失うかもしれない。」

実際、リチャード・C・ジェフリーの規則の発表後、証拠自体に確率が割り当てられる場合にベイズの規則を適用する規則が発表され、ダッチブックを回避する非ベイズ更新規則も存在する（「確率運動学」に関する文献で議論されている）。 ^{[ 4 ]}ベイズ更新を一意に要求するために必要な追加の仮説は、相当な量で複雑で不十分であると見なされている。^{[ 5 ]}

あるプロセスが独立同分布のイベントを生成していると仮定します。${\displaystyle E_{n},\ n=1,2,3,\ldots }$しかし、確率分布は不明である。イベント空間を${\displaystyle \Omega }$このプロセスに関する現在の信念の状態を表します。各モデルはイベントによって表されます。${\displaystyle M_{m}}$条件付き確率${\displaystyle P(E_{n}\mid M_{m})}$モデルを定義するために指定されます。${\displaystyle P(M_{m})}$は、​${\displaystyle M_{m}}$最初の推論ステップの前に、${\displaystyle \{P(M_{m})\}}$は、初期事前確率の集合です。これらの合計は1でなければなりませんが、それ以外は任意です。

プロセスが生成すると観測されたと仮定します${\displaystyle E\in \{E_{n}\}}$.それぞれについて${\displaystyle M\in \{M_{m}\}}$以前の${\displaystyle P(M)}$後方に更新されます${\displaystyle P(M\mid E)}$ベイズの定理より：^{[ 6 ]}

$${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).}$$

さらなる証拠が確認された場合、この手続きは繰り返される可能性がある。

独立かつ同一の分布に従う観測値の系列の場合${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$帰納法により、上記の繰り返し適用は以下と同等であることが示される。 $${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),}$$ どこ $${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$$

モデル空間をパラメータ化することで、すべてのモデルに対する信頼度を一度に更新できます。モデル空間における信頼度の分布は、パラメータ空間における信頼度の分布と考えることができます。本節では、一般的な状況に従い、確率密度で表される連続分布を扱います。ただし、この手法は離散分布にも同様に適用可能です。

ベクトルを${\displaystyle {\boldsymbol {\theta }}}$パラメータ空間を張る。 上の初期事前分布を${\displaystyle {\boldsymbol {\theta }}}$なれ${\displaystyle p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})}$、 どこ${\displaystyle {\boldsymbol {\alpha }}}$は事前分布自体のパラメータセット、つまりハイパーパラメータです。${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$は、独立かつ同一の分布に従う事象観測のシーケンスであり、すべての${\displaystyle e_{i}}$配布される${\displaystyle p(e\mid {\boldsymbol {\theta }})}$一部の人にとって${\displaystyle {\boldsymbol {\theta }}}$ベイズの定理を適用して事後分布を求める。${\displaystyle {\boldsymbol {\theta }}}$:

$${\displaystyle {\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}}$$ どこ $${\displaystyle p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).}$$

• ${\displaystyle x}$一般的にはデータポイントを表します。これは値のベクトルである場合もあります。
• ${\displaystyle \theta }$データポイントの分布のパラメータ、つまり、${\displaystyle x\sim p(x\mid \theta )}$ これはパラメータのベクトルである可能性があります。
• ${\displaystyle \alpha }$、パラメータ分布のハイパーパラメータ、すなわち、${\displaystyle \theta \sim p(\theta \mid \alpha )}$ これはハイパーパラメータのベクトルである可能性があります。
• ${\displaystyle \mathbf {X} }$サンプルは、${\displaystyle n}$観測されたデータポイント、つまり、${\displaystyle x_{1},\ldots ,x_{n}}$。
• ${\displaystyle {\tilde {x}}}$、その分布を予測する対象となる新しいデータポイント。

• 事前分布とは、データが観測される前のパラメータの分布のことです。${\displaystyle p(\theta \mid \alpha )}$事前分布は容易に決定できない場合があります。そのような場合、新しい観測値で更新する前に、ジェフリーズ事前分布を使用して事前分布を取得するという方法があります。
• 標本分布は、観測データのパラメータを条件とした分布である。${\displaystyle p(\mathbf {X} \mid \theta )}$ これは尤度とも呼ばれ、特にパラメータの関数として見た場合、と表記されることもあります。${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$。
• 周辺尤度（証拠とも呼ばれる）は、観測データの分布をパラメータに関して周辺化したものである。$${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .}$$これは、データと専門家の意見の一致度を、正確にできる幾何学的な意味で定量化します。^{[ 7 ]}周辺尤度が0の場合、データと専門家の意見の一致はなく、ベイズの定理は適用できません。
• 事後分布とは、観測データを考慮した後のパラメータの分布のことです。これはベイズの定理によって決定され、ベイズ推論の中核を成すものです。

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}}$${\displaystyle ={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).}$

これは言葉で表現すると「事後確率は尤度×事前確率に比例する」、あるいは「事後確率＝尤度×事前確率（証拠に基づく）」となる。

• 実際には、機械学習で使用されるほとんどすべての複雑なベイズモデルにおいて、事後分布は${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}$は閉じた形式の分布では得られない。主な理由は、${\displaystyle \theta }$非常に高くなる場合もあれば、ベイズモデルが観測から定式化された特定の階層構造を保持する場合もある${\displaystyle \mathbf {X} }$およびパラメータ${\displaystyle \theta }$このような状況では、近似手法に頼る必要があります。^{[ 8 ]}
• 一般の場合:${\displaystyle P_{Y}^{x}}$条件付き分布${\displaystyle Y}$与えられた${\displaystyle X=x}$そして${\displaystyle P_{X}}$分布は${\displaystyle X}$結合分布は次のようになります。${\displaystyle P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)}$条件付き分布${\displaystyle P_{X}^{y}}$の${\displaystyle X}$ 与えられた${\displaystyle Y=y}$は、

$${\displaystyle P_{X}^{y}(A)=E(1_{A}(X)|Y=y)}$$必要な条件付き期待値の存在と一意性は、ラドン・ニコディムの定理の結果である。これは、コルモゴロフが1933年の有名な著書で定式化した。コルモゴロフは序文で「私は、特に条件付き確率と条件付き期待値の理論に注目したい」と書いて条件付き確率の重要性を強調している。^{[ 9 ]}ベイズの定理は、事前分布から事後分布を決定する。一意性には連続性の仮定が必要である。^{[ 10 ]}ベイズの定理は、実数直線上の一様分布などの不適切な事前分布を含むように一般化できる。^{[ 11 ]}現代のマルコフ連鎖モンテカルロ法は、不適切な事前分布の場合を含めたベイズの定理の重要性を高めた。^{[ 12 ]}

• 事後予測分布とは、事後分布に関して周辺化された新しいデータ点の分布のことである。$${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta }$$
• 事前予測分布とは、新しいデータポイントの分布を事前分布で周辺化したものである。$${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta }$$

ベイズ理論では、予測推論、すなわち新しい未観測データ点の分布を予測するために、事後予測分布を使用することが求められます。つまり、予測として固定点ではなく、可能な点の分布が返されます。このようにして初めて、パラメータの事後分布全体が使用されます。これに対し、頻度統計学における予測では、多くの場合、パラメータの最適点推定値（例えば、最尤推定法や最大事後推定法（MAP）による推定値）を見つけ、その推定値をデータ点の分布の式に代入します。この方法の欠点は、パラメータの値の不確実性を考慮しないため、予測分布の分散を過小評価してしまうことです。

場合によっては、頻度統計学でこの問題を回避できます。たとえば、頻度統計学では、平均と分散が未知の正規分布から信頼区間と予測区間を構築する場合、スチューデントのt分布を使用します。これは、(1)正規分布する確率変数の平均も正規分布すること、および(2)共役事前分布または無情報事前分布を使用した、平均と分散が未知の正規分布データ点の予測分布がスチューデントのt分布になることから、分散を正しく推定します。しかし、ベイズ統計学では、事後予測分布は常に正確に決定できます。少なくとも、数値的手法を使用すれば任意の精度で決定できます。 

どちらのタイプの予測分布も、複合確率分布の形をとります（周辺尤度も同様です）。実際、事前分布が共役事前分布、つまり事前分布と事後分布が同じ族に属する場合、事前予測分布と事後予測分布も、同じ複合分布の族に属することがわかります。唯一の違いは、事後予測分布はハイパーパラメータの更新値を使用するのに対し（共役事前分布の記事で説明したベイズ更新ルールを適用）、事前予測分布は事前分布に現れるハイパーパラメータの値を使用する点です。

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$つまり、モデルが正しい場合、証拠は現在の信念の状態によって予測されるよりも可能性が高いということになります。信念の低下の場合はその逆が当てはまります。信念が変化しない場合、${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$つまり、証拠はモデルとは無関係である。もしモデルが正しければ、証拠は現在の信念状態によって予測されるのと全く同じ確率で現れるはずだ。

もし${\displaystyle P(M)=0}$それから${\displaystyle P(M\mid E)=0}$。 もし${\displaystyle P(M)=1}$そして${\displaystyle P(E)>0}$、 それから${\displaystyle P(M|E)=1}$これは、確固たる信念は反証に左右されないという意味に解釈できる。

前者はベイズの定理から直接導かれる。後者は最初の規則を「～ない」という事象に適用することで導き出せる。${\displaystyle M}$「 の代わりに 」${\displaystyle M}$「、もし${\displaystyle 1-P(M)=0}$、 それから${\displaystyle 1-P(M\mid E)=0}$、そこから結果がすぐに導き出される。

独立かつ同一の分布に従う試行によって信念分布が多数回更新されるときのその挙動を考えてみましょう。十分良い事前確率の場合、ベルンシュタイン・フォン・ミーゼスの定理によれば、試行回数が無限大の極限では、事後分布は初期事前分布とは無関係なガウス分布に収束します。これは、1948 年にJoseph L. Doobによって最初に概説され厳密に証明されたいくつかの条件、すなわち、考慮対象の確率変数が有限の確率空間を持つ場合に限ります。より一般的な結果は、後に統計学者のDavid A. Freedmanによって得られ、彼は 1963 年^{[ 13 ]}と 1965 年^{[ 14 ]}に 2 つの重要な研究論文を発表し、事後分布の漸近挙動が保証されるのはどのような場合かを明らかにしました。彼の 1963 年の論文は、Doob (1949) と同様に有限の場合を扱い、満足のいく結論に達しています。しかし、確率変数が無限だが可算な確率空間を持つ場合（つまり、無限個の面を持つサイコロに対応する場合）、1965 年の論文では、事前分布の密な部分集合に対しては、ベルンシュタイン・フォン・ミーゼスの定理は適用できないことが示されています。この場合、漸近収束はほぼ確実に起こりません。1980 年代と 1990 年代後半に、フリードマンとパーシー・ディアコニスは、無限可算確率空間の場合の研究を続けました。^{[ 15 ]}要約すると、初期選択の影響を抑制するのに十分な試行回数がない可能性があり、特に大規模（ただし有限）なシステムでは収束が非常に遅くなる可能性があります。

パラメータ化された形式では、事前分布は共役事前分布と呼ばれる分布族に属すると仮定されることが多い。共役事前分布の有用性は、対応する事後分布が同じ族に属し、計算が閉じた形式で表現できることにある。

パラメータや変数を推定するために、事後分布を用いることがしばしば望まれる。ベイズ推定法のいくつかは、事後分布から中心傾向の測定値を選択する。

一次元問題の場合、実用的な連続問題に対して一意の中央値が存在する。事後中央値は頑健な推定値として魅力的である。^{[ 16 ]}

事後分布に有限の平均が存在する場合、事後平均は推定方法となる。^{[ 17 ]}$${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$$

最も確率の高い値を取ることで、最大事後推定値（MAP）が定義されます。^{[ 18 ]}$${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$$

最大値に達しない例もあり、その場合はMAP推定値の集合は空になります。

損失関数に関して事後リスク（期待事後損失）を最小化する他の推定方法があり、これらは標本分布（頻度主義統計）を用いた統計的決定理論において興味深い。 ^{[ 19 ]}

新しい観測値の事後予測分布${\displaystyle {\tilde {x}}}$（以前の観測とは無関係である）は^{[ 20 ]によって決定される。}${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta }$${\displaystyle =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$

クッキーがたっぷり入ったボウルが2つあるとします。ボウル1にはチョコレートチップクッキーが10枚、プレーンクッキーが30枚入っており、ボウル2にはそれぞれ20枚ずつ入っています。フレッドはボウルをランダムに選び、そこからクッキーをランダムに1枚選びます。つまり、フレッドがボウルを2つと異なる扱いをしたと考える理由はありませんし、クッキー自体も同様です。選んだクッキーはプレーンクッキーでした。フレッドがボウル1からそのクッキーを選んだ確率はどれくらいか、という問題は、ベイズ推論で解決できる問題の一例です。

直感的には、ボウル1にはプレーンクッキーの方が多く入っているので、答えは半分以上になるはずだとわかる。正確な答えはベイズの定理によって与えられる。${\displaystyle H_{1}}$ボウル1番に対応し、${\displaystyle H_{2}}$ボウル2番へ。フレッドの視点から見るとボウルは同じであると仮定すると、${\displaystyle P(H_{1})=P(H_{2})}$、そして2つを足すと1になるので、両方とも0.5になります。イベント${\displaystyle E}$これはプレーンクッキーの観察です。ボウルの中身から、${\displaystyle P(E\mid H_{1})=30/40=0.75}$そして${\displaystyle P(E\mid H_{2})=20/40=0.5.}$ベイズの公式では、 ${\displaystyle P(H_{1}\mid E)={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}}$${\displaystyle ={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}=0.6}$

フレッドのクッキーが観察される前は、フレッドがボウル1を選んだ確率は事前確率であった。${\displaystyle P(H_{1})=50\%.}$クッキーを認識することで、フレッド（または観察者）のより情報に基づいた推定値は${\displaystyle P(H_{1})}$更新されました${\displaystyle P(H_{1}\mid E)=60\%.}$

考古学者は、11世紀から16世紀にかけての中世の遺跡と思われる場所で発掘調査を行っています。しかし、この遺跡が実際にいつ頃居住されていたのかは正確には分かっていません。陶器の破片が発見されており、釉薬がかけられているものと装飾が施されているものがあります。遺跡が中世初期に居住されていた場合、陶器の1%が釉薬がかけられ、面積の50%が装飾されていると予想されます。一方、中世後期に居住されていた場合は、81%が釉薬がかけられ、面積の5%が装飾されていると予想されます。発掘された破片から、考古学者は居住時期をどの程度確信できるでしょうか？

連続変数に対する信頼度${\displaystyle C}$（世紀）は、離散的な一連の出来事を用いて計算される。${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$証拠として。前の段落の情報から、 $${\displaystyle p_{G}(c)=0.01+{\frac {0.80}{5}}(c-11)}$$ 釉薬の確率と $${\displaystyle p_{D}(c)=0.5-{\frac {0.45}{5}}(c-11)}$$ 装飾確率の場合、それらの補数は $${\displaystyle {\bar {p}}_{G}(c)=1-p_{G}(c),\quad {\bar {p}}_{D}(c)=1-p_{D}(c).}$$ 釉薬と装飾が時間とともに線形的に変化し、これらの変数が独立していると仮定すると、各事象の確率は次のようになる。

新しいフラグメントのタイプ${\displaystyle e}$が発見されると、調査のためのより多くの情報が得られ、ベイズの定理を通じて、考古学者の推定に対する信念度（または信頼度）の向上に向けた更新されたベイズ推論が可能になります。一様な事前分布を仮定すると、${\textstyle f_{C}(c)=0.2}$、そして試行は独立かつ同一の分布に従う、

${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)}$${\displaystyle ={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c).}$

50個の破片が発掘されるにつれて信仰が変化する様子をコンピュータシミュレーションで示したものがグラフに示されている。シミュレーションでは、この遺跡は1420年頃に人が住んでいたとされている。${\displaystyle c=15.2}$50回の試行でグラフの該当部分の下の面積を計算することで、考古学者は、その遺跡が11世紀と12世紀に居住されていた可能性はほぼゼロであり、13世紀には約1%、14世紀には63%、15世紀には36%の確率で居住されていたと言える。ベルンシュタイン・フォン・ミーゼスの定理は、離散的な事象の集合に対応する確率空間が「真の」分布に漸近的に収束することをここで主張している。${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$は有限である（事後分布の漸近挙動に関する上記のセクションを参照）。

ベイズ法は、観測データを生成した基礎的なプロセスを最もよく表すモデルを競合するモデルのセットから選択することを目的とするモデル選択においても役割を果たします。ベイズモデル比較では、データが与えられた場合の事後確率が最も高いモデルが選択されます。モデルの事後確率は、データがモデルによって生成された確率を反映する証拠、つまり周辺尤度と、モデルの事前信念に依存します。2つの競合モデルが事前に等確率であるとみなされる場合、それらの事後確率の比はベイズ因子に対応します。ベイズモデル比較は事後確率が最も高いモデルを選択することを目的としているため、この手法は最大事後確率（MAP）選択ルール^{[ 29 ]}またはMAP確率ルール^{[ 30 ]とも呼ばれます。}

ベイズ統計学に関するWikipediaの別項目、特にそのページの統計モデリングのセクションを参照してください。

ベイズ推論は、人工知能やエキスパートシステムに応用されています。ベイズ推論技術は、1950年代後半からコンピュータ化されたパターン認識技術の基本的な部分となっています。 ^{[ 34 ]}また、複雑なモデルはベイズ分析では閉じた形式で処理できないのに対し、グラフィカルなモデル構造ではギブスサンプリングやその他のメトロポリス・ヘイスティングスアルゴリズムスキームのような効率的なシミュレーションアルゴリズムが可能になるため、ベイズ法とシミュレーションベースのモンテカルロ技術との関連性はますます高まっています。^{[ 35 ]}最近では、これらの理由から、系統学コミュニティの間でベイズ推論の人気が高まっています。多くのアプリケーションでは、多くの人口統計学的および進化的パラメータを同時に推定することができます。

統計的分類に適用されるベイズ推論は、電子メールスパムを識別するためのアルゴリズムの開発に用いられてきました。スパムフィルタリングにベイズ推論を利用するアプリケーションには、CRM114、DSPAM、Bogofilter、SpamAssassin、SpamBayes、Mozilla 、XEAMSなどがあります。スパム分類については、ナイーブベイズ分類器に関する記事でより詳しく解説されています。

ソロモノフの帰納的推論は、観測に基づく予測の理論です。たとえば、与えられた一連の記号に基づいて次の記号を予測します。唯一の仮定は、環境が未知ではあるが計算可能な確率分布に従うということです。これは、帰納的推論の2つのよく研究された原理、ベイズ統計とオッカムの剃刀を組み合わせた形式的な帰納的フレームワークです。^{[ 36 ]}計算可能なシーケンスxの任意の接頭辞pのソロモノフの普遍事前確率は、 pで始まる何かを計算するすべてのプログラム (普遍コンピュータの場合) の確率の合計です。あるpと、 xがサンプリングされる任意の計算可能だが未知の確率分布が与えられた場合、普遍事前確率とベイズの定理を使用して、 xのまだ見ていない部分を最適な方法で予測できます。^{[ 37 ] [ 38 ]}

ベイズ推論は、遺伝子発現差解析を含むさまざまなバイオインフォマティクスアプリケーションに適用されています。 ^{[ 39 ]}ベイズ推論は、 CIRI （Continuous Individualized Risk Index）と呼ばれる一般的な癌リスクモデルにも使用されており、主に事前知識から構築されたベイズモデルを更新するために連続測定値が組み込まれています。^{[ 40 ] [ 41 ]}

ベイズアプローチは、宇宙論および天体物理学の応用における最近の進歩の中心となっており、^{[ 42 ] [ 43 ]}系外惑星の特性評価（ k2-18bの大気の適合など^{[ 44 ]}）、宇宙論的データによるパラメータ制約^{[ 45 ] 、天体物理学実験における較正[ 46 ]}など、幅広い天体物理学的問題に及んでいます。

宇宙論では、複雑なデータセットを分析し、高次元のパラメータ空間をナビゲートするために、マルコフ連鎖モンテカルロ(MCMC) やネストサンプリングアルゴリズムなどの計算手法と併用されることが多い。注目すべき応用例としては、パラメータ推定のための Planck 2018 CMB データへの適用がある。 ^{[ 45 ]} Lambda-CDM モデル の 6 つの基本宇宙論パラメータは、理論によって予測されるのではなく、宇宙マイクロ波背景放射 (CMB) データから選択された宇宙論モデル (Lambda-CDM モデル) に適合される。^{[ 47 ]}宇宙論のベイズコード `cobaya` ^{[ 48 ]}は、宇宙論の実行を設定し、宇宙論的尤度、ボルツマンコード^{[ 49 ] [ 50 ]}とインターフェースする。ボルツマンコードは、MCMC またはネストサンプラーを使用して、任意の宇宙論パラメータセットに対する予測される CMB 異方性を計算する。

この計算フレームワークは標準モデルに限定されず、初期ダークエネルギーを含む理論^{[ 51 ]}や、ラムダCDMを超える追加パラメータを導入する修正重力理論など、代替または拡張された宇宙論理論を検証するためにも不可欠です。ベイズモデル比較を用いることで、競合するモデルの証拠を計算し、データが標準ラムダCDMよりもそれらを支持しているかどうかを評価するための統計的根拠を提供できます^{[ 52 ] 。}

ベイズ推論は、陪審員が被告に対する証拠と被告に対する証拠を首尾一貫して蓄積し、全体として「合理的な疑いを超えて」という個人的な基準を満たしているかどうかを確認するために使用できます。^{[ 53 ] [ 54 ] [ 55 ]}ベイズの定理は、提示されたすべての証拠に順次適用され、ある段階の事後確率が次の段階の事前確率になります。ベイズアプローチの利点は、陪審員に証拠を組み合わせるための偏りのない合理的なメカニズムを提供することです。賭けのオッズは確率よりも広く理解されているため、陪審員にベイズの定理をオッズの形式で説明するのが適切かもしれません。あるいは、乗算を加算に置き換える対数アプローチの方が陪審員にとって扱いやすいかもしれません。

犯罪の存在に疑いはなく、犯人の身元だけが疑わしい場合、事前確率は対象となる母集団全体で均一であるべきだと提案されている。^{[ 56 ]}例えば、1,000人が犯罪を犯した可能性がある場合、有罪の事前確率は1/1000となる。

陪審員によるベイズの定理の使用は議論の的となっている。英国では、R v Adams事件において、弁護側の専門家証人が陪審員にベイズの定理を説明した。陪審員は有罪判決を下したが、ベイズの定理を使いたくない陪審員のために証拠収集の手段が提供されていなかったことを理由に、控訴審に持ち込まれた。控訴裁判所は有罪判決を支持したが、「刑事裁判にベイズの定理、あるいはそれに類する方法を導入することは、陪審員を不適切かつ不必要な理論と複雑さの領域に陥れ、本来の任務から逸脱させる」との見解も示した。

ガードナー＝メドウィン^{[ 57 ]}は、刑事裁判における評決の基準は有罪の確率ではなく、被告人が無罪であるという前提での証拠の確率（頻度論的p値に類似）であると主張している。彼は、有罪の事後確率をベイズの定理で計算する場合、有罪の事前確率を知る必要があると主張する。これは犯罪の発生率に依存するが、これは刑事裁判で考慮する証拠としては異例である。次の3つの命題を考えてみよう。

A – 被告人が有罪であれば、既知の事実や証言は生じた可能性がある。

B – 被告人が無罪であれば、既知の事実や証言は生じ得たはずだ。

C – 被告は有罪である。

ガードナー＝メドウィンは、有罪判決を下すためには陪審員はAとBではないの両方を信じるべきだと主張する。AとBではないということはCが真実であることを示唆するが、その逆は真ではない。BとCの両方が真実である可能性もあるが、この場合、陪審員は有罪の者を釈放することになることを知っていても、無罪判決を下すべきだと彼は主張する。リンドレーのパラドックスも参照のこと。

ベイズ認識論とは、帰納論理の規則を正当化する手段としてベイズ推論を提唱する運動である。

カール・ポパーとデイビッド・ミラーは、ベイズ合理主義、すなわち認識論的推論を行うためにベイズの規則を使用するという考えを否定した。^{[ 58 ]}それは、正当化しようとするものを前提としているため、他の正当化主義的認識論と同じ悪循環に陥りやすい。この見解によれば、ベイズ推論の合理的な解釈は、それを単なる反証の確率的バージョンと見なし、ベイズ更新の連続によって達成される高い尤度が仮説を合理的な疑いの余地なく、あるいは尤度が0より大きいことさえ証明するという、ベイズ主義者が一般的に抱いている信念を否定するだろう。

• 科学的方法は、ベイズ推論の応用として解釈されることがある。この見方では、ベイズの定理は、新しい観測や実験に基づいて仮説に関する確率を更新する際の指針となる（あるいは指針となるべきである） 。^{[ 59 ]}ベイズ推論は、Cai ら (2009) によって、不完全な情報を持つ確率的スケジューリング問題を扱うためにも応用されている。 ^{[ 60 ]}
• ベイズ探索理論は、紛失物の捜索に用いられる。
• 系統発生におけるベイズ推論
• メチル化解析のためのベイズツール
• 脳機能に対するベイズ的アプローチは、 脳をベイズ的なメカニズムとして研究する。
• 生態学的研究におけるベイズ推論^{[ 61 ] [ 62 ]}
• ベイズ推論は、確率的化学反応速度モデルのパラメータを推定するために使用されます^{[ 63 ]。}
• 通貨または金融相場のトレンド変化の予測における経済物理学のベイズ推論^{[ 64 ]}
• マーケティングにおけるベイズ推論
• 運動学習におけるベイズ推論
• ベイズ推論は、確率数値学において数値問題を解決するために用いられる。

以下の書籍は、確率論の洗練度が高い順に並べられています。

• Stone, JV (2013)、「ベイズの定理：ベイズ分析入門チュートリアル」、 「最初の章はこちらからダウンロード」。 2015年7月22日にオリジナルからアーカイブ済み。セブテル・プレス、イギリス。
• デニス・V・リンドレー（2013）。不確実性の理解、改訂版（第2 版）。ジョン・ワイリー。ISBN 978-1-118-65012-7。
• コリン・ハウソン＆ピーター・アーバック（2005）。科学的推論：ベイズ的アプローチ（第3 版）。オープン・コート出版。ISBN 978-0-8126-9578-6。
• ベリー、ドナルド A. (1996).統計学：ベイズ的視点. ダックスベリー. ISBN 978-0-534-23476-8。
• Morris H. DeGroot & Mark J. Schervish (2002).確率と統計（第3 版）. Addison-Wesley. ISBN 978-0-201-52488-8。
• ボルスタッド、ウィリアム M. (2007)ベイズ統計学入門：第2版、ジョン・ワイリーISBN 0-471-27020-2
• ウィンクラー、ロバート L (2003).ベイズ推論と意思決定入門(第 2 版). 確率論. ISBN 978-0-9647938-4-2。改訂版の古典的教科書。ベイズ理論が分かりやすく解説されている。
• Lee, Peter M.ベイズ統計学入門第4版 (2012)、John Wiley ISBN 978-1-1183-3257-3
• Carlin, Bradley P. & Louis, Thomas A. (2008).ベイズデータ分析法 第3版. フロリダ州ボカラトン: Chapman and Hall/CRC. ISBN 978-1-58488-697-6。
• ゲルマン、アンドリュー；カーリン、ジョン・B；スターン、ハル・S；ダンソン、デイビッド・B；ヴェタリ、アキ；ルービン、ドナルド・B（2013）。ベイズデータ分析、第3版。チャップマン・アンド・ホール/CRC。ISBN 978-1-4398-4095-5。

• Berger, James O (1985).統計的決定理論とベイズ分析. Springer Series in Statistics (第2 版). Springer-Verlag. Bibcode : 1985sdtb.book.....B . ISBN 978-0-387-96098-2。
• ベルナルド、ホセ・ M. ;スミス、エイドリアン・ F.  M. (1994).ベイズ理論. ワイリー.
• デグルート、モリス・H.、『最適統計的意思決定』。ワイリー・クラシックス・ライブラリー。2004年。（原著は1970年にマグロウヒル社より刊行。）ISBN 0-471-68029-X。
• シャービッシュ、マーク J. (1995)。統計理論。スプリンガー・フェルラーク。ISBN 978-0-387-94546-0。
• ジェインズ、ET（1998）。確率論：科学の論理。
• O'Hagan, A. および Forster, J. (2003). Kendall's Advanced Theory of Statistics , Volume 2B: Bayesian Inference . Arnold, New York. ISBN 0-340-52922-9。
• Robert, Christian P (2007).ベイズ選択：意思決定理論的基礎から計算実装まで（ペーパーバック 版）. Springer. ISBN 978-0-387-71598-8。
• Pearl, Judea . (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference , San Mateo, CA: Morgan Kaufmann.
• ピエール・ベシエールら。 （2013年）。 「ベイジアンプログラミング」。 CRCプレス。ISBN 9781439880326
• フランシスコ・J・サマニエゴ（2010）。「推定におけるベイズ的アプローチと頻度論的アプローチの比較」。シュプリンガー。ニューヨーク、ISBN 978-1-4419-5940-9