ベイズ推論

ベイズ推論（/ ˈ b eɪ z i ə n / BAY -zee-ənまたは/ ˈ b eɪ ʒ ən / BAY -zhən）^[1]は、ベイズの定理を使用して、事前の証拠を与えられた仮説の確率を計算し、より多くの情報が利用可能になるとそれを更新する統計的推論の方法です。基本的に、ベイズ推論は事前分布を使用して事後確率を推定します。ベイズ推論は統計学、特に数理統計学における重要な手法です。ベイズ更新は、一連のデータの動的分析において特に重要です。ベイズ推論は、科学、工学、哲学、医学、スポーツ、法律など、幅広い活動に応用されています。意思決定理論の哲学では、ベイズ推論は主観的確率と密接に関連しており、しばしば「ベイズ確率」と呼ばれます。

ベイズ推論は、2つの前提、すなわち事前確率と、観測データの統計モデルから導出された「尤度関数」の結果として事後確率を導出します。ベイズ推論は、ベイズの定理に従って事後確率を計算します。 ここで $${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},}$$

• ${\displaystyle H}$データ（以下、証拠と呼ぶ）によって確率が影響を受ける可能性のある仮説を表します。多くの場合、競合する仮説があり、どの仮説が最も可能性が高いかを判断することが課題となります。
• ${\displaystyle P(H)}$事前確率は、データ、つまり現在の証拠が観測される前の仮説の確率の推定値です。${\displaystyle H}$ ${\displaystyle E}$
• ${\displaystyle E}$証拠は、事前確率の計算に使用されなかった新しいデータに対応します。
• ${\displaystyle P(H\mid E)}$事後確率は、が与えられた場合、つまりが観測された後のの確率です。これが私たちが知りたいこと、つまり観測された証拠が与えられた場合に仮説が成り立つ確率です。${\displaystyle H}$ ${\displaystyle E}$ ${\displaystyle E}$
• ${\displaystyle P(E\mid H)}$は与えられたものを観測する確率であり、尤度と呼ばれます。 を固定したの関数として、これは与えられた仮説と証拠の適合性を示します。尤度関数は証拠 の関数であり、事後確率は仮説 の関数です。${\displaystyle E}$ ${\displaystyle H}$${\displaystyle E}$${\displaystyle H}$${\displaystyle E}$${\displaystyle H}$
• ${\displaystyle P(E)}$は、限界尤度または「モデル証拠」と呼ばれることもあります。この要素は、検討されているすべての可能な仮説に対して同じであり (他のすべての要素とは異なり、シンボルのどこにも仮説が表示されないことからも明らかです)、したがって、異なる仮説の相対的な確率を決定する要素にはなりません。${\displaystyle H}$
• ${\displaystyle P(E)>0}$（そうでない場合は、 となります。）${\displaystyle 0/0}$

の異なる値については、分子の因子とのみが の値に影響します 。仮説の事後確率は、その仮説の事前確率（その固有の尤度）と新たに得られた尤度（新しい観察された証拠との適合性）に比例します。 ${\displaystyle H}$${\displaystyle P(H)}$${\displaystyle P(E\mid H)}$${\displaystyle P(H\mid E)}$

の論理否定である(「」ではない)が有効な尤度である場合、ベイズの定理は次のように書き直すことができます。 および である ためです 。 これは 、 項 に注目します。 その項がおよそ 1 である場合、証拠 を前提とした仮説の確率 は約 であり、約 50% の可能性があり、同様に可能性があるか、可能性が低いです。 その項が非常に小さく、ゼロに近い場合、証拠を前提とした仮説の確率は1 に近いか、条件付き仮説はかなりありそうです。 その項が非常に大きく、1 よりはるかに大きい場合、証拠を前提とした仮説はかなりありそうにありません。 仮説 (証拠を考慮に入れない場合) がありそうにない場合、 は小さく (必ずしも天文学的に小さいとは限らない)、 は1 よりはるかに大きく、この項は と近似でき、関連する確率を直接相互比較できます。 ${\displaystyle \neg H}$${\displaystyle H}$${\displaystyle H}$$${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$$$${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$$$${\displaystyle P(H)+P(\neg H)=1.}$$$${\displaystyle \left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.}$$${\displaystyle P(H\mid E)}$${\displaystyle {\tfrac {1}{2}}}$${\displaystyle P(H\mid E)}$${\displaystyle P(H)}$${\displaystyle {\tfrac {1}{P(H)}}}$${\displaystyle {\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}}$

方程式を覚える簡単な方法の一つは、掛け算の規則を使うことです。 $${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).}$$

ベイズ更新は広く使用されており、計算上便利です。ただし、合理的と考えられる唯一の更新ルールではありません。

イアン・ハッキングは、伝統的な「オランダ本」の議論はベイズ更新を規定していないと指摘した。非ベイズ更新ルールがオランダ本を回避できる可能性を残していた。ハッキングは次のように書いている。^[2]「そして、オランダ本の議論も、確率公理の証明における人格主義者の武器庫の他のどれも、動的仮定を伴わない。どれもベイズ主義を伴わない。したがって、人格主義者は動的仮定がベイズ的であることを要求する。一貫性を保つために、人格主義者は経験から学ぶベイズモデルを放棄することができるのは事実である。塩は風味を失う可能性がある。」

実際、リチャード・C・ジェフリーの規則の発表に続いて、オランダの書籍を回避する非ベイズ更新規則も存在します（「確率運動学」の文献で議論されているように）。この規則は、ベイズの規則を証拠自体に確率が割り当てられている場合に適用します。 [3]ベイズ更新を一意に必要とするために必要な追加の仮説は、重大で複雑で不十分であると見なされてきました。 [ ^{4 ]}

証拠が同時に、排他的かつ網羅的な命題の集合に対する信念を更新するために使用されている場合、ベイズ推論は、この信念分布全体に作用していると考えられるかもしれません。

あるプロセスが独立かつ同一に分布するイベントを生成しているが、確率分布は不明であるとします。イベント空間は、このプロセスの現在の確信状態を表します。各モデルはイベント で表されます。条件付き確率は、モデルを定義するために指定されます。は、における確信の度合いです。最初の推論ステップの前は、初期の事前確率のセットです。これらの合計は 1 になる必要がありますが、それ以外は任意です。 ${\displaystyle E_{n},\ n=1,2,3,\ldots }$${\displaystyle \Omega }$${\displaystyle M_{m}}$${\displaystyle P(E_{n}\mid M_{m})}$${\displaystyle P(M_{m})}$${\displaystyle M_{m}}$${\displaystyle \{P(M_{m})\}}$

プロセスが を生成することが観測されると仮定します。各 について、事前分布は事後分布に更新されます。ベイズの定理から: ^[5]${\displaystyle E\in \{E_{n}\}}$${\displaystyle M\in \{M_{m}\}}$${\displaystyle P(M)}$${\displaystyle P(M\mid E)}$

$${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).}$$

さらなる証拠が観察された場合、この手順を繰り返すことができます。

独立かつ同一に分布する観測値の系列に対して、上記の式を繰り返し適用すると、次の式と等価である こと が帰納的に示される。 ${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$$${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),}$$$${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$$

モデル空間をパラメータ化することで、すべてのモデルの確信を 1 つのステップで更新できます。モデル空間上の確信の分布は、パラメータ空間上の確信の分布と考えることができます。このセクションの分布は、通常の場合と同様に、確率密度で表され、連続的に表現されます。ただし、この手法は離散分布にも同様に適用できます。

ベクトルがパラメータ空間に広がるものとします。 上の初期事前分布を とします。ここで は事前分布自体のパラメータ セット、つまりハイパーパラメータです。は、すべてに対してとして分布している、独立かつ同一に分布するイベント観測のシーケンスであるとします。ベイズの定理を適用して上の事後分布を見つけます。 ${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})}$${\displaystyle {\boldsymbol {\alpha }}}$${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$${\displaystyle e_{i}}$${\displaystyle p(e\mid {\boldsymbol {\theta }})}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\theta }}}$

$${\displaystyle {\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}}$$ どこ $${\displaystyle p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).}$$

• ${\displaystyle x}$、一般的にはデータ ポイントです。これは実際には値のベクトルである可能性があります。
• ${\displaystyle \theta }$、データポイントの分布のパラメータ、つまり。 これはパラメータのベクトルである場合があります。${\displaystyle x\sim p(x\mid \theta )}$
• ${\displaystyle \alpha }$、パラメータ分布のハイパーパラメータ、すなわち、 。 これはハイパーパラメータのベクトルである可能性があります。${\displaystyle \theta \sim p(\theta \mid \alpha )}$
• ${\displaystyle \mathbf {X} }$はサンプル、つまり観測されたデータポイントの集合です。${\displaystyle n}$${\displaystyle x_{1},\ldots ,x_{n}}$
• ${\displaystyle {\tilde {x}}}$分布を予測する新しいデータ ポイント。

• 事前分布は、データが観測される前のパラメータの分布です。つまり、事前分布は簡単には決定できない場合があります。そのような場合、1 つの可能性として、新しい観測値で更新する前に、Jeffreys事前分布を使用して事前分布を取得することが考えられます。${\displaystyle p(\theta \mid \alpha )}$
• 標本分布は、パラメータを条件とする観測データの分布です。特にパラメータの関数として見られる場合、尤度 とも呼ばれ、 と書かれることもあります。${\displaystyle p(\mathbf {X} \mid \theta )}$${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$
• 周辺尤度（証拠とも呼ばれる）は、パラメータ（複数可）上で周辺化された観測データの分布であり、データと専門家の意見の一致を、正確に表現できる幾何学的な意味で定量化します。^[6]周辺尤度が0の場合、データと専門家の意見は一致しておらず、ベイズの定理は適用できません。$${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .}$$
• 事後分布は、観測されたデータを考慮した後のパラメータの分布です。これは、ベイズ推論の核となるベイズの法則によって決定されます。これは、「事後分布は尤度と事前分布の積に比例する」、または「事後分布 = 尤度と事前分布の積、証拠に対する割合」と表現されることもあります。$${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).}$$
• 実際には、機械学習で使用されるほぼすべての複雑なベイズモデルでは、事後分布は閉じた分布では得られません。これは主に、のパラメータ空間が非常に高くなるか、ベイズモデルが観測値とパラメータから定式化された特定の階層構造を保持しているためです。このような状況では、近似手法に頼る必要があります。^[7]${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}$${\displaystyle \theta }$${\displaystyle \mathbf {X} }$${\displaystyle \theta }$
• 一般的な場合:をの条件付き分布とし、を の分布とします。このとき結合分布は です。このとき、 の条件付き分布は によって決定されます。${\displaystyle P_{Y}^{x}}$${\displaystyle Y}$${\displaystyle X=x}$${\displaystyle P_{X}}$${\displaystyle X}$${\displaystyle P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)}$${\displaystyle P_{X}^{y}}$${\displaystyle X}$${\displaystyle Y=y}$

$${\displaystyle P_{X}^{y}(A)=E(1_{A}(X)|Y=y)}$$必要な条件付き期待値の存在と一意性は、ラドン・ニコディム定理の結果である。これは、コルモゴロフが1933年の有名な著書で定式化した。コルモゴロフは、序文で「私は...、特に条件付き確率と条件付き期待値の理論に注目したい...」と書き、条件付き確率の重要性を強調している。^[8]ベイズの定理は、事前分布から事後分布を決定する。一意性には連続性の仮定が必要である。^[9]ベイズの定理は、実数直線上の一様分布などの不適切な事前分布を含むように一般化できる。^[10]現代のマルコフ連鎖モンテカルロ法は、不適切な事前分布を含む場合を含めてベイズの定理の重要性を高めた。^[11]

• 事後予測分布は、事後分布上で周辺化された新しいデータ ポイントの分布です。$${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta }$$
• 事前予測分布は、事前分布に対して周辺化された新しいデータ ポイントの分布です。$${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta }$$

ベイズ理論では、予測推論、すなわち新しい未観測データ ポイントの分布を予測するために事後予測分布の使用が求められます。つまり、予測として固定ポイントではなく、可能性のあるポイントの分布が返されます。この方法でのみ、パラメータの事後分布全体が使用されます。比較すると、頻度主義統計における予測では、多くの場合、最大尤度法や最大事後推定値(MAP)などによってパラメータの最適点推定値を見つけ、次にこの推定値をデータ ポイントの分布の式に代入します。これには、パラメータの値の不確実性が考慮されないため、予測分布の分散が過小評価されるという欠点があります。

場合によっては、頻度主義統計学によってこの問題を回避できます。たとえば、頻度主義統計学における信頼区間と予測区間は、平均と分散が不明な正規分布から構築される場合、スチューデントの t 分布を使用して構築されます。これにより、(1) 正規分布するランダム変数の平均も正規分布する、(2) 平均と分散が不明な正規分布データ ポイントの予測分布は、共役事前分布または無情報事前分布を使用して、スチューデントの t 分布を持つ、という事実により、分散が正しく推定されます。ただし、ベイズ統計学では、事後予測分布は常に正確に決定できます。または、数値手法を使用する場合は、少なくとも任意のレベルの精度で決定できます。

どちらのタイプの予測分布も、複合確率分布の形をしています(周辺尤度も同様)。実際、事前分布が共役事前分布で、事前分布と事後分布が同じファミリーに属する場合、事前予測分布と事後予測分布の両方が同じ複合分布ファミリーに属することがわかります。唯一の違いは、事後予測分布はハイパーパラメータの更新された値を使用する (共役事前分布の記事で説明されているベイズ更新規則を適用) のに対し、事前予測分布は事前分布に現れるハイパーパラメータの値を使用することです。

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$つまり、モデルが正しい場合、証拠は現在の信念の状態によって予測されるよりも可能性が高いでしょう。信念の減少には逆が適用されます。信念が変わらない場合、つまり、証拠はモデルから独立しています。モデルが正しい場合、証拠は現在の信念の状態によって予測されるのとまったく同じ可能性が高いでしょう。 ${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$

ならば。かつならば。これは、確固たる信念は反証の影響を受けないことを意味すると解釈できます。 ${\displaystyle P(M)=0}$${\displaystyle P(M\mid E)=0}$${\displaystyle P(M)=1}$${\displaystyle P(E)>0}$${\displaystyle P(M|E)=1}$

前者はベイズの定理から直接導かれます。後者は、最初の規則を「 」の代わりに「 でない 」というイベントに適用することで導き出され、「 ならば」となり、そこから結果がすぐに導かれます。 ${\displaystyle M}$${\displaystyle M}$${\displaystyle 1-P(M)=0}$${\displaystyle 1-P(M\mid E)=0}$

独立かつ同一に分布する試行によって多数回更新される確信分布の挙動について考えてみましょう。十分に良い事前確率について、Bernstein-von Mises の定理によれば、無限試行の極限では、事後分布は、1948 年にJoseph L. Doobによって最初に概説され厳密に証明されたいくつかの条件、すなわち、検討中のランダム変数が有限の確率空間を持つ場合、初期の事前分布とは独立にガウス分布に収束します。より一般的な結果は、後に統計学者David A. Freedmanによって得られました。彼は、1963 年^[12]と 1965 年^[13]に 2 つの独創的な研究論文を発表し、どのような状況で事後分布の漸近挙動が保証されるかを示しました。彼の 1963 年の論文は、Doob (1949) と同様に有限の場合を扱い、満足のいく結論に達しています。しかし、ランダム変数が無限だが可算な確率空間を持つ場合（つまり、無限の面を持つサイコロに対応）、1965年の論文は、事前分布の密なサブセットに対してはベルンシュタイン-フォン・ミーゼスの定理は適用できないことを示しています。この場合、漸近収束はほとんど確実に起こりません。1980年代後半から1990年代にかけて、フリードマンとペルシ・ディアコニスは無限の可算な確率空間の場合の研究を続けました。^[14]要約すると、初期の選択の影響を抑制するには試行回数が不十分な場合があり、特に大規模（ただし有限）システムの場合は収束が非常に遅くなる可能性があります。

パラメータ化された形式では、事前分布は共役事前分布と呼ばれる分布の族から来ていると想定されることが多い。共役事前分布の便利な点は、対応する事後分布が同じ族に属し、計算が閉じた形式で表現できることである。

パラメータまたは変数を推定するには、事後分布を使用することが望ましい場合がよくあります。ベイズ推定のいくつかの方法では、事後分布から 中心傾向の測定値を選択します。

1次元の問題では、実用的な連続問題に対して一意の中央値が存在する。事後中央値は堅牢な推定量として魅力的である。^[15]

事後分布に有限の平均が存在する場合、事後平均は推定方法である。^[16] $${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$$

最も確率の高い値を取ることで、最大事後推定値（MAP）が定義される。^[17] $${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$$

最大値が達成されない例もあり、その場合には MAP 推定値のセットは空になります。

損失関数に関して事後リスク（期待事後損失）を最小化する推定方法は他にもあり、これらは標本分布（「頻度主義統計」）を用いた統計的意思決定理論にとって興味深いものである。 ^[18]

新しい観測値（以前の観測値とは独立）の事後予測分布は[ ^{19]によって決定される。}${\displaystyle {\tilde {x}}}$ $${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$$

クッキーがいっぱい入ったボウルが 2 つあるとします。ボウル #1 にはチョコチップ クッキーが 10 枚、プレーン クッキーが 30 枚、ボウル #2 にはそれぞれ 20 枚入っています。友人の Fred はボウルをランダムに 1 つ選び、次にクッキーをランダムに 1 つ選びます。Fred がボウルごとに扱いを変えていると考える理由はないと仮定できます。クッキーについても同様です。そのクッキーはプレーン クッキーであることが判明しました。Fred がボウル #1 からそれを選んだ可能性はどのくらいでしょうか。

直感的に、答えは半分以上になるはずだということは明らかです。なぜなら、ボウル #1 にはプレーン クッキーがもっと入っているからです。正確な答えはベイズの定理によって与えられます。 をボウル #1 に、 をボウル #2 にそれぞれ対応させます。フレッドの観点からは、ボウルは同一であるため、 となり、2 つの合計は 1 になるはずで、どちらも 0.5 になります。イベントはプレーン クッキーの観察です。ボウルの内容から、 となり、ベイズの定理は次式となります。 ${\displaystyle H_{1}}$${\displaystyle H_{2}}$${\displaystyle P(H_{1})=P(H_{2})}$${\displaystyle E}$${\displaystyle P(E\mid H_{1})=30/40=0.75}$${\displaystyle P(E\mid H_{2})=20/40=0.5.}$$${\displaystyle {\begin{aligned}P(H_{1}\mid E)&={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}\\\\\ &={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}\\\\\ &=0.6\end{aligned}}}$$

クッキーを観察する前、フレッドがボウル #1 を選んだ確率は事前確率 、つまり 0.5 でした。クッキーを観察した後は、確率を、つまり 0.6 に修正する必要があります。 ${\displaystyle P(H_{1})}$${\displaystyle P(H_{1}\mid E)}$

考古学者が、11 世紀から 16 世紀の中世のものと思われる遺跡で調査を行っています。しかし、この遺跡に人が住んでいた時期は正確には不明です。陶器の破片が見つかり、その一部には釉薬がかけられ、一部には装飾が施されています。この遺跡に人が住んでいたのが中世初期であれば、陶器の 1% に釉薬がかけられ、50% の領域に装飾が施されていると予想されます。一方、人が住んでいたのが中世後期であれば、81% に釉薬がかけられ、5% の領域に装飾が施されていると予想されます。破片が発掘されているので、考古学者は居住の年代をどの程度確信できるでしょうか。

連続変数（世紀）の信頼度は、離散的な一連の出来事を証拠として計算される。釉薬と装飾が時間とともに線形に変化し、これらの変数が独立していると仮定すると、 ${\displaystyle C}$${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$

$${\displaystyle P(E=GD\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))}$$ $${\displaystyle P(E=G{\bar {D}}\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))}$$ $${\displaystyle P(E={\bar {G}}D\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))}$$ $${\displaystyle P(E={\bar {G}}{\bar {D}}\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))}$$

の一様事前分布、試行が独立かつ同一に分布 であると仮定します。 タイプの新しいフラグメントが発見されると、ベイズの定理が適用され、各 の確信度が更新されます。 ${\textstyle f_{C}(c)=0.2}$${\displaystyle e}$${\displaystyle c}$$${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c)}$$

グラフには、50 個の破片が発掘されるにつれて信念が変化するコンピュータ シミュレーションが示されています。シミュレーションでは、この遺跡には 1420 年頃、つまり に人が住んでいました。50 回の試行についてグラフの該当部分の下の領域を計算することで、考古学者は、11 世紀と 12 世紀に人が住んでいた可能性は実質的にゼロであり、13 世紀に人が住んでいた可能性は約 1%、14 世紀に人が住んでいた可能性は 63%、15 世紀に人が住んでいた可能性は 36% であると言うことができます。ベルンシュタイン フォン ミーゼスの定理は、離散的なイベント セットに対応する確率空間が有限であるため、ここで「真の」分布への漸近収束を主張しています (事後分布の漸近的動作に関する上記のセクションを参照)。 ${\displaystyle c=15.2}$${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$

ベイズ推論の使用の決定理論的正当性はアブラハム・ウォルドによって示され、彼はすべてのユニークなベイズ手順が許容されることを証明した。逆に言えば、すべての許容される統計手順はベイズ手順かベイズ手順の限界のいずれかである。^[20]

ウォルドは、許容される手続きをベイズ手続き（およびベイズ手続きの限界）として特徴づけ、ベイズ形式主義をパラメータ推定、仮説検定、信頼区間の計算などの頻度主義的推論の分野で中心的な手法とした。^{[21] [22] [23]}例えば：

• 「ある条件下では、すべての許容可能な手順はベイズ手順かベイズ手順の限界（さまざまな意味で）のいずれかである。これらの注目すべき結果は、少なくとも元の形では、本質的にワルドによるものである。ベイズであるという性質は許容性よりも分析しやすいため、これらは有用である。」^[20]
• 「意思決定理論において、許容性を証明するための非常に一般的な方法は、手順を唯一のベイズ解として示すことである。」^[24]
• 「この研究の最初の章では、有限サポートの事前分布とそれに対応するベイズ手順を使用して、実験の比較に関連するいくつかの主要な定理を確立しました。より一般的な事前分布に関するベイズ手順は、漸近理論を含む統計の発展において非常に重要な役割を果たしてきました。」 「適切な事前分布の事後分布を一目見るだけで、すぐに興味深い情報が得られる問題は数多くあります。また、この手法は逐次分析ではほとんど避けられません。」^[25]
• 「有用な事実は、パラメータ空間全体にわたって適切な事前分布をとることによって得られるベイズ決定規則は許容されるはずである」^[26]
• 「許容性のアイデアの発展における重要な研究分野は、従来のサンプリング理論の手順であり、多くの興味深い結果が得られました。」^[27]

ベイズ法はモデル選択にも役立ちます。その目的は、観測されたデータを生成した基礎プロセスを最もよく表すモデルを 1 つ選択することです。ベイズモデル比較では、データが与えられた場合に事後確率が最も高いモデルが選択されます。モデルの事後確率は、データがモデルによって生成された確率を反映する証拠または周辺尤度と、モデルの事前確信に依存します。競合する 2 つのモデルが事前に等確率であると見なされる場合、それらの事後確率の比はベイズ係数に対応します。ベイズモデル比較は事後確率が最も高いモデルを選択することを目的としているため、この方法論は最大事後確率 (MAP) 選択ルール^[28]または MAP 確率ルール^[29]とも呼ばれます。

ベイズ法は概念的には単純ですが、数学的および数値的に難しい場合があります。確率プログラミング言語（PPL）は、ベイズモデルを簡単に構築するための機能と効率的な自動推論方法を実装しています。これにより、モデル構築と推論を分離することができ、専門家は特定の問題に集中でき、計算の詳細はPPLに任せることができます。^{[30] [31] [32]}

ベイズ統計に関するWikipediaの別のエントリ、具体的にはそのページの統計モデリングのセクションを参照してください。

ベイズ推論は、人工知能やエキスパートシステムに応用されています。ベイズ推論技術は、 1950年代後半からコンピューターによるパターン認識技術の基本的な部分となっています。 ^{[33]また、ベイズ法とシミュレーションベースの}モンテカルロ法との関連はますます深まっています。これは、複雑なモデルをベイズ分析で閉じた形で処理することはできない一方で、グラフィカルなモデル構造であれば、ギブスサンプリングやその他のメトロポリス-ヘイスティングスアルゴリズムスキームなどの効率的なシミュレーションアルゴリズムが可能になる可能性があるためです。^[34]最近^{[いつ? ]ベイズ推論は、これらの理由から}系統学コミュニティで人気が高まっています。多くのアプリケーションでは、多くの人口統計学的および進化的パラメータを同時に推定できます。

統計的分類に適用されるベイズ推論は、電子メール スパムを識別するアルゴリズムの開発に使用されています。スパム フィルタリングにベイズ推論を使用するアプリケーションには、 CRM114、 DSPAM 、Bogofilter、SpamAssassin、SpamBayes、Mozilla 、 XEAMS などがあります。スパム分類については、ナイーブ ベイズ分類器に関する記事で詳しく説明されています。

ソロモノフの帰納的推論は、観察に基づく予測の理論である。例えば、与えられた一連の記号に基づいて次の記号を予測する。唯一の仮定は、環境が未知だが計算可能な確率分布に従うということである。これは、ベイズ統計とオッカムの剃刀という、よく研究された帰納的推論の 2 つの原理を組み合わせた形式的な帰納的枠組みである。^{[35] [信頼できない情報源? ]}計算可能なシーケンスxの任意のプレフィックスpのソロモノフの普遍事前確率は、pで始まる何かを計算するすべてのプログラム (普遍的なコンピュータの場合) の確率の合計である。あるpと、 xがサンプリングされる計算可能だが未知の任意の確率分布が与えられた場合、普遍事前確率とベイズの定理を使用して、 xのまだ見えない部分を最適な方法で予測することができる。^{[36] [37]}

ベイズ推論は、遺伝子発現解析を含むさまざまなバイオインフォマティクスアプリケーションに適用されています。^{[38]ベイズ推論は、} CIRI （連続個別リスク指数）と呼ばれる一般的な癌リスクモデルでも使用されており、連続測定が組み込まれ、主に事前の知識から構築されたベイズモデルが更新されます。^{[39] [40]}

ベイズ推論は、陪審員が被告を支持する証拠と反対する証拠を首尾一貫して蓄積し、全体としてそれが「合理的な疑いの余地がない」という陪審員の個人的な基準を満たすかどうかを確認するために使用できます。^{[41] [42] [43]}ベイズの定理は、提示されたすべての証拠に連続して適用され、ある段階の事後確率が次の段階の事前確率になります。ベイズアプローチの利点は、証拠を組み合わせるための偏りのない合理的なメカニズムを陪審員に提供することである。賭けのオッズは確率よりも広く理解されているため、ベイズの定理をオッズ形式で陪審員に説明することが適切である可能性があります。あるいは、乗算を加算に置き換える対数アプローチの方が陪審員にとって扱いやすい場合があります。

犯罪の存在自体が疑わしくなく、犯人の身元だけが疑わしい場合は、事前確率は対象となる集団全体で均一であるべきであると示唆されている。^[44]たとえば、1,000人が犯罪を犯した可能性がある場合、有罪の事前確率は1/1000となる。

陪審員によるベイズの定理の使用は議論を呼んでいる。英国では、R v Adams事件で弁護側の専門家証人が陪審員にベイズの定理を説明した。陪審は有罪としたが、ベイズの定理の使用を望まない陪審員に証拠を収集する手段が提供されていなかったとして、この事件は控訴された。控訴院は有罪判決を支持したが、「ベイズの定理または類似の方法を刑事裁判に導入することは、陪審員を不適切かつ不必要な理論と複雑さの領域に陥らせ、本来の任務から逸脱させる」という意見も示した。

ガードナー・メドウィン^[45]は、刑事裁判の評決の基準は有罪の確率ではなく、被告が無実であると仮定した場合の証拠の確率（頻度主義の p値に類似）であると主張している。彼は、ベイズの定理によって有罪の事後確率を計算するには、有罪の事前確率を知る必要があると主張している。これは犯罪の発生率に依存するが、これは刑事裁判で考慮される証拠としては珍しいものである。次の3つの命題を考えてみよう。

A – 被告が有罪であれば、既知の事実と証言が生じた可能性がある。

B – 被告が無実であれば、既知の事実と証言が生じた可能性がある。

C – 被告人は有罪です。

ガードナー＝メドウィンは、陪審員が有罪判決を下すためにはAとB の両方を信じるべきであると主張している。 AとB の両方を信じなければCが真実であるが、その逆は真ではない。 BとC の両方が真実である可能性はあるが、この場合、陪審員は、有罪の者を何人か釈放することになるだろうとわかっていても、無罪判決を下すべきであると主張している。リンドリーのパラドックスも参照。

ベイズ認識論は、帰納的論理の規則を正当化する手段としてベイズ推論を主張する運動です。

カール・ポパーとデイヴィッド・ミラーは、ベイズ合理主義、すなわちベイズの規則を使って認識論的推論を行うという考えを否定している。 ^[46]これは、正当化しようとするものを前提としているため、他の正当化主義的認識論と同じ悪循環に陥りやすい。この見解によれば、ベイズ推論の合理的解釈は、ベイズ推論を単に確率的バージョンの反証と見なし、ベイズ主義者が一般的に抱いている、一連のベイズ更新によって達成される高い尤度が、仮説を合理的な疑いの余地なく証明する、あるいは尤度が0より大きい場合でさえも証明するという信念を否定する。

• 科学的方法は、ベイズ推論の応用として解釈されることがあります。この見方では、ベイズの法則は、新しい観察や実験を条件とする仮説に関する確率の更新を導く（または導くべき）ものです。^{[47]ベイズ推論は、Cai et al. (2009)によって、不完全情報による}確率的スケジューリング問題の処理にも応用されています。^[48]
• 紛失した物体の検索にはベイズ検索理論が使用されます。
• 系統発生におけるベイズ推定
• メチル化解析のためのベイズツール
• 脳機能に対するベイズアプローチは、 脳をベイズメカニズムとして研究します。
• 生態学研究におけるベイズ推定^{[49] [50]}
• ベイズ推定は確率的化学反応速度論モデルのパラメータを推定するために使用される^[51]
• 通貨や株式市場の予測のための経済物理学におけるベイズ推定^{[52] [53]}
• マーケティングにおけるベイズ推論
• 運動学習におけるベイズ推論
• ベイズ推論は確率数値において数値問題を解くために使用される。

ベイズが論文「偶然性の理論における問題の解決に向けた論文」の命題 9 で検討した問題は、二項分布のパラメータa (成功率)の事後分布である。^[要出典]

ベイズという用語は、未知の事象に確率的限界を設けることができることを証明したトーマス・ベイズ（1701–1761）を指す。 ^[要出典] しかし、現在ベイズの定理と呼ばれるものを（原理VIとして）導入し、それを天体力学、医療統計、信頼性、法学の問題に対処するために使用したのは、ピエール・シモン・ラプラス（1749–1827）であった。^{[54]ラプラスの}不十分な理由の原理に従って一様事前分布を使用する初期のベイズ推論は、「逆確率」と呼ばれていた（観察からパラメータ、または効果から原因に逆方向に推論するため^{[55] ）。1920年代以降、「逆確率」は}頻度主義統計と呼ばれるようになった一連の方法に大きく取って代わられた。^[55]

20 世紀には、ラプラスの考えは 2 つの異なる方向にさらに発展し、ベイズ統計の実践において客観的な潮流と主観的な潮流が生まれました。客観的な潮流、つまり「非情報的」潮流では、統計分析は、想定されるモデル、分析されるデータ、 ^[56]、および事前確率を割り当てる方法のみに依存しますが、事前確率は客観的なベイズ統計の実践者ごとに異なります。主観的または「情報的」潮流では、事前確率の指定は信念 (つまり、分析が行動する準備が整っている命題) に依存し、専門家や以前の研究などからの情報を要約することができます。

1980年代には、ベイズ法の研究と応用が劇的に増加しましたが、これは主に、計算上の多くの問題を解消したマルコフ連鎖モンテカルロ法の発見と、非標準的で複雑な応用に対する関心の高まりによるものです。 ^[57]ベイズ研究の成長にもかかわらず、ほとんどの学部教育は依然として頻度主義統計に基づいています。^{[58]それにもかかわらず、ベイズ法は、たとえば}機械学習の分野などで広く受け入れられ、使用されています。^[59]

• ベイズ統計学の歴史と頻度主義アプローチとの論争に関する完全なレポートについては、Vallverdu, Jordi (2016) の「ベイズ主義者対頻度主義者 統計的推論に関する哲学的議論」をお読みください。ニューヨーク: Springer。ISBN 978-3-662-48638-2。
• クレイトン、オーブリー（2021年8月）。ベルヌーイの誤謬：統計的非論理と現代科学の危機。コロンビア大学出版局。ISBN 978-0-231-55335-3。

以下の書籍は、確率論的洗練度の昇順でリストされています。

• Stone, JV (2013)、「ベイズの法則: ベイズ分析入門チュートリアル」、第 1 章はこちらからダウンロードできます、Sebtel Press、イギリス。
• デニス・V・リンドリー（2013年）。不確実性の理解、改訂版（第2版）。ジョン・ワイリー。ISBN 978-1-118-65012-7。
• コリン・ハウソン& ピーター・アーバッハ (2005)。科学的推論: ベイズ的アプローチ(第 3 版)。Open Court Publishing Company。ISBN 978-0-8126-9578-6。
• ベリー、ドナルド A. (1996)。統計学: ベイズの観点。ダックスベリー。ISBN 978-0-534-23476-8。
• Morris H. DeGroot & Mark J. Schervish (2002)。確率と統計（第3版）。Addison- Wesley。ISBN 978-0-201-52488-8。
• ボルスタッド、ウィリアム・M. (2007)ベイズ統計学入門：第2版、ジョン・ワイリーISBN 0-471-27020-2 
• ウィンクラー、ロバート L (2003)。ベイズ推論と意思決定入門(第 2 版)。確率論。ISBN 978-0-9647938-4-2。古典的な教科書を改訂しました。ベイズ理論がわかりやすく説明されています。
• リー、ピーター M.ベイズ統計学入門第 4 版 (2012)、ジョン ワイリーISBN 978-1-1183-3257-3 
• Carlin, Bradley P. & Louis, Thomas A. (2008).ベイズ法によるデータ分析、第 3 版。フロリダ州ボカラトン: Chapman and Hall/CRC。ISBN 978-1-58488-697-6。
• ゲルマン、アンドリュー; カーリン、ジョン B.; スターン、ハル S .;ダンソン、デビッド B.; ベタリ、アキ;ルービン、ドナルド B. (2013)。ベイジアンデータ分析、第 3 版。チャップマン アンド ホール/CRC。ISBN 978-1-4398-4095-5。

• Berger, James O (1985)。統計的決定理論とベイズ分析。Springer Series in Statistics (第 2 版)。Springer-Verlag。Bibcode : 1985sdtb.book..... B。ISBN 978-0-387-96098-2。
• Bernardo, José M. ; Smith, Adrian F. M. (1994).ベイズ理論. Wiley.
• DeGroot, Morris H.、「最適な統計的決定」。Wiley Classics Library。2004年。（初版（1970年）McGraw-Hill社発行。）ISBN 0-471-68029-X。 
• シャービッシュ、マーク J. (1995)。統計理論。スプリンガー・フェルラーク。ISBN 978-0-387-94546-0。
• ジェインズ、ET（1998）。確率論：科学の論理。
• O'Hagan, A. および Forster, J. (2003)。Kendallの統計学の上級理論、第 2B 巻:ベイズ推論。アーノルド、ニューヨーク。ISBN 0-340-52922-9。 
• ロバート、クリスチャン P (2007)。ベイズ選択: 意思決定理論の基礎から計算実装まで(ペーパーバック版)。Springer。ISBN 978-0-387-71598-8。
• パール、ジュデア. (1988).インテリジェントシステムにおける確率的推論：もっともらしい推論のネットワーク、サンマテオ、カリフォルニア州：モーガンカウフマン。
• ピエール・ベシエールら。 （2013年）。 「ベイジアンプログラミング」。 CRCプレス。ISBN 9781439880326 
• Francisco J. Samaniego (2010)。「ベイズ推定法と頻度推定法の比較」Springer、ニューヨーク、ISBN 978-1-4419-5940-9 

• 「統計問題へのベイズ的アプローチ」、数学百科事典、EMS Press、2001 [1994]
• Scholarpedia のベイズ統計。
• ロンドン大学クイーン・メアリー校によるベイズ確率入門
• ベイズ統計とマルコフ連鎖モンテカルロに関する数学的ノート
• ベイジアン読書リスト 2011-06-25にWayback Machineにアーカイブされ、Tom Griffithsによって分類および注釈が付けられました
• A. Hajek と S. Hartmann: Bayesian Epistemology、J. Dancy 他編『A Companion to Epistemology』オックスフォード: Blackwell 2010、93–106 ページ。
• S. ハートマンとJ. シュプレンガー：ベイジアン認識論、S. バーネッカーとD. プリチャード（編）、Routledge Companion to Epistemology。ロンドン：Routledge 2010、609-620。
• スタンフォード哲学百科事典：「帰納的論理」
• ベイズ確証理論 (PDF)
• ベイズ学習とは何ですか?
• データ、不確実性、推論 — 多くの例を挙げた非公式な入門書。電子書籍 (PDF) は causaScientia で無料で入手可能です。