事後確率

事後確率は、ベイズの定理を適用して尤度によって要約された情報で事前確率を更新することによって得られる条件付き確率の一種です。^{[ 1 ]}認識論的観点から、事後確率は、事前知識と特定の時点で利用可能な観測を記述する数学モデルが与えられた場合、不確実な命題（科学的仮説やパラメータ値など）について知るべきすべての情報を含んでいます。^{[ 2 ]}新しい情報が到着した後、現在の事後確率は、別のベイズ更新ラウンドで事前確率として使用されることがあります。^{[ 3 ]}

ベイズ統計学の文脈では、事後確率分布は通常、観測データの集合を条件とした統計パラメータに関する認識的不確実性を記述します。与えられた事後分布から、最大事後確率（MAP）や最高事後密度区間（HPDI）などのさまざまな点推定値や区間推定値を導出できます。 ^{[ 4 ]}しかし、事後分布は概念的には単純ですが、一般的に扱いにくく、解析的または数値的に近似する必要があります。^{[ 5 ]}

ベイズ統計学では、事後確率はパラメータの確率分布である。${\displaystyle \theta }$証拠を考慮すると${\displaystyle X}$、そして、と表記される${\displaystyle p(\theta |X)}$。

これは、パラメータが与えられた場合の証拠の確率である尤度関数とは対照的です。${\displaystyle p(X|\theta )}$。

両者の関係は以下のとおりです。

確率分布関数が​${\displaystyle p(\theta )}$そして観察結果は${\displaystyle x}$可能性${\displaystyle p(x|\theta )}$すると、事後確率は次のように定義される。

${\displaystyle p(\theta |x)={\frac {p(x|\theta )}{p(x)}}p(\theta )}$[ ^{6 ]​}

どこ${\displaystyle p(x)}$は正規化定数であり、次のように計算されます。

${\displaystyle p(x)=\int p(x|\theta )p(\theta )d\theta }$

連続的に${\displaystyle \theta }$または合計することで${\displaystyle p(x|\theta )p(\theta )}$ すべての可能な値にわたって${\displaystyle \theta }$離散的${\displaystyle \theta }$[ ^{7 ]​}

したがって、事後確率は尤度と事前確率の積に比例する。^{[ 8 ]}

ある学校には男子生徒が60%、女子生徒が40%いるとします。女子生徒はズボンとスカートを同じ割合で着用しており、男子生徒は全員ズボンを着用しています。観察者が遠くから（無作為に選んだ）生徒を観察します。観察者にわかるのは、その生徒がズボンを着用しているということだけです。この生徒が女子生徒である確率はどれくらいでしょうか？正解はベイズの定理を用いて計算できます。

事象Gは観察対象の生徒が女子であること、事象Tは観察対象の生徒がズボンを履いていることである。事後確率を計算するには${\displaystyle P(G|T)}$まず、以下のことを知る必要があります。

• ${\displaystyle P(G)}$、つまり、他の情報に関係なく、その生徒が女子である確率です。観察者はランダムに生徒を観察しているため、すべての生徒が観察される確率は同じであり、生徒のうち女子の割合は40%なので、この確率は0.4になります。
• ${\displaystyle P(B)}$、または他の情報に関係なく、その生徒が女子ではない（つまり男子である）確率（BはGの補事象である）。これは60%、つまり0.6である。
• ${\displaystyle P(T|G)}$、つまり、その生徒が女子生徒であるという条件の下で、その生徒がズボンを履いている確率です。スカートを履く可能性もズボンを履く可能性も同じなので、これは0.5です。
• ${\displaystyle P(T|B)}$、または生徒が男子であるという条件の下で、その生徒がズボンを履いている確率。これは 1 と与えられます。
• ${\displaystyle P(T)}$、または他の情報に関係なく、（無作為に選ばれた）学生がズボンを履いている確率。${\displaystyle P(T)=P(T|G)P(G)+P(T|B)P(B)}$（全確率の法則により）これは${\displaystyle P(T)=0.5\times 0.4+1\times 0.6=0.8}$。

これらの情報をすべて考慮すると、観察対象の生徒がズボンを履いているという条件の下で、観察者が女子生徒を発見した事後確率は、これらの値を次の式に代入することで計算できます。

${\displaystyle P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.}$

この問題を直感的に解くには、学校にN人の生徒がいると仮定します。男子生徒の数は0.6N 、女子生徒の数は0.4Nです。Nが十分に大きく、丸め誤差を無視できる場合、ズボンを履いている生徒の総数は0.6N + 0.4Nの50%となります。また、女子生徒のズボンを履いている生徒の数は0.4Nの50%です。したがって、ズボンを履いている生徒全体のうち、女子生徒は(0.4Nの50% ) /(0.6N + 0.4Nの50% ) = 25%です。言い換えれば、ズボンを履いている生徒のグループを分離した場合、そのグループの4分の1が女子生徒になります。したがって、ズボンを履いている生徒を見た場合、推測できるのは、生徒のサブセットから抽出した単一のサンプルを見ており、そのサブセットの25%が女子生徒であるということです。そして定義により、このランダムな生徒が女子生徒である確率は25%です。ベイズの定理の問題はすべてこのように解くことができます。^{[ 9 ]}

ある確率変数の値が与えられた場合の、別の確率変数の事後確率分布は、ベイズの定理を用いて、事前確率分布に尤度関数を乗じ、正規化定数で割ることによって計算できます。計算式は以下のとおりです。

${\displaystyle f_{X\mid Y=y}(x)={f_{X}(x){\mathcal {L}}_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}}$

確率変数の事後確率密度関数を示す${\displaystyle X}$データに基づいて${\displaystyle Y=y}$、 どこ

• ${\displaystyle f_{X}(x)}$は事前密度です${\displaystyle X}$、
• ${\displaystyle {\mathcal {L}}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)}$尤度関数は、${\displaystyle x}$、
• ${\displaystyle \int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}$は正規化定数であり、
• ${\displaystyle f_{X\mid Y=y}(x)}$事後密度は${\displaystyle X}$データに基づいて${\displaystyle Y=y}$[ ^{10 ]​}

事後確率は、ランダムに観測されたデータに基づいて条件付けられた条件付き確率です。したがって、それは確率変数です。確率変数については、その不確実性の量を要約することが重要です。この目的を達成する1つの方法は、事後確率の信頼区間を提供することです。 ^{[ 11 ]}

分類において、事後確率は、観測値を特定のクラスに分類する際の不確実性を反映します（クラス帰属確率も参照）。統計的分類手法は定義上、事後確率を生成しますが、機械学習は通常、確率的な確信をもたらさないメンバーシップ値を提供します。メンバーシップ値はクラス帰属確率に変換または再スケーリングすることが望ましいです。なぜなら、それらは比較可能であり、さらに後処理にも容易に適用できるからです。^{[ 12 ]}

• 予測区間
• ベルンシュタイン＝フォン・ミーゼスの定理
• 成功確率
• ベイズ認識論
• メトロポリス・ヘイスティングスアルゴリズム

• ランカスター、トニー（2004）。現代ベイズ計量経済学入門。オックスフォード：ブラックウェル。ISBN 1-4051-1720-6。
• Lee, Peter M. (2004).ベイズ統計学 入門（第3 版）. Wiley . ISBN 0-340-81405-5。