事後確率

事後確率は、ベイズの定理を適用して尤度で要約された情報で事前確率を更新することによって得られる条件付き確率の一種です。^[1]認識論的観点からは、事後確率には、事前の知識と特定の時点で利用可能な観測を記述する数学モデルを前提として、不確実な命題（科学的仮説やパラメータ値など）について知るべきことすべてが含まれています。^[2]新しい情報が到着した後、現在の事後確率は、ベイズ更新の別のラウンドで事前確率として機能する場合があります。^[3]

ベイズ統計学の文脈では、事後確率分布は通常、観測データの集合を条件とする統計パラメータに関する認識論的不確実性を表します。与えられた事後分布から、最大事後確率（MAP）や最高事後密度区間（HPDI）など、さまざまな点推定値と区間推定値を導き出すことができます。 ^[4]しかし、概念的には単純ですが、事後分布は一般的に扱いにくいため、解析的または数値的に近似する必要があります。^[5]

変分ベイズ法では、事後確率は証拠が与えられたときのパラメータの確率であり、 と表記されます。 ${\displaystyle \theta}$${\displaystyle X}$${\displaystyle p(\theta |X)}$

これは、パラメータが与えられた場合の証拠の確率である尤度関数とは対照的です。 ${\displaystyle p(X|\theta )}$

両者の関係は次の通りです。

確率分布関数が であり、観測値が尤度 であるという事前確信が与えられた場合、事後確率は次のように定義される。 ${\displaystyle p(\theta )}$${\displaystyle x}$${\displaystyle p(x|\theta )}$

${\displaystyle p(\theta |x)={\frac {p(x|\theta )}{p(x)}}p(\theta )}$, ^[6]

ここで正規化定数は次のように計算される。 ${\displaystyle p(x)}$

${\displaystyle p(x)=\int p(x|\theta )p(\theta )d\theta }$

連続の場合は、離散の場合は のすべての可能な値を合計することによって得られます。^[7]${\displaystyle \theta }$${\displaystyle p(x|\theta )p(\theta )}$${\displaystyle \theta }$${\displaystyle \theta }$

したがって事後確率は尤度・事前確率の積に比例する。^[8]

男子生徒が 60%、女子生徒が 40% の学校があるとします。女子生徒はズボンまたはスカートを同数着用し、男子生徒は全員ズボンを着用しています。観察者は遠くから (ランダムな) 生徒を観察します。観察者にわかるのは、この生徒がズボンを履いているということだけです。この生徒が女子である確率はどれくらいでしょうか。正解はベイズの定理を使用して計算できます。

事象は観察された学生が女子であるということであり、事象は観察された学生がズボンを履いているということである。事後確率を計算するには、まず次のことを知る必要がある。 ${\displaystyle G}$${\displaystyle T}$${\displaystyle P(G|T)}$

• ${\displaystyle P(G)}$、つまり、他の情報に関係なく生徒が女子である確率です。観察者はランダムに生徒を観察するため、すべての生徒が観察される確率は同じであり、生徒のうち女子の割合は 40% であるため、この確率は 0.4 になります。
• ${\displaystyle P(B)}$、つまり、他の情報に関係なく、生徒が女の子ではない（つまり男の子である）確率（は の補完イベントです）。これは 60%、つまり 0.6 です。${\displaystyle B}$${\displaystyle G}$
• ${\displaystyle P(T|G)}$、つまり、生徒が女子の場合にズボンを着用する確率です。女子がスカートを着用する可能性はズボンを着用する可能性と同じなので、この値は 0.5 です。
• ${\displaystyle P(T|B)}$、つまり、生徒が男子である場合に、生徒がズボンを着用する確率。これは 1 として与えられます。
• ${\displaystyle P(T)}$、つまり、他の情報に関係なく、（ランダムに選択された）学生がズボンを着用する確率です。（全確率の法則により）これは です。${\displaystyle P(T)=P(T|G)P(G)+P(T|B)P(B)}$${\displaystyle P(T)=0.5\times 0.4+1\times 0.6=0.8}$

このすべての情報を考慮すると、観察対象の学生がズボンを履いている場合に観察者が女の子を発見した事後確率は、次の式にこれらの値を代入することで計算できます。

${\displaystyle P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.}$

これを解く直感的な方法は、学校に N 人の生徒がいると仮定することです。男子生徒数 = 0.6N、女子生徒数 = 0.4N です。N が十分に大きい場合、ズボン着用者の総数 = 0.6N + 0.4N の 50% です。そして、女子のズボン着用者数 = 0.4N の 50% です。したがって、ズボン着用者の母集団では、女子は (0.4N の 50%)/(0.6N + 0.4N の 50%) = 25% です。言い換えると、ズボン着用者のグループを分離すると、そのグループの 4 分の 1 が女子になります。したがって、ズボン着用者を見た場合、せいぜい 25% が女子である生徒のサブセットから 1 つのサンプルを見ていると推測できます。そして、定義により、このランダムな生徒が女子である確率は 25% です。すべてのベイズの定理の問題は、このように解くことができます。^[9]

あるランダム変数の値が与えられた場合の別のランダム変数の事後確率分布は、ベイズの定理を使用して、事前確率分布に尤度関数を掛け、正規化定数で割ることで次のように計算できます。

${\displaystyle f_{X\mid Y=y}(x)={f_{X}(x){\mathcal {L}}_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}}$

は、データが与えられた場合のランダム変数の事後確率密度関数を与える。ここで、 ${\displaystyle X}$${\displaystyle Y=y}$

• ${\displaystyle f_{X}(x)}$は の事前密度であり、${\displaystyle X}$
• ${\displaystyle {\mathcal {L}}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)}$は、の関数としての尤度関数であり、${\displaystyle x}$
• ${\displaystyle \int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}$は正規化定数であり、
• ${\displaystyle f_{X\mid Y=y}(x)}$はデータが与えられた場合の事後密度である。^[10]${\displaystyle X}$${\displaystyle Y=y}$

事後確率はランダムに観測されたデータに条件付けられた条件付き確率である。したがって、それはランダム変数である。ランダム変数の場合、その不確実性の量を要約することが重要です。この目的を達成する1つの方法は、事後確率の信頼区間を提供することです。 ^[11]

分類において、事後確率は観察結果を特定のクラスに評価する際の不確実性を反映します。クラスメンバーシップ確率も参照してください。統計的分類法は定義上事後確率を生成しますが、機械学習は通常、確率的信頼性を誘導しないメンバーシップ値を提供します。メンバーシップ値をクラスメンバーシップ確率に変換または再スケーリングすることが望ましいです。なぜなら、それらは比較可能であり、さらに後処理に適用しやすいからです。^[12]

• 予測区間
• ベルンシュタイン・フォン・ミーゼスの定理
• 成功の確率
• ベイズ認識論
• メトロポリス・ヘイスティングスアルゴリズム

• ランカスター、トニー（2004）。『現代ベイズ計量経済学入門』オックスフォード：ブラックウェル。ISBN 1-4051-1720-6。
• Lee, Peter M. (2004).ベイズ統計学入門（第3版）. Wiley . ISBN 0-340-81405-5。