ベイズ推定量

推定理論と意思決定理論において、ベイズ推定量またはベイズ作用とは、損失関数の事後期待値（すなわち、事後期待損失）を最小化する推定量または意思決定規則である。同様に、効用関数の事後期待値を最大化する。ベイズ統計学において推定量を定式化する別の方法は、最大事後推定である。

未知のパラメータが事前分布 を持つことがわかっているとします。を（いくつかの測定値x に基づく）の推定量 とし、 を二乗誤差などの損失関数とします。のベイズリスクは と定義され、ここで期待値はの確率分布に対して取られます。これにより、リスク関数は の関数として定義されます。推定量がすべての推定量の中でベイズリスクを最小化する場合に、その推定量はベイズ推定量と呼ばれます。同様に、各 の事後期待損失を最小化する推定量はベイズリスクも最小化するため、ベイズ推定量となります。^[1]${\displaystyle \theta }$ ${\displaystyle \pi }$${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(x)}$${\displaystyle \theta }$${\displaystyle L(\theta ,{\widehat {\theta }})}$${\displaystyle {\widehat {\theta }}}$${\displaystyle E_{\pi }(L(\theta ,{\widehat {\theta }}))}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle {\widehat {\theta }}}$${\displaystyle E(L(\theta ,{\widehat {\theta }})|x)}$ ${\displaystyle x}$

事前分布が不適切である場合、それぞれの${\displaystyle x}$事後期待損失を最小化する推定量は一般化ベイズ推定量と呼ばれる。^[2]

ベイズ推定に最もよく使われるリスク関数は平均二乗誤差（MSE）で、二乗誤差リスクとも呼ばれる。MSEは次のように定義される。

${\displaystyle \mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],}$

ここで、期待値はとの結合分布に対して取られます。 ${\displaystyle \theta }$${\displaystyle x}$

MSEをリスクとして使用すると、未知のパラメータのベイズ推定値は事後分布の平均になります。^[3]

${\displaystyle {\widehat {\theta }}(x)=E[\theta |x]=\int \theta \,p(\theta |x)\,d\theta .}$

これは、最小平均二乗誤差(MMSE) 推定量として知られています。

ある事前確率分布を別の事前確率分布よりも優先する固有の理由がない場合、単純化のために共役事前分布が選択されることがあります。共役事前分布は、何らかのパラメトリック ファミリに属する​​事前分布として定義され、その結果の事後分布も同じファミリに属します。これは重要な特性です。ベイズ推定量とその統計特性 (分散、信頼区間など) はすべて事後分布から導出できるためです。

共役事前分布は、現在の測定の事後分布が次の測定の事前分布として使用される逐次推定に特に役立ちます。逐次推定では、共役事前分布を使用しない限り、事後分布は測定が追加されるたびに複雑になり、通常、数値手法に頼らなければベイズ推定量を計算することはできません。

以下に共役事前分布のいくつかの例を示します。

• が正規分布、で事前分布が正規分布、の場合、事後分布も正規分布となり、MSEに基づくベイズ推定量は次のように与えられる。${\displaystyle x|\theta }$${\displaystyle x|\theta \sim N(\theta ,\sigma ^{2})}$${\displaystyle \theta \sim N(\mu ,\tau ^{2})}$

${\displaystyle {\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.}$

• がiidポアソン確率変数で、事前分布がガンマ分布である場合、事後分布もガンマ分布し、MSEに基づくベイズ推定量は次のように与えられる。${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim P(\theta )}$ ${\displaystyle \theta \sim G(a,b)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+b}}.}$

• がiid一様分布し、事前分布がパレート分布である場合、事後分布もパレート分布し、MSEに基づくベイズ推定量は次のように与えられる。${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim U(0,\theta )}$ ${\displaystyle \theta \sim Pa(\theta _{0},a)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})}}{a+n-1}}.}$

リスク関数は、推定値と未知のパラメータ間の距離をどのように測定するかに応じて選択されます。MSE は、主にその単純さから、最も一般的に使用されているリスク関数です。ただし、代替のリスク関数も時々使用されます。次に、そのような代替の例をいくつか示します。事後一般化分布関数を で表します。 ${\displaystyle F}$

• の「線形」損失関数は、ベイズ推定値として事後中央値を生成します。${\displaystyle a>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})=a|\theta -{\widehat {\theta }}|}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\tfrac {1}{2}}.}$

• もう 1 つの「線形」損失関数。これは、過大評価または過小評価に異なる「重み」を割り当てます。これは、事後分布から分位数を生成し、前の損失関数を一般化したものです。${\displaystyle a,b>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}<0\end{cases}}}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\frac {a}{a+b}}.}$

• 次の損失関数はより複雑です。事後分布の曲率と特性に応じて、事後モード、またはそれに近い点のいずれかを生成します。モードを近似値 ( )として使用するために、パラメータの値は小さくすることをお勧めします。${\displaystyle K>0}$${\displaystyle L>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}0,&{\mbox{for }}|\theta -{\widehat {\theta }}|<K\\L,&{\mbox{for }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}}$

平均二乗誤差が最も広く使用され、検証されていますが、他の損失関数も考えられます。他の損失関数は統計、特にロバスト統計で使用されます。

これまでのところ、事前分布は真の確率分布であると仮定されてきた。 ${\displaystyle p}$

${\displaystyle \int p(\theta )d\theta =1.}$

しかし、時にはこれが制約的な要件となることもあります。たとえば、すべての実数が等しく起こりそうな分布（すべての実数の集合Rをカバーする）は存在しません。しかし、ある意味では、そのような「分布」は、非情報事前分布、つまり、未知のパラメータの特定の値に対する好みを意味しない事前分布の自然な選択のように思えます。関数 を定義することはできますが、これは無限の質量を持つため、適切な確率分布ではありません。 ${\displaystyle p(\theta )=1}$

${\displaystyle \int {p(\theta )d\theta }=\infty .}$

このような確率分布ではない測度は 、不適切な事前分布と呼ばれます。 ${\displaystyle p(\theta )}$

不適切な事前分布の使用は、ベイズリスクが定義されていないことを意味します（事前分布は確率分布ではなく、その下で期待値を取ることができないため）。その結果、ベイズリスクを最小化するベイズ推定量について話すことはもはや意味がありません。それでも、多くの場合、事後分布を定義することができます。

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }}.}$

これは定義であり、ベイズの定理の応用ではありません。ベイズの定理は、すべての分布が適切な場合にのみ適用できるからです。ただし、結果として得られる「事後」が有効な確率分布になることは珍しくありません。この場合、事後期待損失は

${\displaystyle \int {L(\theta ,a)p(\theta |x)d\theta }}$

は、一般的に明確に定義され有限です。適切な事前分布の場合、ベイズ推定量は事後期待損失を最小化することを思い出してください。事前分布が適切でない場合、事後期待損失を最小化する推定量は一般化ベイズ推定量と呼ばれます。^[2]

典型的な例は、型の損失関数を使用した位置パラメータの推定です。ここでは位置パラメータ、つまり です。 ${\displaystyle L(a-\theta )}$${\displaystyle \theta }$${\displaystyle p(x|\theta )=f(x-\theta )}$

この場合、特に他に主観的な情報がない場合には、 不適切な事前分布を使用するのが一般的です。これにより、${\displaystyle p(\theta )=1}$

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{p(x)}}={\frac {f(x-\theta )}{p(x)}}}$

事後期待損失は

${\displaystyle E[L(a-\theta )|x]=\int {L(a-\theta )p(\theta |x)d\theta }={\frac {1}{p(x)}}\int L(a-\theta )f(x-\theta )d\theta .}$

一般化ベイズ推定量は、与えられた に対してこの式を最小化する値である。これは、 ${\displaystyle a(x)}$${\displaystyle x}$

${\displaystyle \int L(a-\theta )f(x-\theta )d\theta }$与えられた        （1）${\displaystyle x.}$

この場合、一般化ベイズ推定量は、ある定数 に対して の形をとることが示されます。これを確認するには、のときに (1) を最小化する値を とします。次に、異なる値 が与えられた場合、 を最小化する必要があります。 ${\displaystyle x+a_{0}}$${\displaystyle a_{0}}$${\displaystyle a_{0}}$${\displaystyle x=0}$${\displaystyle x_{1}}$

${\displaystyle \int L(a-\theta )f(x_{1}-\theta )d\theta =\int L(a-x_{1}-\theta ')f(-\theta ')d\theta '.}$        （２）

これは（1）と同じですが、 がに置き換えられています。したがって、 を最小化する式は で与えられ、最適な推定量は次の形式になります。 ${\displaystyle a}$${\displaystyle a-x_{1}}$${\displaystyle a-x_{1}=a_{0}}$

${\displaystyle a(x)=a_{0}+x.\,\!}$

経験ベイズ法によって導出されたベイズ推定量は、経験ベイズ推定量と呼ばれます。経験ベイズ法では、ベイズ推定量の開発において、関連パラメータの観測からの補助的な経験データを使用できます。これは、推定されたパラメータが共通の事前分布から得られるという仮定の下で行われます。たとえば、異なるパラメータの独立した観測が実行された場合、他の観測からのデータを使用することで、特定のパラメータの推定パフォーマンスが向上することがあります。

経験的ベイズ推定にはパラメトリックアプローチとノンパラメトリックアプローチの両方がある。 ^[4]

以下は、パラメトリック経験ベイズ推定の簡単な例です。条件付き分布 を持つ過去の観測値が与えられている場合、に基づいてを推定することに関心があります。 には、未知のパラメータに依存する共通の事前分布があると仮定します。たとえば、 が未知の平均と分散を持つ正規分布であると仮定します。その後、過去の観測値を使用して、 の平均と分散を次のように決定できます。 ${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle f(x_{i}|\theta _{i})}$${\displaystyle \theta _{n+1}}$${\displaystyle x_{n+1}}$${\displaystyle \theta _{i}}$${\displaystyle \pi }$${\displaystyle \pi }$${\displaystyle \mu _{\pi }\,\!}$${\displaystyle \sigma _{\pi }\,\!.}$${\displaystyle \pi }$

まず、最大尤度アプローチを使用して周辺分布の平均と分散を推定します。 ${\displaystyle \mu _{m}\,\!}$${\displaystyle \sigma _{m}\,\!}$${\displaystyle x_{1},\ldots ,x_{n}}$

${\displaystyle {\widehat {\mu }}_{m}={\frac {1}{n}}\sum {x_{i}},}$

${\displaystyle {\widehat {\sigma }}_{m}^{2}={\frac {1}{n}}\sum {(x_{i}-{\widehat {\mu }}_{m})^{2}}.}$

次に、総期待値の法則と総分散の法則を使って計算します。 ${\displaystyle \mu _{m}}$${\displaystyle \sigma _{m}^{2}}$

${\displaystyle \mu _{m}=E_{\pi }[\mu _{f}(\theta )]\,\!,}$

${\displaystyle \sigma _{m}^{2}=E_{\pi }[\sigma _{f}^{2}(\theta )]+E_{\pi }[(\mu _{f}(\theta )-\mu _{m})^{2}],}$

ここで、およびは条件付き分布のモーメントであり、既知であると仮定する。特に、およびであると仮定すると、 ${\displaystyle \mu _{f}(\theta )}$${\displaystyle \sigma _{f}(\theta )}$${\displaystyle f(x_{i}|\theta _{i})}$${\displaystyle \mu _{f}(\theta )=\theta }$${\displaystyle \sigma _{f}^{2}(\theta )=K}$

${\displaystyle \mu _{\pi }=\mu _{m}\,\!,}$

${\displaystyle \sigma _{\pi }^{2}=\sigma _{m}^{2}-\sigma _{f}^{2}=\sigma _{m}^{2}-K.}$

最後に、事前分布の推定モーメントを得る。

${\displaystyle {\widehat {\mu }}_{\pi }={\widehat {\mu }}_{m},}$

${\displaystyle {\widehat {\sigma }}_{\pi }^{2}={\widehat {\sigma }}_{m}^{2}-K.}$

たとえば、 の場合、正規事前分布（この場合は共役事前分布）を想定すると、 と結論付けられ、そこから に基づくのベイズ推定量を計算できます。 ${\displaystyle x_{i}|\theta _{i}\sim N(\theta _{i},1)}$${\displaystyle \theta _{n+1}\sim N({\widehat {\mu }}_{\pi },{\widehat {\sigma }}_{\pi }^{2})}$${\displaystyle \theta _{n+1}}$${\displaystyle x_{n+1}}$

有限のベイズリスクを持つベイズ規則は、通常、許容されます。以下は、許容定理の具体的な例です。

• ベイズ則が一意であれば、それは許容される。^[5]例えば、上で述べたように、平均二乗誤差（MSE）の下ではベイズ則は一意であり、したがって許容される。
• θ が離散集合に属する場合、すべてのベイズ規則が許容されます。
• θ が連続（非離散）集合に属し、リスク関数 R(θ,δ) が任意の δ に対して θ で連続している場合、すべてのベイズ規則が許容されます。

対照的に、一般化ベイズ規則は、不適切な事前分布の場合、定義されていないベイズリスクを持つことがよくあります。これらの規則は許容されないことが多く、許容性の検証が困難な場合があります。たとえば、ガウスサンプルに基づく位置パラメータ θ の一般化ベイズ推定量 (上記の「一般化ベイズ推定量」のセクションで説明) は、 に対して許容されません。これは、スタインの現象として知られています。 ${\displaystyle p>2}$

θ を未知のランダム変数とし、 が密度 のiidサンプルであるとします。 を、増加する測定回数に基づく θ のベイズ推定量のシーケンスとします。 この推定量シーケンスの漸近的なパフォーマンス、つまり、 nが大きい場合の のパフォーマンスを分析することに興味があります。 ${\displaystyle x_{1},x_{2},\ldots }$${\displaystyle f(x_{i}|\theta )}$${\displaystyle \delta _{n}=\delta _{n}(x_{1},\ldots ,x_{n})}$${\displaystyle \delta _{n}}$

このため、 θ を真の値が である決定論的パラメータと見なすのが通例である。特定の条件下では、^{[6]大規模なサンプル（大きな}n値）の場合、 θ の事後密度はほぼ正規分布となる。言い換えれば、大きなnの場合、事前確率が事後分布に与える影響はごくわずかである。さらに、 δ が MSE リスクの下でのベイズ推定量である場合、それは漸近的に偏りがなく、分布において正規分布に収束する。 ${\displaystyle \theta _{0}}$

${\displaystyle {\sqrt {n}}(\delta _{n}-\theta _{0})\to N\left(0,{\frac {1}{I(\theta _{0})}}\right),}$

ここで、I (θ ₀ )はθ _0のフィッシャー情報量である。したがって、 MSEの下でのベイズ推定量 δ _{n は}漸近的に効率的であることがわかる。

漸近的に正規かつ効率的な別の推定量は、最大尤度推定量(MLE) です。最大尤度推定量とベイズ推定量との関係は、次の簡単な例で示されます。

二項分布サンプルx ~b(θ, n )に基づく θ の推定値を考える。ここで θ は成功確率を表す。θ が共役事前分布、この場合はベータ分布B( a , b ) に従って分布すると仮定すると、事後分布は B(a+x,b+nx) であることがわかっている。したがって、MSE に基づくベイズ推定値は次のようになる。

${\displaystyle \delta _{n}(x)=E[\theta |x]={\frac {a+x}{a+b+n}}.}$

この場合のMLEはx/nなので、

${\displaystyle \delta _{n}(x)={\frac {a+b}{a+b+n}}E[\theta ]+{\frac {n}{a+b+n}}\delta _{MLE}.}$

最後の式は、n → ∞ の場合、ベイズ推定量（説明した問題内）が MLE に近いことを意味します。

一方、nが小さい場合、事前情報は依然として決定問題に関連し、推定に影響します。事前情報の相対的な重みを確認するには、a = bと仮定します。この場合、各測定で 1 ビットの新しい情報が得られます。上記の式は、事前情報が新しい情報のa+bビットと同じ重みを持つことを示しています。アプリケーションでは、事前分布の詳細についてはほとんどわからないことがよくあります。特に、それが B( a , b ) と正確に一致すると想定する理由はありません。このような場合、この計算の 1 つの可能な解釈は、「平均値が 0.5 で標準偏差がdである非病的な事前分布があり、事前情報の重みが 1/(4 d ² )-1 ビットの新しい情報に等しい」というものです。

同じ現象の別の例として、事前推定値と測定値が正規分布している場合が挙げられます。事前推定値がBを中心として偏差 Σ があり、測定値がbを中心として偏差 σ がある場合、事後推定値は を中心とし、この加重平均の重みは α=σ²、β=Σ² です。さらに、事後偏差の二乗は Σ²+σ² です。つまり、事前推定値は、追加の測定値として考慮するのと まったく同じように測定値と組み合わされます。${\displaystyle {\frac {\alpha }{\alpha +\beta }}B+{\frac {\beta }{\alpha +\beta }}b}$

たとえば、Σ=σ/2 の場合、4 つの測定値を合わせた偏差は事前分布の偏差と一致します (測定値の誤差は独立していると仮定)。また、事後分布の式の重み α、β はこれと一致します。事前分布の重みは測定値の重みの 4 倍です。この事前分布を平均v のn個の測定値と組み合わせると、事後分布は を中心とします。特に、事前分布は事前に行われた 4 つの測定値と同じ役割を果たします。一般に、事前分布は (σ/Σ)² の測定値の重みを持ちます。 ${\displaystyle {\frac {4}{4+n}}V+{\frac {n}{4+n}}v}$

二項分布の例と比較すると、事前分布には (σ/Σ)²−1 の測定値の重みがあります。正確な重みは分布の詳細によって異なりますが、σ≫Σ の場合には差は小さくなることがわかります。

インターネット映画データベースは、ユーザーによる映画の評価を計算し比較するための公式を使用しており、これには「真のベイズ推定」を与えると主張されているトップ評価250タイトルが含まれます。 ^[7]次のベイズ公式は、トップ250の加重平均スコアを計算するために最初に使用されましたが、その後、この公式は変更されました。

${\displaystyle W={Rv+Cm \over v+m}\ }$

どこ：

${\displaystyle W\ }$= 加重評価

${\displaystyle R\ }$= 映画の平均評価を 1 から 10 までの数字で表したもの (平均) = (評価)

${\displaystyle v\ }$= 映画の投票数/評価数 = (投票数)

${\displaystyle m\ }$= 事前推定値に与えられた重み（この場合、平均評価が統計的妥当性に近づくために IMDB が必要とみなした投票数）

${\displaystyle C\ }$= プール全体の平均投票数（現在 7.0）

W は、重みベクトル(v, m)を持つRとCの加重算術平均にすぎないことに注意してください。評価数がm を超えると、平均評価の信頼度がすべての映画の平均投票の信頼度 (C) を上回り、加重ベイズ評価 (W) は平均 (R) に近づきます。v (映画の評価数) がゼロに近づくほど、WはCに近づきます。ここで、 W は加重評価、 C はすべての映画の平均評価です。つまり、簡単に言えば、映画の評価/投票数が少ないほど、その映画の加重評価はすべての映画の平均に近づき、評価/投票数が多い映画の評価は純粋な算術平均評価に近づきます。

IMDb のアプローチにより、評価がすべて 10 である少数の評価しかない映画が、たとえば 50 万件を超える評価で平均 9.2 を獲得した「ゴッドファーザー」よりも上位にランクされることはなくなります。

• 再帰ベイズ推定
• 一般化期待効用

• バーガー、ジェームズ・O. (1985)。統計的意思決定理論とベイズ分析（第2版）。ニューヨーク：シュプリンガー・フェアラーク。ISBN 0-387-96098-8MR  0804611 。
• Lehmann, EL; Casella, G. (1998).点推定理論（第2版）. Springer. ISBN 0-387-98502-6。
• Pilz, Jürgen (1991)。「ベイズ推定」。線形回帰モデルにおけるベイズ推定と実験計画。チチェスター: John Wiley & Sons。pp. 38–117。ISBN 0-471-91732-X。

• 「ベイズ推定量」、数学百科事典、EMS Press、2001 [1994]