ベイズ因子

ベイズ因子は、証拠によって表される2つの競合する統計モデルの比率であり、一方のモデルが他方のモデルよりもどれだけ支持されているかを定量化するために使用されます。^{[ 1 ]}問題となるモデルは、帰無仮説と対立仮説などの共通のパラメータセットを持つことができますが、これは必須ではありません。たとえば、線形近似と比較した非線形モデルである場合もあります。ベイズ因子は、最大化された尤度ではなく、統合された（つまり周辺）尤度を使用する点を除けば、尤度比検定のベイズ版と考えることができます。そのため、両方の量は単純な仮説（たとえば、2つの特定のパラメータ値）の下でのみ一致します。 ^{[ 2 ]}また、帰無仮説有意性検定とは対照的に、ベイズ因子は、帰無仮説を棄却するか棄却しないかだけを可能にするのではなく、帰無仮説を支持する証拠の評価をサポートします。^{[ 3 ]}

概念的には単純だが、ベイズ因子の計算は、モデルと仮説の複雑さによっては困難になることがある。^{[ 4 ]}周辺尤度の閉形式表現は一般に利用できないため、MCMC サンプルに基づく数値近似が提案されている。^{[ 5 ]} 特定の特殊なケースでは、簡略化された代数式を導出できる。たとえば、制約のない代替仮説に対する正確な (等式制約付き) 仮説の場合の Savage–Dickey 密度比などである。^{[ 6 ] [ 7 ]}積分尤度にラプラス近似を適用して導出される別の近似は、ベイズ情報量規準(BIC)として知られている。 ^{[ 8 ]}大規模なデータセットでは、事前分布の影響が弱まるにつれて、ベイズ因子は BIC に近づく。小規模なデータセットでは、事前分布は一般に重要であり、不適切であってはならない。なぜなら、その比の 2 つの積分のいずれかが有限でない場合、ベイズ因子は定義されないからである。

ベイズ因子は2つの周辺尤度の比、つまり、2つの統計モデルの尤度をそのパラメータの事前確率で積分したものです。^{[ 9 ]}

事後確率${\displaystyle \Pr(M|D)}$データDが与えられた場合のモデルMの値は、ベイズの定理によって与えられる。

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

重要なデータ依存用語${\displaystyle \Pr(D|M)}$これは、モデルMの仮定の下で何らかのデータが生成される確率を表しており、これを正しく評価することがベイズモデル比較の鍵となります。

観測データDに基づいて 2 つのモデルから選択したいモデル選択問題が与えられた場合、モデルパラメータベクトルによってパラメータ化された2 つの異なるモデルM ₁とM ₂の妥当性$\displaystyle \theta _{1}}$そして$\displaystyle \theta _{2}}$は、次式で与えられるベイズ因子Kによって評価される。

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}$

2 つのモデルの事前確率が等しい場合、${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$ベイズ因子は、 M ₁とM ₂の事後確率の比に等しくなります。ベイズ因子の積分の代わりに、各統計モデルのパラメータの最尤推定値に対応する尤度を使用すると、テストは古典的な尤度比テストになります。尤度比テストとは異なり、このベイズモデル比較は、各モデルのすべてのパラメータ (それぞれの事前分布に関して) を積分するため、単一のパラメータセットに依存しません。ベイズ因子を使用する利点は、モデル構造を過剰に含めた場合のペナルティを自動的に、そしてごく自然に含めることができることです。^{[ 10 ]}これにより、過学習を防ぐことができます。尤度の明示的なバージョンが利用できない、または数値的に評価するにはコストがかかりすぎるモデルの場合、ベイズフレームワークでのモデル選択には近似ベイズ計算を使用できます。^{[ 11 ]} ただし、ベイズ因子の近似ベイズ推定値はしばしば偏っていることに注意してください。^{[ 12 ]}

その他のアプローチとしては、以下のようなものがある。

• モデル比較を意思決定問題として扱い、各モデル選択の期待値またはコストを計算する。
• 最小メッセージ長（MML）を使用する。
• 最小記述長（MDL）を使用する。

K > 1の値は、検討中のデータにおいてM _1がM ₂よりも強く支持されていることを意味します。古典的な仮説検定では、1 つの仮説 (またはモデル) が優先され (「帰無仮説」)、それに反する証拠のみが考慮されることに注意してください。ベイズ因子が帰無仮説に反する証拠だけでなく、その仮説を支持する証拠も生成できるという事実は、この分析方法の重要な利点の 1 つです。^{[ 13 ]}

ハロルド・ジェフリーズは、${\displaystyle K}$: ^{[ 14 ]}

2 列目には、対応する証拠の重みがデシハートレー(デシバンとも呼ばれる) 単位で示されています。3列目には、分かりやすくするためにビットが追加されています。表は反対方向にも続いており、たとえば、$\displaystyle K\leq 10^{-2}}$決定的な証拠である${\displaystyle M_{2}}$。

広く引用されている別の表は、KassとRaftery（1995）によって提供されています。^{[ 10 ]}

IJ Goodによると、仮説に対する信念の変化の度合いに関して、人間の日常生活における最小可弁差は約1.3倍、つまり1デシバン、つまり1/3ビット、またはオッズ比で1:1から5:4である。^{[ 15 ]}

成功か失敗かのいずれかの結果をもたらす確率変数があると仮定します。モデルを比較したいとします。${\displaystyle M_{1}}$ここで成功確率はq = 1/2であり、別のモデルでは${\displaystyle M_{2}}$ここでqは未知であり、qの事前分布は[0,1]上の一様分布とする。200のサンプルを抽出し、115の成功と85の失敗が得られた。尤度は二項分布に従って計算できる。

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

したがって、${\displaystyle M_{1}}$

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006}$

一方、${\displaystyle M_{2}}$我々は持っています

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005}$

比率は1.2で、これは「ほとんど言及する価値がない」が、わずかに${\displaystyle M_{1}}$。

頻度論 的仮説検定${\displaystyle M_{1}}$（ここでは帰無仮説とみなされる）は全く異なる結果をもたらしただろう。このような検定では、 ${\displaystyle M_{1}}$q = 1/2の場合、200 のサンプルから 115 以上の成功が得られる確率は 0.02 であり、115 と同等またはそれ以上に極端な数値が得られるという両側検定では 0.04 であるため、5% の有意水準で棄却されるべきです。115 は 100 から 2 標準偏差以上離れていることに注意してください。したがって、頻度論的仮説検定では5 %の有意水準で有意な結果が得られますが、ベイズ因子ではこれを極端な結果とはほとんど考えません。ただし、非一様な事前分布 (たとえば、成功数と失敗数が同程度の大きさであると予想することを反映したもの) を使用すると、頻度論的仮説検定により近いベイズ因子が得られる可能性があることに注意してください。

古典的な尤度比検定では、qの最尤推定値、すなわち${\displaystyle {\hat {q}}={\frac {115}{200}}=0.575}$そこから

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0.06}$

（すべての可能なqについて平均するのではなく）。これにより尤度比は 0.1 となり、M ₂を示唆します。

${\displaystyle M_{2}}$より複雑なモデルです${\displaystyle M_{1}}$なぜなら、自由パラメータがあるため、データをより正確にモデル化できるからです。ベイズ因子がこれを考慮に入れることができるため、ベイズ推論はオッカムの剃刀の理論的正当化と一般化として提案され、第一種過誤を減らすことができます。^{[ 16 ]}

一方、現代的な相対尤度法は、古典的な尤度比とは異なり、モデル内の自由パラメータの数を考慮に入れます。相対尤度法は次のように適用できます。モデルM ₁は 0 個のパラメータを持つため、その赤池情報量規準(AIC) 値は次のようになります。${\displaystyle 2\cdot 0-2\cdot \ln(0.005956)\approx 10.2467}$モデルM2_には1つのパラメータがあり、そのAIC値は${\displaystyle 2\cdot 1-2\cdot \ln(0.056991)\approx 7.7297}$したがって、M ₁は約${\displaystyle \exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284}$情報損失を最小限に抑えるため、 M 1はM ₂よりも高い確率で発生する。したがって、 M ₂がわずかに好ましいが、M ₁を排除することはできない。

• 赤池情報量規準
• 近似ベイズ計算
• ベイズ情報量規準
• 逸脱情報基準
• リンドレーのパラドックス
• 最小メッセージ長
• モデル選択
• Eバリュー

統計的比率

• オッズ比
• 相対リスク

• Bernardo, J.; Smith, AFM (1994).ベイズ理論. John Wiley. ISBN 0-471-92416-4。
• Denison, DGT; Holmes, CC; Mallick, BK; Smith, AFM (2002).ベイズ法による非線形分類と回帰. John Wiley. ISBN 0-471-49036-9。
• Dienes, Z. (2019). 自分の理論が何を予測するのか、どうすればわかるのか？心理科学における方法と実践の進歩doi : 10.1177/2515245919876960
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). 「セクション 9.6.5」.パターン分類（第 2 版）. Wiley. pp. 487–489 . ISBN  0-471-05669-3。
• ゲルマン、A.、カーリン、J.、スターン、H.、ルービン、D. (1995).ベイズデータ分析. ロンドン：チャップマン＆ホール. ISBN 0-412-03991-5。
• Jaynes, ET (1994)、確率論：科学の論理（Wayback Machineに2018年10月24日にアーカイブ済み）、第24章。
• カダネ、ジョセフ・B.、ディッキー、ジェームズ・M. (1980)「ベイズ決定理論とモデルの単純化」。クメンタ、ヤン、ラムジー、ジェームズ・B. (編)『計量経済モデルの評価』所収。ニューヨーク：アカデミック・プレス。pp. 245–268。ISBN  0-12-416550-8。
• Lee, PM (2012).ベイズ統計学入門. Wiley. ISBN 9781118332573。
• Richard, Mark; Vecer, Jan (2021). "予測市場の効率性テスト: マルチンゲールアプローチ、尤度比、ベイズ因子分析" . Risks . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
• ウィンクラー、ロバート（2003）。ベイズ推論と意思決定入門（第2 版）。確率論。ISBN 0-9647938-4-9。

• 「BayesFactor」。2013年6月21日にオリジナルからアーカイブされました。—一般的な研究デザインにおけるベイズ因子を計算するためのRパッケージ
• 「ベイズ因子計算機」 。2015年5月7日にオリジナルからアーカイブされました。—情報に基づいたベイズ因子を計算するオンライン計算機
• 「ベイズ因子計算ツール」 。2015年5月7日にオリジナルからアーカイブされました。— BayesFactorパッケージの大部分をウェブベースで提供