ベイズ係数

ベイズ係数は、2つの競合する統計モデルの比であり、その証拠によって表され、一方のモデルが他方のモデルよりもどれだけ支持されているかを定量化するために使用されます。^{[1]問題のモデルは、}帰無仮説や対立仮説などの共通のパラメータセットを持つことができますが、これは必須ではありません。たとえば、線形近似と比較して非線形モデルである可能性もあります。ベイズ係数は、最大尤度ではなく統合（つまり、周辺）尤度を使用するという点で、尤度比検定のベイズ類似物と考えることができます。そのため、両方の量は、単純な仮説（たとえば、2つの特定のパラメータ値）の下でのみ一致します。^[2]また、帰無仮説有意性検定とは対照的に、ベイズ係数は、帰無仮説を棄却するか棄却しないかだけを許可するのではなく、帰無仮説を支持する証拠の評価をサポートします。^[3]

概念的には単純ですが、ベイズ係数の計算は、モデルと仮説の複雑さによっては困難になることがあります。^[4]周辺尤度の閉形式の表現は一般に利用できないため、MCMCサンプルに基づく数値近似が提案されています。^[5]特定の特殊なケースでは、簡略化された代数式を導くことができます。たとえば、制限のない対立仮説に対する正確な（等式制約付き）仮説の場合の Savage–Dickey 密度比です。^{[6] [7]}統合尤度にラプラス近似を適用して導かれる別の近似は、ベイズ情報量基準（BIC）として知られています。^[8]大規模なデータセットでは、事前確率の影響が弱まるにつれて、ベイズ係数はBICに近づきます。小規模なデータセットでは、事前確率が一般に重要であり、比率の2つの積分のいずれかが有限でない場合、ベイズ係数は未定義になるため 、不適切であってはなりません。

ベイズ係数は2つの周辺尤度の比、つまり2つの統計モデルの尤度をそのパラメータの事前確率で積分したものである。^[9]

データDが与えられたモデルMの事後確率は ベイズの定理によって与えられる。 ${\displaystyle \Pr(M|D)}$

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

重要なデータ依存項は、モデルMの仮定の下でいくつかのデータが生成される確率を表します。これを正しく評価することがベイズモデルの比較の鍵となります。 ${\displaystyle \Pr(D|M)}$

観測データDに基づいて 2 つのモデルのいずれかを選択するモデル選択問題が与えられた場合、モデルパラメータベクトルとによってパラメータ化された2つの異なるモデルM ₁とM ₂の妥当性は、次式で与えられる ベイズ係数Kによって評価されます。${\displaystyle \theta _{1}}$${\displaystyle \theta _{2}}$

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}$

2 つのモデルの事前確率が等しく、つまり の場合、ベイズ係数はM ₁とM ₂の事後確率の比に等しくなります。ベイズ係数の積分値の代わりに、各統計モデルのパラメータの最大尤度推定値に対応する尤度を使用すると、検定は古典的な尤度比検定になります。尤度比検定とは異なり、このベイズモデルの比較は、各モデルのすべてのパラメータ（それぞれの事前確率に関して）を積分するため、単一のパラメータセットに依存しません。ベイズ係数を使用する利点は、モデル構造を過剰に含めた場合のペナルティが自動的に、そして非常に自然に発生することです。^{[10]これにより、}過剰適合を防止できます。尤度の明示的なバージョンが利用できないモデルや数値的に評価するにはコストがかかりすぎるモデルの場合、ベイズフレームワークでのモデル選択に近似ベイズ計算を使用できます^[11] 。ただし、ベイズ 係数の近似ベイズ推定値はバイアスがかかることが多いという注意点があります。^[12]${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$

他のアプローチは次のとおりです。

• モデル比較を意思決定問題として扱い、各モデル選択の期待値またはコストを計算する。
• 最小メッセージ長(MML)を使用します。
• 最小記述長(MDL)を使用します。

K > 1の値は、 M _{1 が}M ₂よりも検討中のデータによって強く支持されていることを意味します。古典的な仮説検定では、1つの仮説（またはモデル）に優先ステータス（「帰無仮説」）が与えられ、それに反する証拠のみが考慮されることに注意してください。ベイズ係数が帰無仮説に反するだけでなく、それを支持する証拠も生成できるという事実は、この分析方法の主な利点の1つです。^[13]

ハロルド・ジェフリーズは、以下の解釈のための尺度（ジェフリーズの尺度）を提示した。^[14]${\displaystyle K}$

2 列目には、対応する証拠の重みがデシハートリー(デシバンとも呼ばれる) 単位で示されています。3列目には、わかりやすくするためにビットが追加されています。表は反対方向にも続きます。たとえば、 はの決定的な証拠です。 ${\displaystyle K\leq 10^{-2}}$${\displaystyle M_{2}}$

広く引用されている別の表は、KassとRaftery（1995）によって提供されています：^[10]

IJグッドによれば、仮説に対する信念の変化の度合いに関して言えば、日常生活における人間の知覚可能な差異は、約1.3倍、つまり1デシバン、つまり1/3ビット、またはオッズ比で1：1から5：4である。^[15]

成功か失敗かのいずれかを生成するランダム変数があるとします。成功の確率がq = 1 ⁄ 2であるモデルM ₁と、qが未知で[0,1] に均一なqの事前分布をとる別のモデルM _{2を比較します。200 のサンプルを取り、115 件の成功と 85 件の失敗が見つかりました。尤度は}二項分布に従って計算できます。

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

したがって、 M ₁については

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006}$

一方 、 M ₂の場合は

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005}$

すると比率は 1.2 となり、これはM ₁に非常にわずかに近づいているとしても「ほとんど言及する価値がない」ことになります。

M ₁の頻度主義 仮説検定(ここでは帰無仮説として考えます) では_、まったく異なる結果が生まれます。このような検定では、q = 1 ⁄ 2 の場合に 200 のサンプルから 115 以上の成功を得る確率は 0.02 であり、両側検定では 115 と同等かそれ以上の極端な数値を得る確率は0.04であるため、 M 1は 5% の有意水準で棄却されるべきであるとされています。115 は 100 から 2 標準偏差以上離れていることに注意してください。したがって、頻度主義仮説検定では 5% の有意水準で有意な結果が得られますが、ベイズ係数ではこれを極端な結果とはほとんど見なされません。ただし、非一様事前分布 (たとえば、成功数と失敗数が同じ桁になると予想されることを反映する事前分布) では、ベイズ係数が頻度主義仮説検定とより一致する可能性があることに注意してください。

古典的な尤度比検定では、qの最大尤度推定値、 すなわち が求められる。${\displaystyle {\hat {q}}={\frac {115}{200}}=0.575}$

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0.06}$

（すべての可能なq を平均するのではなく）。これにより尤度比は 0.1 となり、M ₂が示唆されます。

M _2はM ₁よりも複雑なモデルです。これは、M 2が自由パラメータを持ち、より正確にデータをモデル化できるためです。ベイズ係数がこれを考慮に入れることができるため、ベイズ推論はオッカムの剃刀の理論的正当化と一般化として提唱され、タイプIエラーを削減しています。^[16]

一方、相対尤度の現代的な方法では、古典的な尤度比とは異なり、モデル内の自由パラメータの数を考慮に入れます。相対尤度法は次のように適用できます。モデルM ₁には0 個のパラメータがあるため、赤池情報量基準(AIC) 値は です。モデルM ₂には 1 個のパラメータがあるため、AIC 値は です。したがって、情報損失を最小限に抑えるには、 M _{1 が}M _{2 の}約倍の確率になります。したがって、 M ₂がわずかに優先されますが、M ₁を除外することはできません。 ${\displaystyle 2\cdot 0-2\cdot \ln(0.005956)\approx 10.2467}$${\displaystyle 2\cdot 1-2\cdot \ln(0.056991)\approx 7.7297}$${\displaystyle \exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284}$

• 赤池情報量基準
• 近似ベイズ計算
• ベイズ情報量基準
• 逸脱情報基準
• リンドリーのパラドックス
• 最小メッセージ長
• モデルの選択
• Eバリュー

統計的比率

• オッズ比
• 相対リスク

• ベルナルド、J.; スミス、AFM (1994)。ベイズ理論。ジョン・ワイリー。ISBN 0-471-92416-4。
• Denison, DGT; Holmes, CC ; Mallick, BK; Smith, AFM (2002)。非線形分類および回帰のためのベイズ法。John Wiley。ISBN 0-471-49036-9。
• Dienes, Z. (2019). 自分の理論が何を予測しているかをどうやって知るか?心理科学における方法と実践の進歩 doi :10.1177/2515245919876960
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000) 「セクション 9.6.5」パターン分類(第 2 版) Wiley。pp. 487–489。ISBN 0-471-05669-3。
• ゲルマン、A.; カーリン、J.; スターン、H .;ルービン、D. (1995)。ベイジアンデータ分析。ロンドン：チャップマン＆ホール。ISBN 0-412-03991-5。
• Jaynes, ET (1994)、「確率論：科学の論理」、第24章。
• Kadane, Joseph B.; Dickey, James M. (1980)。「ベイズ決定理論とモデルの単純化」。Kmenta, Jan; Ramsey, James B. (編)。計量経済モデルの評価。ニューヨーク: Academic Press。pp. 245–268。ISBN 0-12-416550-8。
• Lee, PM (2012).ベイズ統計学入門. Wiley. ISBN 9781118332573。
• リチャード、マーク; ヴェーサー、ヤン (2021)。「予測市場の効率性テスト：マルチンゲールアプローチ、尤度比、ベイズ因子分析」。リスク。9 ( 2 ): 31。doi : 10.3390/risks9020031。hdl : 10419/258120。
• ウィンクラー、ロバート (2003)。ベイズ推論と意思決定入門(第 2 版)。確率論。ISBN 0-9647938-4-9。

• BayesFactor —一般的な研究デザインにおけるベイズ係数を計算するための R パッケージ
• ベイズ係数計算機 — 情報に基づいたベイズ係数のオンライン計算機
• ベイズ係数計算機 2015-05-07 にWayback Machineでアーカイブ— BayesFactor パッケージの大部分の Web ベース バージョン