逸脱情報基準

逸脱情報基準( DIC )は、赤池情報基準(AIC)の階層的モデリング一般化です。これは、モデルの事後分布がマルコフ連鎖モンテカルロ(MCMC) シミュレーションによって取得されているベイズモデル選択問題で特に役立ちます。DIC は、 AIC と同様に、サンプル サイズが大きくなるにつれて漸近近似になります。事後分布が多変量正規分布に近い場合にのみ有効です。

逸脱度を と定義します。ここで、はデータ、はモデルの未知のパラメータ、は尤度関数です。は、異なるモデルを比較するすべての計算で相殺される定数であるため、既知である必要はありません。 ${\displaystyle D(\theta )=-2\log(p(y|\theta ))+C\,}$${\displaystyle y}$${\displaystyle \theta}$${\displaystyle p(y|\theta )}$${\displaystyle C}$

モデルの有効なパラメータ数を計算する一般的な方法は 2 つあります。1 つ目は、Spiegelhalter ら (2002、p. 587) で説明されているように、で、は の期待値です。2 つ目は、Gelman ら (2004、p. 182) で説明されているように、 です。有効なパラメータ数が多いほど、モデルがデータに適合しやすくなるため、逸脱にペナルティを課す必要があります。 ${\displaystyle p_{D}={\overline {D(\theta )}}-D({\bar {\theta }})}$${\displaystyle {\bar {\theta }}}$${\displaystyle \theta}$${\displaystyle p_{D}=p_{V}={\frac {1}{2}}{\overline {\operatorname {var} \left(D(\theta )\right)}}}$

逸脱情報基準は次のように計算される。

${\displaystyle \mathrm {DIC} =p_{D}+{\overline {D(\theta )}},}$

または同等に

${\displaystyle \mathrm {DIC} =D({\bar {\theta }})+2p_{D}.}$

この後者の形式から、AIC との関連がより明らかになります。

この考え方は、DIC が小さいモデルが、DIC が大きいモデルよりも優先されるべきであるというものです。モデルは、適合度を高める の値だけでなく、(AIC と同様に) 有効なパラメータ数 によってもペナルティを受けます。モデル内のパラメータ数が増加すると が減少するため、この項は、パラメータ数が少ないモデルを優先することでこの効果を補います。 ${\displaystyle {\bar {D}}}$${\displaystyle p_{D}}$${\displaystyle {\bar {D}}}$${\displaystyle p_{D}}$

ベイズモデル選択の場合、DIC が他の基準よりも優れている点は、マルコフ連鎖モンテカルロシミュレーションによって生成されたサンプルから簡単に計算できることです。AIC では、 における最大尤度を計算する必要がありますが、これは MCMC シミュレーションからは容易には得られません。しかし、DIC を計算するには、のサンプルにおけるの平均として、のサンプルの平均で評価されたの値として計算するだけです。すると、DIC はこれらの近似から直接導かれます。Claeskens と Hjort (2008、Ch. 3.5) は、DIC がAIC の自​​然なモデル堅牢バージョンと同等の 大規模サンプルであることを示しています。${\displaystyle \theta}$${\displaystyle {\bar {D}}}$${\displaystyle D(\theta )}$${\displaystyle \theta}$${\displaystyle D({\bar {\theta }})}$${\displaystyle D}$${\displaystyle \theta}$

DIC の導出では、将来の観測値を生成する確率分布の指定されたパラメトリック ファミリが真のモデルを包含すると仮定されます。この仮定は常に成り立つとは限らないため、そのシナリオではモデル評価手順を考慮することが望ましいです。

また、観測データは事後分布の構築と推定モデルの評価の両方に使用されます。そのため、DIC は過剰適合モデルを選択する傾向があります。

上記の問題の解決策は、ベイズ予測情報基準（BPIC）の提案によって安藤（2007）によって示唆された。安藤（2010、第8章）は、さまざまなベイズモデル選択基準について議論した。DICの過剰適合の問題を回避するために、安藤（2011）は予測の観点からベイズモデル選択基準を開発した。この基準は次のように計算される。

${\displaystyle {\mathit {IC}}={\bar {D}}+2p_{D}=-2\mathbf {E} ^{\theta }[\log(p(y|\theta ))]+ 2p_{D}。}$

最初の項はモデルがデータにどれだけ適合しているかの尺度であり、2 番目の項はモデルの複雑さに対するペナルティです。この式のp は上記の尤度ではなく予測分布であることに注意してください。

• 赤池情報量基準(AIC)
• ベイズ情報量基準(BIC)
• 焦点情報基準(FIC)
• ハンナン・クイン情報量基準
• カルバック・ライブラー距離
• ジェンセン・シャノン距離
• 渡辺・赤池情報量基準(WAIC)

• McElreath, Richard (2015年1月29日). 「統計的再考講義8（DICとその他の情報基準について）」。2021年12月21日時点のオリジナルよりアーカイブ – YouTube経由。