ベイズ情報量規準

統計学において、ベイズ情報量規準（BIC）またはシュワルツ情報量規準（SIC、SBC、SBICとも呼ばれる）は、有限個のモデルの中からモデルを選択するための基準であり、一般的にBIC値が低いモデルが好まれる。これは尤度関数に基づいており、赤池情報量規準（AIC）と密接に関連している。

モデルを適合させる際、パラメータを追加することで最大尤度を上げることは可能ですが、そうすると過学習につながる可能性があります。BICとAICはどちらも、モデルのパラメータ数に対するペナルティ項を導入することでこの問題を解決しようとします。サンプルサイズが7より大きい場合、ペナルティ項はAICよりもBICの方が大きくなります。^{[ 1 ]}

BICはGideon E. Schwarzによって開発され、1978年の論文^{[ 2 ]}でベイズ因子の大標本近似として発表されました。

BICは正式には^{[ 3 ] [ a ]と定義される。}

${\displaystyle \mathrm {BIC} =k\ln(n)-2\ln({\widehat {L}}).\ }$

どこ

• ${\displaystyle {\hat {L}}}$=モデルの尤度関数の最大値${\displaystyle M}$つまり${\displaystyle {\hat {L}}=p(x\mid {\widehat {\theta }},M)}$、 どこ${\displaystyle \{{\widehat {\theta }}\}}$尤度関数を最大化するパラメータ値であり、${\displaystyle x}$は観測データです。
• ${\displaystyle n}$= データポイントの数${\displaystyle x}$、観測数、または同等に、サンプルサイズ。
• ${\displaystyle k}$= モデルによって推定されるパラメータの数。たとえば、重回帰分析では、推定されるパラメータは切片、${\displaystyle q}$傾斜パラメータ、および誤差の一定の分散。したがって、${\displaystyle k=q+2}$。

BICは、以下のモデル証拠から始めて、ラプラス法を用いてモデルのパラメータを積分消去することによって導出できます。 ^{[ 5 ] [ 6 ]： 217}

${\displaystyle p(x\mid M)=\int p(x\mid \theta ,M)\pi (\theta \mid M)\,d\theta }$

どこ${\displaystyle \pi (\theta \mid M)}$以前の${\displaystyle \theta }$モデルの下で${\displaystyle M}$。

対数尤度、${\displaystyle \ln(p(x\mid \theta ,M))}$は、 MLEに関する2次テイラー級数に展開される。${\displaystyle {\ワイドハット {\シータ }}}$次のように2回微分可能であると仮定します。

${\displaystyle \ln(p(x\mid \theta ,M))=\ln({\widehat {L}})-{\frac {n}{2}}(\theta -{\widehat {\theta }})^{\operatorname {T} }{\mathcal {I}}({\widehat {\theta }})(\theta -{\widehat {\theta }})+R(x,\theta ),}$

どこ${\displaystyle {\mathcal {I}}(\theta )}$は観測ごとの平均観測情報であり、${\displaystyle R(x,\theta )}$は残余項を表します。${\displaystyle R(x,\theta )}$無視できるほど小さく、${\displaystyle \pi (\theta \mid M)}$は比較的直線的である${\displaystyle {\ワイドハット {\シータ }}}$統合することができます${\displaystyle \theta }$以下のものを取得するには：

${\displaystyle p(x\mid M)\approx {\hat {L}}{\left({\frac {2\pi }{n}}\right)}^{\frac {k}{2}}|{\mathcal {I}}({\widehat {\theta }})|^{-{\frac {1}{2}}}\pi ({\widehat {\theta }})}$

として${\displaystyle n}$増加は無視できる${\displaystyle |{\mathcal {I}}({\widehat {\theta }})|}$そして$\displaystyle \pi (\widehat {\theta }})$それらは${\displaystyle O(1)}$。 したがって、

${\displaystyle p(x\mid M)=\exp \left(\ln {\widehat {L}}-{\frac {k}{2}}\ln(n)+O(1)\right)=\exp \left(-{\frac {\mathrm {BIC} }{2}}+O(1)\right),}$

ここで、BICは上記のように定義され、${\displaystyle {\ワイドハット {L}}}$（a）はベイズ事後モード、または（b）は最尤推定値と事前分布を使用する。${\displaystyle \pi (\theta \mid M)}$MLEでは非ゼロの傾きを持つ。すると事後確率は

${\displaystyle p(M\mid x)\propto p(x\mid M)p(M)\approx \exp \left(-{\frac {\mathrm {BIC} }{2}}\right)p(M)}$

The above arguments are heuristic, but can be made mathematically rigorous under the technical assumptions of Lipschitz continuity and strong convexity, as follows.

Lemma. (Lemma 2.82 ^[7]) Define ${\displaystyle \ell _{n}(\theta )=-\ln(p(x\mid \theta ,M)\pi (\theta \mid M))/n}$. If the sequence of gradients ${\displaystyle \{\nabla \ell _{n}(\theta )\}}$ is Lipschitz continuous, uniformly in ${\displaystyle n}$, and every ${\displaystyle \ell _{n}(\theta )}$ is strongly convex with a common parameter ${\displaystyle m>0}$ (independent of ${\displaystyle n}$), then as ${\displaystyle n\rightarrow \infty }$: $${\displaystyle \ln p(x\mid M)=\ln(p(x\mid {\bar {\theta }}_{n},M)\pi ({\bar {\theta }}_{n}\mid M))-{\frac {k}{2}}\ln(n)+O(1),}$$ where ${\displaystyle {\bar {\theta }}_{n}=\arg \min _{\theta }\ell _{n}(\theta )}$ is the maximum a posteriori (MAP) estimate of ${\displaystyle \theta }$.

Note that it is always possible to select a prior density ${\displaystyle \pi (\theta \mid M)}$ such that every ${\displaystyle \ell _{n}(\theta )}$ is strongly convex (with the same parameter ${\displaystyle m}$). Such a prior ensures that the MAP estimate ${\displaystyle {\bar {\theta }}_{n}}$ exists, even in cases where the MLE estimate ${\displaystyle {\hat {\theta }}}$ itself does not exist.

When picking from several models, ones with lower BIC values are generally preferred. The BIC is an increasing function of the error variance ${\displaystyle \sigma _{e}^{2}}$ and an increasing function of k. That is, unexplained variation in the dependent variable and the number of explanatory variables increase the value of BIC. However, a lower BIC does not necessarily indicate one model is better than another. Because it involves approximations, the BIC is merely a heuristic. In particular, differences in BIC should never be treated like transformed Bayes factors.

It is important to keep in mind that the BIC can be used to compare estimated models only when the numerical values of the dependent variable^[b] are identical for all models being compared. The models being compared need not be nested, unlike the case when models are being compared using an F-test or a likelihood ratio test.

To compare two different models, simply compute the BIC for each model and compare according to the table below:

The BIC suffers from two main limitations:^[8]

1. the above approximation is only valid for sample size ${\displaystyle n}$ much larger than the number ${\displaystyle k}$ of parameters in the model.
2. the BIC cannot handle complex collections of models as in the variable selection (or feature selection) problem in high-dimension.^[8]

モデルの誤差または擾乱が独立かつ正規分布に従って同一分布であるという仮定と、真の分散に関する対数尤度の導関数がゼロであるという境界条件の下では、これは（ nのみに依存しモデルには依存しない加法定数を除いて）次のようになります。^{[ 9 ]}

${\displaystyle \mathrm {BIC} =n\ln({\widehat {\sigma _{e}^{2}}})+k\ln(n)\ }$

どこ${\displaystyle {\widehat {\sigma _{e}^{2}}}}$は誤差分散です。この場合の誤差分散は次のように定義されます。

${\displaystyle {\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\widehat {x}}_{i})^{2}.}$

これは真の分散に対する偏りのある推定値である。

残差平方和（RSS）の観点から見ると、BICは

${\displaystyle \mathrm {BIC} =n\ln({\text{RSS}}/n)+k\ln(n)\ }$

飽和モデルに対して複数の線形モデルをテストする場合、BICは逸脱度の観点から書き直すことができる。 ${\displaystyle \chi ^{2}}$[ ^{10 ]​}

${\displaystyle \mathrm {BIC} =\chi ^{2}+k\ln(n)}$

どこ${\displaystyle k}$これは、テストにおけるモデルパラメータの数です。

• Bhat, HS; Kumar, N (2010). 「ベイズ情報量規準の導出について」(PDF)。 2012年3月28日にオリジナル(PDF)からアーカイブされました。
• Findley, DF (1991). 「パーシモニーとBICに対する反例」. Annals of the Institute of Statistical Mathematics . 43 (3): 505–514 . doi : 10.1007/BF00053369 . S2CID 58910242 . 
• Kass, RE; Wasserman, L. (1995). 「入れ子になった仮説に対する参照ベイズ検定とシュワルツ基準との関係」。Journal of the American Statistical Association . 90 (431): 928–934 . doi : 10.2307/2291327 . JSTOR 2291327 . 
• Liddle, AR (2007). 「天体物理モデル選択のための情報基準」 . Monthly Notices of the Royal Astronomical Society . 377 (1): L74– L78. arXiv : astro-ph/0701113 . Bibcode : 2007MNRAS.377L..74L . doi : 10.1111/j.1745-3933.2007.00306.x . S2CID 2884450 . 
• McQuarrie, ADR; Tsai, C.-L. (1998).回帰と時系列モデルの選択. World Scientific .

• スパースベクトル自己回帰モデリング