ベイズ情報量基準

統計学において、ベイズ情報量基準( BIC ) またはシュワルツ情報量基準( SIC、SBC、SBICとも呼ばれる) は、有限のモデル集合の中からモデルを選択するための基準です。一般的に、BIC が低いモデルが好まれます。これは、尤度関数に一部基づいており、赤池情報量基準(AIC)と密接に関連しています。

モデルをフィッティングする際に、パラメータを追加することで最大尤度を上げることは可能ですが、そうすると過剰適合が発生する可能性があります。BICとAICはどちらも、モデル内のパラメータの数に対するペナルティ項を導入することでこの問題を解決しようとします。サンプルサイズが7を超える場合、ペナルティ項はBICの方がAICよりも大きくなります。^[1]

BICはギデオン・E・シュワルツによって開発され、ベイズ係数の大規模サンプル近似として1978年の論文^[2]で発表されました。

BICは正式には次のように定義される^{[3] [a]}

${\displaystyle \mathrm {BIC} =k\ln(n)-2\ln({\widehat {L}}).\ }$

どこ

• ${\displaystyle {\hat {L}}}$=モデルの尤度関数の最大値、つまり、ここで は尤度関数を最大化するパラメータ値であり、 は観測データです。${\displaystyle M}$${\displaystyle {\hat {L}}=p(x\mid {\widehat {\theta }},M)}$${\displaystyle {\ワイドハット {\シータ }}}$${\displaystyle x}$
• ${\displaystyle n}$= のデータポイントの数、観測値の数、または同等のサンプルサイズ。${\displaystyle x}$
• ${\displaystyle k}$= モデルによって推定されるパラメータの数。たとえば、多重線形回帰では、推定されるパラメータは切片、傾きパラメータ、および誤差の定数分散です。つまり、 となります。${\displaystyle q}$${\displaystyle k=q+2}$

BICは、以下のモデル証拠から始めて、ラプラス法を使用してモデルのパラメータを積分することによって導くことができる：^{[5] [6] ：217}

${\displaystyle p(x\mid M)=\int p(x\mid \theta ,M)\pi (\theta \mid M)\,d\theta }$

ここで、 はモデルの事前分布です。 ${\displaystyle \pi (\theta \mid M)}$${\displaystyle \theta }$${\displaystyle M}$

対数尤度 は、次のように2回微分可能であると仮定して、 MLEに関する2次テイラー級数に展開されます。${\displaystyle \ln(p(x|\theta ,M))}$${\displaystyle {\widehat {\theta }}}$

${\displaystyle \ln(p(x\mid \theta ,M))=\ln({\widehat {L}})-{\frac {n}{2}}(\theta -{\widehat {\theta }})^{\operatorname {T} }{\mathcal {I}}(\theta )(\theta -{\widehat {\theta }})+R(x,\theta ),}$

ここで、 は観測値 あたりの平均観測情報であり、 は残差項を表します。が無視でき、の近くで比較的線形である限り、 を積分して次の式を得ることができます。 ${\displaystyle {\mathcal {I}}(\theta )}$${\displaystyle R(x,\theta )}$${\displaystyle R(x,\theta )}$${\displaystyle \pi (\theta \mid M)}$${\displaystyle {\widehat {\theta }}}$${\displaystyle \theta }$

${\displaystyle p(x\mid M)\approx {\hat {L}}{\left({\frac {2\pi }{n}}\right)}^{\frac {k}{2}}|{\mathcal {I}}({\widehat {\theta }})|^{-{\frac {1}{2}}}\pi ({\widehat {\theta }})}$

が増加するにつれて、とは無視できます。したがって、 ${\displaystyle n}$${\displaystyle |{\mathcal {I}}({\widehat {\theta }})|}$${\displaystyle \pi ({\widehat {\theta }})}$${\displaystyle O(1)}$

${\displaystyle p(x\mid M)=\exp \left(\ln {\widehat {L}}-{\frac {k}{2}}\ln(n)+O(1)\right)=\exp \left(-{\frac {\mathrm {BIC} }{2}}+O(1)\right),}$

ここで、BICは上記のように定義され、(a)はベイジアン事後モードであるか、(b)はMLEを使用し、事前分布はMLEで非ゼロの傾きを持つ。 ${\displaystyle {\widehat {L}}}$${\displaystyle \pi (\theta \mid M)}$

${\displaystyle p(M\mid x)\propto p(x\mid M)p(M)\approx \exp \left(-{\frac {\mathrm {BIC} }{2}}\right)p(M)}$

複数のモデルから選択する場合、一般的には BIC 値が低いモデルが好まれます。BIC は、誤差分散の増加関数であり、 kの増加関数です。つまり、従属変数および説明変数の数における説明できない変動により、BIC の値は増加します。ただし、BIC が低いからといって、必ずしも 1 つのモデルが他のモデルよりも優れているというわけではありません。近似値が含まれるため、BIC は単なるヒューリスティックです。特に、BIC の差は、変換されたベイズ係数のように扱われるべきではありません。 ${\displaystyle \sigma _{e}^{2}}$

^{BICは、従属変数[b]}の数値が比較対象のすべてのモデルで同一である場合にのみ、推定モデルの比較に使用できることに留意することが重要です。F検定や尤度比検定を使用してモデルを比較する場合とは異なり、比較対象のモデルはネストされている必要はありません。^[要出典]

• BIC は一般に、赤池情報量基準よりも自由パラメータに対してより強いペナルティを課しますが、 nのサイズとnと kの相対的な大きさに依存します。
• それは以前のものとは独立しています。
• データの予測という観点から、パラメータ化されたモデルの効率を測定できます。
• モデルの複雑さにペナルティを課します。複雑さはモデル内のパラメータの数を指します。
• これは、最小記述長基準とほぼ等しくなりますが、負の符号が付きます。
• 特定のデータセットに存在する固有の複雑さに応じてクラスターの数を選択するために使用できます。
• これは、逸脱情報量基準や赤池情報量基準などの他の罰則付き尤度基準と密接に関連しています。

BICには2つの主な限界がある^[7]

1. 上記の近似は、モデル内のパラメータの数よりもはるかに大きいサンプル サイズの場合にのみ有効です。${\displaystyle n}$${\displaystyle k}$
2. BICは高次元の変数選択（または特徴選択）問題のような複雑なモデルの集合を扱うことができない。 ^[7]

モデルの誤差や外乱が独立しており、正規分布に従って同一に分布しているという仮定と、真の分散に関する対数尤度の微分がゼロであるという境界条件の下では、これは次のようになる（加法定数まで、これはnのみに依存し、モデルには依存しない）：^[8]

${\displaystyle \mathrm {BIC} =n\ln({\widehat {\sigma _{e}^{2}}})+k\ln(n)\ }$

ここで、誤差分散である。この場合の誤差分散は次のように定義される。 ${\displaystyle {\widehat {\sigma _{e}^{2}}}}$

${\displaystyle {\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\widehat {x_{i}}})^{2}.}$

これは真の分散に対する偏った推定値です。

残差平方和（RSS）の観点から見ると、 BICは

${\displaystyle \mathrm {BIC} =n\ln(RSS/n)+k\ln(n)\ }$

複数の線形モデルを飽和モデルに対してテストする場合、BICは 逸脱 の観点から次のように書き直すことができる。^[9]${\displaystyle \chi ^{2}}$

${\displaystyle \mathrm {BIC} =\chi ^{2}+k\ln(n)}$

ここで、テスト内のモデルパラメータの数です。 ${\displaystyle k}$

• Bhat, HS; Kumar, N (2010). 「ベイズ情報量基準の導出について」(PDF)。2012年3月28日時点のオリジナル(PDF)からアーカイブ。
• Findley, DF (1991). 「簡約法と BIC に対する反例」.統計数学研究所紀要. 43 (3): 505–514. doi :10.1007/BF00053369. S2CID  58910242.
• Kass, RE; Wasserman, L. (1995). 「ネストされた仮説に対する参照ベイズ検定とシュワルツ基準との関係」アメリカ統計学会誌. 90 (431): 928–934. doi :10.2307/2291327. JSTOR  2291327.
• Liddle, AR (2007). 「天体物理学的モデル選択のための情報基準」.王立天文学会月報. 377 (1): L74–L78. arXiv : astro-ph/0701113 . Bibcode :2007MNRAS.377L..74L. doi : 10.1111/j.1745-3933.2007.00306.x . S2CID  2884450.
• McQuarrie, ADR; Tsai, C.-L. (1998).回帰と時系列モデルの選択. World Scientific .

• スパースベクトル自己回帰モデリング