g-prior

統計学において、g-priorは重回帰の回帰係数に対する客観的な事前分布です。これはアーノルド・ゼルナーによって導入されました。^{[ 1 ]}これはベイズおよび経験ベイズの変数選択 における重要なツールです。^{[ 2 ] [ 3 ]}

データセットを考えてみましょう${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$、${\displaystyle x_{i}}$はユークリッドベクトルであり、$\displaystyle y_{i}}$これらはスカラーです。重回帰モデルは次のように定式化されます。

$\displaystyle y_{i}=x_{i}^{\top }\beta +\varepsilon _{i}.}$

どこで${\displaystyle \varepsilon _{i}}$はランダム誤差です。ゼルナーのg事前分布は${\displaystyle \beta }$は、共分散行列が逆フィッシャー情報行列に比例する多変量正規分布である。${\displaystyle \beta }$ジェフリーズ事前分布に似ている。

と仮定する${\displaystyle \varepsilon _{i}}$平均ゼロ、分散の独立同分布正規分布ですか？$\displaystyle \psi ^{-1}}$。 させて${\displaystyle X}$行列を${\displaystyle i}$番目の行は${\displaystyle x_{i}^{\top }}$。次に、g-prior は${\displaystyle \beta }$事前平均を持つ多変量正規分布はハイパーパラメータですか？$\displaystyle \beta _{0}}$共分散行列は$\displaystyle \psi ^{-1}(X^{\top }X)^{-1}}$つまり、

${\displaystyle \beta |\psi \sim {\text{N}}[\beta _{0},g\psi ^{-1}(X^{\top }X)^{-1}].}$

ここで、gは正のスカラーパラメータである。

事後分布${\displaystyle \beta }$次のように与えられます

${\displaystyle \beta |\psi ,x,y\sim {\text{N}}{\Big [}q{\hat {\beta }}+(1-q)\beta _{0},{\frac {q}{\psi }}(X^{\top }X)^{-1}{\Big ]}.}$

どこ${\displaystyle q=g/(1+g)}$そして

${\displaystyle {\hat {\beta }}=(X^{\top }X)^{-1}X^{\top }y.}$

は、 の最尤推定量（最小二乗法）である。${\displaystyle \beta }$回帰係数のベクトル${\displaystyle \beta }$g事前分布の下での事後平均によって推定することができ、すなわち、最尤推定量と${\displaystyle \beta _{0}}$、

${\displaystyle {\tilde {\beta }}=q{\hat {\beta }}+(1-q)\beta _{0}.}$

明らかに、g →∞ のとき、事後平均は最尤推定量に収束する。

g の推定は、${\displaystyle \beta }$ベイズ推定法や経験ベイズ推定法など、さまざまな方法が提案されている。^{[ 3 ]}

• Datta, Jyotishka; Ghosh, Jayanta K. (2015). 「モデル選択と推定のための最適な目的事前分布の探索」。Upadhyay, Satyanshu Kumar 他編『応用 を伴うベイズ法の最新動向』CRC Press、pp. 225–243。ISBN  978-1-4822-3511-1。
• Marin, Jean-Michel; Robert, Christian P. (2007). 「回帰と変数選択」. Bayesian Core  : A Practical Approach to Computational Bayesian Statistics . New York: Springer. pp. 47–84 . doi : 10.1007/978-0-387-38983-7_3 . ISBN  978-0-387-38979-0。