統合ネストラプラス近似

統合ネストラプラス近似法（INLA ）は、ラプラス法に基づく近似ベイズ推論法である。^[1]これは潜在ガウスモデル（LGM）と呼ばれるモデルのクラス用に設計されており、事後周辺分布を計算するためのマルコフ連鎖モンテカルロ法の高速で正確な代替手段となり得る。^{[2] [3] [4]}特定の問題やモデルでは大規模なデータセットでも比較的高速であるため、INLAは応用統計、特に空間統計、生態学、疫学で人気の推論法となっている。^{[5] [6] [7]また、INLAを}確率偏微分方程式の有限要素法解と組み合わせて、空間点過程や種の分布モデルなどを研究することもできる。^{[8] [9] INLA法はR-INLA} Rパッケージに実装されている。^[10]

応答変数（つまり、観測値）を指数族に属し、平均（ ）が適切なリンク関数を介して線形予測子にリンクされているものとします。線形予測子は、（ベイズ）加法モデルの形をとることができます。すべての潜在効果（線形予測子、切片、可能な共変量の係数など）は、ベクトル によってまとめて表されます。モデルのハイパーパラメータは によって表されます。ベイズ統計によると、および は事前分布を持つランダム変数です。 ${\displaystyle {\boldsymbol {y}}=(y_{1},\dots ,y_{n})}$${\displaystyle \mu_{i}}$${\displaystyle y_{i}}$ ${\displaystyle \eta_{i}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$

観測値は、および が与えられた場合、条件付きで独立していると仮定されます。ここ で、は の観測された要素のインデックスのセットです(一部の要素は観測されない可能性があり、これらの要素については INLA が事後予測分布を計算します)。線形予測子はの一部であることに注意してください。 ${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$$${\displaystyle \pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }})=\prod _{i\in {\mathcal {I}}}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }}),}$$${\displaystyle {\mathcal {I}}}$${\displaystyle {\boldsymbol {y}}}$${\displaystyle {\boldsymbol {\eta }}}$${\displaystyle {\boldsymbol {x}}}$

モデルが潜在的ガウスモデルであるためには、 が確率密度を持つガウスマルコフランダムフィールド (GMRF) ^[1] (つまり、追加の条件付き独立性特性を持つ多変量ガウス) で あると仮定されます。 ここで、は- 依存のスパース精度行列であり、 はその行列式です。精度行列は、GMRF 仮定によりスパースです。ハイパーパラメータの事前分布はガウスである必要はありません。ただし、ハイパーパラメータの数は小さい (つまり、15 未満) と仮定されます。 ${\displaystyle {\boldsymbol {x}}|{\boldsymbol {\theta }}}$$${\displaystyle \pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\propto \left|{\boldsymbol {Q_{\theta }}}\right|^{1/2}\exp \left(-{\frac {1}{2}}{\boldsymbol {x}}^{T}{\boldsymbol {Q_{\theta }}}{\boldsymbol {x}}\right),}$$${\displaystyle {\boldsymbol {Q_{\theta}}}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle \left|{\boldsymbol {Q_{\theta }}}\right|}$${\displaystyle \pi ({\boldsymbol {\theta }})}$${\displaystyle m=\mathrm {dim} ({\boldsymbol {\theta }})}$

ベイズ推論では、潜在変数およびの事後分布を解きます。ベイズの定理を適用すると、および の結合事後分布は次のように与えられます。 正確な事後分布を得ることは、一般に非常に難しい問題です。INLA では、 の 場合の事後周辺分布を近似することが主な目的です。 ${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$ $${\displaystyle \pi ({\boldsymbol {x}},{\boldsymbol {\theta }}|{\boldsymbol {y}})={\frac {\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\pi ({\boldsymbol {\theta }})}{\pi ({\boldsymbol {y}})}},}$$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$$${\displaystyle {\begin{aligned}\pi ({\boldsymbol {x}},{\boldsymbol {\theta }}|{\boldsymbol {y}})&\propto \pi ({\boldsymbol {\theta }})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\prod _{i}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }})\\&\propto \pi ({\boldsymbol {\theta }})\left|{\boldsymbol {Q_{\theta }}}\right|^{1/2}\exp \left(-{\frac {1}{2}}{\boldsymbol {x}}^{T}{\boldsymbol {Q_{\theta }}}{\boldsymbol {x}}+\sum _{i}\log \left[\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }})\right]\right).\end{aligned}}}$$$${\displaystyle {\begin{array}{rcl}\pi (x_{i}|{\boldsymbol {y}})&=&\int \pi (x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}})\pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}\\\pi (\theta _{j}|{\boldsymbol {y}})&=&\int \pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}}$$${\displaystyle {\boldsymbol {\theta }}_{-j}=\left(\theta _{1},\dots ,\theta _{j-1},\theta _{j+1},\dots ,\theta _{m}\right)}$

INLA の重要なアイデアは、 によって与えられるネストされた近似値を構築することです 。 ここで、は近似事後密度です。周辺密度への近似値は、まずと を近似し、次に を数値積分して としてネストされた形式で得られます。ここで、和は の値にわたっており、積分重みは によって与えられます。 の 近似値は、から を数値積分して計算されます。 $${\displaystyle {\begin{array}{rcl}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}(x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}}){\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}\\{\widetilde {\pi }}(\theta _{j}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}}$$${\displaystyle {\widetilde {\pi }}(\cdot |\cdot )}$${\displaystyle \pi (x_{i}|{\boldsymbol {y}})}$${\displaystyle \pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle \pi (x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {\theta }}}$$${\displaystyle {\begin{aligned}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})=\sum _{k}{\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)\times {\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})\times \Delta _{k},\end{aligned}}}$$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle \Delta _{k}}$${\displaystyle \pi (\theta _{j}|{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {\theta }}_{-j}}$${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})}$

近似分布 を得るには、関係式を 出発点として使うことができます。すると、ラプラス近似^[1]によってハイパーパラメータの特定の値で が得られます。 ここで は、与えられた におけるモードがであるガウス近似です。モードは、たとえばニュートン・ラプソン法によって数値的に求めることができます。 ${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})}$$${\displaystyle {\begin{aligned}{\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})={\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }},{\boldsymbol {y}}\right)}{\pi \left({\boldsymbol {x}}|{\boldsymbol {\theta }},{\boldsymbol {y}}\right)\pi ({\boldsymbol {y}})}},\end{aligned}}}$$${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {\theta }}={\boldsymbol {\theta }}_{k}}$ $${\displaystyle {\begin{aligned}{\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})&\propto \left.{\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}{{\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}}\right\vert _{{\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})},\\&\propto \left.{\frac {\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }}_{k})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k})\pi ({\boldsymbol {\theta }}_{k})}{{\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}}\right\vert _{{\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})},\end{aligned}}}$$${\displaystyle {\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}$${\displaystyle {\pi }\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}$${\displaystyle {\boldsymbol {\theta }}_{k}}$${\displaystyle {\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})}$

上記のラプラス近似の秘訣は、の GMRF 特性により、分母の完全な条件式が通常はガウス分布に近いため、ガウス近似が に適用されていることです。ここで近似を適用すると、事後分布自体はガウス分布に近い必要がないため、ガウス近似が に直接適用されず、方法の精度が向上します。 GMRF の 2 つ目の重要な特性である精度行列 のスパース性は、各値 に対するの効率的な計算に必要です。^[1]${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle {\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {Q}}_{{\boldsymbol {\theta }}_{k}}}$${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})}$${\displaystyle {{\boldsymbol {\theta }}_{k}}}$

近似分布を得るのはより複雑であり、INLA法では、ガウス近似、ラプラス近似、または簡略化されたラプラス近似の3つのオプションが用意されています。^[1]を取得するための数値積分についても、グリッド検索、中心複合計画、または経験ベイズの3つのオプションが利用できます。^[1]${\displaystyle {\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}$${\displaystyle {\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})}$

• ゴメス・ルビオ、ヴィルジリオ（2021）。INLAによるベイズ推論。チャップマン・ホール/CRC。ISBN 978-1-03-217453-2。