ガウス過程近似

統計学と機械学習において、ガウス過程近似は、ガウス過程モデルのコンテキストで推論タスクを加速する計算方法であり、最も一般的には尤度評価と予測に使用されます。他のモデルの近似と同様に、ガウス過程近似は、モデルに課せられた追加の仮定として表現されることが多く、実際の特徴には対応していませんが、計算を簡素化しながら主要な特性を保持します。これらの近似方法の多くは、純粋に線形代数または関数解析の用語で、行列近似または関数近似として表現できます。その他の近似方法は純粋にアルゴリズム的であり、統計モデルの修正として簡単に言い換えることはできません。

統計モデリングでは、調査対象の現象が平均関数と共分散関数を持つでインデックス付けされたガウス過程であると仮定すると便利な場合がよくあります。また、データはインデックス に対するこの過程の特定の実現値であると仮定することもできます。 ${\displaystyle y\in {\mathcal {Y}}}$${\displaystyle X\in {\mathcal {X}}={\mathcal {X}}_{1}\times {\mathcal {X}}_{2}\dots {\mathcal {X}}_{d}}$${\displaystyle \mu :{\mathcal {X}}\rightarrow {\mathcal {Y}}}$${\displaystyle K:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$${\displaystyle \mathbf {y} =(y_{1},\dots ,y_{n})}$${\displaystyle \mathbf {X} =X_{1},\dots ,X_{n}}$

その結果、データの結合分布は次のように表される。

${\displaystyle \mathbf {y} \sim {\mathcal {N}}(\mathbf {\mu } ,\mathbf {\Sigma } )}$、

ここで、およびは、それぞれ共分散関数の値を持つ行列と、対応するインデックス（のペア）における平均関数の値を持つベクトルです。データの負の対数尤度は、次の形式になります。 ${\displaystyle \mathbf {\Sigma } =\left[K(X_{i},X_{j})\right]_{i,j=1}^{n}}$${\displaystyle \mathbf {\mu } =\left(\mu (X_{1}),\mu (X_{2}),\dots ,\mu (X_{d})\right)^{\top }}$

${\displaystyle -\log \ell (\mathbf {y} )={\frac {d}{2\pi }}+{\frac {1}{2}}\log \det(\mathbf {\Sigma } )+\left(\mathbf {y} -\mathbf {\mu } \right)^{\top }\mathbf {\Sigma } ^{-1}\left(\mathbf {y} -\mathbf {\mu } \right)}$

同様に、与えられたデータに対して、インデックスの の値を予測する最良の方法は、次の形式になります。 ${\displaystyle \mathbf {y} ^{*}}$${\displaystyle y}$${\displaystyle \mathbf {X} ^{*}=\left(X_{1}^{*},X_{2}^{*},\dots ,X_{d}^{*}\right)}$${\displaystyle \mathbf {y} }$

${\displaystyle \mathbf {\mu } _{\mathbf {y} }^{*}=\mathbb {E} \left[\mathbf {y} ^{*}|\mathbf {y} \right]=\mathbf {\mu } ^{*}-\mathbf {\Sigma } _{\mathbf {y} ^{*}\mathbf {y} }\mathbf {\Sigma } ^{-1}\left(\mathbf {y} -\mathbf {\mu } \right)}$

ガウスモデルの文脈では、特に地統計学では、最良の予測子、つまりデータに条件付けられた平均を使用した予測は、クリギングとも呼ばれます。

最善の予測式の中で最も計算コストが高いのは、3 次複雑度を持つ共分散行列 の反転です。同様に、尤度の評価には、同じ 3 次複雑度 を持つ と の 行列式の計算の両方が含まれます。 ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle {\mathcal {O}}(n^{3})}$${\displaystyle \mathbf {\Sigma } ^{-1}}$ ${\displaystyle \det(\mathbf {\Sigma } )}$

ガウス過程近似は、多くの場合、 に関する仮定で表現されます。この仮定の下では、 ははるかに低い複雑さで計算できます。これらの仮定は一般に現実を反映しているとは考えられていないため、この方法で得られる尤度と最善の予測子は正確ではありませんが、元の値に近いものになります。 ${\displaystyle y}$${\displaystyle \log \ell (\mathbf {y} )}$${\displaystyle \mathbf {\mu } _{\mathbf {y} }^{*}}$

このクラスの近似は、元のプロセスに課される一連の仮定を通じて表現され、通常は共分散行列の特別な構造を暗示します。これらの方法のほとんどは独立して開発されましたが、そのほとんどはスパースな一般Vecchia 近似の特殊なケースとして表現できます。

これらの方法は、共分散行列がスパースである方法で真のモデルを近似します。通常、各方法は、共分散行列のスパース パターンを最大限に活用する独自のアルゴリズムを提案します。このクラスのアプローチの 2 つの主要なメンバーは、共分散テーパーとドメイン分割です。最初の方法では、一般に上の測定基準が必要であり、 に対して が、ある半径 に対してのみ成立すると仮定します。2 番目の方法では、となるようなが存在すると仮定します。この場合、分割要素間のインデックスの適切な配分と、共分散行列の要素の順序付けにより、 はブロック対角になります。 ${\displaystyle d}$${\displaystyle {\mathcal {X}}}$${\displaystyle X,{\tilde {X}}\in {\mathcal {X}}}$${\displaystyle Cov(y(X),y({\tilde {X}}))\neq 0}$${\displaystyle d(X,{\tilde {X}})<r}$${\displaystyle r}$${\displaystyle {\mathcal {X}}^{(1)},\dots ,{\mathcal {X}}^{(K)}}$${\displaystyle \bigcup _{k=1}^{K}{\mathcal {X}}^{(k)}}$${\displaystyle X}$

この一連の方法は、精度行列がスパースであると仮定し、一般にその要素のうちゼロでないものを指定します。これにより、それらの要素のみを計算すればよいため、逆変換が高速になります。このカテゴリの著名な近似には、マターン共分散関数を持つガウス過程と確率偏微分方程式との等価性に基づくアプローチ、周期的埋め込み、および最近傍ガウス過程が含まれます。最初の方法は、および に定義されたメトリックがある場合に適用され、 が非常にスパースになるマルコフ特性が成り立つという事実を利用します。2番目は、領域を拡張し、離散フーリエ変換を使用してデータの相関を解消し、対角精度行列を生成します。3番目は 上のメトリックを必要とし、 の場合にのみ、ある に対して であると仮定して、いわゆるスクリーニング効果を利用します。 ${\displaystyle \mathbf {\Lambda } =\mathbf {\Sigma } ^{-1}}$${\displaystyle d=2}$${\displaystyle {\mathcal {X}}}$${\displaystyle \mathbf {\Lambda } }$${\displaystyle {\mathcal {X}}}$${\displaystyle \mathbf {\Lambda } _{i,j}\neq 0}$${\displaystyle d(x_{i},x_{j})<r}$${\displaystyle r>0}$

多くの実際のアプリケーションでは、 の計算は、最初に、 のコレスキー因子、次にその逆数を計算することで置き換えられます。 これは、単純な逆変換よりも安定していることが知られています。 このため、一部の著者は、精度行列または共分散行列のコレスキー因子のスパース近似の構築に重点を置いています。 このクラスで最も確立された方法の 1 つは、 Vecchia 近似とその一般化です。 これらのアプローチは、インデックスの最適な順序を決定し、その結果として および の要素を決定してから、コレスキー因子の埋め込みを最小化する依存関係構造を想定します。 このフレームワークでは、多重解像度近似 (MRA)、最近傍ガウス過程、修正予測過程、およびフルスケール近似など、他のいくつかの方法を表現できます。 ${\displaystyle \mathbf {\Lambda } }$${\displaystyle \mathbf {L} }$${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {L} ^{-1}}$${\displaystyle \mathbf {x} }$

このアプローチには多くの方法が含まれるが、それらすべてに共通する仮定は、関心のあるガウス過程が実質的に低ランクであるという仮定である。より正確には、他のすべてのインデックスセットが${\displaystyle y}$${\displaystyle {\bar {X}}=\{{\bar {x}}_{1},\dots ,{\bar {x}}_{p}\}}$${\displaystyle X=\{x_{1},\dots ,x_{n}\}}$

${\displaystyle y(X)\sim {\mathcal {N}}\left(\mathbf {A} _{X}{\bar {\mathbf {\mu } }},\mathbf {A} _{X}^{\top }{\bar {\mathbf {\Sigma } }}\mathbf {A} _{X}+\mathbf {D} \right)}$

ここで、は行列、は対角行列です。方法とアプリケーションに応じて、さまざまな選択方法が提案されています。通常、は よりもはるかに小さくなるように選択されます。つまり、 の逆行列を求める計算コストは​​管理可能な範囲になります（の代わりに）。 ${\displaystyle \mathbf {A} _{X}}$${\displaystyle p\times k}$${\displaystyle {\bar {\mathbf {\mu } }}=\mu \left(y\left({\bar {X}}\right)\right)}$${\displaystyle {\bar {\mathbf {\Sigma } }}=K\left({\bar {X}},{\bar {X}}\right)}$${\displaystyle \mathbf {D} }$${\displaystyle {\bar {X}}}$${\displaystyle p}$${\displaystyle n}$${\displaystyle {\bar {\mathbf {\Sigma } }}}$${\displaystyle {\mathcal {O}}(p^{3})}$${\displaystyle {\mathcal {O}}(n^{3})}$

より一般的には、 を選択することに加えて、行列 を見つけてと仮定することもできます。ここで、 はとは独立している可能性のあるガウス過程の値です。サブセット回帰子 (SoR)、関連性ベクトルマシン、スパーススペクトルガウス過程など、多くの機械学習手法がこのカテゴリに分類され、一般に、およびを導出する方法が異なります。 ${\displaystyle {\bar {X}}}$${\displaystyle n\times p}$${\displaystyle \mathbf {A} }$${\displaystyle X=\mathbf {A} \mathbf {\eta } }$${\displaystyle \mathbf {\eta } }$${\displaystyle p}$${\displaystyle x}$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {\eta } }$

階層的近似の一般原理は、他の方法を繰り返し適用することで、連続して適用するたびに近似の質が向上するというものです。これらは一連の統計的仮定として表現できますが、階層的行列近似 (HODLR) または基底関数拡張 (LatticeKrig、MRA、ウェーブレット) の観点から説明されることがよくあります。階層的行列アプローチは、インデックス セット の連続的に小さいサブセットに低ランク近似を繰り返し適用することで表現できることがよくあります。基底関数拡張は、コンパクトなサポートを持つ関数を使用することに依存しています。これらの機能は、近似の連続するレイヤーを通過するアルゴリズムによって利用できます。最も好ましい設定では、これらの方法のいくつかは準線形 ( ) の複雑度を実現できます。 ${\displaystyle X}$${\displaystyle {\mathcal {O}}(n\log n)}$

確率的グラフィカル モデルは、モデルベースの近似値を比較するための便利なフレームワークを提供します。このコンテキストでは、インデックスにおけるプロセスの値は 有向グラフの頂点で表され、辺は の結合密度の因数分解の項に対応します。一般に、独立した関係が想定されていない場合、結合確率分布は任意の有向非巡回グラフで表すことができます。特定の近似値を使用することは、頂点を順序付けし、特定の辺を追加または削除する特定の方法として表現できます。 ${\displaystyle x_{k}\in X}$${\displaystyle y(X)}$

このクラスの方法は、統計モデルを指定したり、既存のモデルに仮定を課したりしません。このグループの主な 3 つのメンバーは、メタクリギング アルゴリズム、ギャップフィル アルゴリズム、および局所近似ガウス過程アプローチです。最初のものは、インデックスのセットをコンポーネントに分割し、それらの各コンポーネントの条件付き分布を個別に計算してから、条件付きPDFの幾何中央値を使用してそれらを結合します。2 番目は、予測しようとしている値に近いプロセスの値を使用する分位回帰に基づいています。ここで、距離はインデックスのセットのメトリックに関して測定されます。局所近似ガウス過程は同様のロジックを使用しますが、これらの隣接する値に基づいて有効な確率過程を構築します。 ${\displaystyle K}$${\displaystyle {\mathcal {X}}^{(1)},\dots ,{\mathcal {X}}^{(k)}}$

• Liu, Haitao; Ong, Yew-Soon; Shen, Xiaobo; Cai, Jianfei (2020). 「ガウス過程とビッグデータが出会うとき：スケーラブルGPSのレビュー」。IEEE Transactions on Neural Networks and Learning Systems . PP (11): 1–19. arXiv : 1807.01065 . doi :10.1109/TNNLS.2019.2957109. PMID  31944966.
• Heaton, Matthew J.; Datta, Abhirup; Finley, Andrew O.; Furrer, Reinhard; Guinness, Joseph; Guhaniyogi, Rajarshi; Gerber, Florian; Gramacy, Robert B.; Hammerling, Dorit; Katzfuss, Matthias; Lindgren, Finn; Nychka, Douglas W.; Sun, Furong; Zammit-Mangion, Andrew (2018). 「大規模空間データの解析方法のケーススタディ競合」。農業、 生物、環境統計ジャーナル。24 (3): 398–425。doi : 10.1007  / s13253-018-00348 - w。ISSN 1085-7117。PMC 6709111。PMID 31496633。 
• Banerjee, Sudipto (2017). 「高次元ベイズ地理統計学」ベイズ分析. 12 (2): 583–614. doi : 10.1214/17-BA1056R . PMC  5790125 . PMID  29391920.