ガウス過程

確率論と統計学において、ガウス過程は確率過程（時間または空間でインデックス付けされたランダム変数の集合）であり、それらのランダム変数のすべての有限集合は多変量正規分布に従います。ガウス過程の分布は、これらすべての（無限の数の）ランダム変数の結合分布であり、したがって、時間や空間などの連続ドメインを持つ関数上の分布です。

ガウス過程の概念は、ガウス分布 (正規分布)の概念に基づいているため、カール・フリードリヒ・ガウスにちなんで名付けられました。ガウス過程は、多変量正規分布の無限次元一般化と見ることができます。

ガウス過程は、正規分布から継承された特性の恩恵を受け、統計モデリングに役立ちます。たとえば、ランダム過程をガウス過程としてモデル化すると、さまざまな派生量の分布を明示的に取得できます。このような量には、一定範囲の時間にわたる過程の平均値や、少数の時間セットでのサンプル値を使用して平均を推定する際の誤差が含まれます。正確なモデルは、データ量が増えるにつれてスケーリングが悪くなることがよくありますが、多くの場合、計算時間を大幅に短縮しながらも優れた精度を維持する複数の近似方法が開発されています。

時間連続確率過程 がガウス分布となるのは、インデックス集合内の任意の有限のインデックス集合に対して、${\displaystyle \left\{X_{t};t\in T\right\}}$ ${\displaystyle t_{1},\ldots ,t_{k}}$${\displaystyle T}$

$${\displaystyle \mathbf {X} _{t_{1},\ldots ,t_{k}}=(X_{t_{1}},\ldots ,X_{t_{k}})}$$

は多変量ガウス 確率変数です。^[1]これは、 のすべての線形結合が単変量正規分布（またはガウス分布）に従う と言うことと同じです。${\displaystyle (X_{t_{1}},\ldots ,X_{t_{k}})}$

となる虚数単位を表すランダム変数の特性関数を使用すると、ガウス特性は次のように定式化できます。がガウスであるのは、任意の有限のインデックス集合 に対して、実数値 が存在し、すべてのに対して次の等式が成り立つ場合のみです。 ${\displaystyle i}$${\displaystyle i^{2}=-1}$${\displaystyle \left\{X_{t};t\in T\right\}}$${\displaystyle t_{1},\ldots ,t_{k}}$${\displaystyle \sigma _{\ell j}}$${\displaystyle \mu_{\ell}}$${\displaystyle \sigma _{jj}>0}$${\displaystyle s_{1},s_{2},\ldots ,s_{k}\in \mathbb {R} }$

$${\displaystyle {\mathbb {E} }\left[\exp \left(i\sum _{\ell =1}^{k}s_{\ell }\,\mathbf {X} _{t_{\ell }}\right)\right]=\exp \left(-{\tfrac {1}{2}}\sum _{\ell ,j}\sigma _{\ell j}s_{\ell }s_{j}+i\sum _{\ell }\mu _{\ell }s_{\ell }\right),}$$

または。数値とはその過程における変数の共分散と平均であることを示すことができる。 ^[2]${\displaystyle {\mathbb {E} }\left[{\mathrm {e} }^{i\,\mathbf {s} \,(\mathbf {X} _{t}-\mathbf {\mu } ) }\right]={\mathrm {e} }^{-\mathbf {s} \,\sigma \,\mathbf {s} /2}}$${\displaystyle \sigma _{\ell j}}$${\displaystyle \mu_{\ell}}$

ガウス過程の分散は任意の時点で有限であり、形式的には^{[3] ：p.515で ある。}${\displaystyle t}$ $${\displaystyle \operatorname {var} [X(t)]={\mathbb {E} }\left[\left|X(t)-\operatorname {E} [X(t)]\right|^{2}\right]<\infty \quad {\text{すべての }}t\in T に対して}$$

一般的な確率過程の場合、厳密な意味での定常性は広義の定常性を意味しますが、すべての広義の定常確率過程が厳密な意味での定常性であるとは限りません。ただし、ガウス確率過程の場合、2つの概念は同等です。^{[3] : p. 518}

ガウス確率過程は、広義の意味で定常である場合にのみ、厳密な意味で定常です。

定常ガウス過程には明示的な表現がある。^[4] この表現の簡単な例は

$${\displaystyle X_{t}=\cos(at)\,\xi _{1}+\sin(at)\,\xi _{2}}$$

ここで、およびは標準正規分布に従う独立した確率変数です。 ${\displaystyle \xi_{1}}$${\displaystyle \xi_{2}}$

ガウス過程の重要な事実は、その2次統計量によって完全に定義できることである。^[5]したがって、ガウス過程の平均がゼロであると仮定すると、共分散関数を定義することで過程の挙動が完全に定義される。重要なことは、この関数の非負定性により、カルーネン・レーヴ展開を使用したスペクトル分解が可能になることである。共分散関数を通じて定義できる基本的な側面は、過程の定常性、等方性、滑らかさ、周期性である。^{[6] [7]}

定常性とは、任意の 2 つの点と の分離に関する過程の挙動を指します。過程が定常である場合、共分散関数は のみに依存します。たとえば、オルンシュタイン・ウーレンベック過程は定常です。 ${\displaystyle x}$${\displaystyle x'}$${\displaystyle xx'}$

過程がとの間のユークリッド距離（方向ではない）のみに依存する場合、過程は等方性であると見なされます。定常かつ等方性である過程は均質 であると見なされます。^[8]実際には、これらの特性は、観察者の位置が与えられた場合の過程の挙動の違い（またはむしろ違いがない）を反映しています。 ${\displaystyle |xx'|}$${\displaystyle x}$${\displaystyle x'}$

最終的に、ガウス過程は関数の事前分布をとることと解釈され、これらの事前分布の滑らかさは共分散関数によって誘導されます。^[6]「近くの」入力ポイントとそれに対応する出力ポイントが「近くにある」と予想される場合、連続性の仮定が存在します。大幅な変位を許容したい場合は、より粗い共分散関数を選択できます。この動作の極端な例は、オルンシュタイン-ウーレンベック共分散関数と二乗指数関数で、前者は決して微分可能ではなく、後者は無限に微分可能です。 ${\displaystyle x}$${\displaystyle x'}$${\displaystyle y}$${\displaystyle y'}$

周期性とは、プロセスの動作に周期的なパターンを誘発することを指します。正式には、これは入力を2 次元ベクトルにマッピングすることによって実現されます。 ${\displaystyle x}$${\displaystyle u(x)=\left(\cos(x),\sin(x)\right)}$

一般的な共分散関数はいくつかある: ^[7]

• 絶え間ない ：${\displaystyle K_{\operatorname {C} }(x,x')=C}$
• リニア：${\displaystyle K_{\operatorname {L} }(x,x')=x^{\mathsf {T}}x'}$
• 白色ガウスノイズ:${\displaystyle K_{\operatorname {GN} }(x,x')=\sigma ^{2}\delta _{x,x'}}$
• 二乗指数:${\displaystyle K_{\operatorname {SE} }(x,x')=\exp \left(-{\tfrac {d^{2}}{2\ell ^{2}}}\right)}$
• オルンシュタイン・ウーレンベック:${\displaystyle K_{\operatorname {OU} }(x,x')=\exp \left(-{\tfrac {d}{\ell }}\right)}$
• マテルン:${\displaystyle K_{\operatorname {Matern} }(x,x')={\tfrac {2^{1-\nu }}{\Gamma (\nu )}}\left({\tfrac {{\sqrt {2\nu }}d}{\ell }}\right)^{\nu }K_{\nu }\left({\tfrac {{\sqrt {2\nu }}d}{\ell }}\right)}$
• 定期的:${\displaystyle K_{\operatorname {P} }(x,x')=\exp \left(-{\tfrac {2}{\ell ^{2}}}\sin ^{2}(d/2)\right)}$
• 有理二次関数:${\displaystyle K_{\operatorname {RQ} }(x,x')=\left(1+d^{2}\right)^{-\alpha },\quad \alpha \geq 0}$

ここで、パラメータはプロセスの特性長さスケール（実際には、2 つのポイントとが互いに有意な影響を与えるには、どれだけ近い必要があるか）、はクロネッカー デルタ、ノイズ変動の標準偏差です。さらに、は次数の修正ベッセル関数であり、はで評価されたガンマ関数です。重要なのは、複雑な共分散関数は、手元のデータ セットに関するさまざまな洞察を組み込むために、他のより単純な共分散関数の線形結合として定義できることです。 ${\displaystyle d=|x-x'|}$${\displaystyle \ell }$${\displaystyle x}$${\displaystyle x'}$${\displaystyle \delta }$${\displaystyle \sigma }$${\displaystyle K_{\nu }}$${\displaystyle \nu }$${\displaystyle \Gamma (\nu )}$${\displaystyle \nu }$

推論結果は、モデルの挙動を定義するハイパーパラメータの値（例：および）に依存します。 の一般的な選択肢は、選択された事前分布を使用して の最大事後確率（MAP）推定値を提供することです。事前分布がほぼ均一である場合、これはプロセスの周辺尤度を最大化することと同じです。つまり、周辺化は観測されたプロセス値に対して行われます。^{[7]このアプローチは、}最大尤度II、証拠最大化、または経験ベイズとしても知られています。^[9]${\displaystyle \theta }$${\displaystyle \ell }$${\displaystyle \sigma }$${\displaystyle \theta }$${\displaystyle y}$

ガウス過程の場合、確率の連続性は平均二乗連続性に等しく、^{[10] : 145}確率 1 の連続性は 標本連続性に等しい。^{[11] : 91 「ガウス過程は固定点で不連続である。」} 後者は確率の連続性を暗示するが、確率の連続性からは暗示されない。確率の連続性は、平均と自己共分散が連続関数である場合に限り成立する。対照的に、標本連続性は定常ガウス過程であっても困難であり (おそらく最初にAndrey Kolmogorovが指摘したように)、より一般的な過程ではより困難であった。^{[12] : 2.8 節  [13] : 69, 81  [14] : 80  [15]通常どおり、標本連続過程とは、標本連続}修正 を許容する過程を意味する。 ^{[16] : 292  [17] : 424}

定常ガウス過程の場合、そのスペクトル上のいくつかの条件はサンプル連続性には十分であるが、必要条件ではない。必要十分条件は、ダドリー・フェルニーク定理と呼ばれることもあり、によって定義される 関数を伴う （右辺は定常性のため に依存しない）。確率における の連続性は、におけるの連続性と同等である。から への収束（ として）が遅すぎる場合、 のサンプル連続性は失敗する可能性がある。次の積分の収束が重要である： これら 2 つの積分は、置換積分 によれば等しい。最初の被積分関数は として有界である必要はないので、積分は収束（）または発散（）する可能性がある。例えば、が大きい、が小さい の場合、のとき、のときとなる。 これらの 2 つのケースでは、関数はで増加しているが、一般にはそうではない。さらに、条件 ${\displaystyle X=(X_{t})_{t\in \mathbb {R} },}$${\displaystyle \sigma }$$${\displaystyle \sigma (h)={\sqrt {{\mathbb {E} }{\big [}X(t+h)-X(t){\big ]}^{2}}}}$$${\displaystyle t}$${\displaystyle X}$${\displaystyle \sigma }$${\displaystyle 0.}$${\displaystyle \sigma (h)}$${\displaystyle 0}$${\displaystyle h\to 0}$${\displaystyle X}$$${\displaystyle I(\sigma )=\int _{0}^{1}{\frac {\sigma (h)}{h{\sqrt {\log(1/h)}}}}\,dh=\int _{0}^{\infty }2\sigma (e^{-x^{2}})\,dx,}$$ ${\textstyle h=e^{-x^{2}},}$ ${\textstyle x={\sqrt {\log(1/h)}}.}$${\displaystyle h\to 0+,}$${\displaystyle I(\sigma )<\infty }$${\displaystyle I(\sigma )=\infty }$${\textstyle \sigma (e^{-x^{2}})={\tfrac {1}{x^{a}}}}$${\displaystyle x,}$${\textstyle \sigma (h)=(\log(1/h))^{-a/2}}$${\displaystyle h,}$${\displaystyle I(\sigma )<\infty }$${\displaystyle a>1,}$${\displaystyle I(\sigma )=\infty }$${\displaystyle 0<a\leq 1.}$${\displaystyle \sigma }$${\displaystyle [0,\infty ),}$

(*) が単調であるようなもの   が存在する${\displaystyle \varepsilon >0}$${\displaystyle \sigma }$${\displaystyle [0,\varepsilon ]}$

の連続性と明らかな関係（すべての について）から導かれるものではなく、${\displaystyle \sigma }$${\displaystyle \sigma (h)\geq 0}$${\displaystyle h}$${\displaystyle \sigma (0)=0.}$

歴史を少し。^{[17] : 424}十分性は1964年にXavier Fernique によって発表されましたが、最初の証明は1967年にRichard M. Dudleyによって発表されました。 ^{[16] : 定理7.1}必要性は1970年にMichael B. MarcusとLawrence Shepp によって証明されました。 ^{[18] : 380}

条件(*)に違反するサンプル連続過程が存在する。マーカスとシェップ^[18]が発見した例^:387は、標準正規分布に従う独立したランダム変数 であるランダムな欠失フーリエ級数であり、頻度は急速に増加する数列であり、係数はを満たす。後者の関係は、 ${\displaystyle X}$${\displaystyle I(\sigma )=\infty ;}$ $${\displaystyle X_{t}=\sum _{n=1}^{\infty }c_{n}(\xi _{n}\cos \lambda _{n}t+\eta _{n}\sin \lambda _{n}t),}$$${\displaystyle \xi _{1},\eta _{1},\xi _{2},\eta _{2},\dots }$${\displaystyle 0<\lambda _{1}<\lambda _{2}<\dots }$${\displaystyle c_{n}>0}$${\textstyle \sum _{n}c_{n}<\infty .}$

${\textstyle {\mathbb {E} }\sum _{n}c_{n}(|\xi _{n}|+|\eta _{n}|)=\sum _{n}c_{n}{\mathbb {E} }[|\xi _{n}|+|\eta _{n}|]={\text{const}}\cdot \sum _{n}c_{n}<\infty ,}$

そこからほぼ確実に、フーリエ級数の均一収束がほぼ確実に保証され、サンプルの連続性が保証されます。${\textstyle \sum _{n}c_{n}(|\xi _{n}|+|\eta _{n}|)<\infty }$${\displaystyle X.}$

その自己共変関数は 、対応する関数と同様に、単調ではありません（図を参照）。$${\displaystyle {\mathbb {E} }[X_{t}X_{t+h}]=\sum _{n=1}^{\infty }c_{n}^{2}\cos \lambda _{n}h}$$${\displaystyle \sigma ,}$ $${\displaystyle \sigma (h)={\sqrt {2{\mathbb {E} }[X_{t}X_{t}]-2{\mathbb {E} }[X_{t}X_{t+h}]}}=2{\sqrt {\sum _{n=1}^{\infty }c_{n}^{2}\sin ^{2}{\frac {\lambda _{n}h}{2}}}}.}$$

ウィーナー過程（ブラウン運動とも呼ばれる）は、ホワイトノイズの一般化ガウス過程の積分です。定常ではありませんが、定常増分を持ちます。

オルンシュタイン・ウーレンベック過程は定常ガウス過程です。

ブラウン橋は（オルンシュタイン・ウーレンベック過程と同様に）増分が独立ではないガウス過程の例です。

分数ブラウン運動は、共分散関数がウィーナー過程の共分散関数を一般化したガウス過程です。

を非負定値共分散関数を持つ平均ゼロのガウス過程とし、を対称かつ半正定値関数とします。すると、共分散 を持つガウス過程が存在する。さらに、 に関連付けられた再生核ヒルベルト空間は、のCameron–Martin 定理に関連付けられた空間と一致し、すべての空間、、 は等長である。^[19]ここからは、を正定値核 を持つ再生核ヒルベルト空間とします。 ${\displaystyle f}$${\displaystyle \left\{X_{t};t\in T\right\}}$${\displaystyle K}$${\displaystyle R}$${\displaystyle X}$${\displaystyle R}$${\displaystyle R}$${\displaystyle R(H)}$${\displaystyle X}$${\displaystyle R(H)}$${\displaystyle H_{X}}$${\displaystyle {\mathcal {H}}(K)}$${\displaystyle {\mathcal {H}}(R)}$${\displaystyle R}$

ドリスコルのゼロワン法則は、ガウス過程によって生成される標本関数を特徴付ける結果である。 ここで、およびはすべての可能な点のペアの共分散行列であり、 $${\displaystyle \lim _{n\to \infty }\operatorname {tr} [K_{n}R_{n}^{-1}]<\infty ,}$$${\displaystyle K_{n}}$${\displaystyle R_{n}}$${\displaystyle n}$$${\displaystyle \Pr[f\in {\mathcal {H}}(R)]=1.}$$

さらに、 ^[20]$${\displaystyle \lim _{n\to \infty }\operatorname {tr} [K_{n}R_{n}^{-1}]=\infty }$$ $${\displaystyle \Pr[f\in {\mathcal {H}}(R)]=0.}$$

これは、次のような 場合に重要な意味を持ちます。${\displaystyle K=R}$$${\displaystyle \lim _{n\to \infty }\operatorname {tr} [R_{n}R_{n}^{-1}]=\lim _{n\to \infty }\operatorname {tr} [I]=\lim _{n\to \infty }n=\infty .}$$

そのため、正定値カーネルを持つ平均ゼロのガウス過程のほぼすべてのサンプルパスは、ヒルベルト空間の外側にあります。 ${\displaystyle K}$${\displaystyle {\mathcal {H}}(K)}$

多くの興味深いアプリケーションでは、手元のシステムに関する既存の知識がすでに与えられています。たとえば、ガウス過程の出力が磁場に対応する場合を考えてみましょう。ここで、実際の磁場はマクスウェル方程式によって制限されており、この制約をガウス過程の形式に組み込む方法が望ましいでしょう。これにより、アルゴリズムの精度が向上する可能性が高いからです。

ガウス過程に線形制約を組み込む方法はすでに存在している: ^[21]

線形制約に従うことが分かっている（つまり、 は線形演算子である） （ベクトル値の）出力関数を考えてみましょう。 次に、 （ はガウス過程としてモデル化されている）を選択し、 となるような を 見つけることで制約を満たすことができます。ガウス過程が線形変換に対して閉じているという事実を前提とし、これを使用することで、制約に従うガウス過程は次のようになります。 したがって、 線形制約は、ガウス過程の平均と共分散関数にエンコードできます。 ${\displaystyle f(x)}$${\displaystyle {\mathcal {F}}_{X}}$$${\displaystyle {\mathcal {F}}_{X}(f(x))=0.}$$${\displaystyle {\mathcal {F}}_{X}}$${\displaystyle f(x)={\mathcal {G}}_{X}(g(x))}$${\displaystyle g(x)\sim {\mathcal {GP}}(\mu _{g},K_{g})}$${\displaystyle {\mathcal {G}}_{X}}$$${\displaystyle {\mathcal {F}}_{X}({\mathcal {G}}_{X}(g))=0\qquad \forall g.}$$${\displaystyle {\mathcal {G}}_{X}}$${\displaystyle f}$${\displaystyle {\mathcal {F}}_{X}}$$${\displaystyle f(x)={\mathcal {G}}_{X}g\sim {\mathcal {GP}}({\mathcal {G}}_{X}\mu _{g},{\mathcal {G}}_{X}K_{g}{\mathcal {G}}_{X'}^{\mathsf {T}}).}$$

ガウス過程は、ベイズ推論における関数の事前確率分布として使用できます。^{[7] [23]}関数の目的のドメイン内のN点の任意のセットが与えられた場合、共分散行列パラメータがN点のグラム行列といくつかの目的のカーネルである多変量ガウスを取り、そのガウスからサンプリングします。 多出力予測問題の解決のために、ベクトル値関数のガウス過程回帰が開発されました。 この方法では、「大きな」共分散が構築され、目的のドメイン内のN点で取得されたすべての入力変数と出力変数間の相関関係が記述されます。^{[24]このアプローチは、行列値ガウス過程について詳細に説明され、}スチューデント t 過程のような「重い裾」を持つ過程に一般化されました。^[25]

ガウス過程の事前分布を用いた連続値の推論はガウス過程回帰、またはクリギングとして知られており、ガウス過程回帰を複数のターゲット変数に拡張することは共クリギングとして知られている。^[26]ガウス過程は強力な非線形多変量補間ツールとして有用である。クリギングは混合整数入力の場合にガウス過程を拡張するためにも使用される。^[27]

ガウス過程は、数値積分、微分方程式の解、確率数値の分野における最適化などの数値解析問題に取り組むためにもよく使用されます。

ガウス過程は、例えば専門家の混合モデルの文脈でも使用できます。^{[28] [29]}このような学習フレームワークの基本的な理論は、与えられたマッピングは単一のガウス過程モデルではうまく捉えられないという仮定にあります。代わりに、観測空間はサブセットに分割され、それぞれが異なるマッピング関数によって特徴付けられます。これらはそれぞれ、仮定された混合の異なるガウス過程コンポーネントを介して学習されます。

自然科学では、ガウス過程は天文学的時系列の確率モデルや分子特性の予測子として利用されている。^[30]

一般的なガウス過程回帰問題（クリギング）では、座標 で観測されるガウス過程について、値のベクトル⁠ ⁠は、観測された座標⁠ ⁠の数に等しい次元の多変量ガウス分布からの 1 つのサンプルにすぎないと仮定されます。したがって、ゼロ平均分布の仮定の下では、⁠ ⁠、ここで⁠ ⁠は、特定のハイパーパラメータ セットθのすべての可能なペア⁠ ⁠間の共分散行列です。^[7] そのため、対数周辺尤度は次のようになります。 ${\displaystyle f}$${\displaystyle x}$${\displaystyle f(x)}$${\displaystyle n}$${\displaystyle f(x')\sim N(0,K(\theta ,x,x'))}$${\displaystyle K(\theta ,x,x')}$${\displaystyle (x,x')}$

$${\displaystyle \log p(f(x')\mid \theta ,x)=-{\frac {1}{2}}\left(f(x)^{\mathsf {T}}K(\theta ,x,x')^{-1}f(x')+\log \det(K(\theta ,x,x'))+n\log 2\pi \right)}$$

そして、この周辺尤度をθに向かって最大化することで、ガウス過程fの完全な仕様が提供されます。この時点で、最初の項はモデルが観測値を適合できなかった場合のペナルティ項に対応し、2 番目の項はモデルの複雑さに比例して増加するペナルティ項に対応することに簡単に留意してください。θを指定したら、座標x *での観測されていない値⁠ ⁠${\displaystyle f(x^{*})}$についての予測は、事後平均推定値Aが次のように定義され 、事後分散推定値Bが次のように定義される予測分布からサンプルを抽出することだけの問題です。 ここ で⁠ ⁠は、特定のハイパーパラメータ ベクトルθに対する新しい推定座標x * とその他すべての観測座標xとの共分散、⁠ ⁠および⁠ ⁠ は前と同じように定義され、⁠ ⁠ はθによって決定される点x *での分散です。⁠ ⁠の事後平均推定値（「点推定値」）は、実際には観測値の線形結合にすぎないことに注意することが重要です。同様に、⁠ ⁠の分散は実際には観測値とは無関係です。ガウス過程予測における既知のボトルネックは、推論と尤度評価の計算複雑性が点の数 | x | の3乗であり、そのため大規模なデータセットでは実行不可能になる可能性があることです。^[6]通常は与えられた過程fの代表セットを構築するという考えに基づくスパースガウス過程に関する研究は、この問題を回避しようとします。^{[31] [32]}クリギング法は、空間機能予測のための非線形混合効果モデルの潜在レベルで使用できます。この手法は潜在クリギングと呼ばれます。^[33]${\displaystyle p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\mid A,B)}$$${\displaystyle A=K(\theta ,x^{*},x)K(\theta ,x,x')^{-1}f(x)}$$$${\displaystyle B=K(\theta ,x^{*},x^{*})-K(\theta ,x^{*},x)K(\theta ,x,x')^{-1}K(\theta ,x^{*},x)^{\mathsf {T}}}$$${\displaystyle K(\theta ,x^{*},x)}$${\displaystyle K(\theta ,x,x')}$${\displaystyle f(x)}$${\displaystyle K(\theta ,x^{*},x^{*})}$${\displaystyle f(x^{*})}$${\displaystyle f(x)}$${\displaystyle f(x^{*})}$${\displaystyle f(x)}$

多くの場合、共分散は という形をとります。ここで はスケーリングパラメータです。例としては、Matérn クラスの共分散関数があります。このスケーリングパラメータが既知または未知（つまり、周辺化される必要がある）の場合、事後確率 、つまりおよびの観測データのペアの集合が与えられた場合のハイパーパラメータの確率は、解析的な表現が可能です。^[34]${\textstyle K(\theta ,x,x')={\frac {1}{\sigma ^{2}}}{\tilde {K}}(\theta ,x,x')}$${\displaystyle \sigma ^{2}}$${\displaystyle \sigma ^{2}}$${\displaystyle p(\theta \mid D)}$${\displaystyle \theta }$${\displaystyle D}$${\displaystyle x}$${\displaystyle f(x)}$

ベイジアンニューラルネットワークは、ディープラーニングと人工ニューラルネットワークモデルを確率的に扱い、そのパラメータに事前分布を割り当てることによって生成される特別なタイプのベイジアンネットワークです。人工ニューラルネットワークの計算は通常、人工ニューロンの連続層に編成されます。層内のニューロンの数は層幅と呼ばれます。層幅が大きくなるにつれて、多くのベイジアンニューラルネットワークは、閉じた形式の構成カーネルを持つガウス過程に縮小されます。このガウス過程は、ニューラルネットワークガウス過程（NNGP）と呼ばれます。^{[7] [35] [36]これにより、ベイジアンニューラルネットワークからの予測をより効率的に評価できるようになり、ディープ}ラーニングモデルを理解するための分析ツールが提供されます。

実際のアプリケーションでは、ガウス過程モデルは、多変量正規分布につながるグリッド上で評価されることが多い。最大尤度を使用した予測やパラメータ推定にこれらのモデルを使用するには、共分散行列の行列式と逆行列を計算する多変量ガウス密度を評価する必要がある。これらの操作は両方とも 3 乗の計算複雑性を伴うため、適度なサイズのグリッドであっても、両方の操作の計算コストが法外になる可能性があります。この欠点により、複数の近似法が開発されました。

• ベイズ線形統計
• 正規化のベイズ解釈
• クリギング
• ガウス自由場
• ガウス・マルコフ過程
• 勾配強化クリギング(GEK)
• スチューデントのt過程

ウィキブックスにはガウス過程に関する本があります。

• ガウス過程のウェブサイト（ラスムッセンとウィリアムズの機械学習のためのガウス過程のテキストを含む）
• Ebden, Mark (2015). 「ガウス過程: 簡単な入門」. arXiv : 1505.02965 [math.ST].
• ガウス確率場と相関関数のレビュー
• ガウス過程を用いた効率的な強化学習

• GPML: GP回帰と分類のための包括的な Matlab ツールボックス
• STK: クリギングと GP モデリングのための小さな (Matlab/Octave) ツールボックス
• UQLab フレームワークのクリギング モジュール (Matlab)
• CODES ツールボックス: クリギング、変分クリギング、マルチフィデリティ モデルの実装 (Matlab)
• 定常ガウス場に対する Matlab/Octave 関数
• Yelp MOE – ガウス過程学習を使用したブラックボックス最適化エンジン
• ooDACE は、Wayback Machineで 2020-08-09 にアーカイブされています– 柔軟なオブジェクト指向の Kriging Matlab ツールボックス。
• GPstuff – Matlab と Octave 用のガウス過程ツールボックス
• GPy – Python のガウス過程フレームワーク
• GSTools - Python で書かれたガウス過程回帰を含む地理統計ツールボックス
• インタラクティブなガウス過程回帰デモ
• C++11 で書かれた基本的なガウス過程ライブラリ
• scikit-learn – ガウス過程回帰と分類を含む Python 用の機械学習ライブラリ
• [1] - クリギング ツールキット (KriKit) は、ドイツ連邦博物館 (FZJ) の生物地球科学研究所 1 (IBG-1) で開発されています。

• ガウス過程の基礎 (David MacKay 著)
• ガウス過程による学習 カール・エドワード・ラスムッセン著
• カール・エドワード・ラスムッセン著「ベイズ推定とガウス過程」