意味 時間的に連続した確率過程 { X t ; t ∈ T } {\displaystyle \left\{X_{t};t\in T\right\}} の有限個 の添え 字 に対して、t 1 、 … 、 t k t_1, ..., t_k T {\displaystyle T}
X t 1 、 … 、 t k = （ X t 1 、 … 、 X t k ） {\displaystyle \mathbf {X} _{t_{1},\ldots ,t_{k}}=(X_{t_{1}},\ldots ,X_{t_{k}})}
は多変量ガウス分布に 従う確率変数 です。[ 1 ] （ X t 1 、 … 、 X t k ） {\displaystyle (X_{t_{1}},\ldots ,X_{t_{k}})}
確率変数の特性関数 を使用して私 {\displaystyle i} 虚数単位 を表す。私 2 = − 1 {\displaystyle i^{2}=-1} { X t ; t ∈ T } {\displaystyle \left\{X_{t};t\in T\right\}} t 1 、 … 、 t k t_1, ..., t_k σ ℓ j 2 \displaystyle \sigma _{\ell j}^{2}} μ ℓ {\displaystyle \mu _{\ell }} σ j j 2 > 0 {\displaystyle \sigma _{jj}^{2}>0} s 1 、 s 2 、 … 、 s k ∈ R {\displaystyle s_{1},s_{2},\ldots ,s_{k}\in \mathbb {R} }
E [ exp （ 私 ∑ ℓ = 1 k s ℓ X t ℓ ） ] = exp （ − 1 2 ∑ ℓ 、 j σ ℓ j 2 s ℓ s j + 私 ∑ ℓ μ ℓ s ℓ ） 、 {\displaystyle {\mathbb {E} }\left[\exp \left(i\sum _{\ell =1}^{k}s_{\ell }\,\mathbf {X} _{t_{\ell }}\right)\right]=\exp \left(-{\tfrac {1}{2}}\sum _{\ell ,j}\sigma _{\ell j}^{2}s_{\ell }s_{j}+i\sum _{\ell }\mu _{\ell }s_{\ell }\right),}
またはE [ e 私 s （ X t − μ ） ] = e − s σ 2 s / 2 {\displaystyle {\mathbb {E} }\left[{\mathrm {e} }^{i\,\mathbf {s} \,(\mathbf {X} _{t}-\mathbf {\mu } )}\right]={\mathrm {e} }^{-\mathbf {s} \,\sigma ^{2}\,\mathbf {s} /2}} σ ℓ j 2 \displaystyle \sigma _{\ell j}^{2}} μ ℓ {\displaystyle \mu _{\ell }} 共分散 と平均である ことが示される。 [ 2 ]
定常性 一般的な確率過程の場合、厳密な意味での定常性は 広い意味での定常性 を意味しますが、すべての広い意味での定常確率過程が厳密な意味での定常であるとは限りません。ただし、ガウス確率過程の場合、この2つの概念は同等です。[ 3 ]
したがって、定常ガウス過程は、その1パラメータ平均関数と共分散関数によって完全に決定される。
例 定常ガウス過程には明示的な表現が存在する。[ 4 ]
X t = コス （ 1 t ） ξ 1 + 罪 （ 1 t ） ξ 2 {\displaystyle X_{t}=\cos(at)\,\xi _{1}+\sin(at)\,\xi _{2}}
どこξ 1 \displaystyle \xi _{1}} ξ 2 \displaystyle \xi _{2}} は、標準正規分布 に従う独立な確率変数である。
共分散関数 ガウス過程の重要な事実は、その二次統計量によって完全に定義できることである。[ 5 ] 共分散関数 を定義することで、その過程の挙動を完全に定義できる。重要なことに、この関数の非負定値性により、カルーネン・レーヴェ展開 を使用してスペクトル分解を行うことができる。共分散関数によって定義できる基本的な側面は、過程の定常性 、等方 性、滑らかさ 、周期性で ある。[ 6 ] [ 7 ]
定常性と は、任意の2点間の分離に関するプロセスの挙動を指します。x {\displaystyle x} x ′ {\displaystyle x'} x − x ′ {\displaystyle xx'} オルンシュタイン・ウーレンベック過程は 定常過程である。
プロセスが| x − x ′ | {\displaystyle |xx'|} x {\displaystyle x} x ′ {\displaystyle x'} 均質で あると見なされます。[ 8 ]
最終的にガウス過程は関数の事前分布を取ることと解釈でき、これらの事前分布の滑らかさは共分散関数によって誘導できます。[ 6 ] x {\displaystyle x} x ′ {\displaystyle x'} y {\displaystyle y} y ′ {\displaystyle y'} ・ ウーレンベック共分散関数と二乗指数関数があり、前者は微分不可能で、後者は無限回微分可能です。
周期性とは、プロセスの挙動に周期的なパターンを誘発することを指します。形式的には、これは入力をマッピングすることによって実現されます。x {\displaystyle x} u （ x ） = （ コス （ x ） 、 罪 （ x ） ） {\displaystyle u(x)=\left(\cos(x),\sin(x)\right)}
通常の共分散関数 異なるカーネルを選択した場合のガウス過程の事前分布関数への影響。左は指数関数の二乗カーネル、中央はブラウン運動カーネル、右は二次カーネルです。 一般的な共分散関数はいくつかあります。[ 7 ]
絶え間ない ：K C （ x 、 x ′ ） = C {\displaystyle K_{\operatorname {C} }(x,x')=C} リニア：K L （ x 、 x ′ ） = x T x ′ {\displaystyle K_{\operatorname {L} }(x,x')=x^{\mathsf {T}}x'} 白色ガウスノイズ：K GN （ x 、 x ′ ） = σ 2 δ x 、 x ′ ${\displaystyle K_{\operatorname {GN} }(x,x')=\sigma ^{2}\delta _{x,x'}}$ 二乗指数関数:K SE （ x 、 x ′ ） = exp （ − d 2 2 ℓ 2 ） ${\displaystyle K_{\operatorname {SE} }(x,x')=\exp \left(-{\tfrac {d^{2}}{2\ell ^{2}}}\right)}$ オルンシュタイン＝ ウーレンベック：K OU （ x 、 x ′ ） = exp （ − d ℓ ） {\displaystyle K_{\operatorname {OU} }(x,x')=\exp \left(-{\tfrac {d}{\ell }}\right)} マテルン：K マテル （ x 、 x ′ ） = 2 1 − ν Γ （ ν ） （ 2 ν d ℓ ） ν K ν （ 2 ν d ℓ ） {\displaystyle K_{\operatorname {Matern} }(x,x')={\tfrac {2^{1-\nu }}{\Gamma (\nu )}}\left({\tfrac {{\sqrt {2\nu }}d}{\ell }}\right)^{\nu }K_{\nu }\left({\tfrac {{\sqrt {2\nu }}d}{\ell }}\right)} 定期的:K P （ x 、 x ′ ） = exp （ − 2 ℓ 2 罪 2 （ d / 2 ） ） {\displaystyle K_{\operatorname {P} }(x,x')=\exp \left(-{\tfrac {2}{\ell ^{2}}}\sin ^{2}(d/2)\right)} 有理二次式:K RQ （ x 、 x ′ ） = （ 1 + d 2 ） − α 、 α ≥ 0 {\displaystyle K_{\operatorname {RQ} }(x,x')=\left(1+d^{2}\right)^{-\alpha },\quad \alpha \geq 0} ここd = | x − x ′ | {\displaystyle d=|x-x'|} d {\displaystyle d} ℓ {\displaystyle \ell } x {\displaystyle x} x ′ {\displaystyle x'} δ {\displaystyle \delta } クロネッカーデルタ であり、σ {\displaystyle \sigma } 、 K ν {\displaystyle K_{\nu }} 変形ベッセル関数 であるν {\displaystyle \nu } Γ （ ν ） {\displaystyle \Gamma (\nu )} ガンマ関数 は、ν {\displaystyle \nu }
推論結果はハイパーパラメータの値に依存するθ {\displaystyle \theta } ℓ {\displaystyle \ell } σ {\displaystyle \sigma } θ {\displaystyle \theta } これは、選択された事前分布を用いて、その確率の最大事後確率 周辺尤度 を最大化することと同じです。周辺化は、観測されたプロセス値に対して行われます。y {\displaystyle y} 7 ]このアプローチは 、 最尤法II 、証拠最大化 、または経験ベイズ [ 9 ]
連続 ガウス過程の場合、確率の連続性は 平均二乗の連続性 と等価である[ 10 ] : : [ 11 ] 確率1の連続性は 標本の連続性 と等価である。[ 12 ] 平均と自己共分散 が連続関数である場合に限り成り立つ。対照的に、標本の連続性は、定常ガウス過程 であっても困難であり（おそらく最初にアンドレイ・コルモゴロフ が指摘したように）、より一般的な過程ではさらに困難であった。[ 13 ] : 14 ] : 69,81 [ 15 ] : 80 [ 16 ]通常どおり、標本連続過程とは 、 標本連続修正を 許容 する [ 17 ] : 292 [ 18 ] : 424
文房具ケース 定常ガウス過程の場合X = （ X t ） t ∈ R 、 {\displaystyle X=(X_{t})_{t\in \mathbb {R} },} σ {\displaystyle \sigma } σ （ h ） = E [ （ X （ t + h ） − X （ t ） ） 2 ] {\displaystyle \sigma (h)={\sqrt {{\mathbb {E} }\left[\left(X(t+h)-X(t)\right)^{2}\right]}}} t {\displaystyle t} X {\displaystyle X} σ {\displaystyle \sigma } 0. {\displaystyle 0.} σ （ h ） {\displaystyle \sigma (h)} 0 {\displaystyle 0} h → 0 {\displaystyle h\to 0} X {\displaystyle X} 私 （ σ ） = ∫ 0 1 σ （ h ） h ログ （ 1 / h ） d h = ∫ 0 ∞ 2 σ （ e − x 2 ） d x 、 {\displaystyle I(\sigma )=\int _{0}^{1}{\frac {\sigma (h)}{h{\sqrt {\log(1/h)}}}}\,dh=\int _{0}^{\infty }2\sigma (e^{-x^{2}})\,dx,} 置換積分 によれば、これら2つの積分は等しい。h = e − x 2 、 {\textstyle h=e^{-x^{2}},} x = ログ （ 1 / h ） 。 {\textstyle x={\sqrt {\log(1/h)}}.} h → 0 + 、 {\displaystyle h\to 0+,} 私 （ σ ） < ∞ {\displaystyle I(\sigma )<\infty } 私 （ σ ） = ∞ {\displaystyle I(\sigma )=\infty } σ （ e − x 2 ） = 1 x 1 {\textstyle \sigma (e^{-x^{2}})={\tfrac {1}{x^{a}}}} x 、 {\displaystyle x,} σ （ h ） = （ ログ （ 1 / h ） ） − 1 / 2 {\textstyle \sigma (h)=(\log(1/h))^{-a/2}} h 、 {\displaystyle h,} 私 （ σ ） < ∞ {\displaystyle I(\sigma )<\infty } 1 > 1 、 {\displaystyle a>1,} 私 （ σ ） = ∞ {\displaystyle I(\sigma )=\infty } 0 < 1 ≤ 1. {\displaystyle 0<a\leq 1.} σ {\displaystyle \sigma } [ 0 、 ∞ ） 、 {\displaystyle [0,\infty ),}
(*) 存在する
ε > 0 {\displaystyle \varepsilon >0} そのため
σ {\displaystyle \sigma } 単調です
[ 0 、 ε ] {\displaystyle [0,\varepsilon ]} 連続性から導かれるものではないσ {\displaystyle \sigma } σ （ h ） ≥ 0 {\displaystyle \sigma (h)\geq 0} h {\displaystyle h} σ （ 0 ） = 0. {\displaystyle \sigma (0)=0.}
歴史について。[ 18 ] ： 十分性は1964年にザビエル・フェルニーク によって発表されたが、最初の証明は1967年にリチャード・M・ダドリーによって発表された。 [ 17 ] ： ローレンス・シェップ によって証明された。[ 19 ] ：
サンプル連続プロセスが存在するX {\displaystyle X} 私 （ σ ） = ∞ ; {\displaystyle I(\sigma )=\infty ;} (*)に違反します。MarcusとShepp [ 19 ] ： はランダムな欠損フーリエ級数 です。X t = ∑ n = 1 ∞ c n （ ξ n コス λ n t + η n 罪 λ n t ） 、 {\displaystyle X_{t}=\sum _{n=1}^{\infty }c_{n}(\xi _{n}\cos \lambda _{n}t+\eta _{n}\sin \lambda _{n}t),} ξ 1 、 η 1 、 ξ 2 、 η 2 、 … {\displaystyle \xi _{1},\eta _{1},\xi _{2},\eta _{2},\dots } は標準正規分布 に従う独立な確率変数であり、頻度は0 < λ 1 < λ 2 < … {\displaystyle 0<\lambda _{1}<\lambda _{2}<\dots } c n > 0 {\displaystyle c_{n}>0} ∑ n c n < ∞ 。 {\textstyle \sum _{n}c_{n}<\infty .}
E ∑ n c n （ | ξ n | + | η n | ） = ∑ n c n E [ | ξ n | + | η n | ] = const ⋅ ∑ n c n < ∞ 、 {\textstyle {\mathbb {E} }\sum _{n}c_{n}(|\xi _{n}|+|\eta _{n}|)=\sum _{n}c_{n}{\mathbb {E} }[|\xi _{n}|+|\eta _{n}|]={\text{const}}\cdot \sum _{n}c_{n}<\infty ,}
そこから∑ n c n （ | ξ n | + | η n | ） < ∞ {\textstyle \sum _{n}c_{n}(|\xi _{n}|+|\eta _{n}|)<\infty } X 。 {\displaystyle X.}
ランダムな欠損フーリエ級数の自己相関 その自己共変動関数 E [ X t X t + h ] = ∑ n = 1 ∞ c n 2 コス λ n h {\displaystyle {\mathbb {E} }[X_{t}X_{t+h}]=\sum _{n=1}^{\infty }c_{n}^{2}\cos \lambda _{n}h} σ 、 {\displaystyle \sigma ,} σ （ h ） = 2 E [ X t X t ] − 2 E [ X t X t + h ] = 2 ∑ n = 1 ∞ c n 2 罪 2 λ n h 2 。 {\displaystyle \sigma (h)={\sqrt {2{\mathbb {E} }[X_{t}X_{t}]-2{\mathbb {E} }[X_{t}X_{t+h}]}}=2{\sqrt {\sum _{n=1}^{\infty }c_{n}^{2}\sin ^{2}{\frac {\lambda _{n}h}{2}}}}.}
アプリケーション 他の回帰モデルと比較したガウス過程回帰（予測）の例。[ 23 ] ガウス過程は、ベイズ推論 における関数 の事前確率分布 として使用できます。[ 7 ] [ 24 ] N 個の点のセットが与えられた場合、共分散行列 パラメータが、目的のカーネル を持つそれらのN個の点の グラム行列である 多変量ガウス を取り、そのガウスからサンプリングします 。多出力予測問題の解決のために、ベクトル値関数のガウス過程回帰が開発されました。この方法では、「大きな」共分散が構築され、これは目的の領域のN 個の点で取得されたすべての入力変数と出力変数の間の相関を記述します。 [ 25 ] このアプローチは、行列値ガウス過程について詳細に説明され、 Student-t 過程 のような「裾が重い」過程に一般化されました。[ 26 ]
ガウス過程事前分布を用いた連続値の推論は、ガウス過程回帰またはクリギング として知られています。ガウス過程回帰を複数の目的変数に拡張することは、 コクリギング として知られています。[ 27 ] 補間 ツールとして有用です。クリギングは、混合整数入力の場合にガウス過程を拡張するためにも使用されます。[ 28 ]
ガウス過程は、数値積分、微分方程式の解法、確率数値解析 の分野における最適化などの数値解析問題に取り組むためにもよく使用されます。
ガウス過程は、例えばエキスパートの混合モデルの文脈でも使用できます。[ 29 ] [ 30 ]
二乗指数カーネルを用いたガウス過程回帰（予測）。左のグラフは事前分布からの抽出値、中央のグラフは事後分布からの抽出値、右のグラフは平均予測値（1標準偏差を網掛け表示）です。 一般的なガウス過程回帰問題（クリギング）を扱う場合、ガウス過程については、f {\displaystyle f} x {\displaystyle x} 値の f （ x ） {\displaystyle f(x)} これ 。 n {\displaystyle n} したがって 、 f （ x ′ ） ～ N （ 0 、 K （ θ 、 x 、 x ′ ） ） {\displaystyle f(x')\sim N(0,K(\theta ,x,x'))} K （ θ 、 x 、 x ′ ） {\displaystyle K(\theta ,x,x')} は、 。 （ x 、 x ′ ） {\displaystyle (x,x')} 与えられたハイパーパラメータθ のセットに対して。 [ 7 ] そのため、
ログ p （ f （ x ′ ） ∣ θ 、 x ） = − 1 2 （ f T （ x ） K − 1 （ θ 、 x 、 x ′ ） f （ x ′ ） + ログ 検出 （ K （ θ 、 x 、 x ′ ） ） + n ログ 2 π ） {\displaystyle \log p(f(x')\mid \theta ,x)=-{\frac {1}{2}}\left(f^{\mathsf {T}}(x)K^{-1}(\theta ,x,x')f(x')+\log \det(K(\theta ,x,x'))+n\log 2\pi \right)}
そして、 θ に対するこの周辺尤度を最大化することで、ガウス過程f 、 観測されていない値について予測を行います。 f （ x * ） {\displaystyle f(x^{*})} x *。 p （ y * ∣ x * 、 f （ x ） 、 x ） = N （ y * ∣ A 、 B ） {\displaystyle p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\mid A,B)} A は次のように定義される。 A = K （ θ 、 x * 、 x ） K − 1 （ θ 、 x 、 x ′ ） f （ x ） {\displaystyle A=K(\theta ,x^{*},x)K^{-1}(\theta ,x,x')f(x)} B は次のように定義される。 B = K （ θ 、 x * 、 x * ） − K （ θ 、 x * 、 x ） K − 1 （ θ 、 x 、 x ′ ） K T （ θ 、 x * 、 x ） {\displaystyle B=K(\theta ,x^{*},x^{*})-K(\theta ,x^{*},x)K^{-1}(\theta ,x,x')K^{\mathsf {T}}(\theta ,x^{*},x)} で K （ θ 、 x * 、 x ） {\displaystyle K(\theta ,x^{*},x)} は、 与え θ に対する推定の新しい座標x *と他のすべての観測座標x との間の共分散である。K （ θ 、 x 、 x ′ ） {\displaystyle K(\theta ,x,x')} そして f （ x ） {\displaystyle f(x)} れ 、 K （ θ 、 x * 、 x * ） {\displaystyle K(\theta ,x^{*},x^{*})} は 、 θ によって規定される点x *。実際には、 f （ x * ） {\displaystyle f(x^{*})} （ 。 f （ x ） {\displaystyle f(x)} に 、 f （ x * ） {\displaystyle f(x^{*})} 実際には ある f （ x ） {\displaystyle f(x)} 、 その ため大規模なデータセットでは実行不可能になる可能性があることである。 [ 6 ] [ 31 ] fの 代表セット を構築するという考えに基づいており、この問題を回避しようとしている。 [ 32 ] [ 33 ] [ 34 ] 法は、空間関数予測のための 非線形混合効果モデル の潜在レベルで使用できる。この手法は潜在クリギングと呼ばれる。 [ 35 ] 大規模データセットを分析するためのスケーラブルなガウス過程の他のクラスは、Vecchia 近似 と最近傍ガウス過程 (NNGP)から出現した。 [ 36 ] [ 31 ]
多くの場合、共分散は次の形式をとります。K （ θ 、 x 、 x ′ ） = 1 σ 2 K ～ （ θ 、 x 、 x ′ ） {\textstyle K(\theta ,x,x')={\frac {1}{\sigma ^{2}}}{\tilde {K}}(\theta ,x,x')} σ 2 {\displaystyle \sigma ^{2}} σ 2 {\displaystyle \sigma ^{2}} p （ θ ∣ D ） {\displaystyle p(\theta \mid D)} θ {\displaystyle \theta } D {\displaystyle D} x {\displaystyle x} f （ x ） {\displaystyle f(x)} [ 37 ]
物理的応用 ガウス過程は、その統計的モデリング特性により、自然科学の多くの分野で応用が拡大している。分子特性 予測では、推論能力と計算コストの面から、これらの過程モデルが小規模な分子データセットに利用されている。[ 40 ] [ 41 ] [ 42 ]
天体物理学 ガウス過程は、天体物理学 や天文学の分野でも広く利用されています。ガウス過程は、相関ノイズをモデル化できます。相関ノイズとは、観測値と相関のある未知の分布に依存する、特定の種類の非ガウスノイズです。この種のノイズは、機器の系統誤差として、または物理過程の結果として観測対象に固有のものとして、天文学的信号によく見られます。相関ノイズは、系外惑星のトランジット現象でよく考慮されるものであり、ガウス過程は、これらのトランジット 光度曲線 （トランジットよりも長い時間スケール）のトレンドを除去し、より弱く、より短命な信号を検出できるようにするために使用されてきました。[ 43 ] これらの過程は、系外惑星検出のもう1つの方法である視線速度 データ内の恒星活動指標から惑星信号を分離するためにも使用されています。これは、ガウス過程モデルを訓練してカーネルのハイパーパラメータを最適化し、視線速度データのノイズ成分を正確に再現することで実現されます。これにより、どの信号が厳密に周期的であると定義するのが最適か（惑星がそうであるべき）、どの信号が進化する準周期的カーネルによって最もよく表現されるか（恒星がそうであるべき）を最終的に判断できます。[ 44 ] 光球上の活動領域によって生成される相関ノイズ（ 磁場 相互作用の結果）は、トランジットイベントと同様の時間スケールを持つ可能性があり、疎にサンプリングされたデータを扱うガウス過程モデルは、特に若い恒星の周りの系外惑星の検出を確認するために使用されます。[ 45 ] [ 46 ]
回転し、磁気的に活発な太陽のような恒星の変動性は、ガウス過程を用いてかなり正確にモデル化することができる。[ 45 ] [ 47 ] [ 48 ] K QP （ x 、 x ′ ） = α 2 exp （ − d 2 2 λ 1 2 − Γ 罪 2 [ π d λ 2 ] ） {\displaystyle {\text{K}}_{\text{QP}}(x,x')=\alpha ^{2}\exp \left(-{\frac {d^{2}}{2\lambda _{1}^{2}}}-\Gamma \sin ^{2}\left[{\frac {\pi d}{\lambda _{2}}}\right]\right)} α {\displaystyle \alpha } λ 1 {\displaystyle \lambda _{1}} λ 2 {\displaystyle \lambda _{2}} λ 1 {\displaystyle \lambda _{1}} [ 45 ] [ 49 ]
ガウス過程は、電磁スペクトル の光と電波の部分における確率的変動のため、活動銀河核 (AGN)の個々の天体や集団の解析にも使用されます。[ 45 ] 残響マッピング を使用して超大質量ブラックホールの 周囲の広輝線放射領域 の範囲を特定するために以前に使用されており、これらのカーネルは、大規模な AGN 集団の光度曲線の変動を特徴付けるためにも使用できます。[ 50 ] [ 51 ]
ガウス過程のその他の天体物理学的応用には、パルサーの タイミングと分散尺度のモデル、重力波 構造と検出器の不確実性（特にLIGO-Virgo-KAGRA コラボレーション）、過渡現象の分類、準周期振動などがあります。[ 45 ] [ 52 ] [ 53 ] [ 54 ] [ 55 ]
計算上の問題 実際の応用では、ガウス過程モデルはしばしばグリッド上で評価され、多変量正規分布が得られます。これらのモデルを予測や最尤法によるパラメータ推定に使用するには、多変量ガウス密度を評価する必要があり、これには行列式と共分散行列の逆行列の計算が含まれます。これらの操作はどちらも計算複雑度が3次であるため、グリッドのサイズが小さい場合でも、どちらの操作も計算コストが法外になる可能性があります。この欠点により、複数の近似法 が開発されました。[ 31 ]
参考文献 ↑ MacKay, David JC (2003).情報理論、推論、学習アルゴリズム (PDF) . Cambridge University Press . p. 540. ISBN 9780521642989 関数の確率 分布y （ x ） {\displaystyle y(\mathbf {x} )} x （ 1 ） 、 x （ 2 ） 、 … 、 x （ N ） {\displaystyle \mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots ,\mathbf {x} ^{(N)}} P （ y （ x （ 1 ） ） 、 y （ x （ 2 ） ） 、 … 、 y （ x （ N ） ） ） {\displaystyle P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots ,y(\mathbf {x} ^{(N)}))} ↑ ダドリー、RM (1989). 実解析と確率 . ワズワース・アンド・ブルックス/コール. ISBN 0-534-10050-3 。↑ 飛田武之、一田益之 (1976). ガウス過程 . プロビデンス、ロードアイランド州: アメリカ数学会. pp. 37–52 . ↑ Kac, M.; Siegert, AJF (1947). "定常ガウス過程の明示的表現" . The Annals of Mathematical Statistics . 18 (3): 438– 442. doi : 10.1214/aoms/1177730391 . ↑ Bishop, CM (2006). パターン認識と機械学習 . Springer . ISBN 978-0-387-31073-2 。1 2 3 バーバー、デイビッド (2012). ベイズ推論と機械学習 . ケンブリッジ大学出版局 . ISBN 978-0-521-51814-7 。1 2 3 4 5 6 Rasmussen, CE; Williams, CKI (2006). Gaussian Processes for Machine Learning . MIT Press . ISBN 978-0-262-18253-9 。↑ グリメット、ジェフリー；デイビッド・スターザカー（2001）。 確率とランダム過程 。 オックスフォード大学出版 局 。ISBN 978-0198572220 。↑ Seeger, Matthias ( 2004). "機械学習のためのガウス過程". International Journal of Neural Systems . 14 (2): 69–104 . CiteSeerX 10.1.1.71.1079 . doi : 10.1142/s0129065704001899 . PMID 15112367. S2CID 52807317 . ↑ Dudley, RM (1975). "ガウス過程とそのアプローチ方法" (PDF) . 国際数学者会議議事録 . 第 2 巻 pp. 143–146 . ↑ Banerjee, Sudipto; Gelfand, Alan E. (2003). "空間プロセスの滑らかさの特性について" . Journal of Multivariate Analysis . 84 (1): 85– 100. Bibcode : 2003JMA....84...85B . doi : 10.1016/S0047-259X(02)00016-7 . ↑ Dudley, RM (2010). "ガウス過程の標本関数" . RM Dudley 選集 . 第 1 巻. pp. 66–103 . doi : 10.1007/978-1-4419-5821-1_13 . ISBN 978-1-4419-5820-4 。↑ タラグラン、ミシェル (2014)。 確率過程の上限と下限: 現代の方法と古典的な問題 。 Ergebnisse der Mathematik および ihrer Grenzgebiete。 3. フォルゲ / 数学における現代の調査シリーズ。ハイデルベルク、シュプリンガー。 ISBN 978-3-642-54074-5 。↑ Ledoux, Michel (1996), "等周性とガウス分析", Dobrushin, Roland; Groeneboom, Piet; Ledoux, Michel (編), Lectures on Probability Theory and Statistics: Ecole d'Eté de Probabilités de Saint-Flour XXIV–1994 , Lecture Notes in Mathematics, vol. 1648, Berlin: Springer, pp. 165– 294, doi : 10.1007/BFb0095676 , ISBN 978-3-540-62055-6 MR 1600888 ↑ アドラー、ロバート・J. (1990). 一般ガウス過程における連続性、極値、および関連トピック入門 . 第 12巻. カリフォルニア州ヘイワード: 数理統計学研究所. ISBN 0-940600-17-X . JSTOR 4355563 . MR 1088478 . ↑ Berman, Simeon M. (1992). 「Adler 1990『連続性入門』のレビュー...」 Mathematical Reviews . MR 1088478 . 1 2 Dudley, RM (1967). "ヒルベルト空間のコンパクト部分集合のサイズとガウス過程の連続性" . Journal of Functional Analysis . 1 (3): 290– 330. doi : 10.1016/0022-1236(67)90017-1 . 1 2 Marcus, MB; Shepp, Lawrence A. (1972). "ガウス過程の標本挙動" . 第 6 回バークレー数学統計学および確率シンポジウム議事録、第 II 巻: 確率論 . 第 6 巻. カリフォルニア大学バークレー校. pp. 423–441 . 1 2 Marcus, Michael B.; Shepp, Lawrence A. (1970). "ガウス過程の連続性" . Transactions of the American Mathematical Society . 151 (2): 377– 391. doi : 10.1090/s0002-9947-1970-0264749-1 . JSTOR 1995502 . ↑ エーサン州アズムーデ。ソッティネン、トミ。ヴィイタサーリ、ラウリ。ヤジギ、アディル (2014)。 「ガウス過程のヘルダー連続性のための必要十分条件」。 統計と確率の手紙 。 94 : 230–235.arXiv : 1403.2215 。 土井 ： 10.1016/j.spl.2014.07.030 。 ↑ マイケル F. ドリスコル (1973)。 「ガウス過程のサンプルパスのカーネルヒルベルト空間構造の再現」 。 Zeitschrift für Wahrscheinlichkeitstheorie および Verwandte Gebiete 。 26 (4): 309–316 。 土井 : 10.1007/BF00534894 。 ISSN 0044-3719 。 S2CID 123348980 。 ↑ Jidling, Carl; Wahlström, Niklas; Wills, Adrian; Schön, Thomas B. (2017-09-19). "線形制約付きガウス過程". arXiv : 1703.00787 [ stat.ML ]. ↑ scikit-learn のドキュメントにも同様の例があります。 ↑ Liu, W.; Principe, JC; Haykin, S. (2010). Kernel Adaptive Filtering: A Comprehensive Introduction . John Wiley . ISBN 978-0-470-44753-6 2016年3月4日にオリジナルからアーカイブされました。 2010年3月26 日に取得 。↑ Álvarez, Mauricio A.; Rosasco, Lorenzo; Lawrence, Neil D. (2012). "ベクトル値関数のカーネル: レビュー" (PDF) . Foundations and Trends in Machine Learning . 4 (3): 195– 266. doi : 10.1561/2200000036 . S2CID 456491 . ↑ Chen, Zexun; Wang, Bo; Gorban, Alexander N. (2019). "多変量ガウスおよびスチューデントt過程回帰による多出力予測" . Neural Computing and Applications . 32 (8): 3005– 3028. arXiv : 1703.04455 . doi : 10.1007/s00521-019-04687-8 . ↑ Stein, ML (1999). 空間データの補間：クリギングの理論 . Springer . ↑ Saves, Paul; Diouane, Youssef; Bartoli, Nathalie; Lefebvre, Thierry; Morlier, Joseph (2023). "ガウス過程のための混合カテゴリ相関カーネル". Neurocomputing . 550 126472. arXiv : 2211.08262 . doi : 10.1016/j.neucom.2023.126472 . ↑ Platanios, Emmanouil A.; Chatzis, Sotirios P. (2014). "Gaussian Process-Mixture Conditional Heteroscedasticity". IEEE Transactions on Pattern Analysis and Machine Intelligence . 36 (5): 888–900 . Bibcode : 2014ITPAM..36..888P . doi : 10.1109 / TPAMI.2013.183 . PMID 26353224. S2CID 10424638 . ↑ Chatzis, Sotirios P. (2013). "多クラス分類のためのピットマン・ヨー過程事前分布を用いた潜在変数ガウス過程モデル". Neurocomputing . 120 : 482– 489. doi : 10.1016/j.neucom.2013.04.029 . 1 2 3 Banerjee, Sudipto (2017). "高次元ベイズ地統計学" . Bayesian Analysis . 12 (2): 583– 614. doi : 10.1214/17-BA1056R . PMC 5790125 . PMID 29391920 . ↑ Smola, AJ; Schoellkopf, B. (2000). "機械学習のためのスパース貪欲行列近似". 第17回国際機械学習会議議事録 : 911–918 . CiteSeerX 10.1.1.43.3153 . ↑ Csato , L.; Opper, M. (2002). "Sparse on-line Gaussian processes". Neural Computation . 14 (3): 641–668 . Bibcode : 2002NeCom..14..641C . CiteSeerX 10.1.1.335.9713 . doi : 10.1162/089976602317250933 . PMID 11860686. S2CID 11375333 . ↑ Banerjee, Sudipto; Gelfand, Alan E.; Finley, Andrew O.; Sang, Huiyan (2008). "大規模空間データセットのためのガウス予測プロセスモデル" . Journal of the Royal Statistical Society, Series B (Statistical Methodology) . 70 (4): 825– 848. doi : 10.1111/j.1467-9868.2008.00663.x . PMC 2741335 . PMID 19750209 . ↑ Lee, Se Yoon; Mallick, Bani (2021). "ベイズ階層モデリング: 南テキサスのイーグルフォードシェールにおける生産結果への応用" . Sankhya B . 84 : 1– 43. doi : 10.1007/s13571-020-00245-8 . 1 2 Datta, Abhirup; Banerjee, Sudipto; Finley, Andrew; Gelfand, Alan (2016). "大規模空間データのための階層的最近傍ガウス過程モデル" . Journal of the American Statistical Association . 111 (514): 800– 812. doi : 10.1080/01621459.2015.1044091 . PMC 5927603 . PMID 29720777 . ↑ Ranftl, Sascha; Melito, Gian Marco; Badeli, Vahid; Reinbacher-Köstinger, Alice; Ellermann, Katrin; von der Linden, Wolfgang (2019-12-31). "大動脈解離のインピーダンス心臓造影のためのマルチフィデリティデータとガウス過程を用いたベイズ的不確実性定量化" . Entropy . 22 (1): 58. Bibcode : 2019Entrp..22...58R . doi : 10.3390/e22010058 . ISSN 1099-4300 . PMC 7516489 . PMID 33285833 . ↑ Novak, Roman; Xiao, Lechao; Hron, Jiri; Lee, Jaehoon; Alemi, Alexander A.; Sohl-Dickstein, Jascha; Schoenholz, Samuel S. (2020). "Neural Tangents: Python で高速かつ簡単に無限ニューラルネットワークを構築". International Conference on Learning Representations . arXiv : 1912.02803 . ↑ Neal, Radford M. (2012). ベイズ学習によるニューラルネットワーク . Springer Science and Business Media. ↑ Moss, Henry B.; Griffiths, Ryan-Rhys (2020), Gaussian Process Molecule Property Prediction with FlowMO , arXiv : 2010.01118 ↑ Griffiths, Ryan-Rhys (2022). Applications of Gaussian Processes at Extreme Lengthscales: From Molecules to Black Holes (PhD thesis). University of Cambridge. arXiv : 2303.14291 . doi : 10.17863/CAM.93643 . ↑ Shanks, BL; Sullivan, HW; Shazed, AR; Hoepfner, MP (2024). "Accelerated Bayesian Inference for Molecular Simulations using Local Gaussian Process Surrogate Models" . Journal of Chemical Theory and Computation . 20 (9): 3798–3808 . arXiv : 2310.19108 . Bibcode : 2024JCTC...20.3798S . doi : 10.1021/acs.jctc.3c01358 . PMID 38551198 . ↑ Morris, Brett M; Bobra, Monica G; Agol, Eric; Lee, Yu Jin; Hawley, Suzanne L (2020-04-21). "PLATOによるトランジット系外惑星測光のための恒星変動ノイズフロア" . Monthly Notices of the Royal Astronomical Society . 493 (4): 5489– 5498. arXiv : 2002.08072 . doi : 10.1093/mnras/staa618 . ISSN 0035-8711 . ↑ Rajpaul, V.; Aigrain, S.; Osborne, MA; Reece, S.; Roberts, S. (2015-09-21). "視線速度データにおける恒星活動シグナルをモデル化するためのガウス過程フレームワーク" . Monthly Notices of the Royal Astronomical Society . 452 (3): 2269– 2291. arXiv : 1506.07304 . doi : 10.1093/mnras/stv1428 . ISSN 0035-8711 . 1 2 3 4 5 Aigrain, Suzanne; Foreman-Mackey, Daniel (2023). "天文時系列のためのガウス過程回帰" . Annual Review of Astronomy and Astrophysics . 61 : 350– 359. arXiv : 2209.08940 . Bibcode : 2023ARA & A..61..329A . doi : 10.1146/annurev-astro-052920-103508 . ↑ Barragán, O; Aigrain, S; Kubyshkina, D; Gandolfi, D; Livingston, J; Fridlund, MCV; Fossati, L; Korth, J; Parviainen, H; Malavolta, L; Palle, E; Deeg, HJ; Nowak, G; Rajpaul, VM; Zicher, N (2019-11-21). "K2-100bの視線速度による確認：若く、高放射線を受け、低密度のトランジットするホットネプチューン" . Monthly Notices of the Royal Astronomical Society . 490 (1): 698– 708. arXiv : 1909.05252 . doi : 10.1093/mnras/stz2569 . ISSN 0035-8711 . ↑ Haywood, RD; Collier Cameron, A.; Queloz, D.; Barros, SCC; Deleuil, M.; Fares, R.; Gillon, M.; Lanza, AF; Lovis, C.; Moutou, C.; Pepe, F.; Pollacco, D.; Santerne, A.; Ségransan, D.; Unruh, YC (2014-09-21). "惑星と恒星活動: CoRoT-7 系でのかくれんぼ★" . Monthly Notices of the Royal Astronomical Society . 443 (3): 2517– 2531. arXiv : 1407.1044 . doi : 10.1093/mnras/stu1320 . ISSN 1365-2966 . ↑ Aigrain, S.; Pont, F.; Zucker, S. (2012-02-01). "測光を用いた恒星活動による視線速度変動を推定する簡便な方法" . Monthly Notices of the Royal Astronomical Society . 419 (4): 3147–3158 . arXiv : 1110.1034 . Bibcode : 2012MNRAS.419.3147A . doi : 10.1111/ j.1365-2966.2011.19960.x . ISSN 0035-8711 . ↑ Nicholson, BA; Aigrain, S (2022-08-18). "恒星活動の準周期ガウス過程：物理パラメータからカーネルパラメータへ" . Monthly Notices of the Royal Astronomical Society . 515 (4): 5251– 5266. doi : 10.1093/mnras/stac2097 . ISSN 0035-8711 . ↑ コズウォフスキ、シモン。コチャネック、クリストファー S.ウダルスキー、A.ヴィルジコフスキ、ł.;ソジンスキー、I.ミネソタ州シマンスキー;クビアク、M.ピエトジンスキー、G.シェブチック、O.ウラチク、Ｋ．ポレスキ、R. OGLE コラボレーション (2010-01-10)。 「連続的に変化するソースを分類するための一般的なアプローチの一部としてのクエーサー変動の定量化」 。 天体物理学ジャーナル 。 708 (2): 927–945 . arXiv : 0909.1326 。 Bibcode : 2010ApJ...708..927K 。 土井 ： 10.1088/0004-637X/708/2/927 。 ISSN 0004-637X 。 ↑ MacLeod, CL; Ivezić, ž.; Kochanek, CS; Kozłowski, S.; Kelly, B.; Bullock, E.; Kimball, A.; Sesar, B.; Westman, D.; Brooks, K.; Gibson, R.; Becker, AC; de Vries, WH (2010-10-01). "SDSS Stripe 82 Quasars の時間変動を減衰ランダムウォークとしてモデル化する" . The Astrophysical Journal . 721 (2): 1014– 1033. arXiv : 1004.0276 . Bibcode : 2010ApJ...721.1014M . doi : 10.1088/0004-637X/721/2/1014 . ISSN 0004-637X 。 ↑ Abbott, R.; Abbott, TD; Abraham, S.; Acernese, F.; Ackley, K.; Adams, C.; Adhikari, RX; Adya, VB; Affeldt, C.; Agathos, M.; Agatsuma, K.; Aggarwal, N.; Aguiar, OD; Aich, A.; Aiello, L. (2020-06-01). "GW190814: 23 太陽質量のブラックホールと 2.6 太陽質量のコンパクト天体の合体による重力波" . The Astrophysical Journal Letters . 896 (2): L44. arXiv : 2006.12611 . Bibcode : 2020ApJ...896L..44A . doi : 10.3847/2041-8213/ab960f . ISSN 2041-8205 . ↑ Lochner, Michelle; McEwen, Jason D.; Peiris, Hiranya V.; Lahav, Ofer; Winter, Max K. (2016-08-01). "機械学習による測光超新星分類" . The Astrophysical Journal Supplement Series . 225 (2): 31. arXiv : 1603.00882 . Bibcode : 2016ApJS..225...31L . doi : 10.3847/0067-0049/225/2/31 . ISSN 0067-0049 . ↑ Yang, Shenbang; Yan, Dahai; Zhang, Pengfei; Dai, Benzhong; Zhang, Li (2021-02-01). "Gaussian Process Modeling Fermi-LAT γ-Ray Blazar Variability: A Sample of Blazars with γ-Ray Quasi-periodicities" . The Astrophysical Journal . 907 (2): 105. arXiv : 2011.10186 . Bibcode : 2021ApJ...907..105Y . doi : 10.3847/1538-4357/abcbff . ISSN 0004-637X . ↑ van Haasteren, Rutger; Vallisneri, Michele (2014-11-11). "パルサータイミングデータ解析へのガウス過程アプローチの新たな進歩" . Physical Review D . 90 (10) 104012. arXiv : 1407.1838 . Bibcode : 2014PhRvD..90j4012V . doi : 10.1103/PhysRevD.90.104012 . ISSN 1550-7998 .
外部リンク
文学 ガウス過程のウェブサイトには、ラスムッセンとウィリアムズによる「機械学習のためのガウス過程」の本文も含まれています。 Ebden, Mark (2015). "ガウス過程：簡単な入門". arXiv : 1505.02965 [ math.ST ]. ガウスランダム場と相関関数の概説 ガウス過程を用いた効率的な強化学習
ソフトウェア GPML：ガウス過程回帰および分類のための包括的なMatlabツールボックス STK：クリギングおよびGPモデリングのための小型（Matlab/Octave）ツールボックス UQLabフレームワーク（Matlab）のクリギングモジュール CODESツールボックス：クリギング、変分クリギング、マルチフィデリティモデルの実装（Matlab） 定常ガウス場に対するMatlab/Octave関数 Yelp MOE – ガウス過程学習を用いたブラックボックス最適化エンジン ooDACE ( 2020年8月9日にWayback Machine に アーカイブ) – 柔軟なオブジェクト指向クリギングMatlabツールボックス。 GPstuff – MatlabおよびOctave用のガウス過程ツールボックス GPy – Pythonで記述されたガウス過程フレームワーク GSTools - ガウス過程回帰を含む、Pythonで書かれた地質統計ツールボックス 対話型ガウス過程回帰デモ C++11で書かれた基本的なガウス過程ライブラリ scikit-learn – ガウス過程回帰と分類を含む、Python 用の機械学習ライブラリ Python 用のSAMBO 最適化ライブラリは、scikit-learn のガウス過程回帰器によって駆動される逐次最適化をサポートしています。 - クリギング ツールキット (KriKit) は、ドイツ連邦博物館 (FZJ) の生物地球科学研究所 1 (IBG-1) で開発されています。
ビデオチュートリアル ガウス過程の基礎（デビッド・マッケイ著） カール・エドワード・ラスムッセン著『ガウス過程による学習』 カール・エドワード・ラスムッセン著『ベイズ推論とガウス過程』
![{\displaystyle {\mathbb {E} }\left[\exp \left(i\sum _{\ell =1}^{k}s_{\ell }\,\mathbf {X} _{t_{\ell }}\right)\right]=\exp \left(-{\tfrac {1}{2}}\sum _{\ell ,j}\sigma _{\ell j}^{2}s_{\ell }s_{j}+i\sum _{\ell }\mu _{\ell }s_{\ell }\right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/aa4852deab452c141516c80f99aad9ffacf201e9)
![{\displaystyle {\mathbb {E} }\left[{\mathrm {e} }^{i\,\mathbf {s} \,(\mathbf {X} _{t}-\mathbf {\mu } )}\right]={\mathrm {e} }^{-\mathbf {s} \,\sigma ^{2}\,\mathbf {s} /2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/82e502eda54ef7f7ec7cce0966ef783f9e319a4a)
![{\displaystyle \sigma (h)={\sqrt {{\mathbb {E} }\left[\left(X(t+h)-X(t)\right)^{2}\right]}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c32bc09069b2f9ae73697c6e7669c50e48cb61e0)
![{\displaystyle [0,\varepsilon ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/09b79b1e11f2a6c9b36a919ddbbf91204fe7a1df)
![{\textstyle {\mathbb {E} }\sum _{n}c_{n}(|\xi _{n}|+|\eta _{n}|)=\sum _{n}c_{n}{\mathbb {E} }[|\xi _{n}|+|\eta _{n}|]={\text{const}}\cdot \sum _{n}c_{n}<\infty ,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f2397aa6b5b6fe4708619c38b3098a7fb9b096d3)
![{\displaystyle {\mathbb {E} }[X_{t}X_{t+h}]=\sum _{n=1}^{\infty }c_{n}^{2}\cos \lambda _{n}h}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c74c4fe6d709650c8080cc792a2e3081ecc6456f)
![{\displaystyle \sigma (h)={\sqrt {2{\mathbb {E} }[X_{t}X_{t}]-2{\mathbb {E} }[X_{t}X_{t+h}]}}=2{\sqrt {\sum _{n=1}^{\infty }c_{n}^{2}\sin ^{2}{\frac {\lambda _{n}h}{2}}}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b2744f474eb0c2acec5b901987219b0955a7e121)
![{\displaystyle \lim _{n\to \infty }\operatorname {tr} [K_{n}R_{n}^{-1}]<\infty ,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fc1d1379312a0e78525fce2f2e4404c8069abd48)
![\displaystyle \Pr[f\in {\mathcal {H}}(R)]=1.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8c967b1fdbe5cdad6c678a7022bbfdd6a17901bb)
![{\displaystyle \lim _{n\to \infty }\operatorname {tr} [K_{n}R_{n}^{-1}]=\infty }](https://wikimedia.org/api/rest_v1/media/math/render/svg/e133d11ae8a4dc2825314c86ec4c86df1aabb0fe)
![\displaystyle \Pr[f\in {\mathcal {H}}(R)]=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c3b6ef001cb269a0cbb38ff83d802da1ad908639)
![{\displaystyle \lim _{n\to \infty }\operatorname {tr} [R_{n}R_{n}^{-1}]=\lim _{n\to \infty }\operatorname {tr} [I]=\lim _{n\to \infty }n=\infty .}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1ecb16aa9321bb328f2529628314558edb19b482)
![${\displaystyle {\text{K}}_{\text{QP}}(x,x')=\alpha ^{2}\exp \left(-{\frac {d^{2}}{2\lambda _{1}^{2}}}-\Gamma \sin ^{2}\left[{\frac {\pi d}{\lambda _{2}}}\right]\right)}$](https://wikimedia.org/api/rest_v1/media/math/render/svg/ece54eb99ca2bef5f50aec6dc139a88c802283c6)
