確率数値

数値積分問題に対して確率的数値法が開発されており、最も一般的な方法はベイズ求積法と呼ばれている。^{[ 15 ] [ 16 ] [ 17 ] [ 18 ]}

数値積分では、関数評価が行われます。${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$いくつかの時点で${\displaystyle x_{1},\ldots ,x_{n}}$積分を推定するために使用される${\displaystyle \textstyle \int f(x)\nu (dx)}$関数の${\displaystyle f}$何らかの基準に対して${\displaystyle \nu }$ベイズ求積法は、事前分布を指定することから成り立っています。${\displaystyle f}$そしてこれを事前に条件付け${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$事後分布を取得する${\displaystyle f}$次に、暗黙の事後分布を計算します。${\displaystyle \textstyle \int f(x)\nu (dx)}$事前分布として最も一般的なのはガウス過程です。これは、積分に関する閉形式の事後分布（単変量ガウス分布）を得ることができるためです。ベイズ求積法は、関数が${\displaystyle f}$評価には費用がかかり、データの規模は小規模から中規模である。

確率的数値計算は、ある目的関数の最小値または最大値を求める数学的最適化においても研究されてきた。${\displaystyle f}$与えられた一連の点における、その関数の（ノイズや間接的な）評価値。

おそらくこの方向で最も注目すべき取り組みは、ベイズ最適化^{[ 20 ]}であり、これはベイズ推論に基づいた最適化への一般的なアプローチである。ベイズ最適化アルゴリズムは、確率的信念を維持することによって機能する。${\displaystyle f}$最適化手順全体を通して、これは多くの場合、観測に基づいて条件付けられたガウス過程事前分布の形をとります。この信念は、最適化プロセスを進める可能性が高い観測値を取得するようにアルゴリズムを導きます。ベイズ最適化ポリシーは通常、目的関数の事後分布を、各連続観測位置を選択するために最大化される、安価で微分可能な取得関数に変換することによって実現されます。注目すべきアプローチの1つは、適切な効用関数によって評価される最適化の進捗が最も大きい観測値のシーケンスを取得することを目指す、ベイズ逐次実験計画法による最適化のモデル化です。このアプローチの好ましい副次的効果は、基礎となる確率的信念によって測定される目的関数の不確実性が、古典的な探索と活用のトレードオフに対処する最適化ポリシーを導くことができることです。

確率的数値法は、深層学習の確率的最適化の文脈で開発されており、特に 学習率の調整やラインサーチ^{[ 21 ]}、 バッチサイズの選択^{[ 22 ]} 、早期停止^{[ 23 ]}、 枝刈り^{[ 24 ] 、および1次と2次の探索方向[ 25 ] [ 26 ]}などの主要な問題に対処するために開発されています。

この設定では、最適化の目的は多くの場合、次のような形式の経験的リスクである。${\displaystyle \textstyle L(\theta )={\frac {1}{N}}\sum _{n=1}^{N}\ell (y_{n},f_{\theta }(x_{n}))}$ データセットによって定義される${\displaystyle \textstyle {\mathcal {D}}=\{(x_{n},y_{n})\}_{n=1}^{N}}$損失${\displaystyle \ell (y,f_{\theta }(x))}$これは予測モデルがどれだけ優れているかを定量化するものです${\displaystyle f_{\theta }(x)}$パラメータ化${\displaystyle \theta }$ ターゲットの予測を実行する${\displaystyle y}$対応する入力から${\displaystyle x}$データセットのサイズが小さい場合、認識的不確実性が生じる。${\displaystyle N}$は大きく、一度に処理できないため、局所的な量（いくつかの${\displaystyle \theta }$損失関数など ${\displaystyle L(\theta )}$それ自体またはその勾配${\displaystyle \nabla L(\theta )}$妥当な時間内に計算することは困難です。そのため、一般的にはミニバッチ処理を用いて、データのランダムなサブセットからこれらの量の推定値を構築します。確率的数値解析手法は、この不確実性を明示的にモデル化し、自動的な意思決定とパラメータ調整を可能にします。

線形代数のための確率的数値解法^{[ 7 ] [ 8 ] [ 27 ] [ 9 ] [ 28 ] [ 29 ]}は、主に次の形式の線形方程式系の 解法に焦点を当ててきた。${\displaystyle Ax=b}$行列式の計算${\displaystyle |A|}$[ ^{30 ] [ 31 ]​}

多くの手法は反復的な性質を持ち、行列とベクトルの繰り返し乗算によって解くべき線形システムに関する情報を収集する。${\displaystyle v\mapsto Av}$システム行列を用いて${\displaystyle A}$異なるベクトルで${\displaystyle v}$こうした手法は、解に対する信念が表現されるかどうかに応じて、大まかに解ベースの視点^{[ 8 ] [ 28 ]}と行列ベースの視点^{[ 7 ] [ 9 ]}に分類できる。${\displaystyle x}$線形システムの、または行列の（擬似）逆行列${\displaystyle H=A^{\dagger }}$信念の更新では、推論されたオブジェクトが行列乗算にリンクされていることを前提としています。${\displaystyle y=Av}$または${\displaystyle z=A^{\intercal }v}$経由${\displaystyle b^{\intercal }z=x^{\intercal }v}$そして${\displaystyle v=A^{-1}y}$問題の線形観測の下でのガウス分布の閉鎖性のため、これらの手法は通常ガウス分布を仮定します。概念的には異なりますが、これら2つの見解は計算上は等価であり、右辺を介して本質的に結びついています。${\displaystyle x=A^{-1}b}$[ ^{27 ]​}

確率的数値線形代数ルーチンは、ガウス過程を大規模データセットに拡張するためにうまく適用されてきました。^{[ 31 ] [ 32 ]}特に、観測されたデータの有限数と費やされた計算量の有限の両方から生じる不確実性を定量化する結合ガウス過程事後分布への近似誤差の正確な伝播を可能にします。^{[ 32 ]}

常微分方程式に対する確率的数値解法$\displaystyle {\dot {y}}(t)=f(t,y(t))}$初期値問題や境界値問題向けに開発された手法があります。常微分方程式向けに設計されたさまざまな確率的数値解法が提案されており、これらは大きく次の2つのカテゴリに分類できます。

• ランダム化に基づく方法は、常微分方程式の標準的な決定論的数値解法にランダムな摂動を加えることによって定義されます。たとえば、これは、1ステップ積分器の解にガウス摂動を加えることによって^{[ 33 ]}、または時間ステップをランダムに摂動することによって達成されています。^{[ 34 ]}これにより、サンプリング可能な微分方程式の解の確率尺度が定義されます。
• ガウス過程回帰法は、対象となる微分方程式を解く問題をガウス過程回帰問題として定式化し、右辺の評価値を導関数に関するデータとして解釈することに基づいています。^{[ 35 ]}これらの手法はベイズ求積法に似ていますが、異なる、多くの場合非線形な観測モデルを採用しています。^{[ 36 ] [ 37 ]}この種の手法は、初期段階では単純なガウス過程回帰に基づいていました。これは後に（計算効率の面で）ガウス・マルコフ事前分布^{[ 38 ] [ 39 ]}を採用することで改善され、確率微分方程式によってモデル化されています。${\displaystyle \mathrm {d} x(t)=Ax(t)\,\mathrm {d} t+B\,\mathrm {d} v(t)}$、 どこ ${\displaystyle x(t)}$は${\displaystyle \nu }$次元ベクトルモデリングの最初の${\displaystyle \nu }$の派生${\displaystyle y(t)}$、そして${\displaystyle v(t)}$は${\displaystyle \nu }$次元ブラウン運動。したがって、推論はカルマンフィルタリングに基づく方法で効率的に実装できます。これらの方法はODEフィルタとして知られています。

これら2つのカテゴリの境界は明確ではなく、実際、ランダム化データに基づくガウス過程回帰アプローチも開発されました。^{[ 40 ]これらの方法は、計算リーマン幾何学の問題、 [ 41 ]}逆問題、潜在力モデル、およびシンプレクティック性などの幾何学的構造を持つ微分方程式に適用されています。

偏微分方程式に対しても、多くの確率的数値解法が提案されている。常微分方程式と同様に、これらのアプローチは、一般的に何らかの基礎となる有限要素メッシュのランダム化に基づくもの^{[ 33 ] [ 42 ]と、ガウス過程回帰に基づくもの[ 4 ] [ 3 ] [ 43 ] [ 44 ]}に大別できる。

ガウス過程回帰に基づく確率的数値偏微分方程式ソルバーは、特定の事前分布に対する線形偏微分方程式の古典的な方法、特にガラーキン法、有限要素法、スペクトル法などの平均加重残差法を再現します。^{[ 44 ]}