ウィーナー確率過程の極値の確率分布

確率論の数学理論において、ノーバート・ウィーナーにちなんで名付けられたウィーナー過程は、ブラウン運動や金融市場の変動など、さまざまな現象をモデル化するために使用される確率過程です。ウィーナー過程の極値の条件付き確率分布の公式とその証明の概略は、1964 年に発表された HJ Kusher の著作 (付録 3、106 ページ) に示されています。^{[ 1 ]}詳細な構成的証明は、1978 年に Dario Ballabio の著作に示されています。^{[ 2 ]}この結果は、ベイズ最適化アルゴリズムに関する研究プロジェクトの中で開発されました。

グローバル最適化問題の中には、目的関数の解析的定義が不明で、固定点での値しか得られないものがあります。評価コストが非常に高い目的関数も存在します。例えば、評価が実験結果や特に負担の大きい測定結果である場合などです。このような場合、グローバル極値（最大値または最小値）の探索は、「ベイズ最適化」と呼ばれる手法を用いて実行できます。この手法は、あらかじめ決められた回数の評価で可能な限り最良の結果を事前に得ることを目的としています。要約すると、既に評価された点以外では、目的関数は適切な特性を持つ確率過程によって表現できるパターンを持つと想定されます。確率過程は目的関数のモデルとして採用され、その極値の確率分布が目的関数の極値について最良の情報を提供すると想定されます。1次元最適化の最も単純なケースでは、目的関数が複数の点で評価されている場合、このように特定された区間のうち、どの区間にさらに評価を投資するのがより適切かを選択するという問題が生じます。目的関数のモデルとしてウィーナー確率過程を選択した場合、区間境界における既知の値に基づいて、各区間内のモデル極値の確率分布を計算することが可能です。得られた分布を比較することで、プロセスを反復する区間を選択するための基準が得られます。目的関数のグローバル極値点が含まれる区間を特定できた確率値を停止基準として使用できます。ベイズ最適化は局所極値を正確に探索するための効率的な方法ではないため、問題の特性に応じて探索範囲を制限した後は、特定の局所最適化手法を使用できます。

させて${\displaystyle X(t)}$区間上のウィーナー確率過程である${\displaystyle [a,b]}$初期値付き${\displaystyle X(a)=X_{a}.}$

ウィーナー過程の定義によれば、増分は正規分布に従う。

${\displaystyle {\text{for }}a\leq t_{1}<t_{2}\leq b,\qquad X(t_{2})-X(t_{1})\sim N(0,\sigma ^{2}(t_{2}-t_{1})).}$

させて

${\displaystyle F(z)=\Pr(\min _{a\leq t\leq b}X(t)\leq z\mid X(b)=X_{b})}$

最小値の累積確率分布関数とする。${\displaystyle X(t)}$区間における関数${\displaystyle [a,b]}$値によって条件付けられる${\displaystyle X(b)=X_{b}.}$

次のことが示されています。^{[ 1 ] [ 3 ] [注1 ]}

${\displaystyle F(z)={\begin{cases}1&{\text{for }}z\geq \min\{X_{a},X_{b}\},\\\exp \left(-2{\dfrac {(z-X_{b})(z-X_{a})}{\sigma ^{2}(b-a)}}\right)&{\text{for }}z<\min(X_{a},X_{b}).\end{cases}}}$

場合${\displaystyle z\geq \min(X_{a},X_{b})}$これは最小定義の直接的な結果であり、以下では常に${\displaystyle z<\min(X_{a},X_{b})}$また、特殊なケースも${\displaystyle \min _{a\leq t\leq b}X(t)=\min(X_{a},X_{b})}$除外されます。

仮定してみましょう${\displaystyle X(t)}$有限個の点で定義される${\displaystyle t_{k}\in [a,b],\ \ 0\leq k\leq n,\ \ t_{0}=a}$。

させて ${\displaystyle T_{n}\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ \{t_{k},\ \ 0\leq k\leq n,\}}$整数を変化させる${\displaystyle n}$集合の列である${\displaystyle \{T_{n}\}}$そのため ${\displaystyle T_{n}\subset T_{n+1}}$そして${\displaystyle \bigcup _{n=0}^{+\infty }T_{n}}$密な集合である${\displaystyle [a,b]}$、

したがって、各点の近傍は${\displaystyle [a,b]}$いずれかの集合の要素を含む${\displaystyle T_{n}}$。

させて${\displaystyle \Delta z}$実数の正の数で、${\displaystyle z+\Delta z<\min(X_{a},X_{b}).}$

イベント​${\displaystyle E}$次のように定義される：${\displaystyle E\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\min _{a\leq t\leq b}X(t)<z+\Delta z)}$${\displaystyle \Longleftrightarrow }$${\displaystyle (\exists \,t\in [a,b]:X(t)<z+\Delta z)}$。

特殊なケースを除外した上で${\displaystyle \min _{a\leq t\leq b}X(t)=\min(X_{a},X_{b})}$それは確かに${\displaystyle P(E)>0}$。

させて${\displaystyle E_{n},\ \ n=0,1,2,\ldots }$事象は次のように定義される。${\displaystyle E_{n}\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\exists \,t_{k}\in T_{n}:z<X(t_{k})<z+\Delta z)}$そして${\displaystyle \nu }$最初のkになる${\displaystyle t_{k}\in T_{n}}$定義する${\displaystyle E_{n}}$。

以来${\displaystyle T_{n}\subset T_{n+1}}$それは明らかに${\displaystyle E_{n}\subset E_{n+1}}$それでは、式（2.1）を証明する。

（2.1）${\displaystyle \ \ \ \ E=\bigcup _{n=0}^{+\infty }E_{n}}$

によって${\displaystyle E_{n}}$イベントの定義、${\displaystyle \forall \,n\ \ E_{n}\Rightarrow E}$したがって ${\displaystyle \bigcup _{n=0}^{+\infty }E_{n}\subset E}$これから関係性を検証します${\displaystyle E\subset \bigcup _{n=0}^{+\infty }E_{n}}$したがって（2.1）が証明される。

の定義 ${\displaystyle E}$の継続性${\displaystyle X(t)}$そして仮説${\displaystyle z<X_{a}=X(a)}$中間値の定理によれば、 ${\displaystyle (\exists \,{\bar {t}}\in [a,b]:z<X({\bar {t}})<z+\Delta z)}$。

継続性によって${\displaystyle X(t)}$そして、 ${\displaystyle \bigcup _{n=0}^{+\infty }T_{n}}$密度が高い${\displaystyle [a,b]}$推論されるのは${\displaystyle \exists \,{\bar {n}}}$そのため、${\displaystyle t_{\nu }\in T_{\bar {n}}}$に違いない${\displaystyle z<X(t_{\nu })<z+\Delta z}$、

したがって${\displaystyle E\subset E_{\bar {n}}\subset \bigcup _{n=0}^{+\infty }E_{n}}$これは（2.1）を意味する。

（2.2）${\displaystyle \ \ \ \ P(E)=\lim _{n\rightarrow +\infty }P(E_{n})}$

（2.2）は（2.1）から差し引かれる 。${\displaystyle E_{n}\Rightarrow E_{n+1}}$確率のシーケンスは${\displaystyle P(E_{n})}$単調非減少であり、したがって上限に収束する。イベントの定義${\displaystyle E_{n}}$暗示する${\displaystyle \forall n\ \ P(E_{n})>0\Rightarrow P(E_{n})=P(E_{\nu })}$（2.2）は 、${\displaystyle P(E)=P(E_{\nu })}$。

以下では常に${\displaystyle n\geq \nu }$、 それで${\displaystyle t_{\nu }}$明確に定義されている。

（2.3）${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)-X(t_{\nu })<-X_{b}+z)}$

実際、定義によれば ${\displaystyle E_{n}}$それは ${\displaystyle z<X(t_{\nu })}$、 それで${\displaystyle (X(b)\leqslant -X_{b}+2z)\Rightarrow (X(b)-X(t_{\nu })<-X_{b}+z)}$。

同様に、定義により${\displaystyle E_{n}}$それは${\displaystyle z<X(t_{\nu })}$（2.4）は有効である。

（2.4）${\displaystyle \ \ \ \ P(X(b)-X(t_{\nu })>X_{b}-z)\leqslant P(X(b)>X_{b})}$

（2.5）${\displaystyle \ \ \ \ P(X(b)-X(t_{\nu })<-X_{b}+z)=P(X(b)-X(t_{\nu })>X_{b}-z)}$

上記は、確率変数が${\displaystyle (X(b)-X(t_{\nu }))\thicksim N(\varnothing$ ;\ \ \sigma ^{2}(b-t_{\nu }))} は、 その平均値がゼロであることと比較して対称的な確率密度を持っています。

関係式(2.3)、(2.5)、(2.4)を順に適用すると、(2.6)が得られる  。

（2.6）${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_{b})}$

（2.3）、（2.4）、（2.5）を得るのに使用したのと同じ手順で、 今回は関係式を利用する。${\displaystyle X(t_{\nu })<z+\Delta z}$（2.7）が得られます 。

（2.7）${\displaystyle \ \ \ \ P(X(b)>X_{b})\leqslant P(X(b)-X(t_{\nu })>X_{b}-z-\Delta z)\ \ }$${\displaystyle =\ \ P(X(b)-X(t_{\nu })<-X_{b}+z+\Delta z)\leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$

（2.6）と（2.7）を順に適用すると、次の式が得られます。

（2.8）${\displaystyle P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_{b})}$${\displaystyle \leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$

から${\displaystyle X_{b}>z+\Delta z>z}$継続性を考慮すると${\displaystyle X(t)}$そして中間値の定理 から ${\displaystyle X(b)>X_{b}>z+\Delta z>z\Rightarrow E_{n}}$、

これはつまり ${\displaystyle P(X(b)>X_{b})=P(E_{n},X(b)>X_{b})}$。

上記を （2.8）に代入し、極限をとると次のようになる。${\displaystyle \lim _{n\rightarrow +\ \infty }\ \ E_{n}(\Delta z)\rightarrow E(\Delta z)}$そして ${\displaystyle \Delta z\rightarrow 0}$、 イベント${\displaystyle E(\Delta z)}$収束して${\displaystyle \min _{a\leq t\leq b}X(t)\leqslant z}$

（2.9）${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_{b})}$

${\displaystyle \forall \,dX_{b}>0}$置換により${\displaystyle (X_{b})}$と${\displaystyle (X_{b}-dX_{b})}$（2.9）では 、同等の関係が得られます。

(2.10)${\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z+dX_{b})=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_{b}-dX_{b})}$

ベイズの定理を結合事象に 適用する${\displaystyle (\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

（2.11）${\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=}$${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}<X(b)\leqslant X_{b})}$${\displaystyle /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

させて： ${\displaystyle B\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)>X_{b}\},\ C\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X_{b}-dX_{b}<X(b)\leq X_{b}\},\ D\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)>X_{b}-dX_{b}\},\ A\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ \{\min _{a\leq t\leq b}X(t)\leqslant z\}}$上記の定義から、次のことが導かれる。

${\displaystyle D=B\cup C\Rightarrow \ P(A,D)=P(A,B\cup C)=P(A,B)+P(A,C)\Rightarrow P(A,C)=P(A,D)-P(A,B)}$

（2.12）${\displaystyle \ \ \ \ P(A,C)=P(A,D)-P(A,B)}$

（2.12）を（2.11）に代入すると、以下の式が得られる。

（2.13）${\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=(P(\min _{a\leqslant t\leqslant b}X(t)\leq z,\ \ X(b)>X_{b}-dX_{b})-P(\min _{a\leqslant t\leqslant b}X(t)\leq z,\ \ X(b)>X_{b}))\ \ /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

（2.9）と（2.10）を（2.13）に代入すると：

（2.14）${\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=}$${\displaystyle (P(X(b)\leqslant -X_{b}+2z+dX_{b})-P(X(b)\leqslant -X_{b}+2z)}$${\displaystyle /\ \ P(X_{b}-dX_{b}<X(b)\leqslant X_{b})}$

（2.14）の2番目の項には、確率変数の確率分布が現れることが観察される。${\displaystyle X(b)}$平均が正規分布${\displaystyle X_{a}}$e 分散${\displaystyle \sigma ^{2}(b-a)}$。

気づき${\displaystyle X_{b}}$そして${\displaystyle -X_{b}+2z}$確率変数の${\displaystyle X(b)}$それぞれ確率密度を一致させる：

（2.15）${\displaystyle \ \ \ \ P(X_{b})\,dX_{b}={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$

(2.16)${\displaystyle \ \ \ \ P(-X_{b}+2z)\,dX_{b}={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$

(2.15)と(2.16)を(2.14)に代入し、極限をとると ${\displaystyle dX_{b}\rightarrow 0}$命題は証明された。

${\displaystyle F(z)=P(\min _{a\leq t\leq b}X(t)\leq z\ \ |\ \ X(b)=X_{b})=}$

${\displaystyle ={\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}}$${\displaystyle \ \ \diagup \ \ {\frac {1}{\sigma {\sqrt {2\pi (b-a)}}}}\exp {\biggl (}-{\frac {1}{2}}{\frac {(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}\,dX_{b}=}$

${\displaystyle =\exp {\biggl (}-{\frac {1}{2}}{\frac {(-X_{b}+2z-X_{a})^{2}-(X_{b}-X_{a})^{2}}{\sigma ^{2}(b-a)}}{\biggr )}=}$${\displaystyle \ \ \exp {\biggl (}-2\ \ {\frac {(z-X_{b})(z-X_{a})}{\sigma ^{2}(b-a)}}{\biggr )}}$

• 未知の時間変動形式の関数の汎用的な確率モデル - Harold J Kushner - Journal of Mathematical Analysis and Applications Volume 5, Issue 1, August 1962, Pages 150-167.
• 極値探索のためのベイズ法の応用 - J. Mockus、J. Tiesis、A. Zilinskas - IFIP Congress 1977、8月8日～12日、トロント。

• 確率変数
• 確率
• 事象（確率論）
• 条件付き確率
• 通常の条件付き確率
• 確率過程
• ウィーナープロセス