深層後方確率微分方程式法

BSDEは1990年にPardouxとPengによって初めて導入され、それ以来、確率制御と金融数学における不可欠なツールとなっています。1990年代には、Étienne PardouxとShige PengがBSDE解の存在と一意性理論を確立し、BSDEを金融数学と制御理論に応用しました。例えば、BSDEはオプション価格設定、リスク測定、動的ヘッジングで広く使用されています。^{[ 2 ]}

ディープラーニングは、多層ニューラルネットワークに基づく機械学習手法です。その中核となる概念は、1940年代のニューラルコンピューティングモデルにまで遡ることができます。1980年代には、バックプロパゲーションアルゴリズムの提案により、多層ニューラルネットワークの学習が可能になりました。2006年には、ジェフリー・ヒントンらが提案したディープビリーフネットワークが、ディープラーニングへの関心を再び高めました。それ以来、ディープラーニングは、画像処理、音声認識、自然言語処理などの分野で画期的な進歩を遂げています。 ^{[ 3 ]}

確率微分方程式を解くための従来の数値解法^{[ 4 ]}には、オイラー・丸山法、ミルスタイン法、ルンゲ・クッタ法（SDE）、および反復確率積分のさまざまな表現に基づく方法が含まれる。 ^{[ 5 ] [ 6 ]}

しかし、金融問題が複雑化するにつれて、BSDE の従来の数値解法 (モンテカルロ法、有限差分法など) は、計算複雑度の高さや次元の呪いなどの限界を示してきました。^{[ 1 ]}

1. 高次元シナリオでは、モンテカルロ法は精度を確保するために多数のシミュレーションパスを必要とするため、計算時間が長くなります。特に、非線形BSDEの場合、収束速度が遅いため、複雑な金融デリバティブ価格設定問題を扱うことが困難になります。^{[ 7 ] [ 8 ]}

   

2. 一方、有限差分法では、次元の増加に伴い計算グリッドの数が指数関数的に増加するため、計算量と記憶容量が大幅に増加します。この方法は一般的に単純な境界条件や低次元のBSDEには適していますが、複雑な状況では効果が劣ります。^{[ 9 ]}

ディープラーニングとBSDEの組み合わせであるディープBSDEは、従来の数値計算法が直面する高次元の課題に対する解決策として、2018年にHan、Jentzen、およびEによって提案されました。ディープBSDEアプローチは、ディープラーニングの強力な非線形フィッティング機能を活用し、ニューラルネットワークを構築することによってBSDEの解を近似します。具体的なアイデアは、BSDEの解をニューラルネットワークの出力として表現し、ネットワークを訓練して解を近似することです。^{[ 1 ]}

逆向き確率微分方程式 (BSDE) は、確率制御、金融数学などの分野で広く応用されている強力な数学ツールです。時間的に順方向に解かれる従来の確率微分方程式(SDE) とは異なり、BSDE は未来の時点から現在に向かって逆方向に解かれます。この独自の特性により、BSDE は終端条件や不確実性を含む問題に特に適しています。^{[ 2 ]}

後方確率微分方程式 (BSDE) は次のように定式化できます。^{[ 10 ]}

${\displaystyle Y_{t}=\xi +\int _{t}^{T}f(s,Y_{s},Z_{s})\,ds-\int _{t}^{T}Z_{s}\,dW_{s},\quad t\in [0,T]}$

この方程式では：

• ${\displaystyle \xi }$時刻に指定された終端条件は${\displaystyle T}$。
• ${\displaystyle f:[0,T]\times \mathbb {R} \times \mathbb {R} \to \mathbb {R} }$BSDEのジェネレーターと呼ばれる
• ${\displaystyle (Y_{t},Z_{t})_{t\in [0,T]}}$解は確率過程から構成されるか${\displaystyle (Y_{t})_{t\in [0,T]}}$そして${\displaystyle (Z_{t})_{t\in [0,T]}}$ろ過に適した${\displaystyle ({\mathcal {F}}_{t})_{t\in [0,T]}}$
• ${\displaystyle W_{s}}$は標準ブラウン運動です。

目標は、適応したプロセスを見つけることです${\displaystyle Y_{t}}$そして${\displaystyle Z_{t}}$この方程式を満たす。従来の数値計算法は、次元の呪いのためにBSDEに苦戦し、高次元空間での計算が非常に困難になる。^{[ 1 ]}

出典：^{[ 1 ]}

出典：^{[ 1 ]}

ディープラーニングは、複雑なデータ構造のモデリングと解釈を可能にすることで、数多くの分野を変革してきた機械学習技術のクラスを包含しています。ディープラーニングと呼ばれるこれらの手法は、相互接続されたノード、つまりニューロンの複数の層からなる階層的なアーキテクチャによって特徴付けられます。このアーキテクチャにより、ディープニューラルネットワークはデータの抽象的な表現を自律的に学習することができ、画像認識、自然言語処理、金融モデリングなどのタスクで特に効果的です。この手法の中核は、適切なニューラルネットワーク構造（全結合ネットワークやリカレントニューラルネットワークなど）を設計し、効果的な最適化アルゴリズムを選択することにあります。^{[ 3 ]}

ディープBSDEネットワークアーキテクチャの選択、層の数、および層あたりのニューロン数は、ディープBSDE法の性能に大きく影響する重要なハイパーパラメータです。ディープBSDE法は、ニューラルネットワークを構築して、解を近似します。${\displaystyle Y}$そして${\displaystyle Z}$、そして確率的勾配降下法やその他の最適化アルゴリズムをトレーニングに利用する。^{[ 1 ]}

図は、深層BSDE法のネットワークアーキテクチャを示しています。${\displaystyle \nabla u(t_{n},X_{t_{n}})}$はサブネットワークによって直接近似される変数を表し、${\displaystyle u(t_{n},X_{t_{n}})}$これは、ネットワーク内で反復的に計算される変数を表します。このネットワークには、3種類の接続があります。^{[ 1 ]}

私）${\displaystyle X_{t_{n}}\rightarrow h_{1}^{n}\rightarrow h_{2}^{n}\rightarrow \ldots \rightarrow h_{H}^{n}\rightarrow \nabla u(t_{n},X_{t_{n}})}$多層フィードフォワードニューラルネットワークは、時刻における空間勾配を近似している。${\displaystyle t=t_{n}}$重み${\displaystyle \theta _{n}}$このサブネットワークのパラメータは最適化されています。

ii)${\displaystyle (u(t_{n},X_{t_{n}}),\nabla u(t_{n},X_{t_{n}}),W_{t_{n}+1}-W_{t_{n}})\rightarrow u(t_{n+1},X_{t_{n+1}})}$ネットワークの最終出力を近似値として提供する順方向反復は、${\displaystyle u(t_{N},X_{t_{N}})}$式5および式6で特徴付けられる。このタイプの接続では最適化されたパラメータはない。

iii)${\displaystyle (X_{t_{n}},W_{t_{n}+1}-W_{t_{n}})\rightarrow X_{t_{n+1}}}$これは、式4および式6で特徴付けられる、異なる時間にあるブロックを接続するショートカットです。また、このタイプの接続では最適化されたパラメータはありません。

この関数は、目的関数を最小化するためのAdam ^{[ 11 ]アルゴリズムを実装しています。}${\displaystyle {\mathcal {G}}(\theta )}$。

機能: ADAM(${\displaystyle \alpha }$、${\displaystyle \beta _{1}}$、${\displaystyle \beta _{2}}$、${\displaystyle \epsilon }$、${\displaystyle {\mathcal {G}}(\theta )}$、${\displaystyle \theta _{0}}$）は${\displaystyle m_{0}:=0}$// 1次モーメントベクトルを初期化する${\displaystyle v_{0}:=0}$// 2次モーメントベクトルを初期化する${\displaystyle t:=0}$// タイムステップを初期化する// ステップ 1: パラメータの初期化${\displaystyle \theta _{t}:=\theta _{0}}$// ステップ 2: 最適化ループwhile${\displaystyle \theta _{t}}$収束していません${\displaystyle t:=t+1}$${\displaystyle g_{t}:=\nabla _{\theta }{\mathcal {G}}_{t}(\theta _{t-1})}$// 勾配を計算する${\displaystyle {\mathcal {G}}}$タイムステップで${\displaystyle t}$${\displaystyle m_{t}:=\beta _{1}\cdot m_{t-1}+(1-\beta _{1})\cdot g_{t}}$// バイアスのかかった1次モーメント推定値を更新する${\displaystyle v_{t}:=\beta _{2}\cdot v_{t-1}+(1-\beta _{2})\cdot g_{t}^{2}}$// バイアスのかかった2次モーメント推定値を更新${\displaystyle {\widehat {m}}_{t}:={\frac {m_{t}}{(1-\beta _{1}^{t})}}}$// バイアス補正済み1次モーメント推定値を計算する${\displaystyle {\widehat {v}}_{t}:={\frac {v_{t}}{(1-\beta _{2}^{t})}}}$// バイアス補正された2次モーメント推定値を計算する${\displaystyle \theta _{t}:=\theta _{t-1}-{\frac {\alpha \cdot {\widehat {m}}_{t}}{({\sqrt {{\widehat {v}}_{t}}}+\epsilon )}}}$// パラメータを更新する戻る${\displaystyle \theta _{t}}$

• 上記で説明したADAMアルゴリズムを用いて、多層フィードフォワードニューラルネットワークに対応する擬似コードを以下に示します。

この関数は、多層フィードフォワードニューラルネットワークを学習させるためのバックプロパゲーションアルゴリズムを実装しています。

関数:バックプロパゲーション(セット)${\displaystyle D=\left\{(\mathbf {x} _{k},\mathbf {y} _{k})\right\}_{k=1}^{m}}$)は// ステップ 1: ランダム初期化// ステップ 2: 最適化ループは 終了条件が満たされるまで 繰り返されます:各${\displaystyle (\mathbf {x} _{k},\mathbf {y} _{k})\in D}$: ${\displaystyle {\hat {\mathbf {y} }}_{k}:=f(\beta _{j}-\theta _{j})}$// 出力の計算//各出力ニューロンの勾配の計算${\displaystyle j}$: ${\displaystyle g_{j}:={\hat {y}}_{j}^{k}(1-{\hat {y}}_{j}^{k})({\hat {y}}_{j}^{k}-y_{j}^{k})}$//各隠れニューロンに対する出力ニューロンの勾配${\displaystyle h}$: ${\displaystyle e_{h}:=b_{h}(1-b_{h})\sum _{j=1}^{\ell }w_{hj}g_{j}}$// 隠れニューロンの勾配//各重みの重みを更新${\displaystyle w_{hj}}$: ${\displaystyle \Delta w_{hj}:=\eta g_{j}b_{h}}$//各重量に対する重量ルールの更新${\displaystyle v_{ih}}$: ${\displaystyle \Delta v_{ih}:=\eta e_{h}x_{i}}$// 重みに関するルールの更新//各パラメータのパラメータの更新${\displaystyle \theta _{j}}$: ${\displaystyle \Delta \theta _{j}:=-\eta g_{j}}$//各パラメータのパラメータに対する更新ルール${\displaystyle \gamma _{h}}$: ${\displaystyle \Delta \gamma _{h}:=-\eta e_{h}}$// パラメータの更新ルール// ステップ 3: 学習済みの多層フィードフォワードニューラルネットワークを構築する学習済みニューラルネットワークを返す

• ADAMアルゴリズムと多層フィードフォワードニューラルネットワークを組み合わせることで、最適な投資ポートフォリオを解くための擬似コードを以下に示します。

出典：^{[ 1 ]}

この関数は、指定されたパラメータと確率過程を用いて最適な投資ポートフォリオを計算します。

関数OptimalInvestment(${\displaystyle W_{t_{i+1}}-W_{t_{i}}}$、${\displaystyle x}$、${\displaystyle \theta =(X_{0},H_{0},\theta _{1},\theta _{2},\dots ,\theta _{N-1})}$)は// ステップ 1: 初期化${\displaystyle k:=0}$最大ステップに${\displaystyle M_{0}^{k,m}:=0}$、${\displaystyle X_{0}^{k,m}:=X_{0}^{k}}$// パラメータの初期化${\displaystyle i:=0}$に${\displaystyle N-1}$する${\displaystyle H_{t_{i}}^{k,m}:={\mathcal {NN}}(M_{t_{i}}^{k,m};\theta _{i}^{k})}$// フィードフォワードニューラルネットワークユニットを更新する${\displaystyle M_{t_{i+1}}^{k,m}:=M_{t_{i}}^{k,m}+{\big (}(1-\phi )(\mu _{t_{i}}-M_{t_{i}}^{k,m}){\big )}(t_{i+1}-t_{i})+\sigma _{t_{i}}(W_{t_{i+1}}-W_{t_{i}})}$${\displaystyle X_{t_{i+1}}^{k,m}:=X_{t_{i}}^{k,m}+{\big [}H_{t_{i}}^{k,m}(\phi (M_{t_{i}}^{k,m}-\mu _{t_{i}})+\mu _{t_{i}}){\big ]}(t_{i+1}-t_{i})+H_{t_{i}}^{k,m}(W_{t_{i+1}}-W_{t_{i}})}$// ステップ2：損失関数を計算する${\displaystyle {\mathcal {L}}(t):={\frac {1}{M}}\sum _{m=1}^{M}\left|X_{t_{N}}^{k,m}-g(M_{t_{N}}^{k,m})\right|^{2}}$// ステップ 3: ADAM 最適化を使用してパラメータを更新する${\displaystyle \theta ^{k+1}:=\operatorname {ADAM} (\theta ^{k},\nabla {\mathcal {L}}(t))}$${\displaystyle X_{0}^{k+1}:=\operatorname {ADAM} (X_{0}^{k},\nabla {\mathcal {L}}(t))}$// ステップ4：終端状態を返すreturn${\displaystyle (M_{t_{N}},X_{t_{N}})}$

出典: ^{[ 1 ] [ 12 ]}

1. 高次元対応能力：従来の数値計算手法と比較して、ディープBSDEは高次元問題において非常に優れた性能を発揮します。
2. 柔軟性：深層ニューラルネットワークを組み込むことで、この手法は様々なタイプのBSDEや金融モデルに適応できる。
3. 並列コンピューティング：ディープラーニングフレームワークはGPUアクセラレーションをサポートしており、計算効率を大幅に向上させます。

出典: ^{[ 1 ] [ 12 ]}

1. 学習時間：深層ニューラルネットワークの学習には、通常、膨大なデータと計算リソースが必要となる。
2. パラメータの感度：ニューラルネットワークのアーキテクチャとハイパーパラメータの選択は結果に大きな影響を与えるため、多くの場合、経験と試行錯誤が必要となります。