ハミルトン・ヤコビ・ベルマン方程式

ハミルトン・ヤコビ・ベルマン（HJB）方程式は、損失関数に対する制御の最適性のための必要十分条件を提供する非線形偏微分方程式である。^[1]その解は最適制御問題の価値関数であり、これが分かれば、 HJB方程式に含まれるハミルトニアンの最大値（または最小値）を取ることで最適制御を得ることができる。 ^{[2] [3]}

この方程式は、1950年代にリチャード・ベルマンと同僚によって開拓された動的計画法の理論の結果である。 ^{[4] [5] [6]}古典物理学のハミルトン・ヤコビ方程式との関連は、ルドルフ・カルマンによって初めて示された。^[7]離散時間問題では、類似の差分方程式は通常、ベルマン方程式と呼ばれる。

最速降下問題などの古典的な変分問題はハミルトン・ヤコビ・ベルマン方程式を使って解くことができるが、 ^[8]この方法はより広い範囲の問題に適用できる。さらに確率系に一般化することができ、その場合 HJB 方程式は 2 次楕円偏微分方程式となる。^[9]しかし大きな欠点は、HJB 方程式は十分に滑らかな値関数に対してのみ古典的な解を許容し、これはほとんどの状況では保証されないことである。代わりに、粘性解の概念が必要となり、従来の導関数が (集合値の)部分導関数に置き換えられる。^[10]

期間にわたる決定論的最適制御における次の問題を考えます。 ${\displaystyle [0,T]}$

${\displaystyle V(x(0),0)=\min _{u}\left\{\int _{0}^{T}C[x(t),u(t)]\,dt+D[x(T)]\right\}}$

ここで、はスカラーコスト率関数、 は最終状態での遺産値を与える関数、 はシステム状態ベクトル、は与えられていると仮定され、 は見つけようとしている制御ベクトルです。したがって、は価値関数です。 ${\displaystyle C[\cdot ]}$${\displaystyle D[\cdot ]}$${\displaystyle x(t)}$${\displaystyle x(0)}$${\displaystyle u(t)}$${\displaystyle 0\leq t\leq T}$${\displaystyle V(x,t)}$

このシステムは、

${\displaystyle {\dot {x}}(t)=F[x(t),u(t)]\,}$

ここで、は、時間の経過に伴う状態ベクトルの物理的な進化を決定するベクトルを与えます。 ${\displaystyle F[\cdot ]}$

この単純なシステムでは、ハミルトン・ヤコビ・ベルマン偏微分方程式は

${\displaystyle {\frac {\partial V(x,t)}{\partial t}}+\min _{u}\left\{{\frac {\partial V(x,t)}{\partial x}}\cdot F(x,u)+C(x,u)\right\}=0}$

終末期症状の対象となる

${\displaystyle V(x,T)=D(x),\,}$

前述のように、上記の偏微分方程式の未知のスカラー関数はベルマン値関数であり、これは、時刻 の状態で開始し、そのときから時刻 までシステムを最適に制御することによって発生するコストを表します。 ${\displaystyle V(x,t)}$${\displaystyle x}$${\displaystyle t}$${\displaystyle T}$

直感的に、HJB方程式は次のように導出できる。 が最適なコスト関数（「価値関数」とも呼ばれる）である場合、リチャード・ベルマンの最適性原理により、時刻tからt  +  dtまで進むと、 ${\displaystyle V(x(t),t)}$

${\displaystyle V(x(t),t)=\min _{u}\left\{V(x(t+dt),t+dt)+\int _{t}^{t+dt}C(x(s),u(s))\,ds\right\}.}$

右辺第1項の テイラー展開は

${\displaystyle V(x(t+dt),t+dt)=V(x(t),t)+{\frac {\partial V(x,t)}{\partial t}}\,dt+{\frac {\partial V(x,t)}{\partial x}}\cdot {\dot {x}}(t)\,dt+{\mathcal {o}}(dt),}$

ここで、 は1 より高次のテイラー展開の項を小文字o表記で表します。次に、両辺から を引き、dtで割り、 dt がゼロに近づくときの極限を取ると、上で定義した HJB 方程式が得られます。 ${\displaystyle {\mathcal {o}}(dt)}$${\displaystyle V(x(t),t)}$

HJB方程式は通常、 から始まり で終わる時間的に逆方向に解かれる。^[11]${\displaystyle t=T}$${\displaystyle t=0}$

HJB方程式は、状態空間全体にわたって解かれ、連続的に微分可能である場合、終端状態が制約されていない場合に、最適値を得るための必要十分条件である。 ^[12]を解くことができれば、そこから最小コストを達成する制御を見つけることができます。 ${\displaystyle V(x)}$${\displaystyle V}$${\displaystyle u}$

一般的に、HJB方程式には古典的な（滑らかな）解はありません。そのような状況をカバーするために、粘性解（ピエール・ルイ・ライオンズとマイケル・クランドール）、^[13] ミニマックス解（アンドレイ・イズマイロビッチ・サブボチン [ru]）など、いくつかの一般化解の概念が開発されています。

DP BertsekasとJN Tsitsiklisは、人工ニューラルネットワーク（多層パーセプトロン）を使用してベルマン関数を一般に近似する近似動的計画法を導入しました。 ^[14]これは、空間領域全体の完全な関数マッピングの記憶を、ニューラルネットワークパラメータのみの記憶に置き換えることで、次元の影響を軽減する効果的な緩和戦略です。特に、連続時間システムでは、ポリシー反復とニューラルネットワークを組み合わせた近似動的計画法のアプローチが導入されました。^[15]離散時間では、値反復とニューラルネットワークを組み合わせてHJB方程式を解くアプローチが導入されました。^[16]

あるいは、二乗和最適化は、ノルムに関してハミルトン-ヤコビ-ベルマン方程式の近似多項式解を任意に生成できることが示されている。^[17]${\displaystyle L^{1}}$

ベルマンの最適性原理を適用して制御問題を解決し、時間を遡って最適化戦略を練るという考え方は、確率制御問題にも一般化できます。上記と同様のものを検討してください。

${\displaystyle \min _{u}\mathbb {E} \left\{\int _{0}^{T}C(t,X_{t},u_{t})\,dt+D(X_{T})\right\}}$

最適化する確率過程とステアリングができました。まずベルマン則を使い、次に伊藤の法則で展開すると、確率HJB方程式が見つかります。 ${\displaystyle (X_{t})_{t\in [0,T]}\,\!}$${\displaystyle (u_{t})_{t\in [0,T]}\,\!}$${\displaystyle V(X_{t},t)}$

${\displaystyle \min _{u}\left\{{\mathcal {A}}V(x,t)+C(t,x,u)\right\}=0,}$

ここで、は確率微分演算子を表し、終端条件に従う。 ${\displaystyle {\mathcal {A}}}$

${\displaystyle V(x,T)=D(x)\,\!.}$

ランダム性が消えていることに注目してください。この場合、後者の解決策は必ずしも主要な問題を解決するわけではなく、候補に過ぎず、さらに検証する議論が必要です。この手法は、市場における最適な投資戦略を決定するために金融数学で広く使用されています (たとえば、マートンのポートフォリオ問題を参照)。 ${\displaystyle V\,\!}$

例として、線形確率ダイナミクスと二次コストを持つシステムを見てみましょう。システムダイナミクスが次のように与えられるとします。

${\displaystyle dx_{t}=(ax_{t}+bu_{t})dt+\sigma dw_{t},}$

そしてコストが速度で累積すると、HJB方程式は次のように表される。 ${\displaystyle C(x_{t},u_{t})=r(t)u_{t}^{2}/2+q(t)x_{t}^{2}/2}$

${\displaystyle -{\frac {\partial V(x,t)}{\partial t}}={\frac {1}{2}}q(t)x^{2}+{\frac {\partial V(x,t)}{\partial x}}ax-{\frac {b^{2}}{2r(t)}}\left({\frac {\partial V(x,t)}{\partial x}}\right)^{2}+{\frac {\sigma ^{2}}{2}}{\frac {\partial ^{2}V(x,t)}{\partial x^{2}}}.}$

最適なアクションは

${\displaystyle u_{t}=-{\frac {b}{r(t)}}{\frac {\partial V(x,t)}{\partial x}}}$

値関数の二次形式を仮定すると、線形二次ガウス制御の場合と同様に、値関数のヘッセ行列の通常のリカッチ方程式が得られます。

• ベルマン方程式、ハミルトン・ヤコビ・ベルマン方程式の離散時間版。
• ポンチャギンの最大原理は、ハミルトニアンを最大化することによって最適解を得るための必要条件ではあるが十分条件ではないが、これは考慮されている単一の軌道に対してのみ満たされればよいという HJB よりも利点がある。

• Bertsekas, Dimitri P. (2005)。動的計画法と最適制御。Athena Scientific。
• Pham, Huyên (2009)。「動的プログラミングへの古典的 PDE アプローチ」。金融アプリケーションによる連続時間確率制御と最適化。Springer。pp. 37–60。ISBN 978-3-540-89499-5。
• ステンゲル、ロバート F. (1994)。「最適性の条件」。最適制御と推定。ニューヨーク: ドーバー。pp. 201–222。ISBN 0-486-68200-5。