価値関数

最適化問題の価値関数は、問題のパラメータのみに依存しながら、目的関数が解で達成する値を示します。^{[1] [2]}制御された動的システムでは、価値関数は、時刻t の状態変数x(t)=xで開始された場合の間隔[t, t ₁ ]でのシステムの最適なペイオフを表します。^[3]目的関数が最小化されるべきコストを表す場合、価値関数は最適なプログラムを完了するためのコストとして解釈できるため、「コストツーゴー関数」と呼ばれます。^{[4] [5]目的関数が通常}効用を表す経済的な文脈では、価値関数は概念的に間接効用関数と同等です。^{[6] [7]}

最適制御の問題では、価値関数は許容可能な制御の集合全体にわたって取られた目的関数の上限として定義されます。 が与えられた場合、典型的な最適制御問題は ${\displaystyle (t_{0},x_{0})\in [0,t_{1}]\times \mathbb {R} ^{d}}$

${\displaystyle {\text{最大化}}\quad J(t_{0},x_{0};u)=\int _{t_{0}}^{t_{1}}I(t,x(t),u(t))\,\mathrm {d} t+\phi (x(t_{1}))}$

対象となる

${\displaystyle {\frac {\mathrm {d} x(t)}{\mathrm {d} t}}=f(t,x(t),u(t))}$

初期状態変数は である。^[8]目的関数は、すべての許容可能な制御 に対して最大化される。ここで はから 内の任意の所定の集合へのルベーグ測定可能な関数である。価値関数は次のように定義される。 ${\displaystyle x(t_{0})=x_{0}}$${\displaystyle J(t_{0},x_{0};u)}$${\displaystyle u\in U[t_{0},t_{1}]}$${\displaystyle u}$${\displaystyle [t_{0},t_{1}]}$${\displaystyle \mathbb {R} ^{m}}$

ここで、 は「スクラップ値」です。制御軌道と状態軌道の最適なペアが である場合、 となります。現在の状態に基づいて最適な制御を与える関数は、フィードバック制御ポリシー^[4]または単にポリシー関数と呼ばれます。 ^[9]${\displaystyle V(t_{1},x(t_{1}))=\phi (x(t_{1}))}$${\displaystyle \phi (x(t_{1}))}$${\displaystyle (x^{\ast },u^{\ast })}$${\displaystyle V(t_{0},x_{0})=J(t_{0},x_{0};u^{\ast })}$${\displaystyle h}$${\displaystyle u^{\ast}}$${\displaystyle x}$

ベルマンの最適性原理は、現在の状態を「新しい」初期条件として、時刻 における任意の最適ポリシーが、残りの問題に対して最適でなければならないことを大まかに述べています。価値関数が連続的に微分可能である場合、^[10]はハミルトン-ヤコビ-ベルマン方程式と呼ばれる重要な偏微分方程式を生み出します。 ${\displaystyle t}$${\displaystyle t_{0}\leq t\leq t_{1}}$${\displaystyle x(t)}$

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}\left\{I(t,x,u)+{\frac {\partial V(t,x)}{\partial x}}f(t,x,u)\right\}}$

ここで、右辺の最大値はハミルトニアン、として書き直す こともできる。${\displaystyle H\left(t,x,u,\lambda \right)=I(t,x,u)+\lambda (t)f(t,x,u)}$

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}H(t,x,u,\lambda )}$

は共役変数の役割を果たす。^[11]この定義から、さらに が得られ、HJB方程式の両辺を について微分すると、 ${\displaystyle \partial V(t,x)/\partial x=\lambda (t)}$${\displaystyle \mathrm {d} \lambda (t)/\mathrm {d} t=\partial ^{2}V(t,x)/\partial x\partial t+\partial ^{2}V(t,x)/\partial x^{2}\cdot f(x)}$${\displaystyle x}$

${\displaystyle -{\frac {\partial ^{2}V(t,x)}{\partial t\partial x}}={\frac {\partial I}{\partial x}}+{\frac {\partial ^{2}V(t,x)}{\partial x^{2}}}f(x)+{\frac {\partial V(t,x)}{\partial x}}{\frac {\partial f(x)}{\partial x}}}$

適切な項を置き換えると、共存方程式が復元される。

${\displaystyle -{\dot {\lambda }}(t)=\underbrace {{\frac {\partial I}{\partial x}}+\lambda (t){\frac {\partial f(x)}{\partial x}}} _{={\frac {\partial H}{\partial x}}}}$

ここで、は時間に関する微分を表すニュートン表記である。 ^[12]${\displaystyle {\dot {\lambda }}(t)}$

価値関数はハミルトン・ヤコビ・ベルマン方程式の唯一の粘性解である。 ^[13]オンライン閉ループ近似最適制御では、価値関数は閉ループシステムの大域的漸近安定性を確立するリャプノフ関数でもある。 ^[14]

• Caputo, Michael R. (2005)。「等周問題に対する必要十分条件」。動的経済分析の基礎: 最適制御理論と応用。ニューヨーク: ケンブリッジ大学出版局。pp. 174–210。ISBN 0-521-60368-4。
• Clarke, Frank H.; Loewen, Philip D. (1986). 「最適制御における価値関数: 感度、制御性、および時間最適性」SIAM Journal on Control and Optimization . 24 (2): 243–263. doi :10.1137/0324014.
• LaFrance, Jeffrey T.; Barney, L. Dwayne (1991). 「動的最適化におけるエンベロープ定理」(PDF) . Journal of Economic Dynamics and Control . 15 (2): 355–385. doi :10.1016/0165-1889(91)90018-V.
• ステンゲル、ロバート F. (1994)。「最適性の条件」。最適制御と推定。ニューヨーク: ドーバー。pp. 201–222。ISBN 0-486-68200-5。