ハミルトニアン（制御理論）

ハミルトニアンは、動的システムの最適制御問題を解くために使用される関数です。これは、特定の期間にわたって最適化される問題のラグランジアン表現の瞬間的な増分として理解できます。 ^{[1]古典力学のハミルトニアンに触発され（ただし、}古典力学のハミルトニアンとは異なります） 、最適制御理論のハミルトニアンは、レフ・ポントリャーギンが最大原理の一部として開発しました。^[2]ポントリャーギンは、最適制御問題を解決するための必要条件は、ハミルトニアンを最適化するように制御を選択することであることを証明しました。^[3]

一次微分方程式の動的システムを考える${\displaystyle n}$

${\displaystyle {\dot {\mathbf {x} }}(t)=\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)}$

ここで、 は状態変数のベクトル、 は制御変数のベクトルを表します。初期条件と制御が指定されると、軌道と呼ばれる微分方程式の解が見つかります。最適制御の問題は、初期時間と終了時間（無限大の場合もあります）の間の特定の目的関数を最大化または最小化するように（ある集合 から ）を選択することです。具体的には、各時点で定義される パフォーマンス指標を最適化することが目標です。${\displaystyle \mathbf {x} (t)=\left[x_{1}(t),x_{2}(t),\ldots ,x_{n}(t)\right]^{\mathsf {T}}}$${\displaystyle \mathbf {u} (t)=\left[u_{1}(t),u_{2}(t),\ldots ,u_{r}(t)\right]^{\mathsf {T}}}$${\displaystyle \mathbf {x} (t_{0})=\mathbf {x} _{0}}$${\displaystyle \mathbf {u} (t)}$ ${\displaystyle \mathbf {x} (t;\mathbf {x} _{0},t_{0})}$${\displaystyle \mathbf {u} (t)}$${\displaystyle {\mathcal {U}}\subseteq \mathbb {R} ^{r}}$${\displaystyle \mathbf {x} (t)}$${\displaystyle t=t_{0}}$${\displaystyle t=t_{1}}$${\displaystyle t_{1}}$${\displaystyle I(\mathbf {x} (t),\mathbf {u} (t),t)}$

${\displaystyle \max _{\mathbf {u} (t)}J}$、 と${\displaystyle J=\int _{t_{0}}^{t_{1}}I[\mathbf {x} (t),\mathbf {u} (t),t]\,\mathrm {d} t}$

状態変数の運動方程式に従う。解法は制御ハミルトニアンと呼ばれる補助関数を定義することを含む。

これは、静的最適化問題におけるラグランジアンのように目的関数と状態方程式を組み合わせますが、乗数(コステート変数と呼ばれる) は定数ではなく時間の関数である点が異なります。 ${\displaystyle \mathbf {\lambda } (t)}$

目標は、最適な制御政策関数と、それとともに状態変数の最適な軌道を見つけることであり、ポントリャーギンの最大原理によれば、ハミルトニアンを最大化する引数である。 ${\displaystyle \mathbf {u} ^{\ast }(t)}$${\displaystyle \mathbf {x} ^{\ast }(t)}$

${\displaystyle H(\mathbf {x} ^{\ast }(t),\mathbf {u} ^{\ast }(t),\mathbf {\lambda } (t),t)\geq H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}$全ての${\displaystyle \mathbf {u} (t)\in {\mathcal {U}}}$

最大値を得るための第一の必要条件は次のように与えられる。

${\displaystyle {\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {u} }}=0\quad }$これは最大の原則であり、

${\displaystyle {\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {\lambda } }}={\dot {\mathbf {x} }}(t)\quad }$状態遷移関数を生成する。${\displaystyle \,\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)={\dot {\mathbf {x} }}(t)}$

${\displaystyle {\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {x} }}=-{\dot {\mathbf {\lambda } }}(t)\quad }$これは共存方程式を生成する ${\displaystyle \,{\dot {\mathbf {\lambda } }}(t)=-\left[I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)\right]}$

状態方程式とコステート方程式を合わせると、ハミルトン力学系（これも物理学のハミルトン系に類似しているが異なる）を記述します。この系の解には、2つの異なる時点、初期時間（状態変数の微分方程式）と終端時間（コステート変数の微分方程式。最終関数が指定されていない限り、境界条件は 、または無限の時間範囲の場合 ）を含む境界条件があることを前提とした2点境界値問題 が含まれます。^[4]${\displaystyle 2n}$${\displaystyle n}$${\displaystyle n}$${\displaystyle \mathbf {\lambda } (t_{1})=0}$${\displaystyle \lim _{t_{1}\to \infty }\mathbf {\lambda } (t_{1})=0}$

最大値を得るための十分な条件は、解において評価されるハミルトニアンの凹面性、すなわち

${\displaystyle H_{\mathbf {uu} }(\mathbf {x} ^{\ast }(t),\mathbf {u} ^{\ast }(t),\mathbf {\lambda } (t),t)\leq 0}$

ここで は最適制御であり、 は状態変数の結果として得られる最適軌道である。^{[5]あるいは、} Olvi L. Mangasarianによる結果によれば、関数およびが両方ともおよびにおいて凹である場合に必要な条件は十分である。^[6]${\displaystyle \mathbf {u} ^{\ast }(t)}$${\displaystyle \mathbf {x} ^{\ast }(t)}$${\displaystyle I(\mathbf {x} (t),\mathbf {u} (t),t)}$${\displaystyle \mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)}$${\displaystyle \mathbf {x} (t)}$${\displaystyle \mathbf {u} (t)}$

上記のような 制約付き最適化問題では、通常、ラグランジアン表現が提案され、具体的には

${\displaystyle L=\int _{t_{0}}^{t_{1}}I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\left[\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)-{\dot {\mathbf {x} }}(t)\right]\,\mathrm {d} t}$

ここで は静的最適化問題におけるラグランジュ乗数に相当するが、上で述べたように、時間の関数である。 を除去するために、右辺の最後の項を の部分積分を使って書き直すことができる。 ${\displaystyle \mathbf {\lambda } (t)}$${\displaystyle {\dot {\mathbf {x} }}(t)}$

${\displaystyle -\int _{t_{0}}^{t_{1}}\mathbf {\lambda } ^{\mathsf {T}}(t){\dot {\mathbf {x} }}(t)\,\mathrm {d} t=-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathbf {x} (t_{0})+\int _{t_{0}}^{t_{1}}{\dot {\mathbf {\lambda } }}^{\mathsf {T}}(t)\mathbf {x} (t)\,\mathrm {d} t}$

これをラグランジアン表現に代入すると、

${\displaystyle L=\int _{t_{0}}^{t_{1}}\left[I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)+{\dot {\mathbf {\lambda } }}^{\mathsf {T}}(t)\mathbf {x} (t)\right]\,\mathrm {d} t-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathbf {x} (t_{0})}$

最適解を得るための第一条件を導くには、解が見つかっており、ラグランジアンが最大化されていると仮定する。すると、またはへの摂動はラグランジアン の値を減少させる必要がある。具体的には、の全微分は${\displaystyle \mathbf {x} (t)}$${\displaystyle \mathbf {u} (t)}$${\displaystyle L}$

${\displaystyle \mathrm {d} L=\int _{t_{0}}^{t_{1}}\left[\left(I_{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)\right)\mathrm {d} \mathbf {u} (t)+\left(I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+{\dot {\mathbf {\lambda } }}(t)\right)\mathrm {d} \mathbf {x} (t)\right]\mathrm {d} t-\mathbf {\lambda } ^{\mathsf {T}}(t_{1})\mathrm {d} \mathbf {x} (t_{1})+\mathbf {\lambda } ^{\mathsf {T}}(t_{0})\mathrm {d} \mathbf {x} (t_{0})\leq 0}$

この式がゼロになるためには、次の最適条件が必要です。

${\displaystyle {\begin{aligned}\underbrace {I_{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {u} }(\mathbf {x} (t),\mathbf {u} (t),t)} _{={\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {u} }}}&=0\\\underbrace {I_{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} _{\mathbf {x} }(\mathbf {x} (t),\mathbf {u} (t),t)} _{={\frac {\partial H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}{\partial \mathbf {x} }}}+{\dot {\mathbf {\lambda } }}(t)&=0\end{aligned}}}$

初期値と終端値の両方が固定されている場合、つまりの場合、とに対する条件は必要ありません。終端値が自由である場合（よくあるケース）、最適性のためには追加の条件が必要です。後者は、固定地平線問題に対する横断条件と呼ばれます。^[7]${\displaystyle \mathbf {x} (t_{0})}$${\displaystyle \mathbf {x} (t_{1})}$${\displaystyle \mathrm {d} \mathbf {x} (t_{0})=\mathrm {d} \mathbf {x} (t_{1})=0}$${\displaystyle \mathbf {\lambda } (t_{0})}$${\displaystyle \mathbf {\lambda } (t_{1})}$${\displaystyle \mathbf {\lambda } (t_{1})=0}$

必要条件はハミルトニアンについて上で述べたものと同一であることがわかる。したがって、ハミルトニアンは第一次の必要条件を生成する装置として理解することができる。^[8]

問題が離散時間で定式化される場合、ハミルトニアンは次のように定義されます。

${\displaystyle H(x_{t},u_{t},\lambda _{t+1},t)=\lambda _{t+1}^{\top }f(x_{t},u_{t},t)+I(x_{t},u_{t},t)\,}$

そして共線方程式は

${\displaystyle \lambda _{t}={\frac {\partial H}{\partial x_{t}}}}$

（時刻における離散時間ハミルトニアンには時刻におけるコステート変数が含まれることに注意してください^[9] この小さな詳細は、 について微分すると、コステート方程式の右辺にが含まれる項を得るために不可欠です。ここで間違った規則を使用すると、誤った結果、つまり後方差分方程式ではないコステート方程式につながる可能性があります）。 ${\displaystyle t}$${\displaystyle t+1.}$${\displaystyle x}$${\displaystyle \lambda _{t+1}}$

ポンチャギンの最大値原理から、ハミルトニアンの特別な条件を導くことができる。^[10]最終時間が固定されており、ハミルトニアンが時間に明示的に依存しない場合は、次のようになる。^[11]${\displaystyle t_{1}}$${\displaystyle \left({\tfrac {\partial H}{\partial t}}=0\right)}$

${\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))=\mathrm {constant} \,}$

または、ターミナル時間が空いている場合は、次のようになります。

${\displaystyle H(x^{*}(t),u^{*}(t),\lambda ^{*}(t))=0.\,}$

さらに、終端時間が無限大に近づくと、ハミルトニアンの横断条件が適用される。 ^[12]

${\displaystyle \lim _{t\to \infty }H(t)=0}$

ウィリアム・ローワン・ハミルトンはシステムの力学を記述するために ハミルトニアンを定義した。これは3つの変数の関数であり、ラグランジアンと次のように関連している。

${\displaystyle {\mathcal {H}}(p,q,t)=\langle p,{\dot {q}}\rangle -L(q,{\dot {q}},t)}$

ここで はラグランジアンであり、その極値化によってダイナミクスが決定されます（上で定義したラグランジアンではありません）。 は状態変数です。ラグランジアンは、状態の発展の時間微分を表す で評価され、いわゆる「共役運動量」は、次のように関連付けられます。 ${\displaystyle L}$${\displaystyle q}$${\displaystyle {\dot {q}}}$${\displaystyle p}$

${\displaystyle p={\frac {\partial L}{\partial {\dot {q}}}}}$。

ハミルトンはシステムのダイナミクスを記述する方程式を次のように定式化した。

${\displaystyle {\frac {d}{dt}}p(t)=-{\frac {\partial }{\partial q}}{\mathcal {H}}}$

${\displaystyle {\frac {d}{dt}}q(t)=~~{\frac {\partial }{\partial p}}{\mathcal {H}}}$

制御理論のハミルトニアンは、システムのダイナミクスではなく、制御変数に関してシステムのスカラー関数（ラグランジアン）を極値化するための条件を記述する。通常定義されるように、それは4つの変数の関数である。 ${\displaystyle u}$

${\displaystyle H(q,u,p,t)=\langle p,{\dot {q}}\rangle -L(q,u,t)}$

ここで、は状態変数であり、 は極値化しようとしているものに関する制御変数です。 ${\displaystyle q}$${\displaystyle u}$

最大値に関連する条件は

${\displaystyle {\frac {dp}{dt}}=-{\frac {\partial H}{\partial q}}}$

${\displaystyle {\frac {dq}{dt}}=~~{\frac {\partial H}{\partial p}}}$

${\displaystyle {\frac {\partial H}{\partial u}}=0}$

^{この定義は、サスマンとウィレムスの論文[13]}の定義と一致している。 （39ページ、式14を参照）。サスマンとウィレムスは、制御ハミルトニアンを例えば最速降下問題などの力学でどのように使用できるかを示しているが、このアプローチに関するカラテオドリの先行研究については言及していない。 ^[14]

経済学では、動的最適化問題における目的関数は、指数割引を通じてのみ時間に直接依存することが多く、次のような形をとる。

${\displaystyle I(\mathbf {x} (t),\mathbf {u} (t),t)=e^{-\rho t}\nu (\mathbf {x} (t),\mathbf {u} (t))}$

ここで、は瞬間効用関数、または幸福関数と呼ばれる。 ^[15]これにより、ハミルトニアンを次の ように再定義することができる。${\displaystyle \nu (\mathbf {x} (t),\mathbf {u} (t))}$${\displaystyle H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)=e^{-\rho t}{\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}$

${\displaystyle {\begin{aligned}{\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))\equiv &\,e^{\rho t}\left[I(\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\lambda } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)\right]\\=&\,\nu (\mathbf {x} (t),\mathbf {u} (t),t)+\mathbf {\mu } ^{\mathsf {T}}(t)\mathbf {f} (\mathbf {x} (t),\mathbf {u} (t),t)\end{aligned}}}$

これは、第 1 セクションで定義された現在値ハミルトニアンとは対照的に、現在値ハミルトニアンと呼ばれます。最も注目すべきは、共線変数が として再定義され、修正された 1 階条件につながることです。 ${\displaystyle H(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t),t)}$${\displaystyle \mathbf {\mu } (t)=e^{\rho t}\mathbf {\lambda } (t)}$

${\displaystyle {\frac {\partial {\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}{\partial \mathbf {u} }}=0}$、

${\displaystyle {\frac {\partial {\bar {H}}(\mathbf {x} (t),\mathbf {u} (t),\mathbf {\lambda } (t))}{\partial \mathbf {x} }}=-{\dot {\mathbf {\mu } }}(t)+\rho \mathbf {\mu } (t)}$

これは、製品規則から直ちに導かれます。経済的には、資本財の現在価値の影の価格を表します。 ${\displaystyle \mathbf {\mu } (t)}$${\displaystyle \mathbf {x} (t)}$

経済学では、ラムゼー・キャス・クープマンスモデルは経済の最適な貯蓄行動を決定するために用いられる。目的関数は社会厚生関数である。 ${\displaystyle J(c)}$

${\displaystyle J(c)=\int _{0}^{T}e^{-\rho t}u(c(t))dt}$

は、最適な消費経路の選択によって最大化される。関数は、任意の時点で消費する代表的エージェントの効用を示す。係数は割引を表す。最大化問題は、有効労働者一人当たりの資本の時間的変化を記述する、 資本集約度に関する次の微分方程式に従う。${\displaystyle c(t)}$${\displaystyle u(c(t))}$${\displaystyle c}$${\displaystyle e^{-\rho t}}$

${\displaystyle {\dot {k}}={\frac {\partial k}{\partial t}}=f(k(t))-(n+\delta )k(t)-c(t)}$

ここで、は期間 t の消費、は期間 t の労働者 1 人当たりの資本 ( )、は期間 t の生産、は人口増加率、は資本減価率、エージェントは将来の効用を の割引率で割り引きます( および) 。 ${\displaystyle c(t)}$${\displaystyle k(t)}$${\displaystyle k(0)=k_{0}>0}$${\displaystyle f(k(t))}$${\displaystyle n}$${\displaystyle \delta }$${\displaystyle \rho }$${\displaystyle u'>0}$${\displaystyle u''<0}$

ここで、は上記の式に従って変化する状態変数であり、は制御変数である。ハミルトニアンは ${\displaystyle k(t)}$${\displaystyle c(t)}$

${\displaystyle H(k,c,\mu ,t)=e^{-\rho t}u(c(t))+\mu (t){\dot {k}}=e^{-\rho t}u(c(t))+\mu (t)[f(k(t))-(n+\delta )k(t)-c(t)]}$

最適条件は

${\displaystyle {\frac {\partial H}{\partial c}}=0\Rightarrow e^{-\rho t}u'(c)=\mu (t)}$

${\displaystyle {\frac {\partial H}{\partial k}}=-{\frac {\partial \mu }{\partial t}}=-{\dot {\mu }}\Rightarrow \mu (t)[f'(k)-(n+\delta )]=-{\dot {\mu }}}$

横断性条件に加えて となる。 とすると、最初の最適性条件を について対数微分すると、 ${\displaystyle \mu (T)k(T)=0}$${\displaystyle u(c)=\log(c)}$${\displaystyle t}$

${\displaystyle -\rho -{\frac {\dot {c}}{c(t)}}={\frac {\dot {\mu }}{\mu (t)}}}$

この式を第2の最適条件に代入すると、

${\displaystyle \rho +{\frac {\dot {c}}{c(t)}}=f'(k)-(n+\delta )}$

これはケインズ・ラムゼー則として知られており、各期間の消費に関する条件を示しており、これに従えば生涯効用が最大になることが保証されます。

• レオナルド、ダニエル、ロング、ンゴ・ヴァン (1992)。「最大原理」。経済学における最適制御理論と静的最適化。ニューヨーク: ケンブリッジ大学出版局。pp. 127–168。ISBN 0-521-33158-7。
• 高山 明 (1985) 「最適制御理論の発展とその応用」数理経済学(第 2 版) ニューヨーク: ケンブリッジ大学出版局。600 ～ 719 ページ。ISBN 0-521-31498-4。
• ウルウィック、ナンシー (1995)。「ハミルトン形式主義と最適成長理論」。リマ、IH (編)。測定、定量化、経済分析。ロンドン: ラウトレッジ。ISBN 978-0-415-08915-9。