Loading article…
確率制御または確率最適制御は、観測またはシステムの進化を促すノイズにおける不確実性の存在を扱う制御理論のサブフィールドです。システム設計者は、ベイズ確率駆動型で、既知の確率分布を持つランダムノイズが状態変数の進化と観測に影響を与えると想定します。確率制御は、このノイズの存在にもかかわらず、何らかの方法で定義された最小コストで目的の制御タスクを実行する制御変数の時間経路を設計することを目的とします。[1]コンテキストは離散時間または連続時間のいずれかです。
確実性の等価性
確率制御において極めてよく研究されている定式化は、線形二次ガウス制御です。ここで、モデルは線形、目的関数は二次形式の期待値、外乱は純粋に加法的です。加法的不確実性のみを持つ離散時間集中システムの基本結果は、確実性等価性特性です。[2]この場合の最適制御解は、加法的外乱がない場合に得られる解と同じです。この特性は、進化の線形方程式、二次コスト関数、およびモデルに加法的にのみ入力されるノイズを持つすべての集中システムに適用できます。二次仮定により、確実性等価性特性に従う最適制御法則が、コントローラーの観測値の線形関数になることが可能になります。
上記の仮定からの逸脱、つまり非線形状態方程式、非二次目的関数、モデルの乗法パラメータのノイズ、制御の分散化などにより、確実性等価性プロパティは成立しなくなります。たとえば、分散制御では成立しないことは、 Witsenhausen の反例で実証されています。
離散時間
離散時間コンテキストでは、意思決定者は各期間で状態変数を観測しますが、観測ノイズが含まれる場合もあります。目標は、現在から最終期間までのすべての期間にわたって非線形 (おそらく 2 次) 目的関数の期待値の合計を最適化すること、または最終期間のみの目的関数の値を最適化することです。各期間で新しい観測が行われ、制御変数が最適に調整されます。現時点での最適解を見つけるには、最後の期間から現在の期間まで、行列リカッチ方程式を時間的に逆方向に反復する必要があります。
離散時間の場合、遷移行列のパラメータ値（状態変数の現在の値がそれらの進化に与える影響を示す）および/または状態方程式の制御応答行列に関する不確実性があるが、線形状態方程式と2次目的関数を使用する場合、確実性等価性は適用されないものの、各期間の解に逆方向に反復するためのリカッチ方程式を取得できます。[2] ch.13 [3] 非2次損失関数の離散時間の場合、加法外乱のみを扱うこともできますが、より複雑になります。[4]
例
離散時間確率線形二次制御問題の典型的な仕様は、[2] : ch. 13、 [3] [5]を最小化することである。
![{\displaystyle \mathrm {E} _{1}\sum _{t=1}^{S}\left[y_{t}^{\mathsf {T}}Qy_{t}+u_{t}^{\mathsf {T}}Ru_{t}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0586342abbb80c5db2be89418c1741e7af4e93ba)
ここで、E 1はy 0を条件とする期待値演算子、上付き文字Tは行列転置を示し、Sは状態方程式に従う時間範囲である。
ここで、yは観測可能な状態変数のn × 1 ベクトル、 uは制御変数のk × 1 ベクトル、A tは確率的n × n状態遷移行列のt時間実現、B tは制御乗数の確率的n × k行列のt時間実現、Q ( n × n ) およびR ( k × k ) は既知の対称正定値コスト行列です。AとBの各要素は時間を通じて独立かつ同一に分布していると仮定するため、期待値演算は時間条件付きである必要はありません 。
時間の逆方向の誘導は、各時点での最適な制御解を得るために使用できる。[2] ：ch. 13
![{\displaystyle u_{t}^{*}=-\left[\mathrm {E} \left(B^{\mathsf {T}}X_{t}B+R\right)\right]^{-1}\mathrm {E} \left(B^{\mathsf {T}}X_{t}A\right)y_{t-1},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9e24e10c2fcf90a05c9e80f309225bd3995ee4e8)
対称 正定値コスト行列Xは、時間的に逆方向に進化し、
![{\displaystyle X_{t-1}=Q+\mathrm {E} \left[A^{\mathsf {T}}X_{t}A\right]-\mathrm {E} \left[A^{\mathsf {T}}X_{t}B\right]\left[\mathrm {E} (B^{\mathsf {T}}X_{t}B+R)\right]^{-1}\mathrm {E} \left(B^{\mathsf {T}}X_{t}A\right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0fc47f7d4ef75d318c8d2e27b9de15fbbed71ee2)
これは、この問題の離散時間動的リカッチ方程式として知られています。A 行列と B 行列の未知のパラメータに関して必要な情報は、各行列の各要素の期待値と分散、および同じ行列の要素間および行列間の要素間の共分散のみです。
状態方程式に平均ゼロの iid 加法ショックも現れても、A行列とB行列のパラメータと相関がない限り、最適制御ソリューションは影響を受けません。ただし、相関がある場合は、各期間の最適制御ソリューションに追加の加法定数ベクトルが含まれます。状態方程式に加法定数ベクトルが現れる場合も、各期間の最適制御ソリューションに追加の加法定数ベクトルが含まれます。
S が無限大になる無限時間問題に関連するXの定常状態の特徴付け(存在する場合) は、 Xの動的方程式を収束するまで繰り返し反復することで見つけることができます。その後、X は動的方程式から時間の添え字を削除することで特徴付けられます。
連続時間
モデルが連続時間の場合、コントローラは各瞬間のシステムの状態を認識します。目的は、たとえば、時間ゼロ (現在) から終了時間Tまでの期間にわたる状態変数の凹関数の積分、または将来の日付Tにおける状態変数の凹関数を最大化することです。時間が進むにつれて、新しい観測が継続的に行われ、制御変数が最適な方法で継続的に調整されます。
確率モデル予測制御
文献では、確率システム用の MPC には、ロバストモデル予測制御と確率モデル予測制御 (SMPC) の 2 種類があります。ロバストモデル予測制御は、最適化手順で最悪のシナリオを考慮するより保守的な方法です。ただし、この方法は、他のロバスト制御と同様に、全体的なコントローラーのパフォーマンスを低下させ、また、制限された不確実性を持つシステムにのみ適用できます。代替方法である SMPC は、確率的不等式による違反のリスクを制限するソフト制約を考慮します。[6]
金融分野で
金融の文脈における連続時間アプローチでは、確率微分方程式の状態変数は通常、富または純資産であり、制御は各時点でのさまざまな資産の株式です。任意の時点で選択された資産配分を考えると、富の変化の決定要因は通常、資産の確率的収益とリスクのない資産の金利です。確率制御の分野は、特に金融への応用において、1970年代から大きく発展しました。ロバート・マートンは、確率制御を使用して、安全資産とリスク資産の最適ポートフォリオを研究しました。[7] 彼とブラック・ショールズの研究は、金融の文献の性質を変えました。影響力のある数学の教科書の扱いは、フレミングとリシェル、[8]とフレミングとソナーによるものでした。[9]これらの手法は、スタインによって2007〜2008年の金融危機に適用されました。[10]
たとえば最終日Tにおける純資産の期待対数の最大化は、富の構成要素に関する確率過程の影響を受ける。[11]この場合、連続時間では伊藤の方程式が主な分析ツールとなる。最大化が期間 (0, T )にわたる効用凹関数の積分である場合は、動的計画法が使用される。制御変数の係数、つまり選択された資産のシェアが受け取る収益は確率的であるため、古い文献のような確実性等価性はない。
参照
参考文献
- ^ Answers.com からの定義
- ^ abcd Chow, Gregory P. (1976).動的経済システムの分析と制御. ニューヨーク: Wiley. ISBN 0-471-15616-7。
- ^ ab Turnovsky, Stephen (1976). 「確率線形システムの最適安定化ポリシー: 相関乗法および加法外乱の場合」.経済研究レビュー. 43 (1): 191–94. doi :10.2307/2296614. JSTOR 2296614.
- ^ ミッチェル、ダグラス W. ( 1990)。「近似期待効用に基づく扱いやすいリスク感度制御」。経済モデリング。7 (2): 161–164。doi :10.1016/0264-9993(90)90018-Y。
- ^ Turnovsky, Stephen (1974). 「最適経済政策の安定性特性」アメリカ経済評論64 ( 1): 136–148. JSTOR 1814888.
- ^ Hashemian、Armaou (2017)。 「 2成分造粒プロセスのための確率的MPC設計」。IEEE Proceedings : 4386–4391。arXiv : 1704.04710。Bibcode : 2017arXiv170404710H 。
- ^ マートン、ロバート (1990)。連続時間ファイナンス。ブラックウェル。
- ^ フレミング、W.; リシェル、R. (1975). 決定論的および確率的最適制御。ISBN 0-387-90155-8。
- ^ Fleming, W.; Soner, M. (2006).制御されたマルコフ過程と粘性解. Springer.
- ^ Stein, JL (2012).確率的最適制御と米国金融危機. Springer-Science.
- ^ Barreiro-Gomez, J.; Tembine, H. (2019). 「ブロックチェーントークン経済学：平均場型ゲームの観点」. IEEE Access . 7 :64603–64613. doi : 10.1109/ACCESS.2019.2917517 . ISSN 2169-3536.
さらに読む
- ディキシット、アビナッシュ（ 1991）。「ブラウン運動の最適制御理論の簡略化された取り扱い」。経済力学と制御ジャーナル。15 （4）：657–673。doi ：10.1016/0165-1889（91）90037-2。
- Yong, Jiongmin; Zhou, Xun Yu (1999).確率制御: ハミルトンシステムと HJB 方程式. ニューヨーク: Springer. ISBN 0-387-98723-1。