機械学習制御

機械学習制御（MLC ）は、機械学習、インテリジェント制御、制御理論の分野の一つであり、機械学習の手法を用いて最適制御問題を解決することを目的としています。主な応用分野は、線形制御理論の手法が適用できない複雑な非線形システムです。

よく遭遇する問題は4種類あります。

• 制御パラメータの同定: MLC は、制御法則の構造は与えられているがパラメータが未知の場合に、パラメータの同定に変換されます^{[ 1 ]} 。例としては、 PID コントローラの係数を最適化するための遺伝的アルゴリズム^{[ 2 ]}や、離散時間最適制御^{[ 3 ]などがあります。}
• 制御設計は、第一種の回帰問題として捉えられます。MLCは、センサ信号と最適なアクチュエーションコマンドが各状態について既知である場合、センサ信号からアクチュエーションコマンドへの一般的な非線形マッピングを近似します。一例として、既知の完全な状態フィードバックからセンサフィードバックを計算することが挙げられます。ニューラルネットワークは、このようなタスクによく使用されます。^{[ 4 ]}
• 制御設計は第2種回帰問題として捉えることができる。MLCは、プラントのコスト関数を最小化する任意の非線形制御法則を特定することもできる。この場合、モデル、制御法則構造、最適化アクチュエーション指令のいずれも知る必要はない。最適化は、プラントで測定された制御性能（コスト関数）のみに基づいて行われる。遺伝的プログラミングは、この目的のための強力な回帰手法である。^{[ 5 ]}
• 強化学習制御：制御法則は、強化学習を用いて測定されたパフォーマンスの変化（報酬）に基づいて継続的に更新される。^{[ 6 ] [ 7 ]}

適応型動的計画法（ADP）は、近似動的計画法またはニューロ動的計画法とも呼ばれ、強化学習と動的計画法を組み合わせた機械学習制御手法であり、複雑なシステムの最適制御問題を解決します。ADPは、ニューラルネットワークなどのパラメトリック構造を用いて価値関数や制御ポリシーを近似することで、従来の動的計画法における「次元の呪い」に対処します。その核心となる考え方は、長期的なコスト関数を最小化する制御ポリシーを学習することです。${\displaystyle J}$定義される ${\displaystyle J(x(t))=\int _{t}^{\infty }e^{-\gamma (\tau -t)}r(x(\tau ),u(\tau ))\,d\tau }$、 どこ${\displaystyle x}$システムの状態は、${\displaystyle u}$は制御入力です。${\displaystyle r}$は瞬間的な報酬であり、${\displaystyle \gamma }$は割引係数です。ADPは、価値関数を推定する批評家という2つの相互作用するコンポーネントを使用します。${\displaystyle V(x)\approx J(x)}$、そして制御ポリシーを更新するアクター${\displaystyle u(x)}$批評家と俳優は、ハミルトン・ヤコビ・ベルマン（HJB）方程式を満たすように、時間差学習または勾配降下法を用いて反復的に訓練される。  

 ${\displaystyle \min _{u}\left(r(x,u)+{\frac {\partial V}{\partial x}}f(x,u)\right)=0,}$

どこ${\displaystyle f(x,u)}$システムのダイナミクスを記述します。主なバリアントには、ヒューリスティック動的計画法（HDP）、デュアルヒューリスティック計画法（DHP）、グローバル化デュアルヒューリスティック計画法（GDHP）などがあります。^{[ 7 ]}

ADPはロボット工学、電力システム、自律走行車などに適用されており、完全なシステムモデルを必要とせずに、データ駆動型のフレームワークでほぼ最適な制御を実現できる。しかし、一般的な非線形システムにおける安定性の保証と収束性を確保するという課題は依然として残っている。  

MLCは、未知の、そしてしばしば予期せぬアクチュエーション機構を探求する多くの非線形制御問題に成功裏に適用されてきました。応用例としては、以下のようなものがあります。

• 宇宙機の姿勢制御、^{[ 8 ]}
• 建物の温度制御、^{[ 9 ]}
• 乱流のフィードバック制御、^{[ 2 ] [ 10 ]}
• 遠隔操作式水中ビークル。^{[ 11 ]}

PJ FlemingとRC Purshouse（2002）のレビュー記事には、さらに多くのエンジニアリングMLCアプリケーションがまとめられています。^{[ 12 ]}

すべての一般的な非線形手法と同様に、MLCは 様々な動作条件において収束性、最適性、または堅牢性を保証するものではありません。

• 強化学習