近接政策最適化

近接方策最適化（PPO）は、インテリジェントエージェントを訓練するための強化学習（RL）アルゴリズムです。具体的には、方策勾配法の一種であり、方策ネットワークが非常に大規模な場合に深層強化学習でよく用いられます。

PPOの前身であるTrust Region Policy Optimization (TRPO)は2015年に発表されました。これは、古いポリシーと新しいポリシー間のKLダイバージェンスを制限するために信頼領域法を使用することで、別のアルゴリズムであるDeep Q-Network (DQN)の不安定性の問題を解決しました。しかし、TRPOは信頼領域を強制するためにヘッセ行列（2階微分行列）を使用しますが、ヘッセ行列は大規模な問題には非効率的です。^{[ 1 ]}

PPOは2017年に発表されました。これは基本的に、ヘッセ行列を計算する必要のないTRPOの近似です。KLダイバージェンス制約は、ポリシー勾配を単純にクリッピングすることで近似されました。^{[ 2 ]}

2018年以来、PPOはOpenAIのデフォルトの強化学習アルゴリズムでした。^{[ 3 ]} PPOは、ロボットアームの制御、 Dota 2のプロプレイヤーを打ち負かす（OpenAI Five ）、Atariゲームのプレイなど、多くの分野に適用されています。^{[ 4 ]}

TRPOはPPOの前身であり、オンポリシーアルゴリズムです。離散的な行動空間と連続的な行動空間のどちらの環境にも使用できます。

擬似コードは以下のとおりです。^{[ 5 ]}

• 入力: 初期ポリシーパラメータ$\textstyle \theta _{0}}$初期値関数パラメータ$\phi_0$

• ハイパーパラメータ：KLダイバージェンス限界${\textstyle \delta }$バックトラッキング係数${\textstyle \alpha }$バックトラッキングステップの最大数${\textstyle K}$

• のために${\textstyle k=0,1,2,\ldots }$する
  • 軌跡のセットを収集する${\textstyle {\mathcal {D}}_{k}=\left\{\tau _{i}\right\}}$ポリシーを実行することによって${\textstyle \pi _{k}=\pi \left(\theta _{k}\right)}$環境の中で。
  • 持ち帰り報酬を計算する$\textstyle {\hat {R}}_{t}}$。
  • 優位性の推定値を計算し、$\textstyle {\hat {A}}_{t}}$（現在の価値関数に基づく、あらゆる利点推定方法を使用）${\textstyle V_{\phi _{k}}}$。
  • 政策勾配を推定する$${\displaystyle {\hat {g}}_{k}=\left.{\frac {1}{\left|{\mathcal {D}}_{k}\right|}}\sum _{\tau \in {\mathcal {D}}_{k}}\sum _{t=0}^{T}\nabla _{\theta }\log \pi _{\theta }\left(a_{t}\mid s_{t}\right)\right|_{\theta _{k}}{\hat {A}}_{t}}$$
  • 共役勾配法を用いて計算する$${\displaystyle {\hat {x}}_{k}\approx {\hat {H}}_{k}^{-1}{\hat {g}}_{k}}$$どこ$\textstyle {\hat {H}}_{k}}$は、標本平均KLダイバージェンスのヘッセ行列です。
  • バックトラッキング行検索でポリシーを更新します$${\displaystyle \theta _{k+1}=\theta _{k}+\alpha ^{j}{\sqrt {\frac {2\delta }{{\hat {x}}_{k}^{T}{\hat {H}}_{k}{\hat {x}}_{k}}}}{\hat {x}}_{k}}$$どこ${\textstyle j\in \{0,1,2,\ldots K\}}$は、サンプル損失を改善し、サンプルKLダイバージェンス制約を満たす最小値です。
  • 平均二乗誤差に対する回帰分析による適合値関数：$${\displaystyle \phi _{k+1}=\arg \min _{\phi }{\frac {1}{\left|{\mathcal {D}}_{k}\right|T}}\sum _{\tau \in {\mathcal {D}}_{k}}\sum _{t=0}^{T}\left(V_{\phi }\left(s_{t}\right)-{\hat {R}}_{t}\right)^{2}}$$通常は、何らかの勾配降下法アルゴリズムによって行われる。

擬似コードは以下のとおりです。^{[ 6 ]}

• 入力: 初期ポリシーパラメータ$\textstyle \theta _{0}}$初期値関数パラメータ$\phi_0$
• のために${\textstyle k=0,1,2,\ldots }$する
  • 軌跡のセットを収集する${\textstyle {\mathcal {D}}_{k}=\left\{\tau _{i}\right\}}$ポリシーを実行することによって${\textstyle \pi _{k}=\pi \left(\theta _{k}\right)}$環境の中で。
  • 持ち帰り報酬を計算する$\textstyle {\hat {R}}_{t}}$。
  • 優位性の推定値を計算し、$\textstyle {\hat {A}}_{t}}$（現在の価値関数に基づく、あらゆる利点推定方法を使用）${\textstyle V_{\phi _{k}}}$。
  • PPOクリップ目標を最大化することで、ポリシーを更新します。$${\displaystyle \theta _{k+1}=\arg \max _{\theta }{\frac {1}{\left|{\mathcal {D}}_{k}\right|T}}\sum _{\tau \in {\mathcal {D}}_{k}}\sum _{t=0}^{T}\min \left({\frac {\pi _{\theta }\left(a_{t}\mid s_{t}\right)}{\pi _{\theta _{k}}\left(a_{t}\mid s_{t}\right)}}A^{\pi _{\theta _{k}}}\left(s_{t},a_{t}\right),\quad g\left(\epsilon ,A^{\pi _{\theta _{k}}}\left(s_{t},a_{t}\right)\right)\right)}$$通常はAdamを用いた確率的勾配上昇法によって行われる。
  • 平均二乗誤差に対する回帰分析による適合値関数：$${\displaystyle \phi _{k+1}=\arg \min _{\phi }{\frac {1}{\left|{\mathcal {D}}_{k}\right|T}}\sum _{\tau \in {\mathcal {D}}_{k}}\sum _{t=0}^{T}\left(V_{\phi }\left(s_{t}\right)-{\hat {R}}_{t}\right)^{2}}$$通常は、何らかの勾配降下法アルゴリズムによって行われる。

他のすべての方策勾配法と同様に、PPOは、勾配上昇法によって微分可能な方策関数によって行動が決定される強化学習エージェントを訓練するために使用されます。

直感的に言えば、方策勾配法は小さな方策更新ステップを取るため、エージェントは期待値としてより高い報酬に到達できる。

方策勾配法は不安定になる可能性がある。ステップサイズが大きすぎると、方策が最適ではない方向に進んでしまい、回復の可能性がほとんどなくなる。一方、ステップサイズが小さすぎると、全体的な効率が低下する。

不安定性を解決するために、PPOはエージェントのポリシー更新が大きくなりすぎないように制限するクリップ関数を実装し、勾配上昇プロセスに悪影響を与えることなくより大きなステップサイズを使用できるようにします。^{[ 7 ]}

• 強化学習
• 時間差学習

• OpenAIによる近接ポリシー最適化の発表
• GitHubリポジトリ