アクタークリティックアルゴリズム

アクターはポリシー関数を使用する${\displaystyle \pi (a|s)}$批評家は価値関数を推定する${\displaystyle V(s)}$アクション値Q関数${\displaystyle Q(s,a),}$利点関数${\displaystyle A(s,a)}$または、それらの任意の組み合わせ。

アクターはパラメータ化された関数です${\displaystyle \pi _{\theta }}$、 どこ${\displaystyle \theta }$これらはアクターのパラメータです。アクターは環境の状態を引数として受け取ります。${\displaystyle s}$確率分布を生成する${\displaystyle \pi _{\theta }(\cdot |s)}$。

アクション空間が離散的である場合、$\displaystyle \sum _{a}\pi _{\theta }(a|s)=1}$アクション空間が連続であれば、${\displaystyle \int _{a}\pi _{\theta }(a|s)da=1}$。

ポリシー最適化の目標は、アクターを改善することです。つまり、${\displaystyle \theta }$期待されるエピソード報酬を最大化する${\displaystyle J(\theta )}$:$${\displaystyle J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\gamma ^{t}r_{t}\right]}$$どこ${\displaystyle \gamma }$割引係数は、$\displaystyle r_t$ステップでの報酬は${\displaystyle t}$、 そして${\displaystyle T}$とは時間範囲（無限である場合もある）のことである。

ポリシー勾配法の目標は最適化することです${\displaystyle J(\theta )}$政策勾配上の勾配上昇による${\displaystyle \nabla J(\theta )}$。

政策勾配法のページで詳しく説明されているように、政策勾配には多くの不偏推定量が存在します。$${\displaystyle \nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{0\leq j\leq T}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\cdot \Psi _{j}{\Big |}S_{0}=s_{0}\right]}$$どこ$\Psi_j$これは以下の線形和です。

• ${\textstyle \sum _{0\leq i\leq T}(\gamma ^{i}R_{i})}$。
• ${\textstyle \gamma ^{j}\sum _{j\leq i\leq T}(\gamma ^{ij}R_{i})}$: REINFORCEアルゴリズム。
• ${\textstyle \gamma ^{j}\sum _{j\leq i\leq T}(\gamma ^{ij}R_{i})-b(S_{j})}$:ベースラインアルゴリズムを使用した REINFORCE。${\displaystyle b}$これは任意の関数です。
• ${\textstyle \gamma ^{j}\left(R_{j}+\gamma V^{\pi _{\theta }}(S_{j+1})-V^{\pi _{\theta }}(S_{j})\right)}$: TD(1)学習。
• ${\textstyle \gamma ^{j}Q^{\pi _{\theta }}(S_{j},A_{j})}$。
• ${\textstyle \gamma ^{j}A^{\pi _{\theta }}(S_{j},A_{j})}$:アドバンテージ・アクター・クリティック (A2C)。^{[ ​​3 ]}
• ${\textstyle \gamma ^{j}\left(R_{j}+\gamma R_{j+1}+\gamma ^{2}V^{\pi _{\theta }}(S_{j+2})-V^{\pi _{\theta }}(S_{j})\right)}$: TD(2)学習。
• ${\textstyle \gamma ^{j}\left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: TD(n)学習。
• ${\textstyle \gamma ^{j}\sum _{n=1}^{\infty }{\frac {\lambda ^{n-1}}{1-\lambda }}\cdot \left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: TD(λ)学習、別名GAE（一般化優位性推定） [ ^{4 ]これ}は、TD(n)学習項の指数関数的に減衰する合計によって得られます。

上記の不偏推定量では、次のような特定の関数${\displaystyle V^{\pi _{\theta }},Q^{\pi _{\theta }},A^{\pi _{\theta }}}$これらは批評家によって近似されます。これらの関数はすべて行為者に依存するため、批評家は行為者と共に学習する必要があります。批評家は価値ベースの強化学習アルゴリズムによって学習されます。

例えば、批評家が状態価値関数を推定する場合${\displaystyle V^{\pi _{\theta }}(s)}$そうすれば、任意の値関数近似法で学習できる。批評家を関数近似器とする。${\displaystyle V_{\phi }(s)}$パラメータ付き${\displaystyle \phi }$。

最も単純な例はTD(1)学習であり、これはTD(1)エラーを最小化するように批評家を訓練する。$${\displaystyle \delta _{i}=R_{i}+\gamma V_{\phi }(S_{i+1})-V_{\phi }(S_{i})}$$批評家のパラメータは、TD誤差の二乗に対する勾配降下法によって更新されます。$${\displaystyle \phi \leftarrow \phi -\alpha \nabla _{\phi }(\delta _{i})^{2}=\phi +\alpha \delta _{i}\nabla _{\phi }V_{\phi }(S_{i})}$$どこ${\displaystyle \alpha }$は学習率です。勾配は に関して取られることに注意してください。${\displaystyle \phi }$で${\displaystyle V_{\phi }(S_{i})}$ただ、${\displaystyle \phi }$で${\displaystyle \gamma V_{\phi }(S_{i+1})}$は移動するターゲットであり、勾配はそれに関して計算されるわけではありません。これは自動微分を使用する実装でよく発生するエラーの原因であり、その時点で「勾配の計算を停止する」必要があります。

同様に、批評家が行動価値関数を推定している場合${\displaystyle Q^{\pi _{\theta }}}$すると、 Q学習またはSARSAによって学習できます。SARSAでは、批評家は、によってパラメータ化されたQ関数の推定値を保持します。${\displaystyle \phi }$と表記される${\displaystyle Q_{\phi }(s,a)}$すると、時間差誤差は次のように計算される。${\displaystyle \delta _{i}=R_{i}+\gamma Q_{\theta }(S_{i+1},A_{i+1})-Q_{\theta }(S_{i},A_{i})}$批評家はその後更新されます$${\displaystyle \theta \leftarrow \theta +\alpha \delta _{i}\nabla _{\theta }Q_{\theta }(S_{i},A_{i})}$$アドバンテージクリティックは、Q関数を訓練することによって訓練できます。${\displaystyle Q_{\phi }(s,a)}$状態値関数${\displaystyle V_{\phi }(s)}$すると${\displaystyle A_{\phi }(s,a)=Q_{\phi }(s,a)-V_{\phi }(s)}$ただし、状態値関数のみを学習させる方が一般的です。${\displaystyle V_{\phi }(s)}$^{次に、 [ 3 ]}によって利点を推定します。$${\displaystyle A_{\phi }(S_{i},A_{i})\approx \sum _{j\in 0:n-1}\gamma ^{j}R_{i+j}+\gamma ^{n}V_{\phi }(S_{i+n})-V_{\phi }(S_{i})}$$ここ、${\displaystyle n}$は正の整数です。${\displaystyle n}$つまり、利点推定におけるバイアスは小さくなるほど小さくなるが、その代償として分散は大きくなる。

一般化優位性推定（GAE）はハイパーパラメータを導入します${\displaystyle \lambda }$モンテカルロリターンの間を滑らかに補間する（${\displaystyle \lambda =1}$、高分散、バイアスなし）および 1 ステップTD 学習（${\displaystyle \lambda =0}$（低分散、高バイアス）。このハイパーパラメータは、優位性推定における最適なバイアス・分散のトレードオフを選択するために調整できます。これは、nステップのリターンの指数関数的に減衰する平均を使用し、${\displaystyle \lambda }$崩壊強度である。^{[ 4 ]}