強化学習

強化学習( RL ) は、機械学習と最適制御の学際的な領域であり、動的環境でインテリジェントエージェントが報酬信号を最大化するためにどのように行動すべきかに関係しています。強化学習は、教師あり学習と教師なし学習とともに、3 つの基本的な機械学習パラダイムの 1 つです。

Q 学習は、最も単純な方法ではデータをテーブルに保存します。状態/アクションの数が増えると (たとえば、状態空間またはアクション空間が連続している場合)、エージェントが特定の状態を訪れて特定のアクションを実行する確率が減少するため、このアプローチは実行不可能になります。

強化学習は、ラベル付けされた入力と出力のペアを提示する必要がなく、最適でないアクションを明示的に修正する必要がない点で、教師あり学習とは異なります。代わりに、累積報酬（フィードバックは不完全または遅延する可能性がある）を最大化することを目標として、探索（未知の領域）と活用（現在の知識）のバランスを見つけることに重点が置かれます。^[1]このバランスの探求は、探索と活用のジレンマとして知られています。

多くの強化学習アルゴリズムは動的計画法の手法を使用するため、 環境は通常、マルコフ決定過程（MDP）の形式で表現されます。^[2]古典的な動的計画法と強化学習アルゴリズムの主な違いは、後者はマルコフ決定過程の正確な数学的モデルの知識を前提とせず、正確な方法が実行不可能になる大規模なMDPを対象としていることです。^[3]

強化学習はその汎用性から、ゲーム理論、制御理論、オペレーションズ・リサーチ、情報理論、シミュレーションに基づく最適化、マルチエージェントシステム、群知能、統計学など、多くの分野で研究されています。オペレーションズ・リサーチと制御の文献では、強化学習は近似動的計画法、またはニューロ動的計画法と呼ばれています。強化学習で関心のある問題は最適制御の理論でも研究されており、最適解の存在と特徴、およびその正確な計算アルゴリズムに主眼が置かれており、学習や近似（特に環境の数学的モデルがない場合）についてはあまり考慮されていません。

基本的な強化学習はマルコフ決定過程としてモデル化されます。

• 環境とエージェントの状態の集合（状態空間）。${\displaystyle {\mathcal {S}}}$
• エージェントのアクションの集合（アクション空間）${\displaystyle {\mathcal {A}}}$
• ${\displaystyle P_{a}(s,s')=\Pr(S_{t+1}=s'\mid S_{t}=s,A_{t}=a)}$、アクション のもとでの状態 から状態 への遷移確率 (時刻) 。${\displaystyle t}$${\displaystyle s}$${\displaystyle s'}$${\displaystyle a}$
• ${\displaystyle R_{a}(s,s')}$、行動中の からへの移行後の即時の報酬。${\displaystyle s}$${\displaystyle s'}$${\displaystyle a}$

強化学習の目的は、エージェントが報酬関数または即時報酬から蓄積される他のユーザー提供の強化信号を最大化する最適（または最適に近い）ポリシーを学習することです。これは、動物心理学で発生すると思われるプロセスに似ています。たとえば、生物学的脳は、痛みや空腹などの信号を負の強化として解釈し、喜びや食物摂取を正の強化として解釈するようにハードワイヤードされています。状況によっては、動物はこれらの報酬を最適化する行動を採用することを学びます。これは、動物が強化学習できることを示唆しています。^{[4] [5]}

基本的な強化学習エージェントは、離散的な時間ステップで環境と対話します。各時間ステップtで、エージェントは現在の状態と報酬を受け取ります。次に、利用可能なアクションのセットからアクションを選択し、それが環境に送信されます。環境は新しい状態に移行し、遷移に関連付けられた報酬が決定されます。強化学習エージェントの目標は、ポリシーを学習することです。 ${\displaystyle S_{t}}$${\displaystyle R_{t}}$${\displaystyle A_{t}}$${\displaystyle S_{t+1}}$${\displaystyle R_{t+1}}$ ${\displaystyle (S_{t},A_{t},S_{t+1})}$

${\displaystyle \pi :{\mathcal {S}}\times {\mathcal {A}}\rightarrow [0,1]}$、${\displaystyle \pi (s,a)=\Pr(A_{t}=a\mid S_{t}=s)}$

期待される累積報酬を最大化します。

問題をマルコフ決定過程として定式化することは、エージェントが現在の環境状態を直接観察することを前提としています。この場合、問題は完全観測可能性を持つと言われます。エージェントが状態のサブセットにしかアクセスできない場合、または観測された状態がノイズによって破損している場合、エージェントは部分観測可能性を持つと言われ、正式には問題は部分的に観測可能なマルコフ決定過程として定式化する必要があります。どちらの場合も、エージェントが実行できるアクションのセットは制限できます。たとえば、口座残高の状態は正に制限できます。つまり、状態の現在の値が 3 で、状態遷移によって値が 4 減少しようとすると、遷移は許可されません。

エージェントのパフォーマンスを最適に行動するエージェントのパフォーマンスと比較すると、パフォーマンスの差から後悔という概念が生まれます。エージェントは、最適に近い行動をとるために、その行動の長期的な結果について推論する必要があります (つまり、将来の報酬を最大化します)。ただし、これに関連する即時の報酬はマイナスになる可能性があります。

このように、強化学習は長期報酬と短期報酬のトレードオフを含む問題に特に適しています。これは、エネルギー貯蔵、^[6]、 ロボット制御、^[7]、 太陽光発電機、^[8]、 バックギャモン、チェッカー、^[9]、 囲碁（AlphaGo）、自動運転システムなど、さまざまな問題にうまく適用されてきました。^[10]

強化学習を強力にするのは、サンプルを使用してパフォーマンスを最適化することと、関数近似を使用して大規模な環境に対処するという 2 つの要素です。これら 2 つの主要コンポーネントのおかげで、次のような状況で大規模な環境で RL を使用できます。

• 環境のモデルはわかっているが、解析的なソリューションは利用できない。
• 環境のシミュレーションモデルのみが与えられている（シミュレーションベースの最適化の主題）^[11]
• 環境に関する情報を収集する唯一の方法は、環境と対話することです。

これらの問題のうち最初の 2 つは計画問題と見なすことができます (何らかの形式のモデルが利用できるため)。一方、最後の問題は純粋な学習問題と見なすことができます。ただし、強化学習により、両方の計画問題が機械学習の問題に変換されます。

探索と利用のトレードオフは、多腕バンディット問題と有限状態空間マルコフ決定過程を通じて、BurnetasとKatehakis（1997）によって最も徹底的に研究されてきた。^[12]

強化学習には巧妙な探索メカニズムが必要です。推定された確率分布を参照せずにアクションをランダムに選択すると、パフォーマンスが低下します。(小さな)有限マルコフ決定プロセスのケースは比較的よく理解されています。ただし、状態の数に応じて適切にスケーリングするアルゴリズム(または無限の状態空間の問題にスケーリングするアルゴリズム)がないため、単純な探索方法が最も実用的です。

そのような方法の 1 つが-greedy です。ここで、は探索と搾取の量を制御するパラメーターです。確率 の場合、搾取が選択され、エージェントは長期的に最も効果的であると考えるアクションを選択します (アクション間の関係は一様ランダムに切断されます)。または、確率 の場合、探索が選択され、アクションは一様ランダムに選択されます。は通常は固定パラメーターですが、スケジュールに従って調整することも (エージェントの探索を徐々に少なくする)、ヒューリスティックに基づいて適応的に調整することもできます。^[13]${\displaystyle \varepsilon }$${\displaystyle 0<\varepsilon <1}$${\displaystyle 1-\varepsilon }$${\displaystyle \varepsilon }$${\displaystyle \varepsilon }$

探索の問題が無視され、状態が観測可能であったとしても（以下では仮定）、過去の経験を使用してどのアクションがより高い累積報酬につながるかを見つけるという問題は残ります。

エージェントのアクション選択は、ポリシーと呼ばれるマップとしてモデル化されます。

${\displaystyle \pi :{\mathcal {A}}\times {\mathcal {S}}\rightarrow [0,1]}$

${\displaystyle \pi (a,s)=\Pr(A_{t}=a\mid S_{t}=s)}$

ポリシーマップは、状態にあるときにアクションを実行する確率を示します。^{[14] ：61}決定論的なポリシーも存在します。 ${\displaystyle a}$${\displaystyle s}$

状態価値関数は、状態、すなわちから始まり、政策 に続いていくときの期待割引収益として定義されます。したがって、大まかに言えば、価値関数は、与えられた状態にあることが「どれだけ良いか」を推定します。^{[14] : 60}${\displaystyle V_{\pi }(s)}$${\displaystyle s}$${\displaystyle S_{0}=s}$${\displaystyle \pi }$

${\displaystyle V_{\pi }(s)=\operatorname {\mathbb {E} } [G\mid S_{0}=s]=\operatorname {\mathbb {E} } \left[\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}\mid S_{0}=s\right],}$

ここで、ランダム変数は割引収益を表し、将来の割引報酬の合計として定義されます。 ${\displaystyle G}$

${\displaystyle G=\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}=R_{1}+\gamma R_{2}+\gamma ^{2}R_{3}+\dots ,}$

ここで、 は状態 からへの遷移に対する報酬、は割引率です。は 1 未満なので、遠い将来の報酬は近い将来の報酬よりも重み付けが低くなります。 ${\displaystyle R_{t+1}}$${\displaystyle S_{t}}$${\displaystyle S_{t+1}}$${\displaystyle 0\leq \gamma <1}$${\displaystyle \gamma }$

アルゴリズムは、期待される割引収益が最大となるポリシーを見つけなければなりません。マルコフ決定過程の理論から、一般性を失うことなく、検索をいわゆる定常ポリシーのセットに制限できることがわかっています。ポリシーが定常であるのは、ポリシーによって返されるアクション分布が、最後に訪れた状態 (観測エージェントの履歴から) のみに依存する場合です。検索は、決定論的定常ポリシーにさらに制限できます。決定論的定常ポリシーは、現在の状態に基づいて決定論的にアクションを選択します。このようなポリシーは、状態のセットからアクションのセットへのマッピングで識別できるため、これらのポリシーは、一般性を失うことなく、このようなマッピングで識別できます。

ブルートフォースアプローチには 2 つのステップが含まれます。

• それぞれの可能なポリシーについて、サンプルはそれに従いながら返されます。
• 最大の割引収益が期待されるポリシーを選択する

これに関する 1 つの問題は、ポリシーの数が多くなるか、または無限になる可能性があることです。もう 1 つの問題は、リターンの分散が大きい場合があり、各ポリシーの割引リターンを正確に推定するには多くのサンプルが必要になることです。

これらの問題は、何らかの構造を仮定し、1 つのポリシーから生成されたサンプルが他のポリシーの推定に影響を与えるようにすれば改善できます。これを実現するための 2 つの主なアプローチは、価値関数推定と直接ポリシー検索です。

価値関数アプローチは、何らかのポリシー（通常は「現在の」[ポリシーオン] または最適な [ポリシーオフ] のいずれか）の期待割引収益の推定値のセットを維持することにより、割引収益を最大化するポリシーを見つけようとします。 ${\displaystyle \operatorname {\mathbb {E} } [G]}$

これらの方法はマルコフ決定過程の理論に依存しており、最適性は上記よりも強い意味で定義されています。つまり、ポリシーが最適であるのは、任意の初期状態から最も期待される割引収益を達成する場合です (つまり、初期分布はこの定義では役割を果たしません)。繰り返しますが、最適なポリシーは常に定常ポリシーの中から見つけることができます。

最適性を形式的に定義するには、ポリシーの状態値を次のように 定義します。${\displaystyle \pi }$

${\displaystyle V^{\pi }(s)=\operatorname {\mathbb {E} } [G\mid s,\pi ],}$

ここで、は初期状態 から に従うことに関連する割引収益を表します。を の最大可能状態値 と定義すると、 は変化することが許されます。 ${\displaystyle G}$${\displaystyle \pi }$${\displaystyle s}$${\displaystyle V^{*}(s)}$${\displaystyle V^{\pi }(s)}$${\displaystyle \pi }$

${\displaystyle V^{*}(s)=\max _{\pi }V^{\pi }(s).}$

各状態でこれらの最適な状態値を達成するポリシーは、最適 と呼ばれます。明らかに、この意味で最適なポリシーは、期待割引収益を最大化するという意味でも最適です。なぜなら、 は初期状態の分布からランダムにサンプリングされた状態であるためです(つまり)。 ${\displaystyle V^{*}(s)=\max _{\pi }\mathbb {E} [G\mid s,\pi ]}$${\displaystyle s}$${\displaystyle \mu }$${\displaystyle \mu (s)=\Pr(S_{0}=s)}$

状態値だけで最適性を定義することは十分であるが、行動値を定義することも有用である。状態、行動、政策が与えられたとき、そのペアの行動値は次のように定義される。 ${\displaystyle s}$${\displaystyle a}$${\displaystyle \pi }$${\displaystyle (s,a)}$${\displaystyle \pi }$

${\displaystyle Q^{\pi }(s,a)=\operatorname {\mathbb {E} } [G\mid s,a,\pi ],\,}$

ここで、は、最初に状態でアクションを実行し、その後 を実行することに関連付けられたランダム割引収益を表します。 ${\displaystyle G}$${\displaystyle a}$${\displaystyle s}$${\displaystyle \pi }$

マルコフ決定過程の理論によれば、 が最適なポリシーである場合、各状態 でアクション値が最も高いアクションをから選択することで最適に行動する（最適なアクションを取る）ことができます。このような最適ポリシー ( ) のアクション値関数は最適アクション値関数と呼ばれ、一般的に と表記されます。つまり、最適アクション値関数を知っているだけで、最適に行動する方法を知るのに十分です。 ${\displaystyle \pi ^{*}}$${\displaystyle Q^{\pi ^{*}}(s,\cdot )}$${\displaystyle s}$${\displaystyle Q^{\pi ^{*}}}$${\displaystyle Q^{*}}$

マルコフ決定過程を完全に理解していると仮定すると、最適なアクション価値関数を計算するための 2 つの基本的なアプローチは、価値反復とポリシー反復です。 どちらのアルゴリズムも、に収束する関数のシーケンス( ) を計算します。 これらの関数を計算するには、状態空間全体にわたる期待値を計算する必要があり、これは最小 (有限) のマルコフ決定過程を除いて非現実的です。 強化学習法では、サンプルを平均化し、関数近似手法を使用して、大きな状態アクション空間で価値関数を表す必要性に対処することで、期待値を近似します。 ${\displaystyle Q_{k}}$${\displaystyle k=0,1,2,\ldots }$${\displaystyle Q^{*}}$

モンテカルロ法^[15]は、サンプルリターンを平均化することで強化学習問題を解くために使用されます。環境のダイナミクスに関する完全な知識を必要とする方法とは異なり、モンテカルロ法は、環境との相互作用から得られる状態、アクション、報酬のシーケンスである実際の経験またはシミュレートされた経験のみに依存します。これにより、モンテカルロ法は完全なダイナミクスが不明な状況にも適用できます。実際の経験から学習する場合、環境に関する事前の知識は必要なく、最適な動作につながる可能性があります。シミュレートされた経験を使用する場合、動的計画法に必要な遷移確率の完全な仕様ではなく、サンプル遷移を生成できるモデルのみが必要です。

モンテ カルロ法は、経験が最終的に終了するエピソードに分割されるエピソード タスクに適用されます。ポリシーと価値関数の更新はエピソードの完了後にのみ行われるため、これらの方法はエピソードごとに増分的になりますが、ステップごと (オンライン) には行われません。「モンテ カルロ」という用語は、通常、ランダム サンプリングを含むあらゆる方法を指しますが、このコンテキストでは、部分的なリターンではなく完全なリターンから平均を計算する方法を指します。

これらの方法は、各状態と行動のペアのリターンが平均化されるバンディットアルゴリズムと同様に機能します。主な違いは、1つの状態で行われた行動が同じエピソード内の後続の状態のリターンに影響を与えるため、問題が非定常になることです。この非定常性に対処するために、モンテカルロ法は一般政策反復（GPI）のフレームワークを使用します。動的計画法はマルコフ決定過程（MDP）の完全な知識を使用して価値関数を計算しますが、モンテカルロ法はサンプルリターンを通じてこれらの関数を学習します。価値関数とポリシーは動的計画法と同様に相互作用して最適性を実現し、最初に予測問題に対処し、次にポリシーの改善と制御に拡張します。これらはすべてサンプルされた経験に基づいています。^[14]

最初の問題は、値が落ち着く前に手順でポリシーを (一部またはすべての状態で) 変更できるようにすることで修正されます。これも収束を妨げる可能性があるため、問題となる可能性があります。現在のアルゴリズムのほとんどはこれを実行し、一般化されたポリシー反復アルゴリズムのクラスを生み出しています。多くのアクター クリティックメソッドはこのカテゴリに属します。

2 番目の問題は、軌道がそれらの中の任意の状態とアクションのペアに寄与できるようにすることで修正できます。これは 3 番目の問題にもある程度役立つ可能性がありますが、リターンの分散が大きい場合のより良い解決策は、再帰ベルマン方程式に基づくサットンの時間差分(TD) 法です。^{[16] [17]} TD 法での計算は、増分 (各遷移の後にメモリが変更され、遷移が破棄される場合) またはバッチ (遷移がバッチ処理され、推定値がバッチに基づいて 1 回計算される場合) にすることができます。最小二乗時間差分法^[18]などのバッチ法はサンプル内の情報をより適切に使用できる一方、増分法は、計算やメモリの複雑さのためにバッチ法が実行不可能な場合に唯一の選択肢です。いくつかの方法では、2 つのアプローチを組み合わせようとします。時間差分に基づく方法は、4 番目の問題も克服します。

TD に特有のもう 1 つの問題は、再帰的なベルマン方程式に依存していることです。ほとんどの TD 法には、ベルマン方程式に依存しないモンテ カルロ法とベルマン方程式に完全に依存する基本的な TD 法の間を連続的に補間できる、いわゆるパラメーターがあります。これは、この問題を軽減するのに効果的です。 ${\displaystyle \lambda }$${\displaystyle (0\leq \lambda \leq 1)}$

5 番目の問題に対処するために、関数近似法が使用されます。線形関数近似は、各状態アクション ペアに有限次元ベクトルを割り当てるマッピングから始まります。次に、状態アクション ペアのアクション値は、 のコンポーネントをいくつかの重みで線形に結合することによって得られます。 ${\displaystyle \phi }$${\displaystyle (s,a)}$${\displaystyle \phi (s,a)}$ ${\displaystyle \theta }$

${\displaystyle Q(s,a)=\sum _{i=1}^{d}\theta _{i}\phi _{i}(s,a).}$

次に、アルゴリズムは、個々の状態とアクションのペアに関連付けられた値を調整する代わりに、重みを調整します。ノンパラメトリック統計のアイデアに基づく方法(独自の機能を構築できると考えられる) が検討されています。

価値反復法は出発点としても使用でき、 Q学習アルゴリズムとその多くの変種を生み出します。 ^[19]ニューラルネットワークを使用してQを表現するディープQ学習法を含み、確率的探索問題にさまざまな用途があります。^[20]

アクション値を使用する際の問題は、競合するアクション値の非常に正確な推定値が必要になる可能性があり、リターンにノイズが多い場合はそれを得るのが難しい場合があることです。ただし、この問題は時間差分法によってある程度緩和されます。いわゆる互換関数近似法を使用すると、一般性と効率性が損なわれます。

別の方法としては、ポリシー空間（の一部）を直接検索する方法があります。この場合、問題は確率的最適化のケースになります。使用可能な 2 つのアプローチは、勾配ベース法と勾配フリー法です。

勾配ベースの方法（ポリシー勾配法）は、有限次元（パラメータ）空間からポリシーの空間へのマッピングから始まります。パラメータベクトル が与えられた場合、に関連付けられたポリシー を で表します。 パフォーマンス関数 を で定義すると、穏やかな条件下では、この関数はパラメータベクトル の関数として微分可能になります。 の勾配がわかっている場合は、勾配上昇法を使用できます。 勾配の解析式は利用できないため、ノイズの多い推定値のみを使用できます。 このような推定値はさまざまな方法で構築でき、ウィリアムズの REINFORCE 法^{[21] （}シミュレーションベースの最適化の文献では尤度比法として知られています）などのアルゴリズムが生まれます。^[22]${\displaystyle \theta }$${\displaystyle \pi _{\theta }}$${\displaystyle \theta }$${\displaystyle \rho (\theta )=\rho ^{\pi _{\theta }}}$${\displaystyle \theta }$${\displaystyle \rho }$

多数の手法では、勾配情報への依存を避けています。これには、シミュレーテッド アニーリング、クロスエントロピー検索、進化計算法が含まれます。勾配を使用しない多くの手法では、（理論上および限界内で）全体最適を実現できます。

政策探索法は、ノイズの多いデータでは収束が遅い場合があります。たとえば、軌道が長く、リターンの分散が大きいエピソード問題では、このようなことが起こります。この場合、時間的な違いに依存する価値関数ベースの方法が役立つ可能性があります。近年、アクター・クリティック法が提案され、さまざまな問題で優れたパフォーマンスを発揮しています。^[23]

ロボット工学の分野では、ポリシー探索法が使われてきました。^{[24]多くのポリシー探索法は、局所最適解に陥ってしまう可能性があります（}局所探索に基づいているため）。

最後に、上記の方法はすべて、まずマルコフ決定過程のモデル、つまり既存の状態から取られた行動が与えられた場合に次の各状態が出現する確率を学習するアルゴリズムと組み合わせることができます。たとえば、Dynaアルゴリズム^[25]は経験からモデルを学習し、それを使用して実際の遷移に加えて、価値関数のモデル化された遷移をさらに提供します。このような方法は、遷移が単純に保存され、学習アルゴリズムに 「再生」される場合など、非パラメトリックモデルの使用に拡張されることがあります^{[26] 。}

モデルベースの手法はモデルフリーのアプローチよりも計算量が多くなる可能性があり、その有用性はマルコフ決定過程を学習できる範囲によって制限される可能性がある。^[27]

価値関数を更新する以外にもモデルを使用する方法はある。^[28]例えば、モデル予測制御ではモデルを使用して動作を直接更新する。

ほとんどのアルゴリズムの漸近的動作と有限サンプル動作は両方とも十分に理解されています。オンライン パフォーマンスが証明可能なアルゴリズム (探索問題に対応) が知られています。

マルコフ決定過程の効率的な探索については、BurnetasとKatehakis（1997）で説明されている。^[12]多くのアルゴリズムでは有限時間のパフォーマンス境界も現れているが、これらの境界はかなり緩いと予想されるため、相対的な利点と限界をよりよく理解するにはさらなる研究が必要である。

増分アルゴリズムの場合、漸近収束の問題が解決されています^{[明確化が必要]}。時間差分ベースのアルゴリズムは、以前に可能であったよりも広い条件セットの下で収束します (たとえば、任意の滑らかな関数近似を使用する場合)。

研究テーマには以下が含まれます。

• 俳優批評家建築^[29]
• 俳優・評論家・風景・建築^[3]
• 多数の条件下で、より少ない（または全く）パラメータで動作する適応型手法
• ソフトウェアプロジェクトにおけるバグ検出^[30]
• 継続的な学習
• ロジックベースのフレームワークとの組み合わせ^[31]
• 大規模マルコフ決定過程の探究
• 人間によるフィードバック^[32]
• スキル獲得における暗黙的学習と明示的学習の相互作用
• 情報探索や好奇心型の行動と課題依存の目標指向型行動を区別する内発的動機づけ大規模な実証的評価
• 大きな（または連続した）アクションスペース
• モジュール型および階層型強化学習^[33]
• マルチエージェント/分散強化学習は興味深いトピックであり、応用範囲が広がっています。^[34]
• 乗員中心の制御
• コンピューティングリソースの最適化^{[35] [36] [37]}
• 部分的な情報（例えば、予測状態表現の使用）
• 新しい情報の最大化に基づく報酬関数^{[38] [39] [40]}
• サンプルベースの計画（例：モンテカルロ木探索に基づく）。
• 証券取引^[41]
• 転移学習^[42]
• TD 学習は、脳内のドーパミンベースの学習をモデル化します。黒質から基底核機能へのドーパミンの投射は予測誤差です。
• 価値関数とポリシー検索方法

連想強化学習タスクは、確率学習オートマトンタスクと教師あり学習パターン分類タスクの側面を組み合わせたものです。連想強化学習タスクでは、学習システムは環境と閉ループで相互作用します。^[46]

このアプローチは、状態空間を明示的に設計することなく、ディープニューラルネットワークを使用することで強化学習を拡張します。^{[47] Google} DeepMindによるATARIゲームの学習に関する研究により、深層強化学習またはエンドツーエンドの強化学習への注目が高まりました。^[48]

敵対的深層強化学習は、学習したポリシーの脆弱性に焦点を当てた強化学習の研究が活発に行われている分野です。この研究分野では、強化学習ポリシーが知覚できない敵対的操作の影響を受けやすいことが最初に示されました。^{[49] [50] [51]}これらの脆弱性を克服するためにいくつかの方法が提案されていますが、最新の研究では、これらの提案されたソリューションは、深層強化学習ポリシーの現在の脆弱性を正確に表現するにはほど遠いことが示されています。^[52]

強化学習にファジー推論を導入することにより、 ^{[53]連続空間で}ファジールールを使用して状態行動価値関数を近似することが可能になります。ファジールールのIF-THEN形式により、このアプローチは自然言語に近い形式で結果を表現するのに適しています。ファジールール補間によるFRLの拡張^[54]により、サイズが縮小されたスパースなファジールールベースを使用して、基本的なルール（最も重要な状態行動価値）を強調することができます。

逆強化学習（IRL）では、報酬関数は与えられない。代わりに、専門家の観察された行動が与えられると報酬関数が推論される。その考え方は、しばしば最適または最適に近い観察された行動を模倣することである。^[55]人気のあるIRLパラダイムの1つは、最大エントロピー逆強化学習（MaxEnt IRL）と呼ばれている。^[56] MaxEnt IRLは、期待される特徴数の一致に関連する制約に従って、観察された軌跡の確率分布のエントロピーを最大化することにより、報酬関数の線形モデルのパラメータを推定する。最近、MaxEnt IRLは、ランダムユーティリティ逆強化学習（RU-IRL）と呼ばれるより一般的なフレームワークの特殊なケースであることが示された。^{[57] RU-IRLは、}ランダムユーティリティ理論とマルコフ決定プロセスに基づいています。従来の IRL アプローチでは、観察対象エージェントの見かけ上のランダムな動作はランダムなポリシーに従うためであると想定していましたが、RU-IRL では、観察対象エージェントは決定論的なポリシーに従うが、観察対象の動作のランダム性は、観察者が観察対象エージェントが意思決定で使用する機能に部分的にしかアクセスできないためであると想定しています。ユーティリティ関数は、観察対象エージェントがユーティリティ関数で実際に考慮する機能に関する観察者の無知を考慮するために、ランダム変数としてモデル化されます。

安全強化学習（SRL）は、学習および/または展開プロセス中に合理的なシステムパフォーマンスを確保し、安全制約を尊重することが重要な問題において、期待されるリターンを最大化するポリシーを学習するプロセスとして定義できます。^{[58]代替アプローチはリスク回避強化学習であり、}期待リターンの代わりに、条件付きリスク値（CVaR）などのリターンのリスク尺度が最適化されます。^[59]リスクを軽減することに加えて、CVaR目標はモデルの不確実性に対する堅牢性を高めます。^{[60] [61]ただし、リスク回避RLでのCVaR最適化には、勾配バイアス[62]}と成功の盲目を防ぐために特別な注意が必要です。^[63]

自己強化学習（または自己学習）は、アクション a で s から s' に遷移した後の即時報酬 Ra(s,s') の概念を使用しない学習パラダイムです。外部強化は使用せず、エージェントの内部自己強化のみを使用します。内部自己強化は、感情のメカニズムによって提供されます。学習プロセスでは、感情は二次強化のメカニズムによってバックプロパゲーションされます。学習方程式には即時報酬は含まれず、状態評価のみが含まれます。

自己強化アルゴリズムは、メモリ マトリックス W =||w(a,s)|| を更新し、各反復で次の機械学習ルーチンを実行します。1. 状況 s でアクション a を実行します。2. 結果状況 s' を受け取ります。3. 結果状況 s' での状態がどの程度良好であるかを示す状態評価 v(s') を計算します。4. クロスバー メモリを更新します。w'(a,s) = w(a,s) + v(s')

記憶の初期条件は、遺伝的環境からの入力として受け取られます。これは、入力 (状況) が 1 つだけ、出力 (アクションまたは動作) が 1 つだけのシステムです。

自己強化（自己学習）は、1982年に自己強化学習が可能なニューラルネットワークとともに導入され、クロスバーアダプティブアレイ（CAA）と呼ばれています。^{[64] [65]} CAAは、クロスバー方式で、行動に関する決定と結果状態に関する感情（気持ち）の両方を計算します。このシステムは、認知と感情の相互作用によって駆動されます。^[66]

RL アルゴリズムの効率的な比較は、RL システムの研究、展開、監視に不可欠です。特定の環境で異なるアルゴリズムを比較するには、エージェントを各アルゴリズムごとにトレーニングします。パフォーマンスは実装の詳細に左右されるため、すべてのアルゴリズムは可能な限り互いに近い形で実装する必要があります。^[67]トレーニングが終了したら、エージェントをテスト エピソードのサンプルで実行し、そのスコア (リターン) を比較できます。エピソードは通常iidであると想定されるため、仮説検定にはT テストや順列検定などの標準的な統計ツールを使用できます。^[68]これには、エピソード内のすべての報酬を 1 つの数値、つまりエピソード リターンに集計する必要があります。ただし、これにより、異なるタイム ステップが平均化され、ノイズのレベルが異なる可能性があるため、情報が失われます。エピソード全体でノイズ レベルが変化するたびに、推定ノイズに応じて報酬に重み付けすることで、統計的検出力を大幅に向上できます。^[69]

強化学習アルゴリズムは、重大な社会的影響を及ぼす可能性があるシナリオにおいて、不公平/不平等な行動を伴います。これは主に、短期的な行動が長期的な結果にどのように影響するかを考慮しない近視眼的なモデルに焦点を当てていることが原因です。この原則に従って特定のグループの人々をフィルタリングすると、不公平が生じます。例としては、採用、融資、入学のプロセス中に強化学習を適用することが挙げられます。 ^[70]公平性の制約という概念がなければ、強化学習システムによって下される決定は非倫理的で有害になる可能性があります。^[71]

最初の例は、採用プロセスにおけるものです。企業は、短期的な生産性向上のために、よく理解されている人口統計からの応募者を採用することを好むかもしれません。しかし、このアプローチでは、長期的に大きく貢献できる多様な候補者が排除される可能性があります。採用における公正な RL は、アクション (たとえば、誰を面接または雇用するか) が、目先の指標だけでなく、長期的な生産性と公正さに基づいていることを保証する必要があります。たとえば、RL が短期的な利便性のために履歴書の関連スキルのみをフィルタリングする場合、学習スキルが高く、長期的な利益に大きな情熱を持つ潜在的な多様な応募者を見逃す可能性があります。多様な候補者を採用すると、短期的なコスト (たとえば、トレーニングまたは調整期間) が発生する可能性がありますが、時間の経過とともに、より強力で革新的な労働力になる可能性があります。もう 1 つの具体的な例は、卒業した留学生です。RL が短期的な利益のみに焦点を当てている場合、スポンサーシップは企業にとって負債になる可能性があります。しかし、留学生は通常、優れたリソースを持つ賢い個人であり、長期的な利益で企業に役立つ可能性があります。近視眼的な RL は不公平を引き起こす可能性があります。^[70]

融資の例では、それが主に即時のリスク評価のみに基づいている場合、たとえそれらのグループが同等の長期信用力を示す可能性がある場合でも、特定のグループに体系的に不利になる可能性があります。政府の融資システムの中には、最も支援を必要とする人々を支援するように設計されています。しかし、申請者がお金を返済できるかどうかに焦点を当てた近視眼的なRLでは、最も支援を必要とする人々が申請を通過できません。これは、彼らが短期的にお金を稼ぐ能力が最も低い可能性が高いためです。これは不公平であり、プログラムの本来の意図に反しています。また、即時のデフォルト率は、将来的に同等またはそれ以上の財務信頼性を示すグループにペナルティを課す可能性があります。さらに、社会に大きな影響を与える多くの成功したビジネスは、通常、最初は非現実的に聞こえました（例：Amazon、Tesla）。RLが短期的に契約を破棄するリスクのみを評価する場合、大きな夢を持つ人々にとって不公平であるだけでなく、社会にとって大きな発展の機会を逃すことになります。^[70]

入学試験の例では、大学の入学試験戦略は、過去の成功指標に合致する候補者に焦点を当てているが、過小評価されている背景を持つ潜在的な学生に投資しておらず、長期的な多様性と組織の強さに影響を与えている。これは、人種、地域、性別、家族の経済的/教育的状況に基づいて偏ったRLを作成する可能性があるため、非常に危険である。 ^[70]研究によると、RLで訓練されたロボットシステムが特定のグループの人々（敏感なアイデンティティ）に偏っている場合、ロボットはそれらの人々へのサポートが制限され、敏感でないアイデンティティと比較して比較的関心が低くなる可能性がある。^[72]

その場合、公平性は、長期的な（割引された）報酬が高くない限り、アルゴリズムが1つの行動を他の行動よりも優先しないことを要求することと定義されます。この原則は、長期的な利益がそのような行動を正当化しない限り、集団を標的にしたり排除したりすることを禁止します。^[70]

RL システムは、トレーニング データ セットで異なるグループの人々が著しく異なる作業能力を持っていることが示された場合、特定のグループの人々を疎外する可能性もあります。この研究では、システムは最大限の効率を達成したいため、常により効率的なグループにタスクを割り当てることを選択します。システムが、性別、人種、または宗教的観点により、このグループの人々の作業効率が低いと判断した場合、システムは非常に少ない作業を割り当てたり、そのグループの人々を放棄したりする可能性があります。たとえば、論文では、白人のクリエイターが少数派よりも大幅に多く、トラフィックを獲得するのに有利であるため、少数派の人々が作成したビデオが推奨システムに表示される可能性が低くなる可能性があると述べています。^[73]

この公平性を保つ上での課題は、これらのシナリオで公平性を確保するには、長期的な公平性と利益のために、RL が短期的な犠牲（たとえば、当面の生産性や利益の低下）を払う必要があることが多いことです。^[70]システムはトレードオフとしてパフォーマンスと効率性が低下する可能性がありますが、長期的には公平性を達成できます。^[74] RL ベースのシステムを使用する開発者は、法律により、アルゴリズムが性別、人種、宗教などの保護された属性を差別しないことを保証する必要があります。この研究では、RL システムのバイアスを減らすことができるマルチエージェント RL も推奨されています。成功したアプリケーションには、公正な YouTube の推奨、公正な IoT、公正な株取引、顔認識システムのバイアスの削減などがあります。 ^[73]

• Annaswamy, Anuradha M. (2023年5月3日). 「適応制御と強化学習による交差点」。 制御、ロボティクス、自律システムの年次レビュー。6 (1): 65–93。doi : 10.1146 /annurev-control- 062922-090153。ISSN 2573-5144。S2CID 255702873  。
• Auer, Peter ; Jaksch, Thomas; Ortner, Ronald (2010)。「強化学習におけるほぼ最適な後悔境界」。機械学習研究ジャーナル。11 : 1563–1600。
• Bertsekas, Dimitri P. (2023) [2019]. 強化学習と最適制御（第1版）。Athena Scientific。ISBN 978-1-886-52939-7。
• Busoniu, Lucian; Babuska, Robert; De Schutter, Bart ; Ernst, Damien (2010)。関数近似器を使用した強化学習と動的プログラミング。Taylor & Francis CRC Press。ISBN 978-1-4398-2108-4。
• François-Lavet, Vincent; Henderson, Peter; Islam, Riashat; Bellemare, Marc G.; Pineau, Joelle (2018). 「深層強化学習入門」。機械学習の基礎と動向。11 (3–4): 219–354。arXiv : 1811.12560。Bibcode : 2018arXiv181112560F。doi : 10.1561 /2200000071。S2CID 54434537  。
• Li, Shengbo Eben (2023). 順次決定と最適制御のための強化学習（第1版）。Springer Verlag、シンガポール。doi : 10.1007 / 978-981-19-7784-8。ISBN 978-9-811-97783-1。
• Powell, Warren (2011). 近似動的計画法: 次元の呪いを解く. Wiley-Interscience. 2016-07-31 にオリジナルからアーカイブ。2010-09-08に閲覧。
• Sutton, Richard S. (1988). 「時間差法による予測学習」.機械学習. 3 : 9–44. doi : 10.1007/BF00115009 .
• サットン、リチャード S. ;バルト、アンドリュー G. (2018) [1998]. 強化学習: 入門 (第 2 版). MIT プレス. ISBN 978-0-262-03924-6。
• Szita, Istvan; Szepesvari, Csaba (2010)。「ほぼ厳密な探索複雑度境界を持つモデルベースの強化学習」(PDF)。ICML 2010。Omnipress。pp . 1031–1038。2010-07-14にオリジナル(PDF)からアーカイブ。

• 強化学習の分析 Python コードによる強化学習に関するブログ投稿シリーズ
• 強化学習の（長い）一瞥