強化学習

機械学習と最適制御において、強化学習（RL ）は、動的な環境において知能エージェントが報酬信号を最大化するためにどのような行動をとるべきかを扱います。強化学習は、教師あり学習、教師なし学習と並ぶ、機械学習の3つの基本パラダイムの1つです。

教師あり学習と教師なし学習のアルゴリズムはそれぞれラベル付きデータとラベルなしデータのパターンを発見しようとしますが、強化学習ではエージェントが環境との相互作用を通じて訓練されます。これらの相互作用から報酬を最大化することを学習するために、エージェントは環境についてより多くを学ぶために新しい行動を試す（探索）か、環境に関する現在の知識を使用して最適な行動をとる（活用）かを決定します。^{[ 1 ]}これら2つの戦略間の最適なバランスを探すことは、探索と活用のジレンマとして知られています。

環境は通常、マルコフ決定過程の形で表現されます。これは、多くの強化学習アルゴリズムが動的計画法の手法を使用しているためです。^{[ 2 ]}古典的な動的計画法と強化学習アルゴリズムの主な違いは、後者はマルコフ決定過程の正確な数学モデルに関する知識を前提とせず、正確な手法が実行不可能になるような大規模なマルコフ決定過程を対象としている点です。^{[ 3 ]}

原則

強化学習はその汎用性の高さから、ゲーム理論、制御理論、オペレーションズリサーチ、情報理論、シミュレーションベース最適化、マルチエージェントシステム、群知能、統計学など、多くの分野で研究されています。オペレーションズリサーチや制御理論の文献では、強化学習は近似動的計画法、あるいはニューロ動的計画法と呼ばれています。強化学習で関心のある問題は、最適制御理論でも研究されています。最適制御理論は、主に最適解の存在と特性、およびその正確な計算アルゴリズムに関心があり、学習や近似（特に環境の数学的モデルがない場合）についてはあまり関心がありません。

基本的な強化学習は、マルコフ決定過程としてモデル化される。

環境とエージェントの状態の集合（状態空間）、 $\displaystyle {\mathcal {S}}}$ ;
一連のアクション（アクション空間）、 ${\mathcal {A}}$ 代理人の;
$P_{a}(s,s')=\Pr(S_{t+1}{=}s'\mid S_{t}{=}s,A_{t}{=}a)$ 遷移確率（時刻） $t$ 州から $s$ 述べる $s'$ 行動中 $a$ 。
$R_{a}(s,s')$ 移行後の即時報酬 $s$ に $s'$ 行動中 $a$ 。

強化学習の目的は、エージェントが報酬関数または即時報酬から蓄積されるその他のユーザー提供の強化信号を最大化する最適（またはほぼ最適）な方策を学習することです。これは、動物の心理で起こると思われるプロセスと似ています。たとえば、生物の脳は、痛みや空腹などの信号を負の強化として解釈し、快感や食物摂取を正の強化として解釈するように組み込まれています。状況によっては、動物はこれらの報酬を最適化する行動を採用することを学習します。これは、動物が強化学習を行う能力を持っていることを示唆しています。^{[ 4 ]}^{[ 5 ]}

基本的な強化学習エージェントは、離散的な時間ステップで環境と相互作用します。各時間ステップ $t$ において、エージェントは現在の状態を受け取ります。 $S_{t}$ そして報酬 $R_{t}$ すると、アクションを選択します。 $A_{t}$ 利用可能なアクションのセットから選択され、その後環境に送信されます。環境は新しい状態に移行します。 $S_{t+1}$ そして報酬 $R_{t+1}$ 移行に関連する $(S_{t},A_{t},S_{t+1})$ が決定されます。強化学習エージェントの目標は、ポリシーを学習することです。

${\displaystyle {\begin{aligned}&\pi$

それは、期待される累積報酬を最大化するものです。

問題をマルコフ決定過程として定式化する場合、エージェントは現在の環境状態を直接観測できるものと想定されます。この場合、問題は完全観測可能であると言われます。エージェントが状態のサブセットにしかアクセスできない場合、または観測された状態がノイズによって汚染されている場合、エージェントは部分観測可能であると言われ、形式的には問題は部分観測可能なマルコフ決定過程として定式化する必要があります。どちらの場合も、エージェントが実行できるアクションのセットは制限できます。たとえば、口座残高の状態は正の値に制限できます。現在の状態の値が3で、状態遷移によって値が4減少しようとする場合、遷移は許可されません。

エージェントのパフォーマンスを最適に行動するエージェントのパフォーマンスと比較すると、そのパフォーマンスの差から後悔という概念が生じる。ほぼ最適に行動するためには、エージェントは自身の行動の長期的な結果（つまり、将来の報酬を最大化すること）について推論する必要があるが、それに伴う即時の報酬はマイナスになる可能性がある。

したがって、強化学習は、長期報酬と短期報酬のトレードオフを含む問題に特に適しています。エネルギー貯蔵^{[ 6 ]} 、ロボット制御[ ⁷^{]、太陽光発電[8]}、バック^ギャモン^、^{チェッカー}[ 9 ] 、^囲碁^（^AlphaGo）、自動運転システム[ ¹⁰^]^など^、さまざまな問題に成功裏に適用されています。

強化学習を強力にしている要素は2つあります。1つは、サンプルを使用してパフォーマンスを最適化すること、もう1つは、関数近似を使用して大規模な環境に対応することです。これら2つの重要な要素のおかげで、強化学習は次のような状況で大規模な環境に適用できます。

環境モデルは既知であるが、解析解は得られていない。
環境のシミュレーションモデルのみが与えられている（シミュレーションベースの最適化の対象）；^{[ 11 ]}
環境に関する情報を収集する唯一の方法は、環境と直接関わることである。

これらの問題のうち、最初の2つは（何らかのモデルが存在するため）計画問題とみなすことができるが、最後の1つは真の学習問題とみなすことができる。しかし、強化学習は、両方の計画問題を機械学習問題に変換する。

探査

探索と活用のトレードオフは、多腕バンディット問題と有限状態空間マルコフ決定過程に関して、BurnetasとKatehakis（1997）によって最も徹底的に研究されてきた。 ^{[ 12 ]}

強化学習には巧妙な探索メカニズムが必要であり、推定確率分布を参照せずにランダムにアクションを選択するだけでは、性能は著しく低下する。有限マルコフ決定過程（小規模なもの）については比較的よく理解されている。しかし、状態数に応じて適切にスケーリングするアルゴリズム（あるいは無限状態空間を持つ問題に対応できるアルゴリズム）が不足しているため、単純な探索手法が最も実用的である。

そのような方法の一つは $\varepsilon$ -貪欲な、 $0<\varepsilon <1$ は、探査と開発の比率を制御するパラメータです。 $1-\varepsilon$ 搾取が選択され、エージェントは長期的に最も良い効果をもたらすと考える行動を選択します（行動間の同点の場合は、一様にランダムに決定されます）。あるいは、確率で $\varepsilon$ 探索が選択され、行動は一様にランダムに選択される。 $\varepsilon$ 通常は固定パラメータですが、スケジュールに従って調整することも（エージェントの探索を徐々に減らす）、ヒューリスティックに基づいて適応的に調整することもできます。^{[ 13 ]}

制御学習のためのアルゴリズム

探索の問題を無視し、状態が観測可能であったとしても（以下ではそのように仮定する）、過去の経験を利用して、どの行動がより高い累積報酬につながるかを見つけるという問題は依然として残る。

最適性の基準

ポリシー

エージェントの行動選択は、ポリシーと呼ばれるマップとしてモデル化されます。 ${\displaystyle {\begin{aligned}&\pi$

政策マップは行動を起こす確率を示している $a$ 州にいるとき $s$ [ ¹⁴^]^:^61決定^論的な政策も存在する $\pi$ そのために $\pi (s)$ 状態において実行されるべきアクションを示す $s$ 。

状態値関数

状態値関数 $V_{\pi }(s)$ は、状態から始まる期待割引収益として定義されます。 $s$ つまり $S_{0}=s$ 政策を順守して $\pi$ したがって、大まかに言えば、価値関数は、ある状態にあることが「どれほど良いか」を推定するものである。^{[ 14 ]}^{： 60}

$V_{\pi }(s)=\operatorname {\mathbb {E} } [G\mid S_{0}{=}s]=\operatorname {\mathbb {E} } \left[\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}\mid S_{0}{=}s\right],$

ランダム変数 $G$ は割引収益を表し、将来の割引報酬の合計として定義されます。

$G=\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}=R_{1}+\gamma R_{2}+\gamma ^{2}R_{3}+\cdots ,$

どこ $R_{t+1}$ 状態から状態へ移行することに対する報酬は $S_{t}$ に $S_{t+1}$ 、 $0\leq \gamma <1$ は割引率です。 $\gamma$ が1未満であるため、遠い将来の報酬は近い将来の報酬よりも重みが小さくなります。

アルゴリズムは、期待割引収益が最大となる方策を見つけなければなりません。マルコフ決定過程の理論から、一般性を失うことなく、探索をいわゆる定常方策の集合に限定できることが知られています。方策が定常であるとは、その方策によって返される行動分布が、最後に訪れた状態（観測エージェントの履歴から）のみに依存する場合を指します。探索はさらに、決定論的定常方策に限定することができます。決定論的定常方策は、現在の状態に基づいて行動を決定論的に選択します。このような方策は、状態の集合から行動の集合へのマッピングと同一視できるため、一般性を失うことなく、このようなマッピングと同一視することができます。

力ずく

力任せのアプローチは、次の2つのステップから成ります。

各ポリシーについて、それに従っているときのサンプルリターン
期待割引収益率が最も高い保険商品を選択してください。

この問題点の一つは、保険契約の数が膨大、あるいは無限になる可能性があることです。もう一つは、収益率の分散が大きくなる可能性があり、各保険契約の割引収益率を正確に推定するには多くのサンプルが必要になることです。

何らかの構造を仮定し、ある政策から生成されたサンプルが他の政策の推定に影響を与えることを許容すれば、これらの問題は軽減できる。これを実現するための主なアプローチは、価値関数推定と直接政策探索の2つである。

価値関数

価値関数アプローチは、期待割引収益の推定値のセットを維持することによって、割引収益を最大化する政策を見つけようとします。 $\operatorname {\mathbb {E} } [G]$ 何らかの政策（通常は「現在の」政策［オンポリシー］または最適な政策［オフポリシー］のいずれか）に対して。

これらの手法はマルコフ決定過程の理論に基づいており、最適性は上記よりも強い意味で定義されます。すなわち、ある政策が、任意の初期状態から最も期待される割引収益を達成する場合に、その政策は最適であると言えます（つまり、初期分布はこの定義において何ら役割を果たしません）。繰り返しますが、最適な政策は常に定常政策の中から見つけることができます。

最適性を形式的に定義するために、方策の状態値を定義する。 $\pi$ による

$V^{\pi }(s)=\operatorname {\mathbb {E} } [G\mid s,\pi ],$

どこ $G$ 以下に関連する割引収益を表します $\pi$ 初期状態から $s$ 定義する $V^{*}(s)$ 最大可能な状態値として $\displaystyle V^{\pi }(s)$ 、どこ $\pi$ 変更が許可されています。

$V^{*}(s)=\max _{\pi }V^{\pi }(s).$

各状態においてこれらの最適な状態値を達成する政策は最適政策と呼ばれる。明らかに、この意味で最適な政策は、期待割引収益を最大化するという意味でも最適である。 $V^{*}(s)=\max _{\pi }\mathbb {E} [G\mid s,\pi ]$ 、どこ $s$ 分布からランダムにサンプリングされた状態です $\mu$ 初期状態（したがって） $\mu (s)=\Pr(S_{0}=s)$ )

最適性を定義するには状態値で十分だが、行動値を定義することも有用である。ある状態が与えられた場合 $s$ アクション $a$ そして政策 $\pi$ ペアのアクション値 $(s,a)$ 下 $\pi$ 定義される

$Q^{\pi }(s,a)=\operatorname {\mathbb {E} } [G\mid s,a,\pi ],$

どこ $G$ これは、最初に行動を起こした場合に関連するランダムな割引収益を表します。 $a$ 州内 $s$ そして続いて $\pi$ その後。

マルコフ決定過程の理論によれば、 $\displaystyle \pi ^{*}}$ は最適な政策であり、我々は以下の行動を選択することによって最適に行動する（最適な行動をとる）。 $Q^{\pi ^{*}}(s,\cdot )$ 各状態における最も高い行動価値を持つもの、 $s$ このような最適方策の行動価値関数（ $Q^{\pi ^{*}}$ ）は最適行動価値関数と呼ばれ、一般的にで表されます。 $Q^{*}$ 要約すると、最適な行動価値関数を知るだけで、どのように最適に行動すべきかがわかる。

マルコフ決定過程を完全に理解していると仮定すると、最適な行動価値関数を計算するための基本的なアプローチは、価値反復法と方策反復法の2つである。どちらのアルゴリズムも、一連の関数を計算する。 $Q_{k}$ （ $k=0,1,2,\ldots$ ）収束する $Q^{*}$ これらの関数を計算するには、状態空間全体にわたる期待値を計算する必要があり、これは最小の（有限の）マルコフ決定過程以外では非現実的です。強化学習の手法では、期待値はサンプル平均によって近似され、関数近似技術を用いることで、大きな状態行動空間における価値関数の表現に対応します。

モンテカルロ法

モンテカルロ法^{[ 15 ]}は、サンプルリターンを平均化することで強化学習問題を解決するために使用されます。環境のダイナミクスを完全に把握する必要がある方法とは異なり、モンテカルロ法は、環境との相互作用から得られる状態、行動、報酬のシーケンスである実際の経験またはシミュレーションされた経験のみに依存します。このため、完全なダイナミクスが不明な状況でも適用できます。実際の経験から学習する場合、環境に関する事前の知識は必要なく、それでも最適な行動につながる可能性があります。シミュレーションされた経験を使用する場合、動的計画法に必要な遷移確率の完全な仕様ではなく、サンプル遷移を生成できるモデルのみが必要です。

モンテカルロ法は、経験が最終的に終了するエピソードに分割されるエピソード型タスクに適用されます。ポリシーと価値関数の更新はエピソードの完了後にのみ行われるため、これらの方法はエピソードごとに増分的に行われますが、ステップバイステップ（オンライン）ではありません。「モンテカルロ」という用語は一般的にランダムサンプリングを含むあらゆる方法を指しますが、この文脈では、部分的なリターンではなく、完全なリターンから平均を計算する方法を特に指します。

これらの手法は、各状態と行動のペアごとにリターンを平均化するバンディットアルゴリズムと似たような働きをします。重要な違いは、ある状態で取られた行動が同じエピソード内の後続の状態のリターンに影響を与え、問題が非定常になることです。この非定常性に対処するために、モンテカルロ法は一般方策反復（GPI）のフレームワークを使用します。動的計画法はマルコフ決定過程の完全な知識を使用して価値関数を計算しますが、モンテカルロ法はサンプルリターンを通じてこれらの関数を学習します。価値関数と方策は、最適性を達成するために動的計画法と同様に相互作用し、まず予測問題に取り組み、次に方策の改善と制御に拡張され、すべてはサンプル経験に基づいています。^{[ 14 ]}

時間差法

最初の問題は、値が安定する前に（一部または全ての状態において）ポリシーを変更できるようにすることで解決されます。しかし、これも収束を妨げる可能性があるため、問題となる場合があります。現在のアルゴリズムのほとんどはこの方法を採用しており、一般化ポリシー反復アルゴリズムというクラスを生み出しています。多くのアクタークリティック法はこのカテゴリに属します。

2 つ目の問題は、軌跡がそれらの中の任意の状態-行動ペアに寄与できるようにすることで修正できます。これは、3 つ目の問題にもある程度役立つ可能性がありますが、リターンの分散が大きい場合のより良い解決策は、再帰ベルマン方程式に基づくサットンの時間差(TD) 法です。^[¹⁶^]^[¹⁷^] TD 法での計算は、増分 (各遷移後にメモリが変更され、遷移が破棄される場合) またはバッチ (遷移がバッチ化され、バッチに基づいて推定値が一度計算される場合) にすることができます。最小二乗時間差法^[¹⁸^]などのバッチ法は、サンプルの情報をより良く使用できる可能性がありますが、増分法は、計算またはメモリの複雑さが高いためバッチ法が実行不可能な場合の唯一の選択肢です。いくつかの方法は、2 つのアプローチを組み合わせようとします。時間差に基づく方法は、4 つ目の問題も克服します。

TD特有のもう1つの問題は、再帰的なベルマン方程式に依存していることから生じます。ほとんどのTD法は、いわゆる $\lambda$ パラメータ $(0\leq \lambda \leq 1)$ これは、ベルマン方程式に依存しないモンテカルロ法と、ベルマン方程式に完全に依存する基本的なTD法との間を連続的に補間できる。この方法は、この問題を緩和するのに効果的である。

関数近似法

5番目の問題に対処するために、関数近似法が用いられる。線形関数近似は、まず写像から始まる。 $\phi$ 各状態-行動ペアに有限次元ベクトルを割り当てる。次に、状態-行動ペアの行動値 $(s,a)$ は、の成分を線形結合することによって得られる。 $\phi (s,a)$ いくつかの重りと共に $\theta$ :

$Q(s,a)=\sum _{i=1}^{d}\theta _{i}\phi _{i}(s,a).$

これらのアルゴリズムは、個々の状態と行動のペアに関連付けられた値を調整するのではなく、重みを調整する。非パラメトリック統計学の考え方に基づいた手法（それ自体が特徴量を構築すると考えられる）が検討されてきた。

値反復も出発点として使用でき、Q学習アルゴリズムとその多くの変種を生み出します。^{[ 19 ]}ニューラルネットワークを使用してQを表現する場合、ディープQ学習法も含まれ、確率的探索問題にさまざまな応用があります。^{[ 20 ]}

行動価値を用いる際の問題点は、競合する行動価値の非常に精度の高い推定値が必要となる場合があることです。収益にノイズが多い場合、このような精度の高い推定値を得ることは困難ですが、この問題は時間差分法によってある程度軽減されます。いわゆる互換性関数近似法を用いると、汎用性と効率性が損なわれます。

直接保険検索

別の方法として、方策空間（またはその一部）を直接探索する方法があり、その場合、問題は確率的最適化の問題となる。利用可能なアプローチは、勾配ベースの方法と勾配フリーの方法の2つである。

勾配ベースの手法（ポリシー勾配法）は、有限次元（パラメータ）空間からポリシー空間へのマッピングから始まります。パラメータベクトルが与えられた場合、 $\theta$ 、させて $\pi _{\theta }$ 関連するポリシーを示す $\theta$ パフォーマンス関数を定義する $\rho (\theta )=\rho ^{\pi _{\theta }}$ 穏やかな条件下では、この関数はパラメータベクトルの関数として微分可能となる。 $\theta$ 勾配が $\rho$ が既知であれば、勾配上昇法を使用できる。勾配の解析式は利用できないため、ノイズのある推定値しか利用できない。このような推定値はさまざまな方法で構築でき、Williams の REINFORCE 法^{[ 21 ]} (シミュレーションベースの最適化文献では尤度比法として知られている) などのアルゴリズムが生まれる。^{[ 22 ]}

勾配情報に依存しない手法は数多く存在する。これには、シミュレーテッドアニーリング、クロスエントロピー探索、進化計算手法などが含まれる。多くの勾配フリー手法は、（理論的には、また極限においては）グローバル最適解を達成できる。

政策探索法は、ノイズの多いデータの場合、収束が遅くなることがあります。たとえば、これは、軌跡が長く、収益の分散が大きいエピソード問題で発生します。時間差に依存する価値関数ベースの方法は、このような場合に役立つ可能性があります。近年、アクタークリティック法が提案され、さまざまな問題で良好なパフォーマンスを発揮しています。^{[ 23 ]}

方策探索法はロボット工学の分野でも用いられてきた。^{[ 24 ]}多くの方策探索法は局所最適解に陥る可能性がある（局所探索に基づいているため）。

モデルベースアルゴリズム

最後に、上記の方法はすべて、まずマルコフ決定過程のモデル、つまり既存の状態から取られた行動が与えられた場合の各次の状態の確率を学習するアルゴリズムと組み合わせることができます。たとえば、Dyna アルゴリズムは経験からモデルを学習し、それを使用して、実際の遷移に加えて、価値関数のモデル化された遷移をさらに提供します。^{[ 25 ]}このような方法は、遷移を単純に保存して学習アルゴリズムに「再生」する場合など、非パラメトリックモデルの使用に拡張されることがあります。^{[ 26 ]}

モデルベースの手法は、モデルフリーの手法よりも計算負荷が高くなる可能性があり、その有用性はマルコフ決定過程を学習できる程度によって制限される可能性がある。^{[ 27 ]}

モデルを使用する方法は、値関数を更新する以外にもあります。^{[ 28 ]}例えば、モデル予測制御では、モデルを使用して動作を直接更新します。

部分的教師あり強化学習（PSRL）

最適なポリシーを学習するために必要なコストのかかる探索は、教師ありデータが利用可能であれば削減できます。これは、たとえば、粗雑な制御ポリシーを学習し、それを使用して Q テーブルをゼロではなくインテリジェントに初期化することによって実現できます。^{[ 29 ]}

理論

ほとんどのアルゴリズムの漸近挙動と有限サンプル挙動は十分に理解されている。オンライン性能が証明可能な（つまり、証明可能な方法で）優れたアルゴリズム（探索問題に対処するアルゴリズム）も知られている。

マルコフ決定過程の効率的な探索については、Burnetas と Katehakis (1997) で説明されています。^{[ 12 ]}多くのアルゴリズムに対して有限時間性能の限界も示されていますが、これらの限界はかなり緩いと予想されるため、相対的な利点と限界をよりよく理解するには、さらなる研究が必要です。

増分アルゴリズムに関しては、漸近収束の問題は解決済みである。時間差に基づくアルゴリズムは、従来よりも幅広い条件下で収束する（例えば、任意の滑らかな関数近似を用いる場合など）。

研究

研究テーマには以下が含まれます。

アクター・クリティック・アーキテクチャ^{[ 30 ]}
俳優・批評家・舞台美術建築^{[ 3 ]}
多数の条件下で、より少ない（またはまったくない）パラメータで機能する適応型手法
ソフトウェアプロジェクトにおけるバグ検出^{[ 31 ]}
継続的な学習
論理ベースのフレームワークとの組み合わせ（例：時間論理仕様^{[ 32 ]} 、報酬マシン^{[ 33 ]}、確率的議論^{[ 34 ] ）。}
大規模マルコフ決定過程の探索
エンティティベース強化学習^{[ 35 ]}^{[ 36 ]}^{[ 37 ]}
人間のフィードバック^{[ 38 ]}
技能習得における暗黙的学習と明示的学習の相互作用
情報探索や好奇心に基づく行動と、課題依存的な目標指向行動を区別する内発的動機づけに関する大規模な実証的評価
大きな（または連続した）行動空間
モジュール型および階層型強化学習^{[ 39 ]}
マルチエージェント/分散強化学習は注目されているトピックです。応用範囲は拡大しています。^{[ 40 ]}
乗員中心の制御
コンピューティングリソースの最適化^{[ 41 ]}^{[ 42 ]}^{[ 43 ]}
部分的な情報（例えば、予測状態表現の使用）
新しい情報を最大化することに基づく報酬関数^{[ 44 ]}^{[ 45 ]}^{[ 46 ]}
サンプルベースの計画（例：モンテカルロ木探索に基づく）。
証券取引^{[ 47 ]}
転移学習^{[ 48 ]}
TD学習モデルは、脳内のドーパミンに基づく学習をモデル化している。黒質から基底核へのドーパミン作動性投射は、予測誤差として機能する。
価値関数と政策探索方法

主要アルゴリズムの比較

以下の表は、いくつかの基準に基づいてポリシーを学習するための主要なアルゴリズムを示しています。

このアルゴリズムは、オンポリシー（現在のポリシーを介してサンプリングされた軌跡を使用してポリシーの更新を実行する）^{[ 49 ]}またはオフポリシーのいずれかです。
動作空間は離散的（例えば、「上へ移動する」、「左へ移動する」、「右へ移動する」、「下へ移動する」、「静止する」など）である場合もあれば、連続的（例えば、腕を一定の角度で動かすなど）である場合もある。
状態空間は離散的（例えば、エージェントがグリッド内のセルに存在する）である場合もあれば、連続的（例えば、エージェントが平面上の特定の位置に存在する）である場合もある。

連合強化学習

連想強化学習タスクは、確率的学習オートマトンタスクと教師あり学習パターン分類タスクの側面を組み合わせたものです。連想強化学習タスクでは、学習システムは環境と閉ループで相互作用します。^{[ 54 ]}

深層強化学習

このアプローチは、深層ニューラルネットワークを使用し、状態空間を明示的に設計することなく、強化学習を拡張します。^{[ 55 ]} Google DeepMindによるATARIゲームの学習に関する研究は、深層強化学習またはエンドツーエンド強化学習への注目を高めました。^{[ 56 ]}

敵対的深層強化学習

敵対的深層強化学習は、学習されたポリシーの脆弱性に焦点を当てた強化学習の活発な研究分野です。この研究分野では、強化学習ポリシーが知覚できない敵対的操作に脆弱であることが最初に示された研究がいくつかあります。^{[ 57 ]}^{[ 58 ]}^{[ 59 ]}これらの脆弱性を克服するためのいくつかの方法が提案されていますが、最新の研究では、これらの提案されたソリューションは深層強化学習ポリシーの現在の脆弱性を正確に表現するには程遠いことが示されています。^{[ 60 ]}

ファジー強化学習

強化学習にファジー推論を導入することで、 ^{[ 61 ]}連続空間でファジールールを用いて状態-行動価値関数を近似することが可能になります。ファジールールのIF-THEN形式により、このアプローチは結果を自然言語に近い形式で表現するのに適しています。ファジールール補間^{[ 62 ]}でFRLを拡張すると、サイズを縮小した疎なファジールールベースを使用して、基数ルール（最も重要な状態-行動価値）を強調することができます。

逆強化学習

逆強化学習 (IRL) では、報酬関数は与えられません。代わりに、専門家から観察された行動に基づいて報酬関数が推論されます。そのアイデアは、多くの場合最適または最適に近い観察された行動を模倣することです。^{[ 63 ]}一般的な IRL パラダイムの 1 つは、最大エントロピー逆強化学習 (MaxEnt IRL) と呼ばれています。^{[ 64 ]} MaxEnt IRL は、期待される特徴数の一致に関連する制約の下で、観察された軌跡の確率分布のエントロピーを最大化することによって、報酬関数の線形モデルのパラメータを推定します。最近、MaxEnt IRL は、ランダム効用逆強化学習 (RU-IRL) と呼ばれるより一般的なフレームワークの特殊なケースであることが示されました。^{[ 65 ]} RU-IRL は、ランダム効用理論とマルコフ決定過程に基づいています。従来のIRLアプローチでは、観測対象エージェントの見かけ上のランダムな行動は、エージェントがランダムなポリシーに従っていることに起因すると仮定しているのに対し、RU-IRLでは、観測対象エージェントは決定論的なポリシーに従っているものの、観測対象行動におけるランダム性は、観測者がエージェントの意思決定に用いる特徴に部分的にしかアクセスできないことに起因すると仮定している。観測対象エージェントが効用関数において実際に考慮する特徴について観測者が無知であることを考慮するため、効用関数は確率変数としてモデル化されている。

多目的強化学習

多目的強化学習（MORL）は、相反する選択肢を扱う強化学習の一種です。環境内でエージェントが行動することを扱うという点で、多目的最適化とは異なります。 ^{[ 66 ]}^{[ 67 ]}

安全な強化学習

安全強化学習 (SRL) は、学習および/または展開プロセス中に合理的なシステムパフォーマンスを確保し、および/または安全制約を尊重することが重要な問題において、報酬の期待値を最大化するポリシーを学習するプロセスとして定義できます。^{[ 68 ]}^{[ 69 ]}代替アプローチはリスク回避型強化学習であり、期待報酬の代わりに、条件付きバリュー・アット・リスク(CVaR)などの報酬のリスク尺度を最適化します。 ^[⁷⁰^] CVaR の目的は、リスクを軽減するだけでなく、モデルの不確実性に対する堅牢性を高めます。^[⁷¹^]^[⁷²^{]ただし、リスク回避型 RL における CVaR の最適化には、勾配バイアス}^[⁷³^]や成功に対する盲目^[⁷⁴^]を防ぐために特別な注意が必要です。

自己強化学習

自己強化学習（または自己学習）は、即時報酬の概念を用いない学習パラダイムである。 $R_{a}(s,s')$ 移行後 $s$ に $s'$ 行動を伴う $a$ 外部からの強化は用いず、エージェント自身の内部的な自己強化のみを用いる。内部的な自己強化は、感情や情動のメカニズムによってもたらされる。学習過程において、情動は二次的な強化メカニズムによって逆伝播される。学習方程式には即時の報酬は含まれず、状態評価のみが含まれる。

自己強化アルゴリズムはメモリ行列を更新する $W=\|w(a,s)\|$ 各反復処理において、以下の機械学習ルーチンが実行される。

状況において $s$ アクションを実行する $a$ 。
結果的な状況を受け取る $s'$ 。
状態評価を計算する $v(s')$ 結果的な状況に身を置くことがどれほど良いことか $s'$ 。
クロスバーメモリを更新 $w'(a,s)=w(a,s)+v(s')$ 。

記憶の初期条件は、遺伝的環境からの入力として受け取る。これは、入力（状況）が1つだけで、出力（行動、または振る舞い）も1つだけのシステムである。

自己強化（自己学習）は、自己強化学習が可能なニューラルネットワークであるクロスバー適応アレイ（CAA）とともに1982年に導入されました。^{[ 75 ]}^{[ 76 ]} CAAは、クロスバー方式で、行動に関する決定と結果状態に関する感情（感覚）の両方を計算します。このシステムは、認知と感情の相互作用によって駆動されます。^{[ 77 ]}

強化学習アルゴリズムの統計的比較

RL アルゴリズムの効率的な比較は、RL システムの研究、展開、および監視に不可欠です。特定の環境で異なるアルゴリズムを比較するには、各アルゴリズムに対してエージェントをトレーニングできます。パフォーマンスは実装の詳細に敏感であるため、すべてのアルゴリズムは互いにできるだけ近い形で実装する必要があります。^{[ 78 ]}トレーニングが完了したら、エージェントをテストエピソードのサンプルで実行し、そのスコア (リターン) を比較できます。エピソードは通常iidであると想定されるため、 T 検定や順列検定などの標準的な統計ツールを仮説検定に使用できます。^{[ 79 ]}これには、エピソード内のすべての報酬を単一の数値 (エピソードのリターン) に累積する必要があります。ただし、異なるタイムステップが平均化され、ノイズのレベルが異なる可能性があるため、情報が失われます。ノイズのレベルがエピソード全体で変化する場合は、推定ノイズに応じて報酬に重み付けすることで、統計的検出力を大幅に向上させることができます。^{[ 80 ]}

課題と限界

著しい進歩にもかかわらず、強化学習（RL）は依然としていくつかの課題と限界に直面しており、それが現実世界のシナリオにおける広範な応用を妨げている。

サンプル効率の悪さ

強化学習アルゴリズムは、効果的な方策を学習するために環境との多数の相互作用を必要とすることが多く、その結果、計算コストが高く、エージェントのトレーニングに時間がかかります。例えば、OpenAIのDotaプレイボットは、何千年にも及ぶシミュレーションされたゲームプレイを利用して、人間レベルのパフォーマンスを達成しました。経験再生やカリキュラム学習といった手法は、サンプルの非効率性を軽減するために提案されていますが、これらの手法は複雑さを増すだけでなく、実際のアプリケーションには必ずしも十分ではありません。

安定性と収束の問題

強化学習モデル、特に深層ニューラルネットワークベースのモデルの学習は不安定で、発散しやすいという問題があります。ポリシーや環境にわずかな変化が生じるだけで、パフォーマンスが極端に変動し、安定した結果を得ることが困難になります。この不安定性は、連続的または高次元の行動空間の場合にさらに顕著になり、学習ステップがより複雑で予測不可能になります。

一般化と転用可能性

特定の環境で訓練された強化学習エージェントは、学習したポリシーを新しい未知のシナリオに一般化するのに苦労することが多い。これが、適応性が不可欠な動的な現実世界環境への強化学習の適用を阻む大きな障害となっている。課題は、大規模な再訓練なしに、タスクや環境を超えて知識を転移できるアルゴリズムを開発することである。

バイアスと報酬機能の問題

強化学習において、適切な報酬関数を設計することは非常に重要です。なぜなら、報酬関数の設計が不適切だと、意図しない行動につながる可能性があるからです。さらに、偏ったデータで学習させた強化学習システムは、既存の偏りを永続させ、差別的または不公平な結果を招く可能性があります。これらの問題に対処するためには、公平性と望ましい行動を確保するために、報酬構造とデータソースを慎重に検討する必要があります。

自然言語処理において

近年、2020年代初頭から^{[ 81 ]}強化学習は、静的な分類ではなく、多くの場合、逐次的な意思決定である自然言語処理（NLP）において重要な概念となっています。強化学習とは、エージェントが報酬の蓄積を最大化するために環境内で行動を起こすものです。このフレームワークは、対話生成、テキスト要約、機械翻訳など、出力の品質が単一の正しいラベルの予測ではなく、長期的な目標や人間中心の目標の最適化に依存する多くのNLPタスクに最適です。

自然言語処理における強化学習の初期の応用は対話システムに見られ、そこでは会話は流暢さと一貫性を最適化する一連の動作として定義されていました。方策勾配法やシーケンスレベルの学習手法など、これらの初期の試みは、強化学習を自然言語処理の他の分野に広く応用するための基礎を築きました。

人間のフィードバックに基づく強化学習（RLHF）の導入により、大きな進歩がもたらされました。RLHFは、人間のフィードバック評価を用いて、強化学習エージェントを導く報酬モデルを訓練する手法です。従来のルールベースや教師あり学習システムとは異なり、RLHFは複雑で主観的なタスクにおいて、モデルが人間の判断に合わせて動作を調整できるようにします。この技術は、当初、人間の指示に従うように訓練された効果的な言語モデルであるInstructGPTの開発に用いられ、その後、出力応答の改善と安全性の確保のためにRLHFを組み込んだChatGPTにも採用されました。

近年、研究者たちは、生身の人間とのやり取りを必要とせずに対話システムを改善するために、NLPにおけるオフラインRLの利用を研究している。これらの手法は、過去の会話ログと事前学習済みの報酬モデルに基づいて、ユーザーの関与、一貫性、多様性を最適化する。^[⁸²^]

一例として、強化学習の前にマルチステージトレーニングとコールドスタートデータを取り入れたDeepSeek-R1があります。DeepSeek-R1は推論タスクにおいてOpenAI-o1-1217に匹敵する性能を達成しています。このモデルは、予備段階として教師ありファインチューニング（SFT）なしの大規模強化学習によってトレーニングされました。 ^{[ 83 ]}

参考文献

↑ Kaelbling, Leslie P. ; Littman, Michael L. ; Moore, Andrew W. (1996). "強化学習：概説" . Journal of Artificial Intelligence Research . 4 : 237– 285. arXiv : cs/9605103 . doi : 10.1613/jair.301 . S2CID 1708582 . 2001年11月20日にオリジナルからアーカイブ済み。
↑ van Otterlo, M.; Wiering, M. (2012). "強化学習とマルコフ決定過程".強化学習. 適応、学習、最適化. 第12巻. pp. 3–42 . doi : 10.1007/978-3-642-27645-3_1 . ISBN 978-3-642-27644-6。
1 2 Li, Shengbo (2023).逐次決定と最適制御のための強化学習（初版）. Springer Verlag、シンガポール. pp. 1–460 . doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1. S2CID 257928563 . {{cite book}}: CS1メンテナンス: 場所の発行元が見つかりません (リンク)
↑ Russell, Stuart J.; Norvig, Peter (2010).人工知能：現代的アプローチ（第3版）. アッパーサドルリバー、ニュージャージー州：Prentice Hall . pp. 830, 831. ISBN 978-0-13-604259-4。
↑ Lee, Daeyeol; Seo, Hyojung; Jung, Min Whan (2012年7月21日). "強化学習と意思決定の神経基盤" . Annual Review of Neuroscience . 35 (1): 287– 308. doi : 10.1146/annurev-neuro-062111-150512 . PMC 3490621 . PMID 22462543 .
↑サラザール・デュケ、エドガー・マウリシオ。ヒラルド、フアン S.ベルガラ、ペドロ P.グエン、フオン。ヴァン・デル・モーレン、アン。スルートウェグ、ハン (2022)。「適格性トレースによる強化学習によるコミュニティエネルギー貯蔵運用」。電力システム研究。212 108515。Bibcode : 2022EPSR..21208515S。土井：10.1016/j.epsr.2022.108515。S2CID 250635151。
↑ Xie, Zhaoming; Hung Yu Ling; Nam Hee Kim; Michiel van de Panne (2020). "ALLSTEPS: カリキュラム主導型ステップストーンスキル学習". arXiv : 2005.04323 [ cs.GR ].
↑ Vergara, Pedro P.; Salazar, Mauricio; Giraldo, Juan S.; Palensky, Peter (2022). "強化学習を用いた不平衡配電システムにおけるPVインバータの最適ディスパッチ" . International Journal of Electrical Power & Energy Systems . 136 107628. Bibcode : 2022IJEPE.13607628V . doi : 10.1016/j.ijepes.2021.107628 . S2CID 244099841 .
↑サットン＆バート 2018、第11章。
↑ Ren, Yangang; Jiang, Jianhua; Zhan, Guojian; Li, Shengbo Eben; Chen, Chen; Li, Keqiang; Duan, Jingliang (2026). "信号交差点における自動運転車の統合意思決定と制御のための自己学習型インテリジェンス". IEEE Transactions on Intelligent Transportation Systems . 23 (12): 24145– 24156. arXiv : 2110.12359 . Bibcode : 2022ITITr..2324145R . doi : 10.1109/TITS.2022.3196167 .
↑ Gosavi, Abhijit (2003). Simulation-based Optimization: Parametric Optimization Techniques and Reinforcement . Operations Research/Computer Science Interfaces Series. Springer. ISBN 978-1-4020-7454-7。
1 2 Burnetas, Apostolos N.; Katehakis, Michael N. (1997), "マルコフ決定過程のための最適適応ポリシー", Mathematics of Operations Research , 22 (1): 222–255 , doi : 10.1287/moor.22.1.222 , JSTOR 3690147
↑ Tokic, Michel; Palm, Günther (2011), "Value-Difference Based Exploration: Adaptive Control Between Epsilon-Greedy and Softmax" (PDF) , KI 2011: Advances in Artificial Intelligence , Lecture Notes in Computer Science, vol. 7006, Springer, pp. 335– 346, ISBN 978-3-642-24455-1
1 2 3 「強化学習：入門」（PDF）。2017年7月12日にオリジナル（PDF）からアーカイブされました。2017年7月23日に取得。
↑ Singh, Satinder P.; Sutton, Richard S. (1996-03-01). "Reinforcement learning with replacement eligibility traces" . Machine Learning . 22 (1): 123– 158. doi : 10.1007/BF00114726 . ISSN 1573-0565 .
↑ Sutton, Richard S. (1984). Temporal Credit Assignment in Reinforcement Learning (PhD thesis). University of Massachusetts, Amherst, MA. 2017-03-30 のオリジナルからアーカイブ済み。2017-03-29 に取得。
↑ Sutton & Barto 2018、 §6. 時間差学習。
↑ Bradtke, Steven J. ; Barto, Andrew G. (1996). "Learning to predict by the method of temporal differences". Machine Learning . 22 : 33–57 . CiteSeerX 10.1.1.143.857 . doi : 10.1023/A:1018056104778 . S2CID 20327856 .
↑ワトキンス、クリストファー JCH (1989).遅延報酬からの学習(PDF) (博士論文). キングス・カレッジ、ケンブリッジ、英国。
↑ Matzliach, Barouch; Ben-Gal, Irad; Kagan, Evgeny (2022). "Detection of Static and Mobile Targets by an Autonomous Agent with Deep Q-Learning Abilities" . Entropy . 24 ( 8): 1168. Bibcode : 2022Entrp..24.1168M . doi : 10.3390/e24081168 . PMC 9407070. PMID 36010832 .
↑ Williams, Ronald J. (1987). "ニューラルネットワークにおける強化学習のための勾配推定アルゴリズムのクラス". Proceedings of the IEEE First International Conference on Neural Networks . CiteSeerX 10.1.1.129.8871 .
↑ Peters, Jan ; Vijayakumar, Sethu ; Schaal, Stefan (2003). Reinforcement Learning for Humanoid Robotics (PDF) . IEEE-RAS International Conference on Humanoid Robots. 2013-05-12 のオリジナル(PDF)からアーカイブ済み。2006-05-08に取得。
↑ Juliani, Arthur (2016-12-17). "Tensorflow を使用したシンプルな強化学習パート 8: 非同期アクタークリティックエージェント (A3C)" . Medium . 2018-02-22に取得.
↑ Deisenroth, Marc Peter ; Neumann, Gerhard; Peters, Jan (2013). A Survey on Policy Search for Robotics (PDF) . Foundations and Trends in Robotics. Vol. 2. NOW Publishers. pp. 1– 142. doi : 10.1561/2300000021 . hdl : 10044/1/12051 .
↑サットン、リチャード (1990)。「動的計画法に基づく学習、計画、反応のための統合アーキテクチャ」。機械学習：第 7 回国際ワークショップの議事録。
↑ Lin, Long-Ji (1992). "強化学習、計画、および教育に基づく自己改善型反応エージェント" (PDF) . Machine Learning . Vol. 8. doi : 10.1007/BF00992699 .
↑ Zou, Lan (2023-01-01), Zou, Lan (編), "第7章 - メタ強化学習" , Meta-Learning , Academic Press, pp. 267–297 , doi : 10.1016/b978-0-323-89931-4.00011-0 , ISBN 978-0-323-89931-42023年11月8日取得{{citation}}: CS1メンテナンス: ISBNを使用した作業パラメータ (リンク)
↑ van Hasselt, Hado; Hessel, Matteo; Aslanides, John (2019). 「強化学習でパラメトリックモデルを使用するタイミングは？」(PDF) . Advances in Neural Information Processing Systems . Vol. 32.
↑ Khuat, Thanh Tung; Bassett, Robert; Otte, Ellen; Grevis-James, Alistair; Gabrys, Bogdan (2024-03-01). "抗体発見、プロセス開発、製造、製剤化における機械学習の応用：現在の動向、課題、機会" . Computers & Chemical Engineering . 182 108585. doi : 10.1016/j.compchemeng.2024.108585 . ISSN 0098-1354 .
↑アイヴォのグロンドマン。ヴァンドラーガー、マーテン;ブソニュ、ルシアン。ロバート・バブスカ。シュイテマ、エリック (2012-06-01)。「俳優と批評家をコントロールするための効率的なモデル学習方法」。システム、人間、サイバネティクスに関する IEEE トランザクション - パート B: サイバネティクス。42 (3): 591–602。書誌コード: 2012ITSMC..42..591G。土井: 10.1109/TSMCB.2011.2170565。ISSN 1083-4419。PMID 22156998。
↑ 「ゲームメカニクスのテストにおける強化学習の使用について：ACM - Computers in Entertainment」 . cie.acm.org . 2018年11月27日取得。
↑ Li, Xiao; Vasile, Cristian-Ioan; Belta, Calin (2017). "Reinforcement Learning with Temporal Logic Rewards" . 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) . pp. 3834– 3839. doi : 10.1109/IROS.2017.8206234 .
↑ Toro Icarte, Rodrigo; Klassen, Toryn Q.; Valenzano, Richard; McIlraith, Sheila A. (2022). "報酬マシン: 強化学習における報酬関数構造の活用" . Journal of Artificial Intelligence Research . 73 : 173– 208. arXiv : 2010.03950 . doi : 10.1613/jair.1.12440 .
↑ Riveret, Régis; Gao, Yang; Governatori, Guido; Rotolo, Antonino; Pitt, Jeremy; Sartor, Giovanni (2019). "強化学習エージェントのための確率的議論フレームワーク" . Autonomous Agents and Multi-Agent Systems . 33 ( 1– 2): 216– 274. doi : 10.1007/s10458-019-09404-2 .
↑ Haramati, Dan; Daniel, Tal; Tamar, Aviv (2024). "Entity-Centric Reinforcement Learning for Object Manipulation from Pixels". arXiv : 2404.01220 [ cs.RO ].
↑ Thompson, Isaac Symes; Caron, Alberto; Hicks, Chris; Mavroudis, Vasilios (2024-11-07). "自律型サイバー防御のためのエンティティベース強化学習". Proceedings of the Workshop on Autonomous Cybersecurity (AutonomousCyber '24) . ACM. pp. 56– 67. arXiv : 2410.17647 . doi : 10.1145/3689933.3690835 .
↑ Winter, Clemens (2023-04-14). "エンティティベースの強化学習" . Clemens Winter のブログ.
↑山形拓; ライアン・マコンビル; ラウル・サントス＝ロドリゲス (2021-11-16). 「多様なスキルを持つ複数の人間からのフィードバックによる強化学習」. arXiv : 2111.08596 [ cs.LG ].
↑ Kulkarni, Tejas D.; Narasimhan, Karthik R.; Saeedi, Ardavan; Tenenbaum, Joshua B. (2016). "階層型深層強化学習：時間的抽象化と内発的動機付けの統合" .第30回国際ニューラル情報処理システム会議議事録. NIPS'16. 米国：Curran Associates Inc.：3682–3690 . arXiv：1604.06057 . Bibcode：2016arXiv160406057K . ISBN 978-1-5108-3881-9。
↑ 「強化学習 / 強化学習の成功事例」 . umichrl.pbworks.com . 2017年8月6日取得.
↑ Dey, Somdip; Singh, Amit Kumar; Wang, Xiaohang; McDonald-Maier, Klaus (2020年3月) 「CPU-GPUモバイルMPSoCの電力および熱効率のためのユーザーインタラクション認識型強化学習」 2020 Design, Automation & Test in Europe Conference & Exhibition (DATE) (PDF) pp. 1728–1733 . doi : 10.23919/DATE48585.2020.9116294 . ISBN 978-3-9819263-4-7. S2CID 219858480 .
↑クエスト、トニー。「エセックスのイノベーションでスマートフォンがさらにスマートに」。ビジネスウィークリー。 2021年6月17日閲覧。
↑ウィリアムズ、リアノン（2020年7月21日）「未来のスマートフォンは、所有者の行動を監視することでバッテリー寿命を延ばすだろう」" . i . 2021-06-17に取得.
↑ Kaplan, F.; Oudeyer, P. (2004). "学習進捗の最大化：発達のための内部報酬システム". Iida, F.; Pfeifer, R.; Steels, L.; Kuniyoshi, Y. (編)『Embodied Artificial Intelligence』Lecture Notes in Computer Science. Vol. 3139. Berlin; Heidelberg: Springer. pp. 259–270 . doi : 10.1007/978-3-540-27833-7_19 . ISBN 978-3-540-22484-6. S2CID 9781221 .
↑ Klyubin, A.; Polani, D.; Nehaniv, C. (2008). "選択肢を広げておく：感覚運動系のための情報に基づく運転原理" . PLOS ONE . 3 (12) e4018. Bibcode : 2008PLoSO...3.4018K . doi : 10.1371/journal.pone.0004018 . PMC 2607028 . PMID 19107219 .
↑ Barto, AG (2013). 「内発的動機づけと強化学習」。自然システムと人工システムにおける内発的動機づけ学習（PDF）。ベルリン、ハイデルベルク：Springer。pp. 17–47。
↑ Dabérius, Kevin; Granat, Elvin; Karlsson, Patrik (2020). "Deep Execution - Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks". The Journal of Machine Learning in Finance . 1 . SSRN 3374766 .
↑ George Karimpanal、Thommen; Bouffanais、Roland (2019)。「強化学習における知識の保存と転送のための自己組織化マップ」。Adaptive Behavior。27 ( 2 ): 111– 126。arXiv : 1811.08318。doi : 10.1177/ 1059712318818568 。ISSN 1059-7123。S2CID 53774629。
↑参照： Sutton & Barto 2018 、第5.4節、100ページ
↑ Mnih, Volodymyr; Badia, Adrià; Mirza, Mehdi; Graves, Alex; Lillicrap, Timothy; Harley, Tim; Silver, David; Kavukcuoglu, Koray (2016年6月16日). " Asynchronous Methods for Deep Reinforcement Learning" . Proceedings of Machine Learning Research (PMLR) . 48. PMLR: 1928–1937 . 2026年6月15日取得。
↑ J Duan; Y Guan; S Li ( 2021). "Distributional Soft Actor-Critic: Off-policy reinforcement learning for addressing value estimation errors". IEEE Transactions on Neural Networks and Learning Systems . 33 (11): 6584–6598 . arXiv : 2001.02811 . doi : 10.1109/TNNLS.2021.3082568 . PMID 34101599. S2CID 211259373 .
↑ Y Ren; J Duan; S Li (2020). "Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic". 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC) . pp. 1– 6. arXiv : 2002.05502 . doi : 10.1109/ITSC45102.2020.9294300 . ISBN 978-1-7281-4149-7. S2CID 211096594 .
↑ Duan, J; Wang, W; Xiao, L (2025). "3つの改良を加えた分布型ソフトアクタークリティック". IEEE Transactions on Pattern Analysis and Machine Intelligence . PP (5): 3935– 3946. arXiv : 2310.05858 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID 40031258 .
↑ブランコ・ソウチェク（1992年5月6日）。『動的、遺伝的、カオス的プログラミング：第6世代コンピュータ技術シリーズ』ジョン・ワイリー・アンド・サンズ社、 38ページ。ISBN 0-471-55717-X。
↑ Francois-Lavet, Vincent; et al. (2018). "深層強化学習入門". Foundations and Trends in Machine Learning . 11 ( 3–4 ): 219–354 . arXiv : 1811.12560 . Bibcode : 2018arXiv181112560F . doi : 10.1561/2200000071 . S2CID 54434537 .
↑ Mnih, Volodymyr; et al. (2015). "深層強化学習による人間レベルの制御". Nature . 518 ( 7540): 529–533 . Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . PMID 25719670. S2CID 205242740 .
↑ Goodfellow, Ian; Shlens, Jonathan; Szegedy, Christian (2015). "敵対的例の説明と活用".国際学習表現会議. arXiv : 1412.6572 .
↑ Behzadan, Vahid; Munir, Arslan (2017). "深層強化学習のポリシー誘導攻撃に対する脆弱性". Machine Learning and Data Mining in Pattern Recognition . Lecture Notes in Computer Science. Vol. 10358. pp. 262–275 . arXiv : 1701.04143 . doi : 10.1007/978-3-319-62416-7_19 . ISBN 978-3-319-62415-0. S2CID 1562290 .
↑ Huang, Sandy; Papernot, Nicolas; Goodfellow, Ian; Duan, Yan; Abbeel, Pieter (2017-02-07).ニューラルネットワークポリシーに対する敵対的攻撃. OCLC 1106256905 .
↑ Korkmaz, Ezgi (2022). "深層強化学習ポリシーはMDP間で共有される敵対的特徴を学習する" .第36回AAAI人工知能会議（AAAI-22） . 36 (7): 7229– 7238. arXiv : 2112.09025 . doi : 10.1609/aaai.v36i7.20684 . S2CID 245219157 .
↑ Berenji, HR (1994). "ファジーQ学習：ファジー動的計画法への新しいアプローチ". 1994 IEEE 第3回国際ファジーシステム会議議事録. オーランド、フロリダ州、米国：IEEE. pp. 486–491 . doi : 10.1109/FUZZY.1994.343737 . ISBN 0-7803-1896-X. S2CID 56694947 .
↑ Vincze, David (2017). "ファジールール補間と強化学習" (PDF) . 2017 IEEE 15th International Symposium on Applied Machine Intelligence and Informatics (SAMI) . IEEE. pp. 173–178 . doi : 10.1109/SAMI.2017.7880298 . ISBN 978-1-5090-5655-2. S2CID 17590120 .
↑ Ng, AY; Russell, SJ (2000). "逆強化学習のためのアルゴリズム" (PDF) . Proceeding ICML '00 Proceedings of the Seventeenth International Conference on Machine Learning . Morgan Kaufmann Publishers. pp. 663–670 . ISBN 1-55860-707-2。
↑ Ziebart, Brian D.; Maas, Andrew; Bagnell, J. Andrew; Dey, Anind K. (2008-07-13). "最大エントロピー逆強化学習" . Proceedings of the 23rd National Conference on Artificial Intelligence - Volume 3 . AAAI'08. Chicago, Illinois: AAAI Press: 1433–1438 . ISBN 978-1-57735-368-3. S2CID 336219 .
↑ピトンベイラ＝ネト、アンセルモ R.;サントス、ヘラノ P.コエーリョ・ダ・シルバ、ティシアナ・L.デ・マセド、ホセ・アントニオ・F. (2024 年 3 月)。「ランダム効用逆強化学習による軌道モデリング」。情報科学。660 120128.arXiv : 2105.12092。土井：10.1016/j.ins.2024.120128。ISSN 0020-0255。S2CID 235187141。
↑ Hayes C、Radulescu R、Bargiacchi E、et al . ( 2022 )。「多目的強化学習と計画の実践ガイド」。Autonomous Agents and Multi-Agent Systems。36 26。arXiv : 2103.09568。doi : 10.1007 /s10458-022-09552- y。S2CID 254235920。、
↑ツェン、グォシュン。ファン・ジジェン (2011)。複数の属性による意思決定: 方法と応用(第 1版)。 CRCプレス。ISBN 978-1-4398-6157-8。
↑ Gu, Shangding; Yang, Long; Du, Yali; Chen, Guang; Walter, Florian; Wang, Jun; Knoll, Alois (2024年9月10日). "安全な強化学習のレビュー: 方法、理論、および応用" (PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 46 (12): 11216– 11235. Bibcode : 2024ITPAM..4611216G . doi : 10.1109/TPAMI.2024.3457538 . PMID 39255180 .
↑ García, Javier; Fernández, Fernando (2015年1月1日). 「安全な強化学習に関する包括的な調査」(PDF) . The Journal of Machine Learning Research . 16 (1): 1437– 1480.
↑ Dabney, Will; Ostrovski, Georg; Silver, David; Munos, Remi (2018-07-03). "分布強化学習のための暗黙的分位ネットワーク" .第35回国際機械学習会議議事録. PMLR: 1096– 1105. arXiv : 1806.06923 .
↑ Chow, Yinlam; Tamar, Aviv; Mannor, Shie; Pavone, Marco (2015). "リスク感応型かつ堅牢な意思決定：CVaR最適化アプローチ" . Advances in Neural Information Processing Systems . 28 . Curran Associates, Inc. arXiv : 1506.02188 .
↑ 「Train Hard, Fight Easy: Robust Meta Reinforcement Learning」 . scholar.google.com . 2024年6月21日取得。
↑ Tamar, Aviv; Glassner, Yonatan; Mannor, Shie (2015-02-21). "サンプリングによるCVaRの最適化" . Proceedings of the AAAI Conference on Artificial Intelligence . 29 (1). arXiv : 1404.3862 . doi : 10.1609/aaai.v29i1.9561 . ISSN 2374-3468 .
↑ Greenberg, Ido; Chow, Yinlam; Ghavamzadeh, Mohammad; Mannor, Shie (2022-12-06). "効率的なリスク回避型強化学習" . Advances in Neural Information Processing Systems . 35 : 32639– 32652. arXiv : 2205.05138 .
↑ Bozinovski, S. (1982). 「二次強化を用いた自己学習システム」。Trappl, Robert (編)『サイバネティクスとシステム研究：第6回ヨーロッパサイバネティクスとシステム研究会議議事録』North-Holland、pp. 397–402。ISBN 978-0-444-86488-8
↑ Bozinovski S. (1995)「神経遺伝学的因子と自己強化学習システムの構造理論」CMPSCIテクニカルレポート95-107、マサチューセッツ大学アマースト校
↑ Bozinovski, S. (2014) 「1981年以降の人工ニューラルネットワークにおける認知と感情の相互作用メカニズムのモデリング」 Procedia Computer Science p. 255–263
↑ Engstrom, Logan; Ilyas, Andrew; Santurkar, Shibani; Tsipras, Dimitris; Janoos, Firdaus; Rudolph, Larry; Madry, Aleksander (2019-09-25). "深層強化学習における実装の重要性：PPOとTRPOに関するケーススタディ" . ICLR .
↑ Colas, Cédric (2019-03-06). "3つの改良を加えた分布型ソフトアクタークリティック" . IEEE Transactions on Pattern Analysis and Machine Intelligence . 47 (5): 3935–3946 . arXiv : 1904.06979 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID 40031258 .
↑ Greenberg, Ido; Mannor, Shie (2021-07-01). "報酬マシン: 強化学習における報酬関数構造の活用" . Journal of Artificial Intelligence Research . 73 . PMLR: 3842– 3853. arXiv : 2010.11660 . doi : 10.1613/jair.1.12440 .
↑ Uc-Cetina, Víctor; Navarro-Guerrero, Nicolás; Martin-Gonzalez, Anabel; Weber, Cornelius; Wermter, Stefan (2022). "言語処理のための強化学習に関する調査". Artificial Intelligence Review . 56 : 1543–1575 . arXiv : 2104.05565 . doi : 10.1007/s10462-022-10205-5 .
↑ 「強化学習のためのAPI」。2025年1月22日。2025年1月22日に取得。
↑ DeepSeek-AI; et al. (2025年1月22日). "DeepSeek-R1は強化学習を通じてLLMSにおける推論を促進する" . Nature . 645 (8081): 633– 638. arXiv : 2501.12948 . Bibcode : 2025Natur.645..633G . doi : 10.1038/s41586-025-09422-z . PMC 12443585 . PMID 40962978 .

さらに読む

Annaswamy, Anuradha M. (2023年5月3日). 「適応制御と強化学習との交差点」 . Annual Review of Control, Robotics, and Autonomous Systems . 6 (1): 65–93 . doi : 10.1146/annurev-control-062922-090153 . ISSN 2573-5144 . S2CID 255702873 .
Auer, Peter ; Jaksch, Thomas; Ortner, Ronald (2010). 「強化学習のためのほぼ最適な後悔境界」 . Journal of Machine Learning Research . 11 : 1563– 1600.
Bertsekas, Dimitri P. (2023) [2019].強化学習と最適制御（第1 版）. Athena Scientific. ISBN 978-1-886-52939-7。
Busoniu, Lucian; Babuska, Robert; De Schutter, Bart ; Ernst, Damien (2010).関数近似器を用いた強化学習と動的計画法. Taylor & Francis CRC Press. ISBN 978-1-4398-2108-4。
François-Lavet, Vincent; Henderson, Peter; Islam, Riashat; Bellemare, Marc G.; Pineau, Joelle (2018). "深層強化学習入門". Foundations and Trends in Machine Learning . 11 ( 3–4 ): 219–354 . arXiv : 1811.12560 . Bibcode : 2018arXiv181112560F . doi : 10.1561/2200000071 . S2CID 54434537 .
Li, Shengbo Eben (2023).強化学習による逐次決定と最適制御（第1 版）. Springer Verlag、シンガポール. doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1。
パウエル、ウォーレン（2011）。近似動的計画法：次元の呪いを解く。Wiley-Interscience。2016年7月31日のオリジナルからアーカイブ。 2010年9月8日取得。
Sutton, Richard S. (1988). "Learning to predict by the method of temporal differences" . Machine Learning . 3 (1): 9–44 . Bibcode : 1988MLear...3....9S . doi : 10.1007/BF00115009 .
サットン、リチャード S. ;バート、アンドリュー G. (2018) [1998].強化学習入門（第 2 版）. MIT Press. ISBN 978-0-262-03924-6。
Szita, Istvan; Szepesvari, Csaba (2010). "Model-based Reinforcement Learning with Nearly Tight Exploration Complexity Bounds" (PDF) . ICML 2010 . Omnipress. pp. 1031–1038 . 2010年7月14日にオリジナル(PDF)からアーカイブされました。

外部リンク

強化学習の分析： Pythonコードを用いた強化学習に関するブログ記事シリーズ
強化学習を（じっくりと）覗いてみよう
QSMM – 適応型確率アセンブラプログラムによる強化学習

[kaelbling-1] Kaelbling, Leslie P. ; Littman, Michael L. ; Moore, Andrew W. (1996). "強化学習：概説" . Journal of Artificial Intelligence Research . 4 : 237– 285. arXiv : cs/9605103 . doi : 10.1613/jair.301 . S2CID 1708582 . 2001年11月20日にオリジナルからアーカイブ済み。

[2] van Otterlo, M.; Wiering, M. (2012). "強化学習とマルコフ決定過程".強化学習. 適応、学習、最適化. 第12巻. pp. 3–42 . doi : 10.1007/978-3-642-27645-3_1 . ISBN 978-3-642-27644-6。

[Li-2023-3] 1 2 Li, Shengbo (2023).逐次決定と最適制御のための強化学習（初版）. Springer Verlag、シンガポール. pp. 1–460 . doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1. S2CID 257928563 . {{cite book}}: CS1メンテナンス: 場所の発行元が見つかりません (リンク)

[4] Russell, Stuart J.; Norvig, Peter (2010).人工知能：現代的アプローチ（第3版）. アッパーサドルリバー、ニュージャージー州：Prentice Hall . pp. 830, 831. ISBN 978-0-13-604259-4。

[5] Lee, Daeyeol; Seo, Hyojung; Jung, Min Whan (2012年7月21日). "強化学習と意思決定の神経基盤" . Annual Review of Neuroscience . 35 (1): 287– 308. doi : 10.1146/annurev-neuro-062111-150512 . PMC 3490621 . PMID 22462543 .

[6] サラザール・デュケ、エドガー・マウリシオ。ヒラルド、フアン S.ベルガラ、ペドロ P.グエン、フオン。ヴァン・デル・モーレン、アン。スルートウェグ、ハン (2022)。「適格性トレースによる強化学習によるコミュニティエネルギー貯蔵運用」。電力システム研究。212 108515。Bibcode : 2022EPSR..21208515S。土井：10.1016/j.epsr.2022.108515。S2CID 250635151。

[7] Xie, Zhaoming; Hung Yu Ling; Nam Hee Kim; Michiel van de Panne (2020). "ALLSTEPS: カリキュラム主導型ステップストーンスキル学習". arXiv : 2005.04323 [ cs.GR ].

[8] Vergara, Pedro P.; Salazar, Mauricio; Giraldo, Juan S.; Palensky, Peter (2022). "強化学習を用いた不平衡配電システムにおけるPVインバータの最適ディスパッチ" . International Journal of Electrical Power & Energy Systems . 136 107628. Bibcode : 2022IJEPE.13607628V . doi : 10.1016/j.ijepes.2021.107628 . S2CID 244099841 .

[FOOTNOTESuttonBarto2018Chapter_11-9] サットン＆バート 2018、第11章。

[Ren-2022-10] Ren, Yangang; Jiang, Jianhua; Zhan, Guojian; Li, Shengbo Eben; Chen, Chen; Li, Keqiang; Duan, Jingliang (2026). "信号交差点における自動運転車の統合意思決定と制御のための自己学習型インテリジェンス". IEEE Transactions on Intelligent Transportation Systems . 23 (12): 24145– 24156. arXiv : 2110.12359 . Bibcode : 2022ITITr..2324145R . doi : 10.1109/TITS.2022.3196167 .

[11] Gosavi, Abhijit (2003). Simulation-based Optimization: Parametric Optimization Techniques and Reinforcement . Operations Research/Computer Science Interfaces Series. Springer. ISBN 978-1-4020-7454-7。

[Optimal_adaptive_policies_for_Marko-12] 1 2 Burnetas, Apostolos N.; Katehakis, Michael N. (1997), "マルコフ決定過程のための最適適応ポリシー", Mathematics of Operations Research , 22 (1): 222–255 , doi : 10.1287/moor.22.1.222 , JSTOR 3690147

[13] Tokic, Michel; Palm, Günther (2011), "Value-Difference Based Exploration: Adaptive Control Between Epsilon-Greedy and Softmax" (PDF) , KI 2011: Advances in Artificial Intelligence , Lecture Notes in Computer Science, vol. 7006, Springer, pp. 335– 346, ISBN 978-3-642-24455-1

[:0-14] 1 2 3 「強化学習：入門」（PDF）。2017年7月12日にオリジナル（PDF）からアーカイブされました。2017年7月23日に取得。

[15] Singh, Satinder P.; Sutton, Richard S. (1996-03-01). "Reinforcement learning with replacement eligibility traces" . Machine Learning . 22 (1): 123– 158. doi : 10.1007/BF00114726 . ISSN 1573-0565 .

[16] Sutton, Richard S. (1984). Temporal Credit Assignment in Reinforcement Learning (PhD thesis). University of Massachusetts, Amherst, MA. 2017-03-30 のオリジナルからアーカイブ済み。2017-03-29 に取得。

[FOOTNOTESuttonBarto2018[httpincompleteideasnetsuttonbookebooknode60html_§6._Temporal-Difference_Learning]-17] Sutton & Barto 2018、 §6. 時間差学習。

[18] Bradtke, Steven J. ; Barto, Andrew G. (1996). "Learning to predict by the method of temporal differences". Machine Learning . 22 : 33–57 . CiteSeerX 10.1.1.143.857 . doi : 10.1023/A:1018056104778 . S2CID 20327856 .

[19] ワトキンス、クリストファー JCH (1989).遅延報酬からの学習(PDF) (博士論文). キングス・カレッジ、ケンブリッジ、英国。

[MBK-20] Matzliach, Barouch; Ben-Gal, Irad; Kagan, Evgeny (2022). "Detection of Static and Mobile Targets by an Autonomous Agent with Deep Q-Learning Abilities" . Entropy . 24 ( 8): 1168. Bibcode : 2022Entrp..24.1168M . doi : 10.3390/e24081168 . PMC 9407070. PMID 36010832 .

[21] Williams, Ronald J. (1987). "ニューラルネットワークにおける強化学習のための勾配推定アルゴリズムのクラス". Proceedings of the IEEE First International Conference on Neural Networks . CiteSeerX 10.1.1.129.8871 .

[22] Peters, Jan ; Vijayakumar, Sethu ; Schaal, Stefan (2003). Reinforcement Learning for Humanoid Robotics (PDF) . IEEE-RAS International Conference on Humanoid Robots. 2013-05-12 のオリジナル(PDF)からアーカイブ済み。2006-05-08に取得。

[23] Juliani, Arthur (2016-12-17). "Tensorflow を使用したシンプルな強化学習パート 8: 非同期アクタークリティックエージェント (A3C)" . Medium . 2018-02-22に取得.

[24] Deisenroth, Marc Peter ; Neumann, Gerhard; Peters, Jan (2013). A Survey on Policy Search for Robotics (PDF) . Foundations and Trends in Robotics. Vol. 2. NOW Publishers. pp. 1– 142. doi : 10.1561/2300000021 . hdl : 10044/1/12051 .

[25] サットン、リチャード (1990)。「動的計画法に基づく学習、計画、反応のための統合アーキテクチャ」。機械学習：第 7 回国際ワークショップの議事録。

[26] Lin, Long-Ji (1992). "強化学習、計画、および教育に基づく自己改善型反応エージェント" (PDF) . Machine Learning . Vol. 8. doi : 10.1007/BF00992699 .

[27] Zou, Lan (2023-01-01), Zou, Lan (編), "第7章 - メタ強化学習" , Meta-Learning , Academic Press, pp. 267–297 , doi : 10.1016/b978-0-323-89931-4.00011-0 , ISBN 978-0-323-89931-42023年11月8日取得{{citation}}: CS1メンテナンス: ISBNを使用した作業パラメータ (リンク)

[28] van Hasselt, Hado; Hessel, Matteo; Aslanides, John (2019). 「強化学習でパラメトリックモデルを使用するタイミングは？」(PDF) . Advances in Neural Information Processing Systems . Vol. 32.

[29] Khuat, Thanh Tung; Bassett, Robert; Otte, Ellen; Grevis-James, Alistair; Gabrys, Bogdan (2024-03-01). "抗体発見、プロセス開発、製造、製剤化における機械学習の応用：現在の動向、課題、機会" . Computers & Chemical Engineering . 182 108585. doi : 10.1016/j.compchemeng.2024.108585 . ISSN 0098-1354 .

[30] アイヴォのグロンドマン。ヴァンドラーガー、マーテン;ブソニュ、ルシアン。ロバート・バブスカ。シュイテマ、エリック (2012-06-01)。「俳優と批評家をコントロールするための効率的なモデル学習方法」。システム、人間、サイバネティクスに関する IEEE トランザクション - パート B: サイバネティクス。42 (3): 591–602。書誌コード: 2012ITSMC..42..591G。土井: 10.1109/TSMCB.2011.2170565。ISSN 1083-4419。PMID 22156998。

[31] 「ゲームメカニクスのテストにおける強化学習の使用について：ACM - Computers in Entertainment」 . cie.acm.org . 2018年11月27日取得。

[32] Li, Xiao; Vasile, Cristian-Ioan; Belta, Calin (2017). "Reinforcement Learning with Temporal Logic Rewards" . 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) . pp. 3834– 3839. doi : 10.1109/IROS.2017.8206234 .

[33] Toro Icarte, Rodrigo; Klassen, Toryn Q.; Valenzano, Richard; McIlraith, Sheila A. (2022). "報酬マシン: 強化学習における報酬関数構造の活用" . Journal of Artificial Intelligence Research . 73 : 173– 208. arXiv : 2010.03950 . doi : 10.1613/jair.1.12440 .

[34] Riveret, Régis; Gao, Yang; Governatori, Guido; Rotolo, Antonino; Pitt, Jeremy; Sartor, Giovanni (2019). "強化学習エージェントのための確率的議論フレームワーク" . Autonomous Agents and Multi-Agent Systems . 33 ( 1– 2): 216– 274. doi : 10.1007/s10458-019-09404-2 .

[35] Haramati, Dan; Daniel, Tal; Tamar, Aviv (2024). "Entity-Centric Reinforcement Learning for Object Manipulation from Pixels". arXiv : 2404.01220 [ cs.RO ].

[36] Thompson, Isaac Symes; Caron, Alberto; Hicks, Chris; Mavroudis, Vasilios (2024-11-07). "自律型サイバー防御のためのエンティティベース強化学習". Proceedings of the Workshop on Autonomous Cybersecurity (AutonomousCyber '24) . ACM. pp. 56– 67. arXiv : 2410.17647 . doi : 10.1145/3689933.3690835 .

[37] Winter, Clemens (2023-04-14). "エンティティベースの強化学習" . Clemens Winter のブログ.

[38] 山形拓; ライアン・マコンビル; ラウル・サントス＝ロドリゲス (2021-11-16). 「多様なスキルを持つ複数の人間からのフィードバックによる強化学習」. arXiv : 2111.08596 [ cs.LG ].

[39] Kulkarni, Tejas D.; Narasimhan, Karthik R.; Saeedi, Ardavan; Tenenbaum, Joshua B. (2016). "階層型深層強化学習：時間的抽象化と内発的動機付けの統合" .第30回国際ニューラル情報処理システム会議議事録. NIPS'16. 米国：Curran Associates Inc.：3682–3690 . arXiv：1604.06057 . Bibcode：2016arXiv160406057K . ISBN 978-1-5108-3881-9。

[40] 「強化学習 / 強化学習の成功事例」 . umichrl.pbworks.com . 2017年8月6日取得.

[41] Dey, Somdip; Singh, Amit Kumar; Wang, Xiaohang; McDonald-Maier, Klaus (2020年3月) 「CPU-GPUモバイルMPSoCの電力および熱効率のためのユーザーインタラクション認識型強化学習」 2020 Design, Automation & Test in Europe Conference & Exhibition (DATE) (PDF) pp. 1728–1733 . doi : 10.23919/DATE48585.2020.9116294 . ISBN 978-3-9819263-4-7. S2CID 219858480 .

[42] クエスト、トニー。「エセックスのイノベーションでスマートフォンがさらにスマートに」。ビジネスウィークリー。 2021年6月17日閲覧。

[43] ウィリアムズ、リアノン（2020年7月21日）「未来のスマートフォンは、所有者の行動を監視することでバッテリー寿命を延ばすだろう」" . i . 2021-06-17に取得.

[kaplan2004-44] Kaplan, F.; Oudeyer, P. (2004). "学習進捗の最大化：発達のための内部報酬システム". Iida, F.; Pfeifer, R.; Steels, L.; Kuniyoshi, Y. (編)『Embodied Artificial Intelligence』Lecture Notes in Computer Science. Vol. 3139. Berlin; Heidelberg: Springer. pp. 259–270 . doi : 10.1007/978-3-540-27833-7_19 . ISBN 978-3-540-22484-6. S2CID 9781221 .

[klyubin2008-45] Klyubin, A.; Polani, D.; Nehaniv, C. (2008). "選択肢を広げておく：感覚運動系のための情報に基づく運転原理" . PLOS ONE . 3 (12) e4018. Bibcode : 2008PLoSO...3.4018K . doi : 10.1371/journal.pone.0004018 . PMC 2607028 . PMID 19107219 .

[barto2013-46] Barto, AG (2013). 「内発的動機づけと強化学習」。自然システムと人工システムにおける内発的動機づけ学習（PDF）。ベルリン、ハイデルベルク：Springer。pp. 17–47。

[47] Dabérius, Kevin; Granat, Elvin; Karlsson, Patrik (2020). "Deep Execution - Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks". The Journal of Machine Learning in Finance . 1 . SSRN 3374766 .

[48] George Karimpanal、Thommen; Bouffanais、Roland (2019)。「強化学習における知識の保存と転送のための自己組織化マップ」。Adaptive Behavior。27 ( 2 ): 111– 126。arXiv : 1811.08318。doi : 10.1177/ 1059712318818568 。ISSN 1059-7123。S2CID 53774629。

[49] 参照： Sutton & Barto 2018 、第5.4節、100ページ

[Mnih-50] Mnih, Volodymyr; Badia, Adrià; Mirza, Mehdi; Graves, Alex; Lillicrap, Timothy; Harley, Tim; Silver, David; Kavukcuoglu, Koray (2016年6月16日). " Asynchronous Methods for Deep Reinforcement Learning" . Proceedings of Machine Learning Research (PMLR) . 48. PMLR: 1928–1937 . 2026年6月15日取得。

[51] J Duan; Y Guan; S Li ( 2021). "Distributional Soft Actor-Critic: Off-policy reinforcement learning for addressing value estimation errors". IEEE Transactions on Neural Networks and Learning Systems . 33 (11): 6584–6598 . arXiv : 2001.02811 . doi : 10.1109/TNNLS.2021.3082568 . PMID 34101599. S2CID 211259373 .

[52] Y Ren; J Duan; S Li (2020). "Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic". 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC) . pp. 1– 6. arXiv : 2002.05502 . doi : 10.1109/ITSC45102.2020.9294300 . ISBN 978-1-7281-4149-7. S2CID 211096594 .

[53] Duan, J; Wang, W; Xiao, L (2025). "3つの改良を加えた分布型ソフトアクタークリティック". IEEE Transactions on Pattern Analysis and Machine Intelligence . PP (5): 3935– 3946. arXiv : 2310.05858 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID 40031258 .

[54] ブランコ・ソウチェク（1992年5月6日）。『動的、遺伝的、カオス的プログラミング：第6世代コンピュータ技術シリーズ』ジョン・ワイリー・アンド・サンズ社、 38ページ。ISBN 0-471-55717-X。

[intro_deep_RL-55] Francois-Lavet, Vincent; et al. (2018). "深層強化学習入門". Foundations and Trends in Machine Learning . 11 ( 3–4 ): 219–354 . arXiv : 1811.12560 . Bibcode : 2018arXiv181112560F . doi : 10.1561/2200000071 . S2CID 54434537 .

[DQN2-56] Mnih, Volodymyr; et al. (2015). "深層強化学習による人間レベルの制御". Nature . 518 ( 7540): 529–533 . Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . PMID 25719670. S2CID 205242740 .

[57] Goodfellow, Ian; Shlens, Jonathan; Szegedy, Christian (2015). "敵対的例の説明と活用".国際学習表現会議. arXiv : 1412.6572 .

[58] Behzadan, Vahid; Munir, Arslan (2017). "深層強化学習のポリシー誘導攻撃に対する脆弱性". Machine Learning and Data Mining in Pattern Recognition . Lecture Notes in Computer Science. Vol. 10358. pp. 262–275 . arXiv : 1701.04143 . doi : 10.1007/978-3-319-62416-7_19 . ISBN 978-3-319-62415-0. S2CID 1562290 .

[59] Huang, Sandy; Papernot, Nicolas; Goodfellow, Ian; Duan, Yan; Abbeel, Pieter (2017-02-07).ニューラルネットワークポリシーに対する敵対的攻撃. OCLC 1106256905 .

[60] Korkmaz, Ezgi (2022). "深層強化学習ポリシーはMDP間で共有される敵対的特徴を学習する" .第36回AAAI人工知能会議（AAAI-22） . 36 (7): 7229– 7238. arXiv : 2112.09025 . doi : 10.1609/aaai.v36i7.20684 . S2CID 245219157 .

[61] Berenji, HR (1994). "ファジーQ学習：ファジー動的計画法への新しいアプローチ". 1994 IEEE 第3回国際ファジーシステム会議議事録. オーランド、フロリダ州、米国：IEEE. pp. 486–491 . doi : 10.1109/FUZZY.1994.343737 . ISBN 0-7803-1896-X. S2CID 56694947 .

[62] Vincze, David (2017). "ファジールール補間と強化学習" (PDF) . 2017 IEEE 15th International Symposium on Applied Machine Intelligence and Informatics (SAMI) . IEEE. pp. 173–178 . doi : 10.1109/SAMI.2017.7880298 . ISBN 978-1-5090-5655-2. S2CID 17590120 .

[63] Ng, AY; Russell, SJ (2000). "逆強化学習のためのアルゴリズム" (PDF) . Proceeding ICML '00 Proceedings of the Seventeenth International Conference on Machine Learning . Morgan Kaufmann Publishers. pp. 663–670 . ISBN 1-55860-707-2。

[64] Ziebart, Brian D.; Maas, Andrew; Bagnell, J. Andrew; Dey, Anind K. (2008-07-13). "最大エントロピー逆強化学習" . Proceedings of the 23rd National Conference on Artificial Intelligence - Volume 3 . AAAI'08. Chicago, Illinois: AAAI Press: 1433–1438 . ISBN 978-1-57735-368-3. S2CID 336219 .

[65] ピトンベイラ＝ネト、アンセルモ R.;サントス、ヘラノ P.コエーリョ・ダ・シルバ、ティシアナ・L.デ・マセド、ホセ・アントニオ・F. (2024 年 3 月)。「ランダム効用逆強化学習による軌道モデリング」。情報科学。660 120128.arXiv : 2105.12092。土井：10.1016/j.ins.2024.120128。ISSN 0020-0255。S2CID 235187141。

[66] Hayes C、Radulescu R、Bargiacchi E、et al . ( 2022 )。「多目的強化学習と計画の実践ガイド」。Autonomous Agents and Multi-Agent Systems。36 26。arXiv : 2103.09568。doi : 10.1007 /s10458-022-09552- y。S2CID 254235920。、

[67] ツェン、グォシュン。ファン・ジジェン (2011)。複数の属性による意思決定: 方法と応用(第 1版)。 CRCプレス。ISBN 978-1-4398-6157-8。

[68] Gu, Shangding; Yang, Long; Du, Yali; Chen, Guang; Walter, Florian; Wang, Jun; Knoll, Alois (2024年9月10日). "安全な強化学習のレビュー: 方法、理論、および応用" (PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 46 (12): 11216– 11235. Bibcode : 2024ITPAM..4611216G . doi : 10.1109/TPAMI.2024.3457538 . PMID 39255180 .

[69] García, Javier; Fernández, Fernando (2015年1月1日). 「安全な強化学習に関する包括的な調査」(PDF) . The Journal of Machine Learning Research . 16 (1): 1437– 1480.

[70] Dabney, Will; Ostrovski, Georg; Silver, David; Munos, Remi (2018-07-03). "分布強化学習のための暗黙的分位ネットワーク" .第35回国際機械学習会議議事録. PMLR: 1096– 1105. arXiv : 1806.06923 .

[71] Chow, Yinlam; Tamar, Aviv; Mannor, Shie; Pavone, Marco (2015). "リスク感応型かつ堅牢な意思決定：CVaR最適化アプローチ" . Advances in Neural Information Processing Systems . 28 . Curran Associates, Inc. arXiv : 1506.02188 .

[72] 「Train Hard, Fight Easy: Robust Meta Reinforcement Learning」 . scholar.google.com . 2024年6月21日取得。

[73] Tamar, Aviv; Glassner, Yonatan; Mannor, Shie (2015-02-21). "サンプリングによるCVaRの最適化" . Proceedings of the AAAI Conference on Artificial Intelligence . 29 (1). arXiv : 1404.3862 . doi : 10.1609/aaai.v29i1.9561 . ISSN 2374-3468 .

[74] Greenberg, Ido; Chow, Yinlam; Ghavamzadeh, Mohammad; Mannor, Shie (2022-12-06). "効率的なリスク回避型強化学習" . Advances in Neural Information Processing Systems . 35 : 32639– 32652. arXiv : 2205.05138 .

[75] Bozinovski, S. (1982). 「二次強化を用いた自己学習システム」。Trappl, Robert (編)『サイバネティクスとシステム研究：第6回ヨーロッパサイバネティクスとシステム研究会議議事録』North-Holland、pp. 397–402。ISBN 978-0-444-86488-8

[76] Bozinovski S. (1995)「神経遺伝学的因子と自己強化学習システムの構造理論」CMPSCIテクニカルレポート95-107、マサチューセッツ大学アマースト校

[77] Bozinovski, S. (2014) 「1981年以降の人工ニューラルネットワークにおける認知と感情の相互作用メカニズムのモデリング」 Procedia Computer Science p. 255–263

[78] Engstrom, Logan; Ilyas, Andrew; Santurkar, Shibani; Tsipras, Dimitris; Janoos, Firdaus; Rudolph, Larry; Madry, Aleksander (2019-09-25). "深層強化学習における実装の重要性：PPOとTRPOに関するケーススタディ" . ICLR .

[79] Colas, Cédric (2019-03-06). "3つの改良を加えた分布型ソフトアクタークリティック" . IEEE Transactions on Pattern Analysis and Machine Intelligence . 47 (5): 3935–3946 . arXiv : 1904.06979 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID 40031258 .

[80] Greenberg, Ido; Mannor, Shie (2021-07-01). "報酬マシン: 強化学習における報酬関数構造の活用" . Journal of Artificial Intelligence Research . 73 . PMLR: 3842– 3853. arXiv : 2010.11660 . doi : 10.1613/jair.1.12440 .

[81] Uc-Cetina, Víctor; Navarro-Guerrero, Nicolás; Martin-Gonzalez, Anabel; Weber, Cornelius; Wermter, Stefan (2022). "言語処理のための強化学習に関する調査". Artificial Intelligence Review . 56 : 1543–1575 . arXiv : 2104.05565 . doi : 10.1007/s10462-022-10205-5 .

[82] 「強化学習のためのAPI」。2025年1月22日。2025年1月22日に取得。

[83] DeepSeek-AI; et al. (2025年1月22日). "DeepSeek-R1は強化学習を通じてLLMSにおける推論を促進する" . Nature . 645 (8081): 633– 638. arXiv : 2501.12948 . Bibcode : 2025Natur.645..633G . doi : 10.1038/s41586-025-09422-z . PMC 12443585 . PMID 40962978 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

7

]、太陽光発電[8]

囲碁

]

[ 11 ]

[ 12 ]

[ 13 ]

[ 15 ]

[

[

[

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ] ）。

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 54 ]

[ 55 ]

[ 56 ]

[ 57 ]

[ 58 ]

[ 59 ]

[ 60 ]

[ 61 ]

[ 62 ]

[ 63 ]

[ 64 ]

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[ 69 ]

[

[

[

[

[

[ 75 ]

[ 76 ]

[ 77 ]

[ 78 ]

[ 79 ]

[ 80 ]

[ 81 ]

[

[ 83 ]

原則

探査