時間差学習

時間差（TD）学習とは、価値関数の現在の推定値からブートストラップによって学習する、モデルフリーの強化学習手法の一種を指します。これらの手法は、モンテカルロ法のように環境からサンプリングし、動的計画法のように現在の推定値に基づいて更新を実行します。 ^{[ 1 ]}

モンテカルロ法は結果が判明してから推定値を調整するのに対し、TD法は結果が判明する前に、将来に関するより正確な予測に合わせて予測値を調整します。^{[ 2 ]}これはブートストラップの一種であり、次の例で示されます。

土曜日の天気を予測したいとします。週の各日の天気から土曜日の天気を予測するモデルがあるとします。標準的なケースでは、土曜日まで待ってからすべてのモデルを調整します。しかし、たとえば金曜日であれば、土曜日の天気がどうなるかかなり正確に把握でき、土曜日が来る前に、たとえば土曜日のモデルを変更できるはずです。^{[ 2 ]}

時間差法は、動物の学習の時間差モデルに関連している。^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]}

表形式のTD(0)法は、最も単純なTD法の一つです。これは、より一般的な確率近似法の特殊なケースです。この方法は、方策の下での有限状態マルコフ決定過程（MDP）の状態価値関数を推定します。${\displaystyle \pi }$。 させて$\displaystyle V^{\pi }}$状態を持つ MDP の状態価値関数を表す${\displaystyle (S_{t})_{t\in \mathbb {N} }}$報酬${\displaystyle (R_{t})_{t\in \mathbb {N} }}$および割引率^{[ 8 ]}${\displaystyle \gamma }$政策に基づき${\displaystyle \pi }$: ^{[ 9 ]}

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}{\Bigg |}S_{0}=s\right\}.}$

便宜上、表記から動作を省略します。$\displaystyle V^{\pi }}$ベルマン方程式を満たす：

${\displaystyle V^{\pi }(s)=E_{\pi }\{R_{1}+\gamma V^{\pi }(S_{1})|S_{0}=s\},}$

それで${\displaystyle R_{1}+\gamma V^{\pi }(S_{1})}$は、$\displaystyle V^{\pi }(s)$この観察結果から、以下の推定アルゴリズムが考案された。$\displaystyle V^{\pi }}$。

アルゴリズムは、まずテーブルを初期化することから始まります。${\displaystyle V(s)}$MDPの各状態に1つの値を持つ、任意に。正の学習率${\displaystyle \alpha }$が選ばれました。

次に、政策を繰り返し評価します。${\displaystyle \pi }$報酬を得る${\displaystyle r}$そして、ルールを使用して現在の状態の値関数を更新します。^{[ 10 ]}

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\underbrace {\alpha } _{\text{学習率}}[\overbrace {R_{t+1}+\gamma V(S_{t+1})} ^{\text{TDターゲット}}]}$

どこ${\displaystyle S_{t}}$そして${\displaystyle S_{t+1}}$はそれぞれ現在の状態と次の状態です。${\displaystyle R_{t+1}+\gamma V(S_{t+1})}$TDターゲットとして知られており、${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$これはTDエラーとして知られています。

TD-Lambdaは、アーサー・サミュエルによる時間差学習に関する以前の研究に基づいて、リチャード・S・サットンが考案した学習アルゴリズムです。^{[ 11 ]}このアルゴリズムは、ジェラルド・テサウロによってTD-Gammonの作成に応用され、熟練した人間のプレイヤーのレベルでバックギャモンをプレイすることを学習するプログラムとして有名になりました。 ^{[ 12 ]}

ラムダ（${\displaystyle \lambda }$) パラメータはトレース減衰パラメータを指し、${\displaystyle 0\leqslant \lambda \leqslant 1}$設定値が高いほど痕跡が長持ちします。つまり、報酬からのクレジットの割合が、より遠い状態や行動に与えられる場合、${\displaystyle \lambda }$より高い${\displaystyle \lambda =1}$モンテカルロRLアルゴリズムへの並列学習を生成する。^{[ 13 ]}

TDアルゴリズムは神経科学の分野でも注目を集めています。研究者らは、腹側被蓋野(VTA) および黒質(SNc)のドーパミンニューロンの発火率が、アルゴリズムのエラー関数を模倣しているように見えることを発見しました。^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]}エラー関数は、任意の状態または時間ステップでの推定報酬と実際に受け取った報酬との差を報告します。エラー関数が大きいほど、期待される報酬と実際の報酬の差が大きくなります。これが将来の報酬を正確に反映する刺激とペアになると、エラーを使用して刺激を将来の報酬と関連付けることができます。

ドーパミン細胞も同様の挙動を示すようです。ある実験では、サルに刺激とジュースの報酬を関連付けるように訓練している間に、ドーパミン細胞の測定が行われました。^{[ 14 ]}最初は、サルがジュースを受け取るとドーパミン細胞の発火率が増加し、期待される報酬と実際の報酬に差があることを示しました。時間が経つにつれて、この発火率の増加は、報酬に対する最も早く確実な刺激に伝播しました。サルが完全に訓練されると、予測された報酬が提示されても発火率の増加は見られませんでした。その後、期待された報酬が得られなかった場合、ドーパミン細胞の発火率は通常の活性化よりも低下しました。これは、TD のエラー関数が強化学習に使用される方法とよく似ています。

モデルと潜在的な神経機能との関係から、TD を用いて行動研究の多くの側面を説明しようとする研究が生まれています。^{[ 15 ] [ 16 ]}また、統合失調症などの疾患や、ドーパミンの薬理学的操作が学習に及ぼす影響を研究するためにも使用されています。 ^{[ 17 ]}

• PVLV
• Q学習
• レスコーラ・ワグナーモデル
• 状態-行動-報酬-状態-行動（SARSA）

• Meyn, SP (2007).複雑ネットワークの制御技術. Cambridge University Press. ISBN 978-0521884419。最終章および付録を参照のこと。
• Sutton, RS; Barto, AG (1990). "パブロフ型強化の時間微分モデル" (PDF) . Learning and Computational Neuroscience: Foundations of Adaptive Networks : 497– 537. 2017年3月30日にオリジナル(PDF)からアーカイブ済み。 2017年3月29日取得。

• Connect Four TDGravityアプレット（ 2012年7月24日にWayback Machineにアーカイブ済み）（+携帯電話版） – TD-Leafメソッド（TD-Lambdaと浅い木構造探索の組み合わせ）を使用して独学で開発
• 自己学習メタ三目並べ2014年3月19日にWayback Machineにアーカイブされました シンプルなボードゲームをプレイするミニマックスAIの状態評価定数を学習するために、時間差学習を使用する方法を示すWebアプリの例。
• 強化学習の問題、時間差学習を用いてQ学習を高速化する方法を説明する文書
• TDシミュレーター：古典的条件付けのための時間差シミュレーター