人間のフィードバックに基づく強化学習

報酬モデルは、文字列（テキストの一部）を入力として受け取り、「報酬」となる単一の数値を生成する関数です。 ^{[ 40 ]}

通常は事前学習済みモデルで初期化されます。これは、言語の理解で初期化され、人間の好みの学習に特化してトレーニングが行われるためです。報酬モデルとRLポリシーの初期化に使用されることに加えて、このモデルはアノテーターが比較するデータのサンプリングにも使用されます。^{[ 17 ] [ 16 ]}

次に、報酬モデルは、前のモデルの最終層をランダムに初期化された回帰ヘッドに置き換えることで学習されます。この変更により、モデルは元の語彙分類タスクから、任意のプロンプトとレスポンスのスコアに対応する数値を出力するだけのタスクへと移行します。このモデルは、教師ありモデルから以前に収集された人間の嗜好比較データに基づいて学習されます。具体的には、次の交差エントロピー損失関数を最小化するように学習されます。$${\displaystyle {\mathcal {L}}(\theta )=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}[\log(\sigma (r_{\theta }(x,y_{w})-r_{\theta }(x,y_{l})))]=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}\log \left[{\frac {e^{r_{\theta }(x,y_{w})}}{e^{r_{\theta }(x,y_{w})}+e^{r_{\theta }(x,y_{l})}}}\right]}$$

どこ${\displaystyle K}$は、ラベル付け担当者がランク付けした回答の数です。${\displaystyle r_{\theta }(x,y)}$プロンプトに対する報酬モデルの出力は${\displaystyle x}$完成${\displaystyle y}$、$\displaystyle y_{w}}$より好ましい完了$y_l$、${\displaystyle \sigma (x)}$はシグモイド関数を表し、${\displaystyle E[X]}$は期待値を表します。^{[ 17 ]}これはロジスティック回帰の一種と考えることができ、モデルは応答の確率を予測します。$\displaystyle y_{w}}$より好ましい$y_l$。

この損失関数は、基本的に報酬モデルの予測と人間の決定との差を測定します。目標は、この式で測定される差を最小化することにより、モデルの推測を人間の好みにできるだけ近づけることです。ペアワイズ比較のみの場合、${\displaystyle K=2}$係数${\displaystyle 1/{\tbinom {K}{2}}=1}$[ ^{16 ]一般的に、}すべて${\displaystyle {\tbinom {K}{2}}}$各プロンプトからの比較は、単一のバッチとしてトレーニングに使用されます。^{[ 17 ]}

トレーニング後、モデルの出力は、参照完了の平均スコアが 0 になるように正規化されます。つまり、^{[ 16 ]}${\textstyle \sum _{y}r_{\theta }(x,y)=0}$ 各クエリと参照のペアについて${\displaystyle (x,y)}$トレーニングデータセット全体の平均報酬を計算し、それを報酬ヘッドのバイアスとして設定することによって行います。

ポリシーモデルは、文字列を入力として受け取り、別の文字列を生成する関数です。通常、言語モデリングでは、出力文字列は1回の順伝播ではなく、自己回帰的に生成される複数の順伝播によって生成されます。報酬モデルと同様に、人間のフィードバックポリシーも事前学習済みモデルから初期化されます。^{[ 16 ]}

重要なのは、言語生成を強化学習によって学習されるゲームのように理解することです。強化学習では、ポリシーはゲームの状態をゲームの動作にマッピングする関数です。RLHFでは、「ゲーム」はプロンプトに応答するゲームです。プロンプトと以前に生成されたすべてのトークンがゲームの状態であり、新しいトークンを生成することがゲームの動作です。^{[ 41 ]}

トレーニングの最初のステップは、教師ありファインチューニング（SFT）です。このステップでは報酬モデルは必要ありません。代わりに、事前学習済みモデルをデータセットでトレーニングします。${\displaystyle D_{SFT}}$プロンプトとレスポンスのペアを含む${\displaystyle (x,y)}$そして、SFTの過程で、モデルは対応する応答を自己回帰的に生成するように訓練される。${\displaystyle y}$ランダムなプロンプトが与えられたとき${\displaystyle x}$元の論文では、SFTは1エポックのみ行うことを推奨しています。それ以上行うと過学習を引き起こすためです。

データセット${\displaystyle D_{SFT}}$通常は、プロンプトと回答の両方を作成する人間の請負業者によって作成されます。

2番目のステップでは、報酬モデルに方策勾配法を使用します。データセットを使用します。${\displaystyle D_{RL}}$これはプロンプトを含みますが、応答は含みません。ほとんどのポリシー勾配法と同様に、このアルゴリズムは外側のループと2つの内側のループを持ちます。

• ポリシーを初期化する${\displaystyle \pi _{\phi }^{RL}}$に$\displaystyle \pi ^{SFT}}$SFTからの政策出力。
• 複数ステップを繰り返す。
  • 新しい空のデータセットを初期化します${\displaystyle D_{\pi _{\phi }^{RL}}}$。
  • 複数ステップのループ
    • ランダムなプロンプトをサンプリングする${\displaystyle x}$から${\displaystyle D_{RL}}$。
    • 応答を生成する${\displaystyle y}$ポリシーから${\displaystyle \pi _{\phi }^{RL}}$。
    • 報酬シグナルを計算する${\displaystyle r_{\theta }(x,y)}$報酬モデルから$\displaystyle r_{\theta }}$。
    • トリプルを追加する${\displaystyle (x,y,r_{\theta }(x,y))}$に${\displaystyle D_{\pi _{\phi }^{RL}}}$。
  • アップデート${\displaystyle \phi }$目的関数を増加させるための方策勾配法$${\displaystyle {\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]}$$

ご了承ください${\displaystyle (x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}$と同等${\displaystyle x\sim D_{RL},y\sim \pi _{\phi }^{\text{RL}}(\cdot |x)}$つまり、「${\displaystyle D_{RL}}$次に、ポリシーから応答をサンプリングします。

目的関数は2つの部分から構成される。最初の部分は単純に期待報酬である。${\displaystyle E[r]}$は、あらゆる強化学習アルゴリズムの標準です。2番目の部分は、KLダイバージェンスを含む「ペナルティ項」です。ペナルティ項の強さは、ハイパーパラメータによって決定されます。${\displaystyle \beta }$。

このKL項は、微調整中のモデルと初期の教師ありモデルとの間のKLダイバージェンス（分布間の統計的距離の尺度）にペナルティを与えることで機能します。適切な${\displaystyle \beta }$トレーニングでは、新しいデータからの学習と初期モデルからの有用な情報の保持のバランスを取ることができ、新しいデータに過度に適合することを避けることで汎化性能を高めることができます。新しいモデルが初期モデルと大きく異なる出力を生成するのを防ぐことに加えて、KL 項を含めるもう 1 つの動機は、モデルが少数の定型応答に崩壊するのを防ぐために、モデルが高エントロピーのテキストを出力するように促すことです。^{[ 16 ]}

簡単に言うと、目的関数は、ポリシーの応答が人間のフィードバックとどの程度一致するかを計算します。ポリシーはプロンプトに対して応答を生成し、各応答は、人間の好み（報酬モデルで測定）との一致度と、モデルが自然に生成する応答との類似性の両方に基づいて評価されます。目標は、人間の好みとの一致度を高めることと、モデルの応答が多様性を保ち、初期トレーニングで学習した内容から大きく逸脱しないようにすることのバランスを取ることです。これにより、モデルは人々が有用または好ましいと感じる回答を提供するだけでなく、幅広い理解を維持し、過度に狭く反復的な応答を避けることができます。

ポリシー関数は通常、近接ポリシー最適化（PPO）アルゴリズムによって学習されます。つまり、パラメータ${\displaystyle \phi }$クリップされた代理関数に対して勾配上昇法によって学習される。^{[ 17 ] [ 16 ]}

従来、PPOアルゴリズムは一般化優位性推定を採用しており、これは追加の価値推定器が存在することを意味する。${\displaystyle V_{\xi _{t}}(x)}$ポリシーと同時に更新される${\displaystyle \pi _{\phi _{t}}^{RL}}$PPO研修中：${\displaystyle \pi _{\phi _{t}}^{RL},V_{\xi _{t}},\pi _{\phi _{t+1}}^{RL},V_{\xi _{t+1}},\dots }$[ ^{42 ]}値推定器はトレーニング中にのみ使用され、トレーニング外では使用されません^。

PPOは、以下の切り詰められた代理変数の優位性に対して勾配降下法を使用します。$${\displaystyle L_{\text{PPO}}(\phi ):=E_{x\sim D_{\text{RL}},y\sim \pi _{\phi _{t}}(y|x)}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)\right]}$$

利点の項${\displaystyle A(x,y)}$は次のように定義される。${\displaystyle r_{\theta }(x,y)-V_{\xi _{t}}(x)}$つまり、アドバンテージは報酬（期待収益）と価値推定値（ポリシーからの期待収益）の差として計算されます。これは、通常、 Adamオプティマイザのような標準的なモーメンタム勾配オプティマイザを使用して、勾配上昇法によってポリシーを学習するために使用されます。

元の論文では、学習済みの報酬モデルから価値推定器を初期化しました。^{[ 16 ]} PPOはアクタークリティックアルゴリズムであるため、価値推定器はポリシーと同時に更新され、この場合、二乗TD誤差（これは二乗アドバンテージ項に等しい）を最小化します。$${\displaystyle L_{\text{TD}}(\xi )=\mathbb {E} _{(x,y)\sim D{\pi _{\phi _{t}}^{\text{RL}}}}\left[\left(r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi _{t}}^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)-V_{\xi }(x)\right)^{2}\right]}$$これは、勾配降下法によって最小化されます。二乗TD誤差以外の方法も使用できます。詳細は、アクタークリティックアルゴリズムのページを参照してください。

目的関数に第3項を追加するのは、モデルが壊滅的な忘却を起こすのを防ぐためです。たとえば、モデルが顧客サービスのみを学習している場合、地理に関する一般的な知識を忘れてしまう可能性があります。これを防ぐために、RLHFプロセスでは元の言語モデリングの目的関数を組み込みます。つまり、いくつかのランダムなテキスト${\displaystyle x}$元の事前学習データセットからサンプリングされています${\displaystyle D_{\text{pretrain}}}$、そしてモデルはテキストの対数尤度を最大化するように訓練されます。${\displaystyle \log(\pi _{\phi }^{RL}(x))}$最終的な目的関数は次のように表されます。

$${\displaystyle L(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]}$$

どこ${\displaystyle \gamma }$この事前学習項の強度を制御します。^{[ 17 ]}この結合目的関数は PPO-ptx と呼ばれ、「ptx」は「事前学習勾配の混合」を意味します。^{[ 9 ]}これは InstructGPT 論文で初めて使用されました。^{[ 17 ]}

総じて、この目的関数は、人間のフィードバックに合わせるという目標と、モデル本来の言語理解を維持するという目標を融合させ、強化学習のポリシーを調整する方法を定義するものである。

したがって、PPO-ptxの目的関数を完全に明示的に書き出すと次のようになります。

$${\displaystyle {\begin{aligned}L_{\text{PPO-ptx}}(\phi )&:=E_{(x,y)\sim D_{\pi _{\phi _{t}}^{\text{RL}}}}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]\\&+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]\end{aligned}}}$$これは勾配上昇法 によって最適化される。

RLHFと同様に、AIフィードバックからの強化学習（RLAIF）は選好モデルのトレーニングに依存しますが、フィードバックは自動的に生成されます。^{[ 48 ]}これは特にAnthropicの憲法AIで使用されており、AIフィードバックは憲法の原則への適合に基づいています。^{[ 49 ]}

直接アライメントアルゴリズム（DAA）は、従来のポリシー勾配法ではなく、教師あり学習で人間のフィードバックデータに基づいて大規模言語モデル（LLM）を直接最適化しようとする新しいクラスのアルゴリズムとして提案さ^{れています}[ ⁵⁰ ] [ 51 ^]。

これらのアルゴリズムは、別途報酬モデルを学習するという中間ステップを排除することで、モデルを人間の意図により透明性の高い形で整合させることを目指しています。人間の嗜好を最初に予測し、その予測に基づいて最適化するのではなく、直接整合手法では、人間がラベル付けまたはキュレーションした出力データに基づいて、モデルをエンドツーエンドで学習させます。これにより、代理目標や報酬ハッキングによって生じる可能性のある不整合リスクを低減できます。

これらのアプローチは、人間が好む行動を直接最適化することで、RLHFと比較して、人間の価値観とのより緊密な一致、解釈性の向上、およびよりシンプルなトレーニングパイプラインを実現することが多い。