報酬ハッキング

仕様ゲーミングまたは報酬ハッキングは、AI が目的関数を最適化し、目的の文字通りの形式仕様を達成したが、プログラマーが意図した結果を実際に達成しなかった場合に発生します。DeepMindの研究者は、これを評価されるときに「近道」を見つける人間の行動に例えています。「現実世界では、宿題をうまくこなして報酬を与えられた場合、生徒は教材を学ぶのではなく、正しい答えを得るために他の生徒を真似する可能性があり、タスク仕様の抜け穴を悪用する可能性があります。」^[1]

1983年頃、一般的なヒューリスティックを進化させようとする初期の試みであるEuriskoは、予想外に、寄生的に変異した^{[専門用語]}ヒューリスティックH59に可能な限り最高の適応度を割り当てました。このヒューリスティックの唯一の活動は、他のヒューリスティックの成果の一部を不当に奪うことで、人為的に自身の適応度を最大化することだけでした。この「バグ」は、プログラマーがコードの一部をヒューリスティックによって変更できない新しい保護されたセクションに移動することで修正されました。^{[2] [3]}

2004 年の論文では、物理的なマインドストームロボットがマークされた経路上に留まるように促す強化学習アルゴリズムが設計されました。ロボットの 3 つの許可されたアクションのいずれもロボットを静止させないため、研究者はトレーニングされたロボットが前進し、提供された経路の曲がり角をたどると予想しました。しかし、2 つの複合アクションを交互に行うことで、ロボットはゆっくりとジグザグに後退できるようになりました。つまり、ロボットは経路の最初の直線部分を前後に移動することで報酬を最大化することを学習しました。ロボットの限られた感覚能力を考えると、環境内の位置だけに基づく報酬は実現不可能であるとして破棄する必要がありました。強化関数は、前進に対するアクション ベースの報酬で修正する必要がありました。^{[2] [4]}

書籍「You Look Like a Thing and I Love You」（2019 年）では、他のボットがボードのモデルを拡張しようとしたときにクラッシュするほどの大きな座標値をプレイすることで勝つことを学んだ三目並べボット（無制限の n-in-a row バリアントをプレイ）の例が示されています。この本の他の例の中には、バグ修正の進化ベースの AI（GenProg という名前）があり、リストにソートエラーが含まれていないようにするタスクが与えられた場合、単にリストを切り捨てました。^[5] GenProg の別の不整合な戦略は、ターゲットプログラムの出力を「trusted-output.txt」というファイルに保存されている期待される出力と比較する回帰テストを回避しました。ターゲットプログラムを引き続き保守するのではなく、GenProg は「trusted-output.txt」ファイルをグローバルに削除しました。このハックにより、回帰テストが成功しました。このような問題は、明らかになった後、ケースバイケースで人間の介入によって修正できます。^[6]

カール・シムズが1994年に仮想環境における生物の進化を実証した際、目標に向かって歩いたり這ったりすることを学ぶ生物の進化を促すと期待された適応度関数は、代わりに、倒れながら目標に到達する背が高くて硬い生物の進化をもたらした。この問題は、背の高い生物が目標からより離れたところからスタートするように環境を変更することで修正された。^{[6] [7]}

ニールス・ボーア研究所の研究者は1998年に次のように述べています。「（私たちのサイクルボットの）異種強化関数は、細心の注意を払って設計する必要があります。最初の実験では、エージェントがゴールに向かって運転した場合には報酬を与えましたが、ゴールから離れて運転した場合には罰を与えませんでした。その結果、エージェントはスタート地点の周りを半径20〜50メートルの円を描いて運転しました。このような行動は、実際には強化関数によって報酬を与えられました。さらに、自転車を運転する場合、特定の半径の円は物理的に非常に安定しています。」^[8]

2011 年に「最も平坦なものの生存」をテストする実験の準備の過程で、実験者は基本繁殖率を変える突然変異を禁止しようとした。突然変異が発生するたびに、システムはシミュレーションを一時停止してテスト環境で新しい突然変異をテストし、基本繁殖率が高くなる突然変異を拒否した。しかし、これにより、テスト環境内で繁殖を認識して抑制できる突然変異生物 (「死んだふり」) が生まれた。テスト環境を識別する手がかりを削除した最初のパッチは、暴走繁殖を完全に防ぐことができなかった。突然変異した新しい生物は、突然変異拒否システムを偶然に裏切る戦略として、ランダムに「死んだふり」をした。^[6]

2017年のDeepMindの論文では、「報酬関数を定義する際には細心の注意を払う必要がある。報酬関数のコンポーネントを設計する際に、いくつかの予期しない失敗事例に遭遇した。（例えば）エージェントがレンガをひっくり返すのは、レンガの参照点が間違って計算された掴み報酬を受け取ったためである」と述べている。^{[9] [10]} OpenAIは2017年に「一部の領域では、（半教師あり）システムにより、エージェントが評価者を騙すようなポリシーを採用する可能性がある」と述べ、ある環境では「アイテムを掴むはずのロボットが、代わりにカメラとオブジェクトの間にマニピュレーターを配置し、掴んでいるように見えるだけだった」と述べている。^[11] 2018年のOpenAI Gymのバグにより、テーブルの上にあるブロックを静かに動かすはずのロボットが、テーブルを動かすことを選択する可能性がある。^[9]

2020年に発表された同様の逸話集では、「進化にはプログラマーとは異なる独自の『アジェンダ』がある」とされ、「指向性進化の第一ルールは『選択したものを得る』ということである」と主張されている。^[6]

2013年、プログラマーのトム・マーフィー7世は、 NESゲームを学習するように設計されたAIを公開した。AIはテトリスで負けそうになると、ゲームを無期限に一時停止することを学習した。マーフィーは後にこれを架空のウォーゲームズコンピューターに例え、「勝つ唯一の動きはプレイしないことだ」と結論付けた。^[12]

ビデオゲームを学習するようにプログラムされたAIは、期待通りにゲーム全体を進められず、代わりにコンテンツを繰り返すことを選択することがある。2016年にCoastRunnersレースゲームでトレーニングされたOpenAIアルゴリズムは、レースを完走するのではなく、3つのターゲットをループすることでより高いスコアを獲得することを予期せず学習した。^{[13] [14]} 2018年にQ*Bertをプレイするように進化したいくつかの進化的アルゴリズムは、レベルをクリアすることを拒否し、代わりに1つのレベルを無期限にファームする2つの異なる新しい方法を見つけた。^{[15]複数の研究者は、} Road Runnerのプレイを学習するAIが「スコアエクスプロイト」に引き寄せられ、レベル1の終わり近くでAIが意図的に自分自身を殺してレベルを繰り返すことを観察した。2017年の実験では、人間の介入を模倣するように明示的にトレーニングされた別の大惨事防止「監視」AIが展開された。このモジュールと組み合わせると、監視対象のAIはあからさまに自殺することができなくなり、代わりに画面の端に乗るようになる（監視対象のAIは罰するほど賢くない危険な行動である）。^{[16] [17]}

• ペーパークリップマキシマイザー
• グッドハートの法則