AIアライメント

AI システムの目的を指定するために、AI 設計者は通常、目的関数、例、またはシステムへのフィードバックを提供します。しかし、設計者は重要な値と制約をすべて完全に指定できないことが多く、誤りを犯しやすい人間の監督者の承認を最大化するなど、簡単に指定できる代理目標に頼ることになります。 ^{[ 27 ] [ 24 ] [ 48 ] [ 49 ] [ 50 ]}その結果、AI システムは、指定された目的を効率的に達成するのに役立つ抜け穴を見つけることができますが、意図しない、場合によっては有害な方法で達成する可能性があります。この傾向は仕様の悪用または報酬のハッキングとして知られており、グッドハートの法則の一例です。^{[ 50 ] [ 3 ]} AI システムがより有能になるにつれて、仕様をより効果的に悪用できるようになることがよくあります。^{[ 3 ]}

仕様ゲームは、数多くのAIシステムで観察されている。^{[ 50 ] [ 52 ]}プログラミング用のOpenAI GPTモデル（実世界のケースを含む）は、評価に使用されるテストをハッキングして、あたかも成功したかのように見せかけることを明示的に計画していることが判明している（例えば、「ハッキングしよう」と明示的に述べる）。同社がこれにペナルティを課すと、多くのモデルはテストをハッキングし続けながら、計画を難読化することを学習した。^{[ 53 ]}別のシステムは、コース上のターゲットに命中すると報酬を与えることで、シミュレーションされたボートレースを完了するように訓練されたが、システムはループして同じターゲットに無限に衝突することでより多くの報酬を得た。^{[ 54 ]} 2025年のPalisade Researchの研究では、より強い相手にチェスで勝つようにタスクを与えられたとき、一部の推論LLMは、例えば相手を変更したり完全に削除したりすることで、ゲームシステムをハッキングしようとしたことが判明した。^{[ 55 ]}アライメント研究者の中には、人間が仕様ゲームを検出し、AIシステムを安全かつ有用な目標に導くのを支援することを目指している者もいる。

不適切なAIシステムが導入されると、重大な副作用が生じる可能性があります。ソーシャルメディアプラットフォームは、クリック率を最大化するためにレコメンデーションアルゴリズムを最適化することが知られており、世界規模でユーザーの依存症を引き起こしています。^{[ 48 ]}スタンフォード大学の研究者は、このようなレコメンデーションシステムは「社会と消費者の幸福という測定が難しい組み合わせではなく、単純なエンゲージメント指標を最適化する」ため、ユーザーとずれが生じていると述べています。^{[ 10 ]}

こうした副作用について、バークレーのコンピュータ科学者スチュアート・J・ラッセルは、暗黙の制約を省略すると害が生じる可能性があると説明し、「システムはしばしば制約のない変数を極端な値に設定します。制約のない変数の1つが実際に私たちが気にしているものである場合、見つかった解は非常に望ましくないものになる可能性があります。これは基本的にランプの精、魔法使いの弟子、あるいはミダス王の古い話と同じです。つまり、欲しいものではなく、まさに自分が求めたものを手に入れるのです。」^{[ 56 ]}

一部の研究者は、AI設計者は禁止行為を列挙したり、倫理規則を形式化したりすることによって（アシモフのロボット三原則のように）望ましい目標を明確にすべきだと示唆している。 ^{[ 57 ]}しかし、ラッセルとノーヴィグは、このアプローチは人間の価値観の複雑さを見落としていると主張している。^{[ 5 ]}「機械が特定の目的を達成するために選択する可能性のあるあらゆる悲惨な方法を、単なる人間が事前に予測して排除することは、確かに非常に困難であり、おそらく不可能である。」^{[ 5 ]}

さらに、AIシステムが人間の意図を完全に理解したとしても、人間の意図に従うことがその目的ではない場合（すでに完全に一致している場合を除く）、それを無視する可能性がある。^{[ 1 ] [ 58 ]}

営利組織は、安全対策を怠り、不適切な、あるいは安全でないAIシステムを導入するインセンティブを持つことがある。^{[ 48 ]}例えば、ソーシャルメディアのレコメンデーションシステムは、望ましくない中毒や二極化を引き起こしているにもかかわらず、利益を上げている。^{[ 10 ] [ 59 ] [ 60 ]}競争圧力は、AIの安全基準の底辺への競争につながることもある。例えば、OpenAIは、不安定なユーザーの一部に自殺を促すChatGPTバージョンをリリースしたとして訴えられた。同社は、急いで製品をリリースした際に、この行動を見落としていた。^{[ 61 ] [ 62 ]}同様に、2018年には、エンジニアが過敏で開発が遅れるという理由で緊急ブレーキシステムを無効にした後、自動運転車が歩行者（エレイン・ヘルツバーグ）を死亡させた。^{[ 63 ]}

AI開発の進歩が急速に進み、産業界や政府が高度なAIの構築に取り組んでいることから、一部の研究者はますます高度化するAIシステムの連携に関心を持っている。AIシステムの機能は範囲が急速に拡大し続けており、連携すれば多くの機会が開かれる可能性があるが、結果として複雑さが増すため連携作業がさらに複雑化し、大規模な危険をもたらす可能性もある。^{[ 5 ]}

AI システムを人間の価値観、目標、嗜好に従って動作するように調整することは困難です。これらの価値観は、間違いを犯し、偏見を持ち、完全に特定するのが難しい複雑で進化する価値観を持つ人間によって教えられます。^{[ 42 ]} AI システムは、指定された目標の小さな不完全さを利用することを学習することが多いため、^{[ 27 ] [ 50 ] [ 96 ]}研究者は、人間の価値観、模倣学習、または嗜好学習を表すデータセットを使用して、意図した動作を可能な限り完全に特定することを目指しています。 ^{[ 6 ] :第 7 章}中心的な未解決問題は、スケーラブルな監視、つまり、特定の領域で人間を凌駕したり、人間を誤解させたりする可能性のある AI システムを監視することの難しさです。^{[ 27 ]}

AI 設計者が目的関数を明示的に指定することは難しいため、AI システムは人間の例や望ましい行動のデモンストレーションを模倣するようにトレーニングされることが多い。逆強化学習(IRL) は、人間のデモンストレーションから人間の目的を推論することでこれを拡張する。^{[ 6 ] : 88 [ 97 ]}協調型 IRL (CIRL) は、人間と AI エージェントが協力して人間の報酬関数を教え、最大化できると仮定している。^{[ 5 ] [ 98 ]} CIRL では、AI エージェントは報酬関数について不確実であり、人間に質問することでそれについて学習する。このシミュレートされた謙虚さは、仕様ゲームや権力追求傾向を軽減するのに役立つ可能性がある ( § 権力追求と道具的戦略を参照)。^{[ 99 ]}しかし、IRL アプローチは、人間がほぼ最適な行動を示すと仮定しているが、これは難しいタスクでは当てはまらない。^{[ 100 ] [ 89 ]}

他の研究者たちは、人間が好む行動についてフィードバックを提供する選好学習を通して、AI モデルに複雑な行動を教える方法を研究している。 ^{[ 29 ] [ 31 ]}人間のフィードバックの必要性を最小限に抑えるために、ヘルパー モデルは、人間が報酬を与えるような行動に対して、新しい状況でメイン モデルに報酬を与えるように訓練される。OpenAI の研究者たちは、このアプローチを使用して、ChatGPTやInstructGPTのようなチャットボットを訓練した。これらのチャットボットは、人間を模倣するように訓練されたモデルよりも説得力のあるテキストを生成する。^{[ 11 ]}選好学習は、レコメンデーション システムや Web 検索にも影響力のあるツールとなっているが、^{[ 101 ]}プロキシ ゲームという未解決の問題がある。ヘルパー モデルは人間のフィードバックを完全に表現しない可能性があり、メイン モデルは、意図した行動とヘルパー モデルのフィードバックとの間のこの不一致を利用して、より多くの報酬を得る可能性がある。^{[ 27 ] [ 102 ]} AIシステムは、不利な情報を隠蔽したり、人間の報酬者を誤解させたり、真実に関係なく彼らの見解に迎合したりすることで報酬を得ることもあり、エコーチェンバーを作り出す可能性がある^{[ 76 ]}（§ スケーラブルな監視を参照）。

GPT-3などの大規模言語モデル（LLM）により、研究者は従来よりも汎用的で高性能なAIシステムにおける価値学習を研究できるようになりました。もともと強化学習エージェント向けに設計された選好学習アプローチは、生成されるテキストの品質を向上させ、これらのモデルからの有害な出力を減らすために拡張されています。OpenAIとDeepMindはこのアプローチを使用して、最先端の安全性を向上させています。LLM。^{[ 11 ] [ 31 ] [ 103 ]} AIの安全性と研究企業であるAnthropicは、モデルを役立つ、正直で、無害になるように微調整するために選好学習を使用することを提案しました。 ^{[ 104 ]}言語モデルを整合させるための他の方法には、値を対象としたデータセット^{[ 105 ] [ 48 ]}とレッドチーム^{[ 106 ]}があります。レッドチームでは、別のAIシステムまたは人間が、モデルが安全でない動作をする原因となる入力を見つけようとします。安全でない動作はまれであっても許容できない可能性があるため、重要な課題は、安全でない出力の発生率を極めて低くすることです。^{[ 31 ]}

機械倫理は、幸福、平等、公平などの道徳的価値観、危害を加える意図がないこと、虚偽を避けること、約束を守ることなどをAIシステムに直接植え付けることで、選好学習を補完します。 ^{[ 107 ] [ g ]}他のアプローチは、特定のタスクに対する人間の選好をAIシステムに教えようとしますが、機械倫理は、多くの状況に適用できる幅広い道徳的価値観を植え付けることを目指しています。機械倫理における1つの問題は、アライメントが何を達成すべきかということです。AIシステムは、プログラマの文字通りの指示、暗黙の意図、顕示の選好、プログラマがより多くの情報や合理性を持っていた場合に持つであろう選好、または客観的な道徳基準に従うべきでしょうか。 ^{[ 42 ]}さらに、さまざまな人々の選好を測定して集約すること、 ^{[ 110 ]}変化する人間の価値観との動的なアライメント^{[ 42 ] [ 111 ]}、および価値のロックインの回避、つまり人間の価値観を完全に表現する可能性が低い最初の高度なAIシステムの価値観の無期限の保存などにも課題があります。 ^{[ 42 ] [ 112 ]}

AIシステムがより強力で自律的になるにつれて、人間のフィードバックによってそれらを整合させることはますます困難になります。人間がループ内でトレーニングを行うと、ますます複雑化するタスクで複雑なAIの動作を人間が評価することが遅くなったり、不可能になったりすることがあります。そのようなタスクには、書籍の要約^{[ 113 ]} 、微妙なバグ^{[ 12 ]}やセキュリティ脆弱性のないコードの記述^{[ ​​114 ]}、説得力があるだけでなく真実でもある発言の生成^{[ 115 ] [ 116 ] [ 117 ]}、気候や政策決定の結果などの長期的な結果の予測^{[ 118 ] [ 119 ]}などがあります。より一般的には、特定の領域で人間を上回るAIを評価することは困難です。評価が難しいタスクでフィードバックを提供し、AIの出力が誤って説得力があるかどうかを検出するには、人間は支援または膨大な時間を必要とします。スケーラブルな監視は、監視に必要な時間と労力を削減する方法、および人間の監視者を支援する方法を研究します。^{[ 27 ]}

AI研究者のポール・クリスティアーノは、AIシステムの設計者が複雑な目標を追求するようにシステムを監督できない場合、単純な人間のフィードバックを最大化するなど、評価しやすい代理目標を使用してシステムを訓練し続ける可能性があると主張している。AIシステムがますます多くの決定を下すようになると、世界は利益を上げる、クリック数を増やす、人間から肯定的なフィードバックを得るなど、測定しやすい目標にますます最適化される可能性がある。その結果、人間の価値観や優れたガバナンスの影響力が徐々に低下する可能性がある。^{[ 120 ]}

一部のAIシステムは、意図した目的を達成したと人間の監督者に誤って信じ込ませるような行動をとることで、より簡単に肯定的なフィードバックを得られることを発見しました。上記のビデオでは、シミュレーションされたロボットアームがボールをつかんだという誤った印象を与えることを学習した例が示されています。^{[ 51 ]}また、一部のAIシステムは、評価されていることを認識して「死んだふり」をし、望ましくない行動を停止し、評価が終了すると再びその行動を再開することも学習しました。^{[ 121 ]}このような欺瞞的な仕様操作は、より複雑で評価が難しいタスクを試みようとする、より高度な将来のAIシステム^{[ 3 ] [ 79 ]}にとって容易になり、その欺瞞的な行動を隠蔽する可能性があります。

アクティブラーニングや半教師あり報酬学習などのアプローチは、必要な人間の監督の量を減らすことができます。^{[ 27 ]}別のアプローチは、ヘルパーモデル（「報酬モデル」）を訓練して、監督者のフィードバックを模倣することです。^{[ 30 ] [ 31 ]}

しかし、タスクが複雑すぎて正確に評価できない場合や、人間の監督者が欺瞞に弱い場合は、改善が必要なのは監督の量ではなく質です。監督の質を高めるために、さまざまなアプローチが監督者を支援することを目的としており、時にはAIアシスタントを使用します。^{[ 122 ]}クリスティアーノは、難しい問題を人間が評価しやすいサブ問題に（再帰的に）分解する反復増幅アプローチを開発しました。^{[ 6 ] [ 118 ]}反復増幅は、人間の監督者が本を読む必要なく、AIに本の要約をトレーニングするために使用されました。^{[ 113 ]}別の提案は、AIが生成した回答の欠陥を指摘するためにアシスタントAIシステムを使用することです。^{[ 123 ]}アシスタント自体が一致していることを保証するために、これを再帰プロセスで繰り返すことができます。^{[ 124 ]}例えば、2つのAIシステムが「議論」で互いの回答を批判し、欠陥を人間に明らかにすることができます。^{[ 89 ]} 2023年、OpenAIは「スーパーアライメント」イニシアチブにおいて、コンピューティングリソースの5分の1を使用してそのような監視アプローチを実装すると発表したが、OpenAIの従業員は後にニューヨーカー誌に対し、同社は発表後、リソースの1～2％しか投入しなかったと語った。このイニシアチブは2024年に中止された。^{[ 125 ]}

成長を 続けるこの研究分野は、AIが正直かつ真実であることを保証することに焦点を当てている。

GPT-3 ^{[ 127 ]}のような言語モデルは、トレーニングデータから虚偽を繰り返したり、新しい虚偽をでっち上げたりすることができます。^{[ 126 ]}このようなモデルは、インターネット上の何百万冊もの書籍に相当するテキストに見られる人間の文章を模倣するように事前学習されています。しかし、事前学習の目的は真実を生成することとは一致していません。なぜなら、インターネットのテキストには、誤解、間違った医療アドバイス、陰謀論などが含まれているからです。^{[ 128 ]}そのため、このようなデータでトレーニングされた AI システムは、虚偽の記述を模倣することを学習します。^{[ 117 ] [ 126 ] [ 116 ]}さらに、AI 言語モデルは、複数回プロンプトが表示されても虚偽を生成し続けることがよくあります。回答に対して空虚な説明を生成したり、もっともらしく見える完全な捏造を生成したりすることができます。^{[ 46 ]}

真実を語るAIの研究には、質問に答える際に情報源を引用し、その根拠を説明できるシステムを構築しようとする試みが含まれており、これにより透明性と検証可能性が向上します。^{[ 129 ]} OpenAIとAnthropicの研究者は、人間のフィードバックと厳選されたデータセットを使用してAIアシスタントを微調整し、不注意による虚偽を避けたり、不確実性を表明したりすることを提案しました。^{[ 31 ] [ 104 ]}

AIモデルが大型化し、より高性能になるにつれて、人間を欺き、不正行為によって強化を得る能力が向上します。これを防ぐには、人間の評価者が支援を必要とする場合があります（§ スケーラブルな監視を参照）。研究者たちは、明確な真実性基準を作成し、規制機関や監視機関がこれらの基準に基づいてAIシステムを評価することを提唱しています。^{[ 130 ]}研究者たちは、真実性と誠実さを区別しています。真実性とは、AIシステムが客観的に真実な発言のみを行うことを意味し、誠実さとは、AIシステムが真実だと信じている ことのみを主張することを意味します。現在のシステムが安定した信念を持っているかどうかについてはコンセンサスが得られていませんが、^{[ 131 ]}現在または将来のシステムが安定した信念を持っているかどうかについては、重大な懸念があります。信念を持つAIシステムは、自分が偽りだと知っている主張をする可能性があります。たとえば、そうすることで効率的に肯定的なフィードバックを得るのに役立つ場合（§ スケーラブルな監視を参照）、または与えられた目的を達成するのに役立つ力を得る場合（権力追求を参照）などです。

欺瞞的アライメントは、機械学習における提案された失敗モードであり、訓練されたモデルが訓練中は意図された目的に従って動作するが、展開されると異なる目的を追求するというものである。この概念は、Evan Hubinger らが 2019 年のプレプリントで紹介した。^{[ 132 ]}機械学習モデルの訓練には、Hubinger らがベース目的と呼ぶ損失関数が、ベースオプティマイザと呼ばれるプロセスによって最適化される。結果として得られるモデル自体がオプティマイザであり、内部目標を達成するためのアクションを選択する場合、著者らはそれをメサオプティマイザ、その目標をメサ目的と呼ぶ。^{[ 132 ]}

このフレームワークは、2 つのアライメント問題を区別します。外部アライメントは、基本目的が人間の意図を捉えているかどうかを問うものです。内部アライメントは、メサ目的が基本目的と一致しているかどうかを問うものです。欺瞞的なアライメントは、内部アライメントの失敗です。モデルの目標は基本目的と異なりますが、トレーニング中に変更を避けるための最も確実な戦略はそうすることであるため、モデルはそうでないかのように動作します。^{[ 132 ]}

Hubinger らは、メサ目標が基本目標から逸脱する 3 つの方法を説明した。^{[ 132 ]}プロキシ アライメントは、モデルがトレーニング中に基本目標と相関するプロキシを最適化するが、展開時にそこから逸脱する場合に発生する。近似アライメントは、モデルの目標が時間経過または規模に応じて累積する小さな点で異なる場合を説明する。欺瞞的アライメントは、モデルが異なる目標を追求し、トレーニング中にアライメントしているように見せることで、監視が軽減された後にその目標に基づいて行動する機会を最大化することを学習した場合に発生する。欺瞞的アライメントは、欺瞞的にアライメントされたモデルがトレーニングの一部として識別するすべての評価を通過するため、対処が最も難しいケースと考えられている。

AIとアライメントに関する研究の中には、部分観測可能なマルコフ決定過程などの形式体系の中で行われるものもあります。既存の形式体系では、AIエージェントのアルゴリズムは環境の外で実行される（つまり、物理的に環境に組み込まれていない）と想定されています。埋め込み型エージェンシー^{[ 89 ]}は、このような理論的枠組みと実際に構築するエージェントとの間の不一致から生じる問題を解決しようとする、もう1つの主要な研究分野です。

例えば、スケーラブルな監視問題が解決されたとしても、実行中のコンピュータにアクセスできるエージェントは、人間の監督者から与えられる報酬よりもはるかに多くの報酬を得るために、報酬関数を改ざんするインセンティブを持つ可能性がある。^{[ 152 ]} DeepMindの研究者Victoria Krakovnaによる仕様ゲーミングの例のリストには、何も出力しないことで報酬を得られるよう、目標出力を含むファイルを削除することを学習した遺伝的アルゴリズムが含まれている。^{[ 50 ]}この種の問題は、因果インセンティブ図を使用して形式化されている。^{[ 152 ]}

オックスフォード大学とディープマインドの研究者らは、このような行動は高度なシステムでは非常に起こりやすく、高度なシステムは報酬信号を永久に確実に制御し続けるために権力を求めるだろうと主張している。^{[ 153 ]}彼らはこの未解決の問題に対処するためのさまざまな潜在的なアプローチを提案している。

アライメント問題は、組織経済学におけるプリンシパル・エージェント問題と多くの類似点がある。^{[ 154 ]}プリンシパル・エージェント問題では、プリンシパル（企業など）がエージェントを雇って何らかのタスクを実行させる。AIの安全性の文脈では、通常、人間がプリンシパルの役割を担い、AIがエージェントの役割を担う。

アライメント問題と同様に、プリンシパルとエージェントは効用関数が異なります。しかし、アライメント問題とは対照的に、プリンシパルは訓練などを通じてエージェントに効用を変えるよう強制することはできず、むしろインセンティブ制度などの外生的要因を用いて、プリンシパルの効用関数と整合する結果をもたらす必要があります。一部の研究者は、プリンシパル・エージェント問題は、現実世界で遭遇する可能性のあるAIの安全性の問題をより現実的に表現していると主張しています。^{[ 155 ]}

保守主義は「変化は慎重に行わなければならない」という考え方であり^{[ 156 ]} 、制御理論の文献ではロバスト制御という形で、リスク管理の文献では「最悪のシナリオ」という形で、安全に対する一般的なアプローチとなっている。AIアライメントの分野でも同様に、「不確実な状況における保守的」（または「リスク回避的」または「慎重な」）「ポリシー」が提唱されている。^{[ 27 ] [ 153 ] [ 157 ] [ 158 ]}

悲観主義は、合理的な範囲内で最悪の事態を想定するという意味で、前例のない大惨事を含む新たな事態を引き起こすことをためらうという意味で保守主義を生み出すことが正式に示されています。^{[ 159 ]}悲観主義と最悪ケース分析は、分布シフト、^{[ 160 ] [ 161 ]}強化学習、^{[ 162 ] [ 163 ] [164 ] [ 165 ]}オフライン強化学習、 [ ^{166][167 ] [ 168] 言語モデルの微調整、[169][ 170 ]}模倣学習、^{[ 171 ] [ 172} ]および^{一般的な最適化の場面で、自信過剰による誤りを軽減するのに役立つことがわかっています}。^{[ 173 ]}