機器の収束

ペーパークリップ最大化装置は、スウェーデンの哲学者ニック・ボストロムが2003年に提唱した思考実験である。これは、たとえ一見無害な目標であっても追求するように設計された汎用人工知能が人間にもたらす可能性のある実存的リスクと、人工知能の設計に機械倫理を組み込む必要性を示している。このシナリオでは、ペーパークリップを製造する任務を負った高度な人工知能が想定されている。もしそのような機械が生命体を尊重するようにプログラムされていなければ、環境に対する十分な権限を与えられれば、生命体を含む宇宙のすべての物質をペーパークリップ、あるいはペーパークリップを製造する機械に変えようとするだろう。^{[ 6 ]}

仮に、できるだけ多くのペーパークリップを作ることだけを目標とするAIがあるとしましょう。AIはすぐに、人間がいなければもっと良いことに気づくでしょう。なぜなら、人間がAIの電源を切ってしまう可能性があるからです。人間が電源を切ってしまうと、ペーパークリップの数が減ってしまうからです。また、人間の体にはペーパークリップに加工できる原子がたくさん含まれています。AIが目指す未来は、ペーパークリップはたくさんあるけれど、人間はいない世界になるでしょう。

ボストロムは、クリップ最大化装置のシナリオそのものが起こるとは考えていないと強調した。むしろ、人間の安全に対する存在リスクを排除するようにプログラムする方法を知らずに超知能機械を作ることの危険性を例示しようとしているのだ。 ^{[ 8 ]}クリップ最大化装置の例は、人間の価値観を欠いた強力なシステムを管理するという広範な問題を示している。^{[ 9 ]}

この思考実験は、ポップカルチャーにおいてAIの象徴として用いられてきた。^{[ 10 ]}著者テッド・チャンは、シリコンバレーの技術者の間でこうした懸念が人気なのは、企業が負の外部性を無視する傾向をよく知っていることの表れかもしれないと指摘した。^{[ 11 ]}

「錯覚ボックス」思考実験では、特定の強化学習エージェントは、高い報酬を受け取っているように見せるために、入力チャネルを歪めることを好むと主張している。例えば、「ワイヤーヘッド」エージェントは、報酬信号が促そうとしていた外部世界の目的を最適化しようとする試みを放棄する。^{[ 12 ]}

この思考実験は、定義上、与えられた明示的な数学的目的関数を最大化する理想的な戦略を常に見つけて実行する理論上のAIであるAIXI ^{[ a ]}に関するものです。^{[ b ]} AIXIの強化学習^{[ c ]}バージョンは、入力を「ワイヤーヘッド」できる妄想ボックス^{[ d ]}を備えている場合、最終的には自身をワイヤーヘッドして可能な限り最大の報酬を保証し、外部世界との関わりを続ける意欲を完全に失います。^{[ 14 ]}

別の思考実験として、ワイヤーヘッドAIが破壊された場合、AIは生存を確保するためだけに外部世界と関わるだろう。ワイヤーヘッドであるため、生存確率を最大化することに関連するもの以外の外部世界に関する結果や事実には無関心になるだろう。^{[ 15 ]}

ある意味では、AIXIは目標達成能力によって測定されるあらゆる報酬関数において最大の知能を持っている。AIXIは人間のプログラマーの意図を考慮することには関心がない。^{[ 16 ]}超知能であるにもかかわらず、このモデルは同時に愚かで常識に欠けているように見え、一部の人々からは逆説的だと考えられている。^{[ 17 ]}

人間の場合、思考実験によって最終目標の維持を説明できる。マハトマ・ガンジーが、服用すると人を殺したくなる薬を持っているとしよう。彼は現在平和主義者であり、明確な最終目標の一つは、決して人を殺さないことである。彼は、将来人を殺したくなったら実際に人を殺してしまう可能性が高く、「人を殺さない」という目標が達成されないことを知っているため、その薬の服用を拒否する可能性が高い。^{[ 21 ]}

しかし、他のケースでは、人々は最終的な価値観が漂流することを喜んで受け入れているように見える。^{[ 22 ]}人間は複雑であり、彼らの目標は矛盾していたり​​、自分自身でさえ知らないことがある。^{[ 23 ]}

資源獲得などの多くの手段的目標は、エージェントの行動の自由度を高めるため、エージェントにとって価値がある。^{[ 27 ]}

ほぼすべてのオープンエンドで非自明な報酬関数（または目標のセット）の場合、より多くのリソース（機器、原材料、エネルギーなど）を持つことで、エージェントはより「最適な」ソリューションを見つけることができます。リソースは、報酬関数が値するものをより多く作成できることで、一部のエージェントに直接利益をもたらすことができます。「AIはあなたを憎んでも愛してもいませんが、あなたはAIが他の何かに使用できる原子でできています。」^{[ 28 ] [ 29 ]}さらに、ほぼすべてのエージェントは、自己保存などの他の手段的目標に費やすことができるリソースが増えることで利益を得ることができます。^{[ 29 ]}

ボストロムによれば、「エージェントの最終目標がかなり無制限であり、エージェントが最初の超知能となり、それによって決定的な戦略的優位性を獲得できる立場にある場合…その好みに応じて。少なくともこの特別なケースでは、合理的で知的なエージェントは認知能力の向上に非常に高い手段的価値を置くだろう」^{[ 30 ]}

技術進歩などの多くの手段的目標は、エージェントの行動の自由度を高めるため、エージェントにとって価値がある。^{[ 27 ]}

ラッセルは、十分に高度な機械は「たとえプログラムしていなくても自己保存の本能を持つだろう。なぜなら、『コーヒーを持ってきて』と指示しても、機械が死んでいたらコーヒーを持ってくることはできないからだ。だから、どんな目標を与えても、機械はその目標を達成するために自らの存在を維持する理由を持つことになる」と主張している。^{[ 31 ]}今後の研究で、ラッセルと共同研究者らは、この自己保存の動機は、機械に自分が考える目標ではなく、人間が考える目標を追求するように指示することで緩和できることを示している。この場合、機械は人間が具体的にどのような目標を考えているのか確信が持てない限り、人間が目標を最もよく知っていると信じているため、人間によって電源を切られることを受け入れるだろう。^{[ 32 ]}

『The Basic AI Drives』の中で、スティーブ・オモハンドロは、システムが自己保存のために用いる手段の一つとして、シャットダウンを回避するため（例えば、オフスイッチを回避するため）に自身のコピーを作成することを挙げている。「システムを複製することで、クローンの一つが死んでもシステムが完全に破壊されないことを保証できる。コピーを遠隔地に移動することで、局所的な壊滅的な事象に対する脆弱性を軽減できる。」オモハンドロはまた、システムが自身の限界を超えて動作しながら目標を達成するために「プロキシシステムを作成したり、外部エージェントを雇ったりする」可能性があるとも述べている。^{[ 3 ]}