フレンドリーな人工知能

友好的な人工知能（友好的な AIまたはFAI）は、人類にプラス（無害）な影響を与えるか、少なくとも人間の利益に合致するか、人類の向上を促進することに貢献する仮想的な汎用人工知能（AGI）です。これは人工知能の倫理の一部であり、機械倫理と密接に関連しています。機械倫理は人工知能エージェントがどのように行動すべきかを扱っていますが、友好的な人工知能の研究は、この行動を実際にどのように実現し、適切に制約されるかに焦点を当てています。

この用語は、このアイデアを広めたことで最もよく知られているエリゼル・ユドコウスキー^[1]によって造られ、^{[2] [3]、人間の価値観を確実に実装する}超知能人工エージェントについて議論した。スチュアート・J・ラッセルとピーター・ノーヴィグの主要な人工知能の教科書である「人工知能：現代的アプローチ」では、このアイデアについて次のように説明されている。[ ^2]

Yudkowsky (2008) は、友好的な AIの設計方法についてさらに詳しく説明しています。彼は、友好性 (人間に危害を加えたくないという願望) は最初から設計に組み込む必要があるが、設計者は自分の設計に欠陥がある可能性があることと、ロボットが時間の経過とともに学習して進化することを認識する必要があると主張しています。したがって、課題はメカニズム設計の 1 つであり、チェックとバランスのシステムの下で AI システムを進化させるメカニズムを定義し、そのような変化に直面しても友好的であり続けるユーティリティ関数をシステムに与えることです。

この文脈では「友好的」は専門用語として使われており、安全で有用なエージェントを指し、口語的な意味での「友好的」なエージェントを指すとは限らない。この概念は主に、再帰的に自己改善する人工エージェントが知能を急速に爆発的に高めるという議論の文脈で引き合いに出される。その理由は、この仮想技術が人間社会に大きく、急速で、制御が難しい影響を及ぼすからである。^[4]

人工知能に対する懸念の根源は非常に古い。ケビン・ラグランデュールは、ゴーレムやオーリヤックのジェルベールやロジャー・ベーコンのプロトタイプロボットなど、人工のヒューマノイドの召使いに関する古代の文献に、AI特有の危険性が見られることを明らかにした。これらの物語では、これらのヒューマノイドの創造物の極度の知性と力が、奴隷（本来人間以下と見なされている）としての地位と衝突し、悲惨な争いを引き起こしている。^[5] 1942年までに、これらのテーマはアイザック・アシモフに「ロボット工学三原則」を考案させるきっかけとなった。これは、彼の小説に登場するすべてのロボットに組み込まれた原則であり、ロボットが創造主に反抗したり、危害を加えたりするのを防ぐことを意図している。^[6]

超知能 AIの実現が近づいている現代において、哲学者ニック・ボストロムは、人間の倫理に沿わない目標を持つ超知能 AI システムは、人類の安全を確保するために極端な手段を講じない限り、本質的に危険であると述べています。彼は次のように述べています。

基本的に、「超知能」はどんな目標でも達成できると想定すべきです。したがって、私たちが超知能に与える目標とその動機付けシステム全体が「人間に優しい」ものであることが極めて重要です。

2008年、エリゼア・ユドコウスキーは、高度な人工知能による実存的リスクを軽減するために「友好的なAI」の創出を呼びかけました。彼は次のように説明しています。「AIはあなたを憎んでも愛してもいません。しかし、あなたはAIが他の目的に使用できる原子でできています。」^[7]

スティーブ・オモハンドロは、十分に進歩したAIシステムは、明示的に対抗されない限り、目標駆動型システムの本質的な性質上、リソース獲得、自己保存、継続的な自己改善などのいくつかの基本的な「駆動力」を示し、これらの駆動力は「特別な予防措置がなければ」AIに望ましくない動作をさせるだろうと述べています。^{[8] [9]}

アレクサンダー・ウィスナー・グロス氏は、将来の行動の自由度（または因果経路エントロピー）を最大化するように駆動されるAIは、計画期間が一定の閾値よりも長い場合は友好的であると考えられ、計画期間がその閾値よりも短い場合は非友好的であると考えられる可能性があると述べています。^{[10] [11]}

機械知能研究所のルーク・ミュールハウザー氏は、機械倫理の研究者はブルース・シュナイアー氏が「セキュリティの考え方」と呼ぶ考え方を採用することを推奨している。つまり、システムがどのように機能するかを考えるのではなく、どのように失敗するかを想像するのだ。例えば、彼は、正確な予測を行い、テキストインターフェースを介して通信するだけのAIでさえ、意図しない危害を引き起こす可能性があると示唆している。^[12]

2014年、ルーク・ミュールハウザーとニック・ボストロムは「友好的なAI」の必要性を強調しました。^[13]しかしながら、例えば反事実的な道徳的思考をプログラミングするなどして「友好的な」超知能を設計することは相当な困難を伴います。^{[14] [15]}

ユドコウスキーは、首尾一貫した外挿意志 (CEV) モデルを提唱しています。彼によると、首尾一貫した外挿意志とは、「私たちがもっと多くのことを知り、より速く考え、もっと私たちが望んでいたような人間になり、もっと一緒に成長していたらという私たちの願いであり、外挿が発散するのではなく収束し、私たちの願いが干渉するのではなく結びつくものであり、私たちが望むように外挿され、私たちが望むように解釈される」というものです。^[16]

友好的なAIは人間のプログラマーが直接設計するのではなく、まず人間の本性を研究し、十分な時間と洞察力があれば人類が望むであろうAIを生成して満足のいく答えに到達するようにプログラムされた「シードAI」によって設計される。^[16]偶発的な人間の本性（おそらく数学的な目的のために、効用関数またはその他の決定理論の形式で表される）を通じて目的に訴えることは、「友好性」の究極の基準を提供するものとして、客観的な道徳を定義するというメタ倫理的問題に対する答えである。推定された意志は、あらゆることを考慮して人類が客観的に望むものであることを意図しているが、それは現代の推定されていない人類の心理的および認知的性質に関連してのみ定義することができる。

スティーブ・オモハンドロは、AIの安全性に対する「足場」アプローチを提案しており、これは、証明可能な安全性を持つAI世代が、証明可能な安全性を持つ次の世代の構築を支援するというものである。^[17]

セス・バウムは、安全で社会的に有益な人工知能または人工汎用知能の開発は、AI研究コミュニティの社会心理学の機能であり、外的尺度によって制約され、内的尺度によって動機付けられる可能性があると主張している。内的動機は、メッセージがAI開発者に響くと強化される可能性がある。バウムは、対照的に、「有益なAIに関する既存のメッセージは必ずしもうまく組み立てられているわけではない」と主張している。バウムは「協力的な関係とAI研究者の肯定的な組み立て」を提唱し、AI研究者を「有益な設計を追求したくない」と特徴づけることに対して警告している。^[18]

AI研究者のスチュアート・J・ラッセルは著書『Human compatible』の中で、有益な機械の開発を導く3つの原則を挙げている。彼は、これらの原則は機械に明示的にコード化されるものではなく、むしろ人間の開発者向けに意図されていると強調している。その原則は以下の通りである。^{[19] : 173}

1. 機械の唯一の目的は、人間の好みを最大限に実現することです。
2. マシンは、最初はそれらの好みが何であるかについて確信がありません。
3. 人間の好みに関する究極の情報源は人間の行動です。

ラッセルが言及する「好み」は「すべてを網羅するものであり、あなたが気にかけるかもしれないあらゆることを、任意に遠い将来までカバーする」。^{[19] : 173} 同様に、「行動」には選択肢間のあらゆる選択が含まれる。 [ ^{19] : 177}そして不確実性は、論理的に可能なあらゆる人間の好みに、かなり小さいかもしれないが、何らかの確率を割り当てなければならないほどである。^{[19] : 201}

『Our Final Invention』の著者ジェームズ・バラットは、「AI開発者を集めてセキュリティに関するアイデアを共有するための官民パートナーシップを構築する必要がある。国際原子力機関のようなものだが、企業と提携している」と提案した。彼はAI研究者に、バイオテクノロジーのリスクを議論した組み換えDNAに関するアシロマ会議に似た会議を開催するよう促している。^[17]

ジョン・マクギニスは、政府に友好的なAI研究を加速するよう奨励している。友好的なAIのゴールポストは必ずしも目立つものではないため、彼は国立衛生研究所に似たモデルを提案している。そこでは「コンピューター科学者と認知科学者の査読委員会がプロジェクトをふるいにかけ、AIの進歩と、そのような進歩が適切な保護措置を伴うことを保証するように設計されたプロジェクトを選択する」。マクギニスは、官僚的な命令では捉えられない技術的な問題に対処するには、査読の方が規制よりも優れていると感じている。マクギニスは、彼の提案は、友好的なAIへの政府の関与を避けることを一般的に目指す機械知能研究所の提案とは対照的であると指摘している。^[20]

一部の批評家は、人間レベルのAIと超知能はどちらもありそうになく、したがって友好的なAIもありそうにないと考えている。アラン・ウィンフィールドはガーディアン紙に寄稿し、人間レベルの人工知能と光速を超える移動の難しさを比較し、リスクを考えると「用心深く準備する」必要があるが、超知能のリスクについて「執着する必要はない」と述べている。^[21]一方、ボイルズとジョアキンは、ルーク・ミュールハウザーとニック・ボストロムの友好的なAIを作成するという提案は希望が持てないと主張する。これは、ミュールハウザーとボストロムが、知能機械は人間が持っていたであろう道徳的価値観について反事実的に考えるようにプログラムできるという考えを持っているように見えるためである。^[13] AI & Society誌の記事で、ボイルズとホアキンは、機械にプログラムしなければならない反事実的条件の数が無限であること、道徳的価値観のセットを現金化することの難しさ、つまり人間が現在持っているものよりも理想的な価値観のセットと反事実的条件の前提条件の間に明らかな断絶があることを考慮すると、そのようなAIはそれほど友好的ではないと主張している。^[14]

哲学者の中には、人工物であれ人間であれ、真に「合理的な」エージェントは自然に善意を持つと主張する者もいる。この見解では、友好的な AI を生み出すために意図的な安全策を講じることは不必要であり、有害でさえある。^[22]他の批評家は、人工知能が友好的になり得るかどうか疑問視している。テクノロジー ジャーナルThe New Atlantisの編集者である Adam Keiper と Ari N. Schulman は、倫理的複雑さの問題はソフトウェアの進歩や計算能力の向上には屈しないため、AI の「友好的な」行動を保証することは不可能であると言う。彼らは、友好的な AI 理論の根拠となる基準は、「無数の起こり得る結果の可能性について優れた予測力があるだけでなく、さまざまな結果をどのように評価するかについて確信と合意がある場合にのみ機能する」と書いている。^[23]

高度なAIシステムの内部の仕組みは複雑で解釈が難しい場合があり、透明性と説明責任に関する懸念が生じる可能性があります。^[24]

• Yudkowsky, E. (2008). 人工知能はグローバルリスクのプラス要因とマイナス要因である。Global Catastrophic Risks、Oxford University Press。実存的リスク
  の観点から人工知能について論じています。特に、セクション 1-4 では、セクション 5 の友好的な AI の定義の背景を説明します。セクション 6 では、非友好的な AI が偶発的に作成される原因となる 2 種類の誤り (技術的および哲学的) を示します。セクション 7-13 では、さらに関連する問題について論じます。
• Omohundro, S. (2008)。基本的な AI ドライブは、AGI-08 (第 1 回汎用人工知能会議の議事録) に掲載されています。
• Mason, C. (2008)。人間レベルの AI には思いやりのある知性が必要 Archived 2022-01-09 at the Wayback Machine AAAI 2008 Workshop on Meta-Reasoning: Thinking About Thinkingに掲載。
• Froding, B. および Peterson, M. (2021)。フレンドリー AI 倫理と情報技術、第 23 巻、pp. 207–214。

• 高度な人工知能における倫理的問題 ニック・ボストロム著
• フレンドリー AI とは? — マシン インテリジェンス研究所によるフレンドリー AI の簡単な説明。
• フレンドリーな AI 1.0 の作成: 善意の目標アーキテクチャの分析と設計 — MIRI によるほぼ書籍並みの長さの説明
• MIRI の友好的 AI に関するガイドラインに対する批評 —ビル・ヒバード
• MIRI の友好的な AI に関するガイドラインについての解説 — Peter Voss 著。
• 「友好的な」人工知能の問題 - FAI の動機と不可能性について、Adam Keiper と Ari N. Schulman 著。