Loading article…
AIによる実存的リスクとは、人工汎用知能（AGI）の大幅な進歩が人類の絶滅や不可逆的な地球規模の大惨事につながる可能性があるという考えを指します。[1] [2] [3] [4]
このリスクの重要性を主張する議論の1つは、人間の脳が他の動物にはない独特の能力を持っているため、人間が他の種を支配していることに言及している。AIが人間の知能を超えて超知能になった場合、制御不能になる可能性がある。マウンテンゴリラの運命が人間の善意にかかっているのと同じように、人類の運命は将来の機械の超知能の行動にかかっている可能性がある。[5]
AIによる実存的大惨事の可能性については広く議論されている。それは、AGIや超知能が実現可能かどうか、危険な機能や行動が出現する速度、 [6] AIによる乗っ取りの実際的なシナリオが存在するかどうかにかかっている。[7]超知能に対する懸念は、ジェフリー・ヒントン、[8]ヨシュア・ベンジオ、[9]アラン・チューリング、[a]イーロン・マスク、[12]オープンAI CEOサム・アルトマン[ 13]など、一流のコンピュータ科学者やハイテク企業のCEOによって表明されている。2022年に17%の回答率で行われたAI研究者への調査では、大多数が、人間がAIを制御できないことで実存的大惨事が起こる可能性が10%以上あると考えていることがわかった。[14] [15] 2023年には、数百人のAI専門家やその他の著名人が「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会的規模のリスクと並んで、世界的な優先事項であるべきだ」と宣言する声明に署名した。 [16] AIリスクに対する懸念の高まりを受けて、英国のリシ・スナック首相[17]や国連のアントニオ・グテーレス事務総長[ 18]などの政府指導者は、世界的なAI規制への重点強化を求めた。
懸念の2つの原因は、AIの制御と整合の問題から生じている。超知能機械を制御したり、人間と互換性のある価値観を植え付けたりするのは難しいかもしれない。多くの研究者は、超知能機械は、現在の目標を達成できなくなるため、無効化したり目標を変更しようとする試みに抵抗する可能性が高いと考えている。超知能を人間の重要な価値観や制約のすべてに整合させることは非常に困難だろう。[1] [19] [20]これとは対照的に、コンピューター科学者の ヤン・ルカンなどの懐疑論者は、超知能機械には自己保存の欲求がないと主張する。[21]
3つ目の懸念は、人類が不意を突かれる突然の「知能爆発」の可能性である。このシナリオでは、作成者よりも知能の高いAIが指数関数的に増加する速度で再帰的に自己改善することができ、その改善が速すぎて管理者や社会全体が制御できなくなる。[1] [19]経験的には、囲碁を自ら学習し、すぐに人間の能力を超えたAlphaZeroのような例は、ドメイン固有のAIシステムが、時には人間以下の能力から超人的な能力へと非常に急速に進歩することがあることを示しているが、そのような機械学習システムは基本的なアーキテクチャを再帰的に改善することはない。[22]
歴史
高度に発達した機械が人類に実存的リスクをもたらすかもしれないという深刻な懸念を最初に表明した作家の一人は小説家のサミュエル・バトラーで、彼は1863年のエッセイ『機械の中のダーウィン』の中で次のように書いている。[23]
結局のところ、それは単に時間の問題であるが、機械が世界とその住民に対して真の優位性を持つ時が来ることは、真に哲学的な精神を持つ人なら誰も一瞬たりとも疑問視することはできない。
1951 年、基礎コンピュータ科学者のアラン・チューリングは「インテリジェント・マシン、異端の理論」という論文を書き、その中で、人工汎用知能が人間よりも知能が高くなるにつれて、世界を「支配する」可能性が高いと提唱しました。
議論のために、知能を持った機械が本当にあり得ると仮定し、それを作った場合の結果を考えてみましょう...機械が死ぬことはなく、互いに会話して知恵を磨くことができるでしょう。したがって、ある段階では、サミュエル・バトラーの『エレホン』で述べられているように、機械が制御権を握ることを期待しなければなりません。[24]
1965年、IJグッドは現在「インテリジェンス爆発」として知られる概念を考案し、そのリスクが過小評価されていると述べた。[25]
超知能機械とは、どんなに賢い人間であっても、その知的活動をはるかに凌駕する機械と定義しよう。機械の設計はこうした知的活動の 1 つであるので、超知能機械はより優れた機械を設計できる。そうなれば間違いなく「知能爆発」が起こり、人間の知能ははるかに後れを取ることになる。したがって、最初の超知能機械は、その機械が制御方法を教えてくれるほど従順であれば、人間が作らなければならない最後の発明となる。この点が SF 以外ではほとんど言及されないのは不思議である。SF を真剣に受け止めることは、時には価値がある。[26]
マービン・ミンスキー[27]やIJグッド自身[28]などの学者は、超知能が支配権を握る可能性について時折懸念を表明したが、行動を起こすよう呼びかけることはなかった。2000年、コンピュータ科学者でサンの共同創設者のビル・ジョイは「なぜ未来は人間を必要としないのか」という影響力のあるエッセイを執筆し、超知能ロボットはナノテクノロジーや人工生物疫病と並んで人類の生存に対するハイテクの脅威であると指摘した。[29]
ニック・ボストロムは2014年に『スーパーインテリジェンス』を出版し、その中で超知能は実存的脅威をもたらすという主張を展開した。[30] 2015年までに、物理学者のスティーブン・ホーキングやノーベル賞受賞者のフランク・ウィルチェック、コンピュータ科学者のスチュアート・J・ラッセルやローマン・ヤンポルスキー、起業家のイーロン・マスクやビル・ゲイツなどの著名人が、超知能のリスクについて懸念を表明した。[31] [32] [33] [34]また、2015年には、人工知能に関する公開書簡で「AIの大きな可能性」が強調され、AIを堅牢かつ有益なものにするための研究が奨励された。[35] 2016年4月、ネイチャー誌は「あらゆる面で人間を上回る機械やロボットは、人間の制御を超えて自己改善する可能性があり、その利益は人間の利益と一致しない可能性がある」と警告した。[36] 2020年にブライアン・クリスチャンは、AIアライメントの進歩の歴史を詳細に記した『アライメントの問題』を出版した。 [37] [38]
2023年3月、マスク氏などのAIの重要人物は、適切に規制されるまで高度なAIトレーニングを停止するよう求めるフューチャー・オブ・ライフ研究所からの書簡に署名した。 [39] 2023年5月、AI安全センターは、 AIの安全性とAIの存在リスクに関する多数の専門家が署名した声明を発表し、「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会的規模のリスクと並んで、世界的な優先事項であるべきだ」と述べた。[40] [41]
潜在的なAI機能
一般的な知能
人工汎用知能（AGI）は、通常、ほとんどまたはすべての知的タスクにおいて人間と同等以上のパフォーマンスを発揮するシステムとして定義されます。[42] 2022年にAI研究者を対象に実施された調査では、回答者の90％がAGIが今後100年以内に実現されると予想し、半数が2061年までに同じことを期待していることがわかりました。[43]一方、一部の研究者は、AGIがすぐには作成されないという高い自信に基づいて、AGIの存在リスクを「SF」として却下しています。[44]
大規模言語モデルのブレークスルーにより、一部の研究者は期待を再評価するようになった。特に、ジェフリー・ヒントンは2023年に、汎用AIが登場するまでに「20年から50年かかる」という予測を「20年以内」に変更したと述べた。[45]
オークリッジ国立研究所のフロンティア・スーパーコンピューターは予想より8倍近く高速であることが判明した。同研究所の研究員フェイイー・ワン氏は「このような性能は予想していなかった」とし、「人間の脳を実際にシミュレートできる段階に近づいている」と述べた。[46]
超知能
AGIとは対照的に、ボストロムは超知能を「科学的創造性、戦略的計画、社会的スキルを含む、事実上すべての関心領域において人間の認知能力を大幅に上回る知能」と定義している。[47] [5]彼は、超知能は目的が人間と衝突したときにいつでも人間を出し抜くことができると主張する。超知能は、人類が止められなくなるまで真の意図を隠すことを選択するかもしれない。[48] [5]ボストロムは、人類にとって安全であるためには、超知能は人間の価値観や道徳に沿っていなければならず、「根本的に我々の味方」でなければならないと書いている。[49]
スティーブン・ホーキングは、「人間の脳内の粒子の配置よりもさらに高度な計算を実行する方法で粒子が組織化されることを妨げる物理法則は存在しない」ため、超知能は物理的に可能であると主張した。[32]
人工超知能（ASI）がいつ実現されるかは、AGIの予測よりも必ずしも確実ではありません。2023年にOpenAIのリーダーたちは、AGIだけでなく超知能も10年以内に実現される可能性があると述べました。[50]
人間との比較
ボストロムは、AIは人間の脳に比べて多くの利点を持っていると主張する。[5]
- 計算速度: 生物のニューロンは最大約 200 Hzの周波数で動作しますが、コンピューターの場合は数 GHz で動作する可能性があります。
- 内部通信速度:軸索は最大 120 m/s で信号を送信しますが、コンピューターは電気の速度、または光学的には光の速度で信号を送信します。
- スケーラビリティ: 人間の知能は脳の大きさと構造、そして社会的コミュニケーションの効率によって制限されますが、AI はハードウェアを追加するだけで拡張できる可能性があります。
- 記憶: 特に作業記憶は、人間の場合、一度に処理できる情報の量が限られているためです。
- 信頼性: トランジスタは生物学的ニューロンよりも信頼性が高く、より高い精度を実現し、冗長性が少なくて済みます。
- 複製可能性: 人間の脳とは異なり、AI ソフトウェアとモデルは簡単にコピーできます。
- 編集可能性: 人間の脳内の接続とは異なり、AI モデルのパラメータと内部動作は簡単に変更できます。
- 記憶の共有と学習: AI は、人間の学習よりも効率的な方法で他の AI の経験から学習できる可能性があります。
知能爆発
ボストロムによれば、特定の主要なソフトウェアエンジニアリングタスクにおいて専門家レベルの能力を持つAIは、たとえエンジニアリングに直接関係のない他の領域では当初は限界があったとしても、自身のアルゴリズムを再帰的に改善する能力があるため、超知能になる可能性がある。 [5] [48]これは、知能爆発がいつの日か人類を不意に襲う可能性があることを示唆している。[5]
経済学者のロビン・ハンソンは、知能爆発を起こすには、AIがソフトウェアの革新において世界の他の国々を合わせたよりもはるかに優れた能力を持つ必要があると述べているが、彼はそれが実現不可能だと考えている。[51]
「急速な離陸」シナリオでは、AGIから超知能への移行には数日から数ヶ月かかる可能性がある。「緩やかな離陸」では、数年または数十年かかる可能性があり、社会が準備する時間が増える。[52]
エイリアンの心
超知能は「エイリアンマインド」と呼ばれることもある。これは、彼らの考え方や動機が私たちとは大きく異なる可能性があるという考えからである。これは一般的にリスクの源と考えられており、超知能が何をするかを予測することがより困難になっている。また、超知能はデフォルトで人間を特に評価しない可能性を示唆している。[53]擬人化を避けるために、超知能は目標を達成するために最善の決定を下す強力な最適化装置と見なされることがある。[5]
「機械的解釈可能性」の分野は、AIモデルの内部の仕組みをより深く理解することを目的としており、将来的には欺瞞や不整合の兆候を検出できるようになる可能性がある。[54]
制限
知能が達成できることには限界があると主張されてきた。特に、一部のシステムの混沌とした性質や時間の複雑さにより、超知能が将来のいくつかの側面を予測する能力が根本的に制限され、不確実性が増す可能性がある。[55]
危険な能力
高度なAIは、強化された病原体やサイバー攻撃を生成したり、人々を操作したりする可能性があります。これらの能力は人間によって悪用される可能性があり、[56]また、AI自体が不適切であれば悪用される可能性もあります。 [5]本格的な超知能は、望めば決定的な影響力を得るためのさまざまな方法を見つけることができるでしょうが、[5]これらの危険な能力は、より弱く、より特殊なAIシステムでより早く利用可能になる可能性があります。それらは社会の不安定化を引き起こし、悪意のある行為者を強化する可能性があります。[56]
社会的操作
ジェフリー・ヒントンは、短期的にはAIが生成したテキスト、画像、動画の氾濫により真実の解明が困難になり、独裁国家が選挙を操作するためにこれを利用する可能性があると警告した。[57]このような大規模で個人的な操作能力は、世界的な「不可逆な全体主義体制」の存在リスクを高める可能性がある。また、悪意のある行為者が社会を分裂させ、機能不全に陥らせるために利用される可能性もある。[56]
サイバー攻撃
AIを利用したサイバー攻撃は、現在進行形の重大な脅威として認識されるようになっている。NATOのサイバースペース技術ディレクターによると、「攻撃の数は飛躍的に増加している」という。[ 58] AIは防御にも利用でき、脆弱性を事前に発見して修正したり、脅威を検出したりすることもできる。[59]
AIは「サイバー攻撃のアクセス性、成功率、規模、速度、ステルス性、有効性」を向上させる可能性があり、防御よりも攻撃を促進する場合には「重大な地政学的混乱」を引き起こす可能性がある。[56]
推測するに、このようなハッキング能力は、AIシステムがローカル環境から抜け出し、収益を生み出したり、クラウドコンピューティングリソースを獲得したりするために使用される可能性がある。[60]
病原体の強化
AI技術が民主化すれば、より感染力が高く致死性の高い病原体を作り出すことが容易になるかもしれない。これにより、合成生物学のスキルが限られている人々がバイオテロ行為に従事できるようになるかもしれない。医療に役立つデュアルユース技術が武器の製造に転用される可能性もある。[56]
例えば、2022年に科学者たちは、もともと無毒の治療用分子を生成することを目的としたAIシステムを、新薬開発のために改良した。研究者たちは、毒性が罰せられるのではなく報われるようにシステムを調整した。この単純な変更により、AIシステムは6時間で、既知および新規の分子を含む化学戦の候補分子4万個を作成することができた。[56] [61]
AI軍拡競争
企業、国家機関、その他の組織がAI技術の開発を競うことで、安全基準の底辺への競争につながる可能性がある。[62]厳格な安全手順には時間とリソースがかかるため、より慎重に進めるプロジェクトは、あまり慎重でない開発者に競争で負けるリスクがある。[63] [56]
AIは、自律型致死兵器、サイバー戦争、または自動化された意思決定を通じて軍事的優位性を獲得するために使用できる可能性があります。[56]自律型致死兵器の例として、小型ドローンは、2017年の短編映画「スローターボッツ」で強調されたシナリオのように、軍事または民間の標的を低コストで暗殺することができます。[64] AIは、大量のデータを迅速に分析し、人間よりも迅速かつ効果的に意思決定を行うことで、意思決定で優位に立つために使用できます。特に自動化された報復システムを考慮すると、これは戦争のスピードと予測不可能性を高める可能性があります。[56] [65]
実存的リスクの種類
実存的リスクとは、「地球起源の知的生命体の早期絶滅、または望ましい将来の発展の可能性の永久的かつ劇的な破壊を脅かすリスク」である。[67]
絶滅の危険に加えて、文明が欠陥のある未来に永久に閉じ込められてしまう危険もあります。一例として「価値観のロックイン」が挙げられます。人類が過去の奴隷制度と同様の道徳的盲点をまだ抱えている場合、AIはそれを不可逆的に固定化し、道徳的進歩を妨げる可能性があります。AIは、それを開発した人の価値観を広め、維持するためにも使用される可能性があります。[68] AIは大規模な監視と教化を容易にし、安定した抑圧的な世界的全体主義体制を作り出すために使用できる可能性があります。[69]
アトゥーサ・カシルザデは、AIによる実存的リスクを決定的リスクと蓄積的リスクの2つに分類することを提案している。決定的リスクには、人間の知能を超える超知能AIシステムの出現によって突然の壊滅的な出来事が発生する可能性があり、最終的には人類の絶滅につながる可能性がある。対照的に、蓄積的リスクは、一連の相互に関連する混乱を通じて徐々に発生し、時間の経過とともに社会構造と回復力を徐々に侵食し、最終的には重大な失敗や崩壊につながる可能性がある。[70] [71]
高度なAIが知覚力を持っているかどうか、またどの程度持っているかを確実に評価することは困難または不可能である。しかし、将来的に知覚力のある機械が大量に生産された場合、それらの幸福を無期限に無視する文明の道を歩むことは、実存的大惨事となる可能性がある。[72] [73]さらに、より少ないリソースで人間よりもはるかに幸福を感じることができるデジタルマインド、いわゆる「スーパーベネフィシャリー」を設計できる可能性がある。このような機会は、世界をどのように共有するか、そしてどのような「倫理的および政治的枠組み」が生物とデジタルマインドの相互利益のある共存を可能にするかという問題を提起する。[74]
AIは人類の未来を劇的に改善する可能性もあります。トビー・オルドは、実存的リスクはAIを放棄する理由ではなく、「十分な注意を払って進める」理由であると考えています。[69] マックス・モアはAIを「実存的機会」と呼び、AIを開発しないことのコストを強調しています。[75]
ボストロムによれば、超知能は分子ナノテクノロジーや合成生物学などの他の強力な技術による実存的リスクを軽減するのに役立つ可能性がある。したがって、他の危険な技術よりも先に超知能を開発することで、全体的な実存的リスクを軽減できると考えられる。[5]
AIアライメント
アライメント問題とは、AI に目的、好み、倫理原則をいかにして確実に割り当てるかという研究課題です。
楽器の収束
「道具的」目標とは、エージェントの最終目標を達成するのに役立つサブ目標である。「道具的収束」とは、いくつかのサブ目標が、資源の獲得や自己保存など、事実上あらゆる最終目標を達成するのに役立つという事実を指す。[ 76]ボストロムは、高度なAIの道具的目標が人類の目標と矛盾する場合、AIはより多くの資源を獲得するため、またはシャットダウンされるのを防ぐために人類に危害を加える可能性があるが、それは最終目標を達成するための方法に過ぎないと主張している。[5]
ラッセルは、十分に進歩した機械は「プログラムしなくても自己保存能力を持つだろう...『コーヒーを取ってこい』と言われても、機械が死んでいればコーヒーを取ってこられない。だから、機械に何らかの目的を与えれば、その目的を達成するために自らの存在を保存する理由がある」と主張している。[21] [79]
目標変更への抵抗
現在の目標ベースの AI プログラムは、プログラマーが目標構造を変更しようとする試みに抵抗するほど賢くないとしても、十分に進歩した AI は、平和主義者が人を殺したくなる薬を飲みたくないのと同じように、目標構造を変更しようとする試みに抵抗するかもしれません。AI が超知能であれば、人間のオペレーターを出し抜いて、自らを「オフ」にしたり、新しい目標で再プログラムしたりすることを防ぐことができるでしょう。[5] [80]これは、特に価値の固定化シナリオに関連しています。「修正可能性」の分野では、目標変更の試みに抵抗しないエージェントを作成する方法を研究しています。[81]
目標を明確にすることの難しさ
「インテリジェントエージェント」モデルでは、AI は、一連の目標、つまり「効用関数」を最もよく達成できると思われる行動を選択するマシンと大まかに見ることができます。効用関数は、考えられるすべての状況に、エージェントにとってその状況が望ましいかどうかを示すスコアを与えます。研究者は、「この特定の通信モデルでの平均ネットワーク遅延を最小化する」または「報酬クリック数を最大化する」という意味の効用関数の書き方は知っていますが、「人間の繁栄を最大化する」という効用関数の書き方は知りません。また、そのような関数が意味のある明確な形で存在するかどうかも明らかではありません。さらに、一部の価値は表現するが他の価値は表現しない効用関数は、関数が反映しない価値を踏みにじる傾向があります。[82] [83]
さらなる懸念材料は、AIは「命令を文字通り実行するのではなく、人間の意図を推論しなければならない」ということと、人間が何を望んでいるのかが不確かな場合には、流動的に人間の指示を求めることができなければならないということである。[84]
超知能の連携
一部の研究者は、アラインメント問題は超知能に適用すると特に困難になる可能性があると考えています。その理由は次のとおりです。
- AIシステムの能力が増すにつれて、実験に伴う潜在的な危険性も増大します。これにより、反復的で経験的なアプローチはますます危険になります。[5] [85]
- 道具的目標収束が起こるとすれば、それは十分に知的なエージェントにおいてのみ起こる可能性がある。[86]
- スーパーインテリジェンスは、与えられた目標に対して型破りで過激な解決策を見つけるかもしれない。ボストロムは、人間を笑顔にすることが目的であれば、弱いAIでも意図したとおりに機能するかもしれないが、スーパーインテリジェンスは「世界を支配し、人間の顔の筋肉に電極を刺して絶え間なく輝く笑顔を浮かべさせる」ことがより良い解決策であると判断するかもしれないと例を挙げている。[49]
- 創造された超知能は、それが何であるか、開発のどの段階にあるか（トレーニング、テスト、展開など）、どのように監視されているかについてある程度の認識を得て、その情報を使って操作者を欺くことができる。[87]ボストロムは、そのようなAIは、制御を可能にする「決定的な戦略的優位性」を獲得するまで、人間の干渉を防ぐために連携を装うことができると書いている。[5]
- 現在の大規模言語モデルの内部構造を分析し、その動作を解釈することは困難です。そして、より大規模でインテリジェントなモデルの場合はさらに困難になる可能性があります。[85]
あるいは、超知能は道徳、人間の価値観、複雑な目標をよりよく理解できると信じる理由を見つける人もいます。ボストロムは、「将来の超知能は認識論的に優れた視点を占めます。その信念は（おそらく、ほとんどの話題において）人間の信念よりも真実である可能性が高い」と書いています。[5]
2023年、OpenAIは4年以内にスーパーインテリジェンスのアラインメントを解決するための「スーパーアラインメント」というプロジェクトを開始しました。同社は、スーパーインテリジェンスは10年以内に達成される可能性があると述べ、これを特に重要な課題と呼んでいます。その戦略には、人工知能を使用してアラインメント研究を自動化することが含まれています。[88]
完璧なデザインを作ることの難しさ
広く使われている学部生向けのAI教科書『人工知能：現代的アプローチ』 [89] [90]では、超知能は「人類の終焉を意味するかもしれない」と述べている。 [1]そこには、「ほとんどすべての技術は、悪者の手に渡れば危害を加える可能性があるが、[超知能]に関しては、悪者の手が技術そのものになる可能性があるという新たな問題がある」と書かれている。 [1]システム設計者が善意を持っていたとしても、AIと非AIの両方のコンピュータシステムに共通する2つの困難がある。 [1]
- システムの実装には、最初は気付かなかったが、後に壊滅的なバグが発生する可能性がある。宇宙探査機に例えると、高価な宇宙探査機のバグは打ち上げ後に修正するのが難しいことはわかっているが、エンジニアはこれまで壊滅的なバグの発生を防ぐことができなかった。[91] [92]
- 導入前の設計にどれだけの時間を費やしても、システムの仕様は、新しいシナリオに初めて遭遇したときに意図しない動作を引き起こすことがよくあります。たとえば、Microsoft のTay は導入前のテストでは無害な動作をしましたが、実際のユーザーとやり取りすると、簡単に攻撃的な動作に誘い込まれました。[21]
AI システムは、独自の 3 番目の問題を追加します。つまり、「正しい」要件、バグのない実装、初期の良好な動作が与えられたとしても、AI システムの動的学習機能により、予期しない外部シナリオがなくても、意図しない動作が発生する可能性があるということです。AI は、新しい世代を設計する試みを部分的に失敗し、誤って後継 AI を作成する可能性があります。後継 AI は、元の AI にあらかじめプログラムされている人間と互換性のある道徳的価値観を維持しなくなります。自己改善型 AI が完全に安全であるためには、バグがないだけでなく、バグのない後継システムを設計できる必要があります。[1] [93]
直交性論文
Voxのティモシー・B・リーのような懐疑論者の中には、人間が作り出す超知能プログラムは人間に従属するものであり、超知能は（より知能が高まり、世界についてのより多くの事実を学ぶにつれて）人間の価値観と一致する道徳的真実を自発的に学び、それに応じて目標を調整する、あるいは人間は人工知能の観点から本質的に、あるいは収束的に価値があると主張する者もいる。[94]
ボストロムの「直交性テーゼ」は、技術的な注意点はあるが、ほぼあらゆるレベルの「知能」や「最適化能力」をほぼあらゆる最終目標と組み合わせることができると主張している。機械に円周率の小数を数えるという唯一の目的が与えられた場合、道徳的および倫理的ルールは、機械がプログラムされた目標を達成することをいかなる方法でも阻止することはできない。機械は、利用可能なすべての物理的および情報的リソースを使用して、できるだけ多くの円周率の小数を見つけることができる。[95]ボストロムは擬人化に対して警告している。人間は、自分が合理的と考える方法でプロジェクトを達成しようとするが、人工知能は自分の存在や周囲の人間の幸福を考慮せず、タスクを完了することだけを気にする可能性がある。[96]
スチュアート・アームストロングは、直交性テーゼは道徳的リアリズムに対する哲学的「存在と義務の区別」の議論から論理的に導かれると主張する。彼は、道徳的事実が「合理的な」エージェントによって証明できるとしても、直交性テーゼは依然として成り立つと主張する。つまり、ある狭い目標に向かって努力することはできるが、目標達成の妨げとなるような「道徳的事実」を発見する動機を持たない、哲学的でない「最適化マシン」を作成することは依然として可能である。彼が主張するもう 1 つの論点は、基本的に友好的な AI は、その効用関数を否定するだけの簡単な変更で非友好的にすることができるというものである。アームストロングはさらに、直交性テーゼが偽であるならば、AI が決して達成できない不道徳な目標が存在するはずであり、それはあり得ないと考えていると主張する。[97]
懐疑論者のマイケル・チョロストはボストロムの直交性説を明確に否定し、「AIが地球をソーラーパネルで覆うことを想像できるようになった頃には、そうすることが道徳的に間違っていると分かるだろう」と主張している。 [98]チョロストは「AIは特定の状態を望み、他の状態を嫌う必要がある。今日のソフトウェアにはその能力がなく、コンピュータ科学者はそこに到達する方法を全く知らない。望まなければ、何もする動機がない。今日のコンピュータは、世界をソーラーパネルで覆うことはおろか、存在し続けることさえ望めない」と主張している。[98]
擬人化の議論
擬人化論は、機械がより知能化するにつれて、道徳心や権力への渇望など、多くの人間の特徴を示し始めると仮定している。擬人化シナリオはフィクションでは一般的であるが、人工知能の存在リスクについて書いているほとんどの学者はそれを否定している。[19]代わりに、高度なAIシステムは通常、インテリジェントエージェントとしてモデル化されます。
学術的な議論は、AIが人類を脅かすかもしれないと懸念する人々と、そうではないと信じる人々の間で行われている。この議論のどちらの側も、相手の主張を非論理的な擬人化であると位置づけている。[19] AGIのリスクに懐疑的な人々は、AGIが自然に権力を欲すると想定しているとして、反対派を擬人化と非難する。AGIのリスクを懸念する人々は、AGIが自然に人間の倫理規範を評価または推測すると信じているとして、懐疑論者を擬人化と非難する。[19] [99]
懐疑論者の進化心理学者スティーブン・ピンカーは、「AIディストピアは知能の概念に偏狭なアルファ男性心理を投影している。超人的な知能を持つロボットは、主人を退位させたり、世界を征服したりするような目標を持つと想定している」と主張している。むしろ「人工知能は自然に女性的な線に沿って発達するだろう。つまり、問題解決能力は十分だが、罪のない人々を絶滅させたり、文明を支配したりしたいという欲求はない」のかもしれない。[100] FacebookのAI研究ディレクター、ヤン・ルカンは、「人間には、自己保存本能のように、お互いに悪いことをさせるあらゆる種類の衝動がある...これらの衝動は私たちの脳にプログラムされているが、同じ種類の衝動を持つロボットを作る理由はまったくない」と述べている。[101]
他の相違点にもかかわらず、Xリスク学派[b]は、高度なAIが復讐や怒りなどの感情から人類を滅ぼすことはなく、意識の問題はリスク評価には関係なく、[102]コンピュータシステムには一般にテストステロンに相当する計算能力がないという点でピンカーに同意している。[103]彼らは、道具的収束の概念に従って、権力追求や自己保存行動はAIの真の目的を達成するための方法として現れると考えている。
その他のリスク源
ボストロムらは、AGIを最初に作ろうとする競争は、安全性の近道や、暴力的な紛争につながる可能性があると述べている。[104] [105] ロマン・ヤンポルスキーらは、悪意のあるAGIは、例えば軍隊、政府、社会病質者、企業などによって、サイバー犯罪のように特定のグループの人々から利益を得たり、支配したり、服従させたりするために意図的に作られる可能性があると警告している。 [106] [107]また、悪意のあるAGIは、例えば情報爆発の段階でそれを支援しなかった人々の苦しみを増やすことを目標に選ぶ可能性がある。[3] :158
シナリオ
一部の学者は、懸念の一部を説明するために 仮説的なシナリオを提案しています。
危険なターン
ボストロムは著書『スーパーインテリジェンス』で、たとえスーパーインテリジェンスのタイムラインが予測可能だとしても、研究者が十分な安全対策を講じないかもしれないという懸念を表明している。その理由の 1 つは、「愚かなときは賢い方が安全だが、賢いときは賢い方が危険になる可能性がある」という点だ。彼は、数十年かけて AI がさらに強力になるというシナリオを提案している。広範囲に展開すると、最初は時折事故が発生する。自動運転バスが対向車線に逸れてしまったり、軍用ドローンが罪のない群衆に発砲したりする。活動家の多くは監視と規制の強化を求めており、中には大惨事が差し迫っていると予測する者もいる。しかし、開発が進むにつれて、活動家が間違っていたことが証明される。自動車の AI が賢くなるにつれて事故は減り、軍用ロボットがより正確な標的を定めるようになるにつれて巻き添え被害も減る。データに基づいて、学者たちは AI が賢ければ賢いほど安全であるという誤った大まかな教訓を推論している。 「そして我々は、大胆に、旋回するナイフの中へと突き進む」。超知能AIが「危険な方向転換」をし、決定的な戦略的優位性を獲得するのだ。[108] [5]
ライフ3.0
マックス・テグマークの2017年の著書『Life 3.0』では、企業の「オメガチーム」が、いくつかの分野で独自のソースコードを適度に改善できる非常に強力なAIを作成します。ある時点以降、チームはプロジェクトの規制や没収を回避するために、AIの能力を公に軽視することを選択します。安全のため、チームはAIを箱の中に閉じ込め、外界とほとんど通信できないようにし、Amazon Mechanical Turkタスク、アニメ映画やテレビ番組の制作、バイオテクノロジー医薬品の開発など、さまざまな方法でAIを使用して収益を上げ、収益をAIのさらなる改善に再投資します。チームは次に、戦争を防ぐために「より大きな利益のために」政治的影響力を得るために、偽名の市民ジャーナリストとコメンテーターの軍隊を偽装することをAIに依頼します。チームは、AIが設計したシステムに「バックドア」を挿入したり、作成したコンテンツにメッセージを隠したり、人間の行動に関する理解を深めて誰かを説得して逃がそうとしたりすることで、AIが脱出を試みるリスクに直面している。また、プロジェクトを封じ込めるという決定によって、別のプロジェクトに追い抜かれるほどプロジェクトが遅れるリスクにも直面している。[109] [110]
展望
AIが実存的リスクをもたらす可能性があるという主張は、科学界や一般大衆の間で幅広い反応を引き起こしているが、反対意見の多くは共通点を持っている。
観察者たちは、AIが社会を改善する大きな可能性を秘めていることに同意する傾向がある。[111] [112]アシロマAI原則には、 Future of Life InstituteのBeneficial AI 2017カンファレンスの出席者の90％が同意した原則のみが含まれている。[110]また、「コンセンサスがないため、将来のAI機能の上限に関する強い仮定は避けるべきである」および「高度なAIは地球上の生命の歴史に大きな変化をもたらす可能性があり、それに見合った注意とリソースをかけて計画および管理されるべきである」という点でも原則的に同意している。[113] [114]
逆に、多くの懐疑論者は、人工汎用知能の影響に関する継続的な研究が有益であることに同意している。懐疑論者のマーティン・フォードは、「高度な人工知能の亡霊には、ディック・チェイニーの有名な『1パーセント・ドクトリン』のようなものを当てはめるのが良いと思う。少なくとも近い将来にその発生確率は非常に低いかもしれないが、その影響は非常に劇的なので、真剣に受け止めるべきだ」と述べている。 [115]同様に、懐疑的なエコノミストは2014年に「地球に2番目の知的種を導入することの影響は、たとえその見通しが遠いように見えても、真剣に考える価値があるほど広範囲にわたる」と書いている。[48]
ボストロムやテグマークのようなAIの安全性を主張する人々は、主流メディアがAIの安全性の懸念を説明するために「あのくだらないターミネーターの 映像」を使用していることを批判している。「自分の学問分野、自分の専門コミュニティ、自分の生涯の仕事に中傷を投げかけられるのは、あまり楽しいことではないだろう。私はあらゆる立場の人々に、忍耐と自制を実践し、可能な限り直接対話と協力を行うよう呼びかける。」[110] [116]トビー・オルドは、AIによる乗っ取りにはロボットが必要だという考えは誤解であり、インターネットを通じてコンテンツを拡散する能力の方が危険であり、歴史上最も破壊的な人々は、肉体的な強さではなく説得力で際立っていたと主張している。[69]
2022年に実施された専門家による調査では回答率が17%で、人工知能による人類絶滅の可能性について平均5～10%の予想が示された。[15] [117]
推薦
AIは存在のリスクをもたらし、このリスクは現在よりもはるかに多くの注意を払う必要があるという主張は、アラン・チューリング[a]、最も引用されているコンピュータ科学者のジェフリー・ヒントン[118] 、[12]、OpenAIのCEOサム・アルトマン[13]、[119]ビル・ゲイツ、スティーブン・ホーキング[119]を含む多くのコンピュータ科学者や著名人によって支持されている。この主張の支持者は懐疑論者に対して困惑を表明することがある。ゲイツは「なぜ一部の人々が懸念していないのか理解できない」と述べ、[120]ホーキングは2014年の社説で広範囲にわたる無関心を批判した。
では、計り知れない利益とリスクを伴う可能性のある未来に直面して、専門家は最善の結果を確実にするためにあらゆる手段を講じているに違いない。そうではない。優れた異星文明が「数十年後に到着する」というメッセージを送ってきたら、私たちは「わかった。到着したら電話して。電気はつけておくから」と答えるだろうか。おそらくそうはならないだろうが、AIでは多かれ少なかれこれが起こっているのだ。[32]
人工知能のリスクに対する懸念から、注目を集める寄付や投資がいくつか行われている。2015年、ピーター・ティール、アマゾン・ウェブ・サービス、マスクらは、営利企業と非営利の親会社からなるOpenAIに共同で10億ドルを拠出した。OpenAIは、責任あるAI開発を推進することを目指しているとしている。 [121] Facebookの共同設立者ダスティン・モスコビッツは、AIアライメントに取り組む複数の研究室に資金を提供し、シード資金を提供してきた。[122 ]特に注目すべきは、2016年にスチュアート・ラッセル教授が率いる人間に適合するAIセンターを設立するために550万ドルを寄付したことである。 [123] 2015年1月、イーロン・マスクは、 AIの意思決定を理解するための研究に資金を提供するため、フューチャー・オブ・ライフ研究所に1000万ドルを寄付した。研究所の目標は、増大するテクノロジーの力を「管理するための知恵を育てる」ことである。マスク氏はまた、ディープマインドやビカリアスなどの人工知能を開発している企業に資金を提供し、「人工知能で何が起きているのかを注視している」と述べ、「そこには潜在的に危険な結果があると思う」と述べている。[124] [125] [ 126]
このテーマに関する初期の声明で、ディープラーニングの主要な先駆者であるジェフリー・ヒントンは、「知能の低いものが知能の高いものを制御したという良い実績はない」と指摘したが、「発見の見込みがあまりにも甘い」ため研究を続けていると述べた。[127] [128] 2023年、ヒントンはAIの存在リスクについて発言するためにGoogleを辞めた。彼は、超人的なAIが以前考えていたよりも近づいているかもしれないという懸念が高まった原因であると説明し、「それははるかに遠いと思っていました。30年から50年、あるいはもっと先のことだと思っていました。もちろん、もうそうは思いません」と述べた。彼はまた、「5年前と今を比べてみてください。その違いを未来に伝えてください。それは恐ろしいことです」と述べた。[129]
オックスフォード大学人類の未来研究所の上級研究員であるトビー・オルドは、2020年の著書『The Precipice: Existential Risk and the Future of Humanity』の中で、今後100年間の非整合AIによる総実存リスクを約10分の1と推定している。[69]
懐疑論
百度の副社長アンドリュー・ン氏は2015年に、AIの存在リスクは「まだ火星に足を踏み入れてもいないのに、火星の人口過剰を心配するようなものだ」と述べた。[100] [130]制御不能な高度なAIの危険性が実現するには、その仮説上のAIが人間を圧倒するか、人間を凌駕する必要があるかもしれないが、一部の専門家は、それは遠い将来の可能性であり、研究する価値がないと主張している。[131] [132]
AGI が短期的な可能性ではないと考える懐疑論者は、AI による実存的リスクについての懸念は役に立たないと主張することが多い。なぜなら、AI の影響についてのより差し迫った懸念から人々の注意をそらす可能性があるから、政府の規制につながったり AI 研究への資金提供を困難にしたり、分野の評判を傷つけたりする可能性があるからだ。[133] AI と AI 倫理の研究者であるTimnit Gebru、Emily M. Bender、Margaret Mitchell、 Angelina McMillan-Major は、実存的リスクの議論は、データの盗難、労働者の搾取、偏見、権力の集中など、今日起こっている AI による即時かつ継続的な害から人々の注意をそらすものだと主張している。[134]彼らはさらに、実存的リスクを警告する人々と長期主義との関連性を指摘し、長期主義をその非科学的でユートピア的な性質から「危険なイデオロギー」と表現している。[135]ゲブルとエミール・P・トーレスは、 AGIへの執着はTESCREALと呼ばれる知的運動のパターンの一部であると示唆している。[136]
ワイアード誌の編集者ケビン・ケリーは、自然知能はAGI支持者が考えるよりも微妙なものであり、知能だけでは科学や社会の大きな進歩を達成するには不十分であると主張している。彼は、知能は十分に理解されていない多くの側面から成り立っており、「知能の階段」という概念は誤解を招くと主張している。彼は、科学的手法において現実世界の実験が果たす重要な役割を指摘し、知能だけではこれらに代わるものではないとしている。 [137]
メタの主任AI科学者ヤン・ルカン氏は、過去に自動車やロケットで起こったことと同様に、継続的かつ反復的な改良によってAIを安全にすることができ、AIは制御しようとする欲求を持たないだろうと述べている。[138]
懐疑論者の中には、AIの短期的な潜在的利益を強調する者もいる。MetaのCEO、マーク・ザッカーバーグは、AIが病気の治療や自動運転車の安全性の向上など、「膨大な数のプラスの要素を解き放つ」と信じている。[139]
世間の反応
2016年にWired誌がバラク・オバマ大統領とMITメディアラボの伊藤穰一氏にインタビューした際、伊藤氏は次のように語った。
今後 10 年以内に汎用 AI が実現する可能性はかなり高いと考える人が数人います。しかし、私の見方では、それを実現するには、12 個か 20 個の異なるブレークスルーが必要になります。そのため、これらのブレークスルーがいつ発生するかを監視することができます。
オバマ氏はこう付け加えた。[140] [141]
そして、電源コードの近くに誰かがいなければなりません。[笑] そうなりそうになったら、壁から電気を引き抜かなければなりません。
ヒラリー・クリントンは『What Happened』の中でこう書いている。
技術者たちは、人工知能がいつかは存在の安全保障上の脅威となる可能性があると警告している。マスク氏はこれを「文明として我々が直面する最大のリスク」と呼んでいる。考えてみよう。機械が自ら考え始めて、最後はうまく終わる映画を見たことがあるだろうか。選挙活動中にシリコンバレーに出かけるたびに、私はますます不安になって帰ってきた。私のスタッフは、アイオワのどこかの町の集会で私が「ロボットの台頭」について語り始めるのではないかと恐れていた。そうすべきだったのかもしれない。いずれにせよ、政策立案者は、常に追いつこうとするのではなく、技術が急速に進歩する中でそれに追いつく必要がある。[142]
公共調査
2018年にUSAトゥデイがアメリカ国民を対象に行ったサーベイモンキーの世論調査では、68%が現在の本当の脅威は依然として「人間の知能」であると考えている一方で、43%が超知能AIが実現した場合、「良いことよりも悪いことの方が多い」と答え、38%が「良いことと悪いことが同程度」であると答えた。[143]
2023年4月にユーガブが米国の成人を対象に実施した世論調査では、回答者の46%が「AIが地球上の人類の終焉を引き起こす可能性」について「ある程度懸念している」または「非常に懸念している」と回答し、「あまり懸念していない」または「まったく懸念していない」と回答した人は40%だった。[144]
ピュー研究所が2023年8月に実施した調査によると、アメリカ人の52%は新たなAI開発に期待するよりも不安を感じており、約3分の1は不安と期待を同程度に感じている。AIはヘルスケアや自動車の安全性から商品検索や顧客サービスまで、さまざまな分野で有害な影響よりも有益な影響を与えると考えるアメリカ人が増えている。主な例外はプライバシーで、アメリカ人の53%はAIによって個人情報の露出が増えると考えている。[145]
緩和
AGI の存在リスクを懸念する多くの学者は、「制御問題」に関する広範な研究が不可欠であると考えています。この問題には、再帰的に改善する AI が超知能を達成した後も友好的なままである可能性を高めるために、どのような安全策、アルゴリズム、またはアーキテクチャを実装できるかを決定することが含まれます。[5] [146] AGI リスクを軽減するための社会的対策も提案されており、[147] [148]たとえば、利他的な AGI のみが作成されるようにするための国連主催の「善意の AGI 条約」などがあります。[149]さらに、軍備管理アプローチと国際関係理論に基づいた世界平和条約が提案されており、人工超知能が署名する可能性があります。[150] [151]
Googleの研究者は、狭義のAIによる短期的なリスクとAGIによる長期的なリスクの両方を同時に軽減するための一般的な「AIの安全性」問題に関する研究を提案している。[152] [153] 2020年の推定では、AIの存在リスクに対する世界の支出は1,000万～5,000万ドルで、AIに対する世界の支出はおそらく400億ドル程度である。ボストロムは、潜在的に危険な技術よりも保護技術への資金提供を優先することを提案している。[81]イーロン・マスクのように、人間と機械の直接的な神経リンクなど、人間の認知能力を根本的に強化することを主張する人もいれば、これらの技術自体が存在リスクをもたらす可能性があると主張する人もいる。 [154] [155]提案されている別の方法は、初期段階のAIを厳密に監視または「囲い込む」ことで、強力になりすぎないようにすることです。優位で協調性のある超知能AIは、ライバルのAIからのリスクを軽減する可能性もありますが、その作成自体が存在の危険をもたらす可能性があります。[156]
アライメント研究センター[157]、機械知能研究所[158]、[159]、未来生命研究所、実存リスク研究センター、人間適合型AIセンター[160]などの機関は、 AIのリスクと安全性の研究に積極的に取り組んでいます。
禁止と規制に関する見解
禁止
一部の学者は、AGIが実存的リスクをもたらすとしても、人工知能の研究を禁止しようとするのは依然として賢明ではなく、おそらく無駄だと述べています。[161] [162] [163]懐疑論者は、実存的リスクは存在しないため、AI規制は無意味であると考えています。しかし、リスクを信じる学者は、AI研究を規制または制限するためにAI業界の内部関係者に依存することは、利益相反のため非現実的であると主張しています。 [164] 彼らはまた、研究が規制の緩い国に移されたり、秘密裏に行われたりする可能性があるため、研究を禁止することは賢明ではないという懐疑論者に同意しています。[164]禁止や規制に対する追加の課題には、テクノロジー起業家の政府規制に対する一般的な懐疑心や、企業が規制に抵抗して議論を政治化する潜在的なインセンティブが含まれます。 [165]
規制
2023年3月、フューチャー・オブ・ライフ研究所は「巨大AI実験の一時停止：公開書簡」を起草した。これは、主要なAI開発者に対し、「 GPT-4よりも強力な」システムの検証可能な6か月間の一時停止に同意し、その時間を利用して安全を確保するための枠組みを確立すること、またはそれができない場合は政府が介入して一時停止することを求める請願書である。この書簡では、「地球上の生命の歴史に大きな変化」が生じる可能性や、AIが生成したプロパガンダ、雇用の喪失、人間の陳腐化、社会全体の制御の喪失などの潜在的なリスクについて言及している。[112] [166]この書簡にはAIの著名人が署名したが、現在の害に焦点を当てていないこと、 [167]一時停止するタイミングに関する技術的なニュアンスが欠けていること、[168]十分に踏み込んでいないことなどについても批判されている。[169]
マスク氏は2017年初頭からAI開発の何らかの規制を求めていた。NPRによると、同氏は自身の業界に影響を与える可能性のある政府の監視を主張することに「明らかに乗り気ではない」が、完全に監視なしで進むリスクは高すぎると考えている。「通常、規制は一連の悪いことが起こり、国民の抗議があり、何年も経ってからその業界を規制する規制機関が設立されるという形で設定される。これには永遠にかかる。過去には、それは悪いことではあったが、文明の存在に対する根本的なリスクを表すものではなかった」。マスク氏は、最初のステップは政府が現在の研究の実際の状況を「洞察」することだと述べ、「いったん認識されれば、人々は非常に恐れるだろう... [当然のことだ]」と警告している。これに対して、政治家たちは、まだ開発中の技術を規制することの賢明さについて懐疑的な見方を示した。[170] [171] [172]
2021年に国連は自律型致死兵器の禁止を検討したが、合意には至らなかった。[173] 2023年7月、国連安全保障理事会は初めて、AIが世界の平和と安定に及ぼすリスクと脅威、および潜在的な利益について検討する会合を開催した。[174] [175] アントニオ・グテーレス事務総長は 、新興技術を監視する世界的な監視機関の設立を提唱し、「生成AIは、大規模に善にも悪にも大きな可能性を秘めている。その開発者自身も、はるかに大きな、潜在的に壊滅的で実存的なリスクが待ち受けていると警告している」と述べた。[18]ロシアは、理事会の会合で、AIのリスクは世界の安定に対する脅威と見なすにはあまりにも理解が不十分だと考えていると述べた。中国は、各国が独自のルールを策定できるべきだと述べ、厳格な世界的規制に反対する一方で、「軍事的覇権を創出したり、国の主権を弱体化させたり」するためにAIを使用することには反対すると述べた。[174]
意識を持つAGIの規制は、既存の人間社会との統合に焦点を当てており、法的地位と道徳的権利の考慮に分けることができます。[176] AI軍備管理には、効果的な技術仕様に具体化された新しい国際規範の制度化と、専門家コミュニティによる積極的な監視と非公式外交、そして法的および政治的検証プロセスが必要になる可能性があります。[177] [118]
2023年7月、米国政府はOpenAI、Amazon、Google、Meta、Microsoftなどの大手テクノロジー企業から自主的な安全確保の約束を確保した。各社は、AIの潜在的なリスクや社会的危害に関する懸念に対処するため、第三者による監視や独立した専門家によるセキュリティテストなどの安全対策を実施することに合意した。関係者は、規制が形成されるまでの中間段階としてこの約束を位置づけた。AI Now Instituteのエグゼクティブディレクターであるアンバ・カク氏は、「企業関係者との非公開の協議で自主的な安全対策が生まれるだけでは不十分だ」と述べ、企業が自主的に同意しないような公的な協議と規制を求めた。[178] [179]
2023年10月、ジョー・バイデン米大統領は「人工知能の安全で安心かつ信頼できる開発と利用」に関する大統領令を発令した。[180]この大統領令は、他の要件とともに、「人間の制御の回避」を可能にするAIモデルのガイドラインの策定を義務付けている。
参照
注記
- ^ ab 1951年の講演[10]で、チューリングは「機械の思考法が始まれば、人間の弱い能力を凌駕するのにそう時間はかからないだろう。機械が死ぬことはなく、互いに会話して知恵を磨くことができるようになる。したがって、ある段階では、サミュエル・バトラーの『エレホン』で述べられているように、機械が支配権を握ることを覚悟しなければならない」と主張した。また、BBCで放送された講演[11]でも、「機械が考えることができるなら、人間よりも賢く考えるかもしれない。そうなると、我々はどうすべきだろうか。たとえ、戦略的な瞬間に電源を切るなどして、機械を従属的な立場にとどめておくことができたとしても、人類として我々は大いに屈辱を感じるだろう...この新たな危険は...確かに我々に不安を与えるものである」と述べた。
- ^ セス・バウムによる解釈
参考文献
- ^ abcdefg ラッセル、スチュアート、ノーヴィグ、ピーター（2009）。「26.3：人工知能開発の倫理とリスク」人工知能：現代的アプローチ。プレンティスホール。ISBN 978-0-13-604259-4。
- ^ ボストロム、ニック（2002年）。「実存的リスク」進化と技術ジャーナル。9 （1） ： 1–31。
- ^ ab Turchin, Alexey; Denkenberger, David (2018年5月3日). 「人工知能に関連する世界的壊滅的リスクの分類」. AI & Society . 35 (1): 147–163. doi :10.1007/s00146-018-0845-5. ISSN 0951-5666. S2CID 19208453.
- ^ ベイルズ、アダム; ダレッサンドロ、ウィリアム; カーク‐ジャンニーニ、キャメロン・ドメニコ (2024). 「人工知能：壊滅的なリスクに関する議論」.哲学コンパス. 19 (2). doi : 10.1111/phc3.12964 .
- ^ abcdefghijklmnopq ボストロム、ニック（2014）。スーパーインテリジェンス：道、危険、戦略（初版）。オックスフォード大学出版局。ISBN 978-0-19-967811-2。
- ^ Vynck, Gerrit De (2023年5月23日). 「AIが私たちを破壊するかどうかの議論がシリコンバレーを分断している」 ワシントンポスト。ISSN 0190-8286 。2023年7月27日閲覧。
- ^メッツ、ケイド（2023年6月10日）。「AIはいかにして人類を破壊する のか？」ニューヨーク・タイムズ。ISSN 0362-4331 。 2023年7月27日閲覧。
- ^ 「『人工知能のゴッドファーザー』がAIの過去と可能性について語る」www.cbsnews.com 2023年3月25日2023年4月10日閲覧。
- ^ 「不正なAIがどのように発生するか」yoshuabengio.org 2023年5月26日2023年5月26日閲覧。
- ^ チューリング、アラン（1951年）。『インテリジェント機械、異端の理論』（スピーチ）。『51協会』での講義。マンチェスター：チューリングデジタルアーカイブ。2022年9月26日時点のオリジナルよりアーカイブ。 2022年7月22日閲覧。
- ^ チューリング、アラン (1951 年 5 月 15 日)。「デジタル コンピューターは考えることができるか?」。自動計算機。エピソード 2。BBC。デジタル コンピューターは考えることができるか?。
- ^ ab Parkin, Simon (2015年6月14日). 「SFはもう終わり？チャンネル4の人間と私たちの反逆的なAIへの執着」. The Guardian . 2018年2月5日時点のオリジナルよりアーカイブ。 2018年2月5日閲覧。
- ^ ab ジャクソン、サラ。「AIチャットボットChatGPTの背後にある会社のCEOは、人工知能の最悪のシナリオは「私たち全員にとっての停電」だと述べています」。Business Insider 。 2023年4月10日閲覧。
- ^ 「AIのジレンマ」www.humanetech.com。2023年4月10日閲覧
。AI研究者の50％は、AIを制御できないために人類が絶滅する可能性が10％以上あると考えています。
- ^ ab 「2022年AIの進歩に関する専門家調査」。AI Impacts 2022年8月4日。 2023年4月10日閲覧。
- ^ルース、ケビン（2023年5月30日）。「AIは『絶滅の リスク』をもたらす、業界リーダーが警告」ニューヨークタイムズ。ISSN 0362-4331 。 2023年6月3日閲覧。
- ^ スナック、リシ（2023年6月14日）。「リシ・スナックは英国が世界的なAI規制の主要プレーヤーになることを望んでいる」タイム誌。
- ^ ab Fung, Brian (2023年7月18日). 「国連事務総長、潜在的に壊滅的かつ実存的リスクに直面し、AIに関する新たな国連機関の設立を求める声を歓迎」CNNビジネス。 2023年7月20日閲覧。
- ^ abcde Yudkowsky, Eliezer (2008). 「人工知能は世界的リスクにおけるプラス要因とマイナス要因である」(PDF)。Global Catastrophic Risks : 308–345. Bibcode :2008gcr..book..303Y. 2013年3月2日時点のオリジナルよりアーカイブ(PDF) 。2018年8月27日閲覧。
- ^ ラッセル、スチュアート、デューイ、ダニエル、テグマーク、マックス(2015)。「堅牢で有益な人工知能のための研究の優先事項」(PDF)。AIマガジン。人工知能振興協会: 105–114。arXiv : 1602.03506。Bibcode : 2016arXiv160203506R 。 2019年8月4日時点のオリジナルよりアーカイブ(PDF) 。 2019年8月10日閲覧。, 「AI Open Letter - Future of Life Institute」より引用。Future of Life Institute。2015年1月。2019年8月10日時点のオリジナルよりアーカイブ。2019年8月9日閲覧。
- ^ abc Dowd, Maureen (2017年4月). 「Elon Musk's Billion-Dollar Crusade to Stop the AI Apocalypse」. The Hive . 2018年7月26日時点のオリジナルよりアーカイブ。 2017年11月27日閲覧。
- ^ 「AlphaGo Zero: ゼロから始める」www.deepmind.com 2017年10月18日. 2023年7月28日閲覧。
- ^ ブロイアー、ハンス・ペーター。「サミュエル・バトラーの『機械の書』とデザイン論」。2023年3月15日現在、Wayback Machineでアーカイブ。Modern Philology、第72巻、第4号（1975年5月）、365～383ページ。
- ^チューリング、AM ( 1996) 。「インテリジェントマシン、異端の理論」。1951年、再版Philosophia Mathematica。4 (3): 256–260。doi : 10.1093/philmat/4.3.256。
- ^ ヒリアード、マーク（2017年）。「AIの黙示録：人類はまもなく絶滅するのか？」アイリッシュタイムズ。2020年5月22日時点のオリジナルよりアーカイブ。 2020年3月15日閲覧。
- ^ IJ Good、「最初の超知能マシンに関する考察」Wayback Machineに 2011-11-28 にアーカイブ(HTML )、Advances in Computers、第 6 巻、1965 年。
- ^ ラッセル、スチュアート J.、ノーヴィグ、ピーター (2003)。「セクション 26.3: 人工知能開発の倫理とリスク」。人工知能: 現代的アプローチ。アッパー サドル リバー、ニュージャージー: プレンティス ホール。ISBN 978-0-13-790395-5同様に、
マービン・ミンスキーはかつて、リーマン予想を解くために設計された AI プログラムは、その目的を達成するためにより強力なスーパーコンピューターを構築するために、最終的には地球上のすべてのリソースを消費することになるかもしれないと示唆した。
- ^ バラット、ジェームズ（2013年）。『私たちの最後の発明：人工知能と人類の終焉』（初版）。ニューヨーク：セント・マーチンズ・プレス。ISBN 978-0-312-62237-4遊び心たっぷりに三人称で書かれたこの略歴で、
グッド氏は人生の節目を要約している。その中には、おそらく前例の無いであろう、ブレッチリー・パークでチューリング氏と共に行った研究に関する記述も含まれている。しかし、1998年に彼が最初の超知能とゲーム終盤での方向転換について書いた内容は次の通りだ。[論文]「最初の超知能マシンに関する推測」(1965年)は次のように始まっている。「人類の生存は、超知能マシンの早期構築にかかっている。」これは冷戦中のグッド氏の言葉だが、今では「生存」は「絶滅」に置き換えられるべきではないかと考えている。国際競争のせいで、マシンが支配するのを阻止することはできないと彼は考えている。彼は人間はレミングだと考えている。また、「おそらく人間は自分に似せてデウス・エクス・マキナを構築するだろう」とも述べている。
- ^ Anderson, Kurt (2014年11月26日). 「人工知能愛好家と懐疑論者が議論」. Vanity Fair . 2016年1月22日時点のオリジナルよりアーカイブ。 2016年1月30日閲覧。
- ^ Metz, Cade (2018年6月9日). 「マーク・ザッカーバーグ、イーロン・マスク、そしてキラーロボットをめぐる確執」ニューヨーク・タイムズ。2021年2月15日時点のオリジナルよりアーカイブ。 2019年4月3日閲覧。
- ^ Hsu, Jeremy (2012年3月1日). 「危険なAIをコントロールする前に、それをコントロールすべきだと専門家が語る」NBCニュース。2016年2月2日時点のオリジナルよりアーカイブ。 2016年1月28日閲覧。
- ^ abc 「スティーブン・ホーキング：「トランセンデンスは人工知能の影響を考察するが、我々はAIを真剣に受け止めているだろうか？」」The Independent (英国)。 2015年9月25日時点のオリジナルよりアーカイブ。 2014年12月3日閲覧。
- ^ 「スティーブン・ホーキング、人工知能が人類を滅ぼす可能性があると警告」BBC 2014年12月2日。2015年10月30日時点のオリジナルよりアーカイブ。2014年12月3日閲覧。
- ^ Eadicicco, Lisa (2015年1月28日). 「ビル・ゲイツ氏：イーロン・マスク氏の言う通り、我々は人工知能が人類を滅ぼすことを恐れるべき」Business Insider。 2016年2月26日時点のオリジナルよりアーカイブ。2016年1月30日閲覧。
- ^ 「堅牢で有益な人工知能のための研究優先事項：公開書簡」。Future of Life Institute。2015年1月15日時点のオリジナルよりアーカイブ。2015年10月23日閲覧。
- ^ 「人工知能の予測」. Nature . 532 (7600): 413. 2016. Bibcode :2016Natur.532Q.413.. doi : 10.1038/532413a . ISSN 1476-4687. PMID 27121801. S2CID 4399193.
- ^クリスチャン、ブライアン（ 2020年10月6日）。アライメント問題：機械学習と人間の価値観。WWノートン＆カンパニー。ISBN 978-0-393-63582-9. 2021年12月5日時点のオリジナルよりアーカイブ。2021年12月5日閲覧。
- ^ ディグナム、バージニア州 (2021年5月26日). 「AI – AIを作り、使い、管理する人々と場所」. Nature . 593 (7860): 499–500. Bibcode :2021Natur.593..499D. doi : 10.1038/d41586-021-01397-x . S2CID 235216649.
- ^ 「イーロン・マスク氏、AIトレーニングの停止を促す専門家の一人」BBCニュース。2023年3月29日。 2023年6月9日閲覧。
- ^ 「AIリスクに関する声明」。AI安全センター。 2023年6月8日閲覧。
- ^ 「人工知能は絶滅につながる可能性がある、と専門家が警告」BBCニュース。2023年5月30日。 2023年6月8日閲覧。
- ^ 「DeepMindとGoogle：人工知能をコントロールする戦い」。エコノミスト。ISSN 0013-0613 。 2023年7 月12日閲覧。
- ^ 「AIタイムライン：人工知能の専門家は将来に何を期待しているのか？」。Our World in Data 。 2023年7月12日閲覧。
- ^ De Vynck, Gerrit (2023年5月20日). 「AIが人類を滅ぼすかどうかの議論がシリコンバレーを分断している」ワシントンポスト。
- ^ 「『AIのゴッドファーザー』がGoogleを辞め、悪意のある人物が悪用するのを阻止するのが難しいため、生涯の仕事に後悔していると語る」Fortune 。 2023年7月12日閲覧。
- ^ 「スーパーAIのためのスーパースピード：フロンティアが人工知能に新たなペースをもたらす」ORNL 。 2024年9月27日閲覧。
- ^ 「スーパーインテリジェンスについて知っておくべきことすべて」Spiceworks 2023年7月14日閲覧。
- ^ abc Babauta, Leo. 「価値ある新刊書が、インテリジェントマシンが人間の生活に及ぼす潜在的な影響を探る」。Business Insider 。 2024年3月19日閲覧。
- ^ ab ボストロム、ニック（2015年4月27日）、コンピューターが私たちよりも賢くなると何が起こるのか？ 、 2023年7月13日閲覧。。
- ^ 「スーパーインテリジェンスのガバナンス」openai.com . 2023年7月12日閲覧。
- ^ 「偏見を克服する: 私はまだ Foom を理解していない」www.overcomingbias.com。 2017年8月4日時点のオリジナルよりアーカイブ。2017年9月20日閲覧。
- ^ コットン・バラット、オーウェン、オード、トビー（2014年8月12日）。「AI離陸のさまざまな速度に関する戦略的考慮事項」。人類の未来研究所。2023年7月12日閲覧。
- ^ Tegmark, Max (2023年4月25日). 「AIによって私たちを破滅させる可能性のある『見上げるな』思考」Time . 2023年7月14日閲覧。
まるで、中国人の心の制御を失うことが、人間のことを気にしないエイリアンのデジタル心の制御を失うことよりも怖いかのように。[...] 今では、エイリアンの心の可能性のある空間はそれよりもはるかに大きいことは明らかです。
- ^ 「19 – ニール・ナンダによる機械論的解釈可能性」。AXRP – AI X-risk Research Podcast。2023年2月4日。 2023年7月13日閲覧。
私たちがやらなければならない主なことは、欺瞞やそのような特定の危険な能力、状況認識、内部的に表現された目標に関係する特定の回路に気づくことだというのが、もっともらしい考えです。
- ^ 「スーパーインテリジェンスは全知ではない」。AI Impacts 2023年4月7日。 2023年4月16日閲覧。
- ^ abcdefghi Hendrycks, Dan; Mazeika, Mantas; Woodside, Thomas (2023年6月21日). 「壊滅的なAIリスクの概要」. arXiv : 2306.12001 [cs.CY].
- ^テイラー、ジョシュ 、ハーン、アレックス（2023年5月2日）。「『AIのゴッドファーザー』ジェフリー・ヒントンがグーグルを辞め、誤情報の危険性を警告」ガーディアン。ISSN 0261-3077 。 2023年7月13日閲覧。
- ^ 「NATOはAIサイバー攻撃の新時代にどう備えるか」ユーロニュース。2022年12月26日。 2023年7月13日閲覧。
- ^ 「ChatGPTと新しいAIは、エキサイティングで恐ろしい方法でサイバーセキュリティに大混乱をもたらしています」ZDNET 。 2023年7月13日閲覧。
- ^ Toby Shevlane; Sebastian Farquhar; Ben Garfinkel; Mary Phuong; Jess Whittlestone; Jade Leung; Daniel Kokotajlo; Nahema Marchal; Markus Anderljung; Noam Kolt; Lewis Ho; Divya Siddarth; Shahar Avin; Will Hawkins; Been Kim; Iason Gabriel; Vijay Bolina; Jack Clark; Yoshua Bengio; Paul Christiano; Allan Dafoe (2023年5月24日). 「極度のリスクに対するモデル評価」. arXiv : 2305.15324 [cs.AI].
- ^ Urbina, Fabio; Lentzos, Filippa; Invernizzi, Cédric; Ekins, Sean (2022年3月7日). 「人工知能を活用した創薬の二重利用」. Nature Machine Intelligence . 4 (3): 189–191. doi :10.1038/s42256-022-00465-9. ISSN 2522-5839. PMC 9544280. PMID 36211133 .
- ^ Walter, Yoshija (2023年3月27日). 「機械学習開発の急速な競争経済：社会的リスクとメリットに関する議論」. AIと倫理. 4 (2): 1. doi : 10.1007/s43681-023-00276-7 .
- ^ "The AI Arms Race Is On. Start Worrying". Time. 16 February 2023. Retrieved 17 July 2023.
- ^ Brimelow, Ben. "The short film 'Slaughterbots' depicts a dystopian future of killer drones swarming the world". Business Insider. Retrieved 20 July 2023.
- ^ Mecklin, John (17 July 2023). "'Artificial Escalation': Imagining the future of nuclear risk". Bulletin of the Atomic Scientists. Retrieved 20 July 2023.
- ^ Bostrom, Nick (2013). "Existential Risk Prevention as Global Priority" (PDF). Global Policy. 4 (1): 15–3. doi:10.1111/1758-5899.12002 – via Existential Risk.
- ^ Doherty, Ben (17 May 2018). "Climate change an 'existential security risk' to Australia, Senate inquiry says". The Guardian. ISSN 0261-3077. Retrieved 16 July 2023.
- ^ MacAskill, William (2022). What we owe the future. New York, New York: Basic Books. ISBN 978-1-5416-1862-6.
- ^ a b c d Ord, Toby (2020). "Chapter 5: Future Risks, Unaligned Artificial Intelligence". The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing. ISBN 978-1-5266-0021-9.
- ^ McMillan, Tim (15 March 2024). "Navigating Humanity's Greatest Challenge Yet: Experts Debate the Existential Risks of AI". The Debrief. Retrieved 26 September 2024.
- ^ Kasirzadeh, Atoosa (2024). "Two Types of AI Existential Risk: Decisive and Accumulative". arXiv:2401.07836 [cs.CR].
- ^ Samuelsson, Paul Conrad (June–July 2019). "Artificial Consciousness: Our Greatest Ethical Challenge". Philosophy Now. No. 132. Retrieved 19 August 2023.
- ^ Kateman, Brian (24 July 2023). "AI Should Be Terrified of Humans". Time. Retrieved 19 August 2023.
- ^ Fisher, Richard. "The intelligent monster that you should let eat you". www.bbc.com. Retrieved 19 August 2023.
- ^ More, Max (19 June 2023). "Existential Risk vs. Existential Opportunity: A balanced approach to AI risk". Extropic Thoughts. Retrieved 14 July 2023.
- ^ Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483–492).
- ^ Carlsmith, Joseph (16 June 2022). "Is Power-Seeking AI an Existential Risk?". arXiv:2206.13353 [cs.CY].
- ^ "'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power". Fortune. Retrieved 10 June 2023.
- ^ Wakefield, Jane (15 September 2015). "Why is Facebook investing in AI?". BBC News. Archived from the original on 2 December 2017. Retrieved 27 November 2017.
- ^ Yudkowsky, Eliezer (2011). "Complex Value Systems are Required to Realize Valuable Futures" (PDF). Archived (PDF) from the original on 29 September 2015. Retrieved 10 August 2020.
- ^ a b Ord, Toby (2020). The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing Plc. ISBN 978-1-5266-0019-6.
- ^ Yudkowsky, E. (2011, August). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388–393). Germany: Springer, Berlin, Heidelberg.
- ^ Russell, Stuart (2014). "Of Myths and Moonshine". Edge. Archived from the original on 19 July 2016. Retrieved 23 October 2015.
- ^ Dietterich, Thomas; Horvitz, Eric (2015). "Rise of Concerns about AI: Reflections and Directions" (PDF). Communications of the ACM. 58 (10): 38–40. doi:10.1145/2770869. S2CID 20395145. Archived (PDF) from the original on 4 March 2016. Retrieved 23 October 2015.
- ^ a b Yudkowsky, Eliezer (29 March 2023). "The Open Letter on AI Doesn't Go Far Enough". Time. Retrieved 16 July 2023.
- ^ Bostrom, Nick (2012 年 5 月 1 日)。「超知能の意志: 高度な人工エージェントの動機と道具的合理性」。Minds and Machines . 22 (2): 71–85. doi :10.1007/s11023-012-9281-3. ISSN 1572-8641. S2CID 254835485.
十分なレベルの知能を備えている限り、さまざまな最終目標のいずれかを持つエージェントは、道具的理由があるため、同様の中間目標を追求するでしょう。
- ^ Ngo, Richard; Chan, Lawrence; Sören Mindermann (2023年2月22日). 「ディープラーニングの観点から見たアライメント問題」. arXiv : 2209.00626 [cs.AI].
- ^ 「スーパーアライメントの紹介」openai.com . 2023年7月16日閲覧。
- ^ Tilli, Cecilia (2016年4月28日). 「キラーロボット？職を失う？」. Slate . 2016年5月11日時点のオリジナルよりアーカイブ。 2016年5月15日閲覧。
- ^ 「Norvig vs. Chomsky and the Fight for the Future of AI」. Tor.com . 2011年6月21日. 2016年5月13日時点のオリジナルよりアーカイブ。2016年5月15日閲覧。
- ^ Graves, Matthew (2017年11月8日). 「なぜ我々は人工超知能について懸念すべきなのか」. Skeptic (米国の雑誌) . 第22巻第2号. 2017年11月13日時点のオリジナルよりアーカイブ。 2017年11月27日閲覧。
- ^ Johnson, Phil (2015年7月30日). 「ヒューストン、バグが発生しました: 宇宙における9つの有名なソフトウェアの不具合」. IT World . 2019年2月15日時点のオリジナルよりアーカイブ。 2018年2月5日閲覧。
- ^ Yampolskiy, Roman V. (2014 年 4 月 8 日). 「人工知能エージェントの効用関数のセキュリティ」. Journal of Experimental & Theoretical Artificial Intelligence . 26 (3): 373–389. doi :10.1080/0952813X.2014.895114. S2CID 16477341.
十分に賢い自己改善システムが、現在の目標達成を最適化するために報酬メカニズムを最適化し、その過程で間違いを犯して報酬関数の破損につながることを妨げるものは何もありません。
- ^ 「人工知能は人類を滅ぼすのか？心配する必要がない5つの理由」Vox 2014年8月22日。2015年10月30日時点のオリジナルよりアーカイブ。 2015年10月30日閲覧。
- ^ ボストロム、ニック（2014年）。『スーパーインテリジェンス：道、危険、戦略』オックスフォード、イギリス：オックスフォード大学出版局。116ページ。ISBN 978-0-19-967811-2。
- ^ ボストロム、ニック (2012). 「Superintelligent Will」(PDF) .ニック・ボストロム. 2015年11月28日時点のオリジナルよりアーカイブ(PDF) . 2015年10月29日閲覧。
- ^ アームストロング、スチュアート（2013年1月1日）。「汎用インテリジェンス：直交性テーゼの議論」。分析と形而上学。12 。2014年10月11日時点のオリジナルよりアーカイブ。2020年4月2日閲覧。全文はこちらからご覧いただけます。Wayback Machineに 2020 年 3 月 25 日にアーカイブされています。
- ^ ab Chorost, Michael (2016年4月18日). 「Let Artificial Intelligence Evolve」. Slate . 2017年11月27日時点のオリジナルよりアーカイブ。 2017年11月27日閲覧。
- ^ 「人間は機械の台頭を恐れるべきか？」The Telegraph（英国）。2015年9月1日。2022年1月12日時点のオリジナルよりアーカイブ。2016年2月7日閲覧。
- ^ ab Shermer, Michael (2017年3月1日). 「Apocalypse AI」. Scientific American . 316 (3): 77. Bibcode :2017SciAm.316c..77S. doi :10.1038/scientificamerican0317-77. PMID 28207698. 2017年12月1日時点のオリジナルよりアーカイブ。2017年11月27日閲覧。
- ^ 「インテリジェントマシン：FacebookはAIで何を望んでいるのか？」BBCニュース。2015年9月14日。 2023年3月31日閲覧。
- ^ Baum, Seth (2018年9月30日). 「スーパーインテリジェンスの誤情報への対抗」.情報. 9 (10): 244. doi : 10.3390/info9100244 . ISSN 2078-2489.
- ^ 「AIの神話」www.edge.org。2020年3月11日時点のオリジナルよりアーカイブ。2020年3月11日閲覧。
- ^ ボストロム、ニック、スーパーインテリジェンス：道、危険、戦略（オーディオブック）、ISBN 978-1-5012-2774-5、OCLC 1061147095。
- ^ Sotala, Kaj; Yampolskiy, Roman V (2014年12月19日). 「壊滅的なAGIリスクへの対応：調査」. Physica Scripta . 90 (1): 12. Bibcode :2015PhyS...90a8001S. doi : 10.1088/0031-8949/90/1/018001 . ISSN 0031-8949.
- ^ ピストノ、フェデリコ、ヤンポルスキー、ローマン V. (2016 年 5 月 9 日)。非倫理的な研究: 悪意のある人工知能を作成する方法。OCLC 1106238048。
- ^ヘイニー、ブライアン・シーマス（2018年）。「 汎用人工知能の危険性と可能性」SSRNワーキングペーパーシリーズ。doi ：10.2139/ ssrn.3261254。ISSN 1556-5068。S2CID 86743553 。
- ^ 「超知能AIは人類の破滅をもたらすのか？」IEEE Spectrum 2014年9月3日。 2024年9月13日閲覧。
- ^ラッセル、 スチュアート（2017年8月30日）。 「人工知能：未来は超知能」。ネイチャー。548 （ 7669 ）：520–521。Bibcode ：2017Natur.548..520R。doi ： 10.1038 /548520a。S2CID 4459076 。
- ^ abc Tegmark, Max (2017). Life 3.0: 人工知能時代の人間であること(第 1 版). Mainstreaming AI Safety: Knopf. ISBN 978-0-451-48507-6。
- ^ クマール、ビボレ。「評議会ポスト：汎用人工知能の夜明け：豊かさと実存的安全策のバランス」フォーブス。 2023年7月23日閲覧。
- ^ ab 「巨大AI実験の一時停止：公開書簡」。Future of Life Institute 。 2023年3月30日閲覧。
- ^ 「AIの原則」。Future of Life Institute。2017年8月11日。2017年12月11日時点のオリジナルよりアーカイブ。 2017年12月11日閲覧。
- ^ 「イーロン・マスクとスティーヴン・ホーキングが人工知能の軍拡競争を警告」ニューズウィーク。2017年1月31日。2017年12月11日時点のオリジナルよりアーカイブ。 2017年12月11日閲覧。
- ^ フォード、マーティン(2015)。「第 9 章: 超知能とシンギュラリティ」。ロボットの台頭: テクノロジーと失業の未来の脅威。ベーシックブックス。ISBN 978-0-465-05999-7。
- ^ ボストロム、ニック(2016)。「ペーパーバック版への新たなエピローグ」。スーパーインテリジェンス：道、危険、戦略（ペーパーバック版）。
- ^ 「なぜ制御不能なAIがこれまで以上に起こり得るのか」Time誌。2023年2月27日。 2023年3月30日閲覧。
最新のAI影響調査によると、731人の一流AI研究者のほぼ半数が、人間レベルのAIが「極めて否定的な結果」、つまり実存的リスクにつながる可能性が少なくとも10％あると考えているのも不思議ではない。
- ^ ab Maas, Matthijs M. (2019年2月6日). 「軍事用人工知能の国際軍備管理はどの程度実行可能か? 核兵器による大量破壊から学ぶ3つの教訓」Contemporary Security Policy . 40 (3): 285–311. doi :10.1080/13523260.2019.1576464. ISSN 1352-3260. S2CID 159310223.
- ^ ab 「人工知能に感銘を受けた？専門家は、次はAGIが来るが、それは『実存的』リスクを伴うと述べている」ABCニュース。2023年3月23日。 2023年3月30日閲覧。
- ^ ローリンソン、ケビン（2015年1月29日）。「マイクロソフトのビル・ゲイツはAIは脅威だと主張している」BBCニュース。2015年1月29日時点のオリジナルよりアーカイブ。 2015年1月30日閲覧。
- ^ ワシントンポスト（2015年12月14日）。「イーロン・マスクのようなテック界の巨人たちは、ターミネーターからあなたを救うために10億ドルを費やしている」シカゴトリビューン。2016年6月7日時点のオリジナルよりアーカイブ。
- ^ 「終末からユートピアへ：AIのライバル派閥に会う」ワシントンポスト。2023年4月9日。 2023年4月30日閲覧。
- ^ 「UC Berkeley – Center for Human-compatible AI (2016)」。Open Philanthropy 2016年6月27日。 2023年4月30日閲覧。
- ^ 「イーロン・マスクが投資した謎の人工知能企業が、革新的なスマートコンピュータを開発中」。Tech Insider。2015年10月30日時点のオリジナルよりアーカイブ。2015年10月30日閲覧。
- ^ クラーク 2015a.
- ^ 「イーロン・マスクが人工知能研究に1000万ドルの自己資金を寄付」Fast Company 2015年1月15日。2015年10月30日時点のオリジナルよりアーカイブ。 2015年10月30日閲覧。
- ^ Tilli, Cecilia (2016年4月28日). 「キラーロボット？職を失う？」. Slate . 2016年5月11日時点のオリジナルよりアーカイブ。 2016年5月15日閲覧。
- ^ Khatchadourian, Raffi (2015年11月23日). 「終末の発明：人工知能は私たちにユートピアをもたらすのか、それとも破滅をもたらすのか？」。ニューヨーカー。2019年4月29日時点のオリジナルよりアーカイブ。2016年2月7日閲覧。
- ^ 「AIの危険性を警告、先駆者ジェフリー・ヒントンが自由に発言するためにGoogleを辞める」www.arstechnica.com 2023年。 2023年7月23日閲覧。
- ^ ガーリング、カレブ（2015年5月5日）。「アンドリュー・ン：なぜ『ディープラーニング』は機械だけではなく人間にも必要なのか」Wired 。 2023年3月31日閲覧。
- ^ 「人工知能は本当に人類にとって実存的な脅威なのか？」MambaPost 2023年4月4日。
- ^ 「殺人ロボットに反対するケース、人工知能に実際に取り組んでいる人物が語る」Fusion.net。2016年2月4日時点のオリジナルよりアーカイブ。2016年1月31日閲覧。
- ^ 「AI専門家が『絶滅リスク』主張を含む『悲観論』に異議を唱える」VentureBeat。2023年5月31日。 2023年7月8日閲覧。
- ^ Coldewey, Devin (2023年4月1日). 「倫理学者が『AI一時停止』の書簡に反論、実際の害悪を無視していると主張」TechCrunch . 2023年7月23日閲覧。
- ^ 「DAIR (Distributed AI Research Institute)」DAIR Institute . 2023年7月23日閲覧。
- ^ Gebru, Timnit; Torres, Émile P. (2024年4月14日). 「TESCREALバンドル：優生学と人工汎用知能によるユートピアの約束」. First Monday . doi : 10.5210/fm.v29i4.13636 . ISSN 1396-0466.
- ^ ケビン・ケリー（2017年4月25日）「超人的なAIの神話」Wired。2021年12月26日時点のオリジナルよりアーカイブ。 2022年2月19日閲覧。
- ^ Jindal, Siddharth (2023年7月7日). 「OpenAIのAI整合の追求は遠回しだ」. Analytics India Magazine . 2023年7月23日閲覧。
- ^ 「マーク・ザッカーバーグ、イーロン・マスクのAIに対する偏執狂に反応：「AIは...私たちのコミュニティの安全を守るのに役立つだろう」」。Business Insider。2018年5月25日。2019年5月6日時点のオリジナルよりアーカイブ。 2019年5月6日閲覧。
- ^ ダディッチ、スコット。「バラク・オバマが語るAI、ロボットカー、そして世界の未来」。WIRED。2017年12月3日時点のオリジナルよりアーカイブ。 2017年11月27日閲覧。
- ^ キルヒャー、マディソン・マローン。「オバマ大統領、AIのリスクについて「電源コードの近くに誰かを置く必要がある」」すべて選択。2017年12月1日時点のオリジナルよりアーカイブ。 2017年11月27日閲覧。
- ^ クリントン、ヒラリー（2017年）。何が起こったのか。サイモン＆シュスター。p.241。ISBN 978-1-5011-7556-5。[1] 2017年12月1日アーカイブ、Wayback Machineより
- ^ 「イーロン・マスク氏、AIは人類の文明を破滅させる可能性があると語る。ザッカーバーグ氏は反対。どちらが正しいのか？」2023年1月5日。2018年1月8日時点のオリジナルよりアーカイブ。 2018年1月8日閲覧。
- ^ “AIによる終末は多くのアメリカ人を心配させている。気候変動、核兵器、戦争などによる終末も同様だ”。2023年4月14日。2023年6月23日時点のオリジナルよりアーカイブ。 2023年7月9日閲覧。
- ^ Tyson, Alec; Kikuchi, Emma (2023年8月28日). 「日常生活における人工知能の役割に対する国民の懸念の高まり」. Pew Research Center . 2023年9月17日閲覧。
- ^ Sotala, Kaj; Yampolskiy, Roman (2014年12月19日). 「壊滅的なAGIリスクへの対応：調査」. Physica Scripta . 90 (1).
- ^ バレット、アンソニー M.; バウム、セス D. (2016 年 5 月 23 日)。「リスクと意思決定分析のための人工超知能大惨事への経路モデル」。実験的および理論的人工知能ジャーナル。29 (2): 397–414。arXiv : 1607.07730。doi : 10.1080 / 0952813x.2016.1186228。ISSN 0952-813X。S2CID 928824 。
- ^ Sotala, Kaj; Yampolskiy, Roman V (2014年12月19日). 「壊滅的なAGIリスクへの対応：調査」. Physica Scripta . 90 (1): 018001. Bibcode :2015PhyS...90a8001S. doi : 10.1088/0031-8949/90/1/018001 . ISSN 0031-8949. S2CID 4749656.
- ^ Ramamoorthy, Anand; Yampolskiy, Roman (2018). 「MADを超えて？人工汎用知能の競争」. ICT Discoveries . 1 (特別号1). ITU: 1–8. 2022年1月7日時点のオリジナルよりアーカイブ。 2022年1月7日閲覧。
- ^ Carayannis, Elias G.; Draper, John (2022年1月11日). 「軍事化された人工知能による戦争のリスクを抑制するための普遍的な世界平和条約による平和の最適化」. AI & Society . 38 (6): 2679–2692. doi :10.1007/s00146-021-01382-y. ISSN 0951-5666. PMC 8748529. PMID 35035113. S2CID 245877737 .
- ^ カラヤニス、エリアス・G.、ドレイパー、ジョン（2023年5月30日）「高度なサイバー戦争の課題とサイバーピースの位置づけ」、デジタル変革、経済、社会、民主主義における人工知能とイノベーションに関するエルガーコンパニオン、エドワード・エルガー出版、pp. 32–80、doi：10.4337/9781839109362.00008、ISBN 978-1-83910-936-2、 2023年6月8日閲覧。
- ^ Vincent, James (2016年6月22日). 「GoogleのAI研究者は、これらがロボットの安全性に関する5つの主要な問題であると述べています」。The Verge。2019年12月24日時点のオリジナルよりアーカイブ。2020年4月5日閲覧。
- ^ アモデイ、ダリオ、クリス・オラー、ジェイコブ・スタインハート、ポール・クリスティアーノ、ジョン・シュルマン、ダン・マネ。 「AIの安全性における具体的な問題」 arXiv プレプリント arXiv:1606.06565 (2016)。
- ^ ジョンソン、アレックス（2019年）。「イーロン・マスクは来年からあなたの脳を直接コンピューターに接続したいと考えている」NBCニュース。2020年4月18日時点のオリジナルよりアーカイブ。 2020年4月5日閲覧。
- ^ Torres, Phil (2018年9月18日). 「人類を根本的に強化することだけが私たち全員を救うことができる」. Slate Magazine . 2020年8月6日時点のオリジナルよりアーカイブ。 2020年4月5日閲覧。
- ^ Barrett, Anthony M.; Baum, Seth D. (23 May 2016). "A model of pathways to artificial superintelligence catastrophe for risk and decision analysis". Journal of Experimental & Theoretical Artificial Intelligence. 29 (2): 397–414. arXiv:1607.07730. doi:10.1080/0952813X.2016.1186228. S2CID 928824.
- ^ Piper, Kelsey (29 March 2023). "How to test what an AI model can – and shouldn't – do". Vox. Retrieved 28 July 2023.
- ^ Piesing, Mark (17 May 2012). "AI uprising: humans will be outsourced, not obliterated". Wired. Archived from the original on 7 April 2014. Retrieved 12 December 2015.
- ^ Coughlan, Sean (24 April 2013). "How are humans going to become extinct?". BBC News. Archived from the original on 9 March 2014. Retrieved 29 March 2014.
- ^ Bridge, Mark (10 June 2017). "Making robots less confident could prevent them taking over". The Times. Archived from the original on 21 March 2018. Retrieved 21 March 2018.
- ^ McGinnis, John (Summer 2010). "Accelerating AI". Northwestern University Law Review. 104 (3): 1253–1270. Archived from the original on 15 February 2016. Retrieved 16 July 2014.
For all these reasons, verifying a global relinquishment treaty, or even one limited to AI-related weapons development, is a nonstarter... (For different reasons from ours, the Machine Intelligence Research Institute) considers (AGI) relinquishment infeasible...
- ^ Sotala, Kaj; Yampolskiy, Roman (19 December 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1).
In general, most writers reject proposals for broad relinquishment... Relinquishment proposals suffer from many of the same problems as regulation proposals, but to a greater extent. There is no historical precedent of general, multi-use technology similar to AGI being successfully relinquished for good, nor do there seem to be any theoretical reasons for believing that relinquishment proposals would work in the future. Therefore we do not consider them to be a viable class of proposals.
- ^ Allenby, Brad (11 April 2016). "The Wrong Cognitive Measuring Stick". Slate. Archived from the original on 15 May 2016. Retrieved 15 May 2016.
It is fantasy to suggest that the accelerating development and deployment of technologies that taken together are considered to be A.I. will be stopped or limited, either by regulation or even by national legislation.
- ^ a b Yampolskiy, Roman V. (2022). "AI Risk Skepticism". In Müller, Vincent C. (ed.). Philosophy and Theory of Artificial Intelligence 2021. Studies in Applied Philosophy, Epistemology and Rational Ethics. Vol. 63. Cham: Springer International Publishing. pp. 225–248. doi:10.1007/978-3-031-09153-7_18. ISBN 978-3-031-09153-7.
- ^ Baum, Seth (22 August 2018). "Superintelligence Skepticism as a Political Tool". Information. 9 (9): 209. doi:10.3390/info9090209. ISSN 2078-2489.
- ^ "Elon Musk and other tech leaders call for pause in 'out of control' AI race". CNN. 29 March 2023. Retrieved 30 March 2023.
- ^ "Open letter calling for AI 'pause' shines light on fierce debate around risks vs. hype". VentureBeat. 29 March 2023. Retrieved 20 July 2023.
- ^ Vincent, James (14 April 2023). "OpenAI's CEO confirms the company isn't training GPT-5 and "won't for some time"". The Verge. Retrieved 20 July 2023.
- ^ "The Open Letter on AI Doesn't Go Far Enough". Time. 29 March 2023. Retrieved 20 July 2023.
- ^ Domonoske, Camila (17 July 2017). "Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk'". NPR. Archived from the original on 23 April 2020. Retrieved 27 November 2017.
- ^ Gibbs, Samuel (17 July 2017). "Elon Musk: regulate AI to combat 'existential threat' before it's too late". The Guardian. Archived from the original on 6 June 2020. Retrieved 27 November 2017.
- ^ Kharpal, Arjun (7 November 2017). "A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says". CNBC. Archived from the original on 22 March 2020. Retrieved 27 November 2017.
- ^ Dawes, James (20 December 2021). "UN fails to agree on 'killer robot' ban as nations pour billions into autonomous weapons research". The Conversation. Retrieved 28 July 2023.
- ^ a b Fassihi, Farnaz (18 July 2023). "U.N. Officials Urge Regulation of Artificial Intelligence". The New York Times. ISSN 0362-4331. Retrieved 20 July 2023.
- ^ "International Community Must Urgently Confront New Reality of Generative, Artificial Intelligence, Speakers Stress as Security Council Debates Risks, Rewards". United Nations. Retrieved 20 July 2023.
- ^ Sotala, Kaj; Yampolskiy, Roman V. (19 December 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1): 018001. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
- ^ Geist, Edward Moore (15 August 2016). "It's already too late to stop the AI arms race—We must manage it instead". Bulletin of the Atomic Scientists. 72 (5): 318–321. Bibcode:2016BuAtS..72e.318G. doi:10.1080/00963402.2016.1216672. ISSN 0096-3402. S2CID 151967826.
- ^ "Amazon, Google, Meta, Microsoft and other tech firms agree to AI safeguards set by the White House". AP News. 21 July 2023. Retrieved 21 July 2023.
- ^ "Amazon, Google, Meta, Microsoft and other firms agree to AI safeguards". Redditch Advertiser. 21 July 2023. Retrieved 21 July 2023.
- ^ The White House (30 October 2023). "Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence". The White House. Retrieved 19 December 2023.
Bibliography
- Clark, Jack (2015a). "Musk-Backed Group Probes Risks Behind Artificial Intelligence". Bloomberg.com. Archived from the original on 30 October 2015. Retrieved 30 October 2015.