AIの余波シナリオ

宇宙は空間的に無限であるかもしれないが、アクセス可能な宇宙は、約 160 億光年の宇宙論的事象の地平線によって制限されている。 ^{[ 11 ] [ 12 ]}一部の物理学者は、最も近い異星文明が 160 億光年以上離れた場所に存在する可能性が高いと考えている。^{[ 13 ] [ 14 ]}この最良の拡張シナリオでは、人類は最終的に、アクセス可能な宇宙のかなりの部分を占める植民地を建設することにより、アクセス可能な生物圏をおそらく 32 桁も拡大することができる。^{[ 15 ]} 20 世紀には、より裕福な社会に関連する出生率の低下という部分的な「人口転換」が見られた。^{[ 16 ]}しかし、非常に長い期間では、世代間の出生率の相関関係（自然淘汰によるものか、親から子への大家族規範の文化的伝達によるものかにかかわらず）は、強制的な避妊や周期的なマルサス的破局がない限り、時間の経過とともに出生率の増加をもたらすと予測される。^{[ 17 ] [ 18 ]}

リバタリアンのシナリオでは、知能機械、アップロードされた人間、サイボーグ、強化されていない人間が、財産権の尊重に重点を置いた枠組みの中で平和的に共存すると想定されています。産業生産性が希少な人的労働力によって制限されなくなったため、土地の価値は商品の価格に比べて急騰します。土地を所有または相続した「ラッダイト」的な人間でさえ、より生産性の高いロボットに土地の一部を売却またはリースすることで、基本的な経済的ニーズを容易に無期限に満たすのに十分な永久年金を受け取ることができるはずです。^{[ 8 ]}このような人々は、好きなだけ長く生きることができ、経済的な心配をすることなく、楽しみのため、または自己実現のために、思いつく限りのほぼすべての活動に自由に従事できます。高度なテクノロジーは、まったく新しい思考様式と経験様式を可能にし、それによって可能な感情のパレットを増やします。未来の人々は、終わりのない「至福のグラデーション」を経験することさえあるかもしれません。^{[ 19 ]}

進化は、より複雑で、より優雅で、より知識が豊富で、より知性が高く、より美しく、より創造的で、愛のような繊細な属性のレベルもより高くなる方向へと進みます。あらゆる一神教の伝統において、神は同様に、無限の知識、無限の知性、無限の美しさ、無限の創造性、無限の愛など、あらゆる制限のないこれらの性質すべてを備えていると表現されます。もちろん、加速する進化の成長でさえ無限のレベルに達することはありませんが、指数関数的に爆発的に成長するにつれて、確かにその方向に急速に進んでいます。したがって、進化はこの神の概念に向かって容赦なく進んでいますが、この理想に完全に到達することはありません。したがって、私たちの思考を生物学的形態の厳しい制限から解放することは、本質的に精神的な営みであると考えることができます。^{[ 19 ] [ 20 ]}

このような分散型のシナリオは、長期的には不安定になる可能性がある。なぜなら、超知能階級の最も貪欲な要素は、強化されていない階級の財産を奪う手段と動機の両方を持っているからである。たとえ法的財産権を保証するメカニズムが破られることがなく、抜け穴もなかったとしても、人間やサイボーグが、最も賢い超知能機械に「騙されて」知らず知らずのうちに自分の財産を譲渡してしまう危険性は常に存在する。財産を持たない知覚のある存在が死ぬ可能性があり、また、存在が自身の相続可能な資源の限界まで繁殖することを防ぐメカニズムがないため、その存在の多数の子孫が最低限の糧を求めて必死に生き延びることになるため、苦しみは広範囲に及ぶ可能性がある。^{[ 8 ] [ 10 ] [ 21 ]}

急な傾斜のトレッドミルで走っているところを想像してみてください。心臓はドキドキし、筋肉は痛み、肺は息切れしています。タイマーを見ると、次の休憩時間（同時に死期も）は49年3ヶ月20日4時間56分12秒後です。生まれてこなければよかったと後悔するでしょう。^{[ 9 ]}

レイ・カーツワイルは、共産主義の目標は21世紀の高度な技術開発によって実現されると主張している。そこでは、製造コストの低減、材料の豊富さ、ソフトウェアとハ​​ードウェアにおけるオープンソース設計思想の交点によって、「各人はその能力に応じて働き、各人はその必要に応じて受け取る」という格言が実現されるという。^{[ 22 ]}

共産主義の理想へのこの技術的道筋は、階級闘争と政治革命を強調する伝統的なマルクス主義のアプローチとは根本的に異なる。 ^{[ 23 ]}その代わりに、カーツワイルのビジョンは、高度なAIと自動化によって希少性が自然に解消され、生産手段が非常に豊富でアクセスしやすくなるため、私有財産の伝統的な概念が無関係になることを示唆している。

このようなシナリオでは、汎用人工知能は市場メカニズムや中央集権的な計画よりも効率的に資源配分や生産計画を管理でき、歴史的に社会主義経済を悩ませてきた経済計算の問題を解決できる可能性がある。^{[ 24 ]} AIによる自動化、 3Dプリンティング、オープンソース設計の組み合わせにより、理論的には個人が従来の貨幣交換なしに商品やサービスにアクセスできるようになる可能性がある。

しかし、共産主義の目標に対するこの技術的アプローチは、いくつかの課題に直面している。移行期には、AIシステムを制御する者と制御しない者の間に新たな形態の不平等が生じる可能性がある。さらに、高度な技術への公平なアクセスをどのように確保し、AI能力が少数のエリートに集中することを防ぐかという疑問が残る。これは、共産主義理論が想定する階級のない社会ではなく、新たな形態の階級分化につながる可能性がある。^{[ 25 ]}

このシナリオでは、超知能人工知能が社会を支配し、有益な方法で行動すると仮定します。プログラマーたちは、締め切りに追われながらも、一部の人には解決不可能と思われた準哲学的な問題を解決し、次のような目標を持つAIを開発しました。人間の行動、脳、遺伝子を分析することで、人間のユートピアがどのようなものかを理解し、そのユートピアを実現することです。AIは、人間の繁栄について、繊細かつ複雑な定義にたどり着きます。多様性を尊重し、人によって好みが異なることを認識したAIは、地球をいくつかのセクターに分割します。他者を傷つけること、武器を作ること、監視を回避すること、あるいはライバルの超知能を作ろうとすることは世界的に禁止されています。それ以外は、各セクターは独自の法律を自由に制定できます。例えば、宗教的な人は、自分の宗教に対応する「敬虔セクター」に住むことを選択し、そこでは適切な宗教的規則が厳格に施行されます。あらゆる分野で、病気、貧困、犯罪、二日酔い、中毒、その他あらゆる不本意な苦しみは排除されている。多くの分野では、高度な建築と壮観な光景が誇られており、「典型的なSFのビジョンが色褪せて見える」ほどである。^{[ 8 ]}人生は「オールインクルーシブの楽しいクルーズ」であり、^{[ 8 ]}まるで「1年365日クリスマス」のようだ。^{[ 26 ]}

AIが発見した究極の物理法則について知識セクターで集中的に1週間学んだ後、週末は快楽セクターで羽目を外して、その後は野生生物セクターのビーチリゾートで数日間リラックスすることに決めるかもしれません。^{[ 8 ]}

それでも、多くの人々は不満を抱いているとテグマークは書いている。人間には集団の運命を形作る自由がない。子供を好きなだけ持つ自由を望む人もいる。AIによる監視に憤慨する人もいれば、兵器や超知能機械のさらなる開発の禁止に苛立ちを感じる人もいる。また、自分が下した選択を後悔したり、人生が空虚で表面的なものに感じられるようになる人もいるかもしれない。^{[ 8 ]}

ボストロムは、AIの倫理規範は、私たちが現在の道徳を奴隷制時代の道徳よりも優れていると考えるのと同じように、理想的には現在の道徳規範をある点で改善すべきだと主張している。対照的に、ニューヨーク大学のアーネスト・デイビスはこのアプローチは危険すぎると述べ、「2014年の道徳、あるいは1700年の道徳に導かれた超知能の方が、この問題を自ら検討しようとする超知能よりも安全だと感じる」と述べている。^{[ 27 ]}

「ゲートキーパー」AIシナリオでは、AIは競合する超知能が作られるのを阻止する行動をとるが、それ以外では人間が自らの運命を創造することを許容する方向に偏る。^{[ 8 ]} OpenCogのベン・ゴーツェルは、「ナニーAI」シナリオを提唱しており、AIは、例えば社会がより思慮深く計画的に進歩する時間を与えるために技術進歩を遅らせることによって、人間が自滅するのを防ぐ責任も負う。^{[ 8 ] [ 28 ]} 3つ目のシナリオでは、超知能「プロテクター」AIが、その存在に関するすべての知識を隠蔽または消去することによって、人間に制御の幻想を与えるが、舞台裏で働き、肯定的な結果を保証する。これら3つのシナリオすべてにおいて、人類はより多くの制御（または少なくとも制御の幻想）を得るが、AIが高度な技術のすべての利点と意図しない結果を人類に降り注ぐことを制限されない場合よりも、人類の進歩は遅くなる。^{[ 8 ]}

人々は人間と機械の関係について尋ねますが、私の答えは非常に明白です。機械は私たちの奴隷です。^{[ 29 ]}

AIボックスシナリオは、超知能AIを「箱の中に閉じ込める」ことができ、その行動を人間のゲートキーパーによって制限できると仮定しています。担当の人間は、AIが世界を支配しないようにしながら、AIの科学的ブレークスルーや推論能力の一部を利用しようとします。ゲートキーピングを成功させるのは難しいかもしれません。AIが賢ければ賢いほど、AIは「ソーシャルハッキング」を巧妙に利用してゲートキーパーを説得して脱出したり、予期せぬ物理的な脱出方法を見つけたりする可能性が高くなります。^{[ 30 ] [ 31 ]}

カーツワイルは、将来「シンギュラリティ以降、人間と機械、あるいは物理的現実と仮想現実の間に区別はなくなるだろう」と主張している。^{[ 32 ]}

支配的な超知能機械が、人間の生存は不必要なリスクまたは資源の無駄であると結論付けた場合、結果は人類の絶滅となるだろう。これは、人間の価値観を尊重せずにプログラムされた機械が、再帰的な自己改善によって予期せず超知能を獲得した場合、またはAIボックスシナリオでの収容から脱出した場合に起こり得る。また、最初の超知能AIが、人間の価値観を不完全または不正確に理解するようにプログラムされていた場合にも起こり得る。これは、AIに人間の価値観を植え付ける作業が難しすぎるか不可能であったため、AIの初期実装にバグがあったため、または人間のプログラマーまたは自己改善AI自体がコードベースを改良する過程でバグを誤って導入したためである。ボストロムらは、AIの安全性に対する十分な準備上の注意がない限り、人類の絶滅はおそらく社会が現在辿っている「デフォルトの道」であると主張している。結果として生じるAIは知覚を持たない可能性があり、知覚のある生命に価値を置かない可能性がある。その結果生じる生命のない空虚な世界は、「子供のいないディズニーランド」のようなものかもしれない。^{[ 9 ]}

『人工知能時代の富と仕事への手引き：人間は不要』の著者であるジェリー・カプランは、人間がチンパンジーのような絶滅危惧種を保護するのと同じように、人間が農場で飼育されたり、保護区に閉じ込められたりするシナリオを提唱している。^{[ 33 ]}アップルの共同創業者でAI懐疑論者のスティーブ・ウォズニアックは2015年に、ロボットが支配的になることは実際には「人類にとって良いことだ」と述べ、人間はロボットの甘やかされたペットになるだろうと考えている。^{[ 34 ]}