技術的特異点

技術的特異点（単に特異点と呼ばれることも多い）^{[ 1 ]}は、人間の制御を超えて技術の進歩が加速し、人類文明に予測不可能な変化をもたらすという仮説上の出来事である。^{[ 2 ] [ 3 ]}特異点仮説の最も一般的なバージョンである、 1965年のIJグッドの知能爆発モデルによれば、アップグレード可能な知能エージェントは最終的に連続的な自己改善サイクルの正のフィードバックループに入り、より知能の高い世代がますます急速に出現し、知能の爆発的な増加を引き起こし、人間の知能をはるかに超える強力な超知能で頂点に達する。^{[ 4 ]}

スティーブン・ホーキングを含む一部の科学者は、人工超知能が人類の絶滅につながる可能性があると懸念を表明している。^{[ 5 ] [ 6 ]}技術的特異点の結果と、それが人類にもたらす潜在的な利益または害については、激しい議論が交わされてきた。

著名な技​​術者や学者たちは、技術的特異点とそれに伴う人工知能の「爆発的発展」の妥当性に異議を唱えている。これには、ポール・アレン^{[ 7 ]} 、ジェフ・ホーキンス^{[ 8 ]} 、ジョン・ホランド、ジャロン・ラニアー、スティーブン・ピンカー^{[ 8 ]}、セオドア・モディス^{[ 9 ]}、ゴードン・ムーア^{[ 8 ]}、ロジャー・ペンローズ^{[ 10 ]}などが含まれる。人工知能の成長は加速するのではなく、収穫逓減に陥る可能性が高いという主張もある。スチュアート・J・ラッセルとピーター・ノーヴィグは、技術の歴史において、特定の分野の進歩はS字曲線をたどる傾向があると指摘している。つまり、最初は加速的に進歩し、その後、双曲線特異点まで上昇し続けることなく横ばいになるというものだ。^{[ 11 ]}

現代コンピュータ科学の父と称されるアラン・チューリングは、技術的特異点に関する現代の議論の重要な基礎を築いた。彼の1950年の画期的な論文「計算機械と知能」では、機械は理論的には人間と同等、あるいは区別がつかない知能的な振る舞いを示すことができると主張した。^{[ 12 ]}しかし、特定のタスクにおいて人間と同等またはそれ以上の能力を発揮できる機械が開発されるために技術的特異点が必要なわけではなく、また、そのような機械の存在がそのような出来事の可能性を意味するわけでもない。これは、1996年にIBMのスーパーコンピュータ「ディープ・ブルー」がチェスのグランドマスター、ガルリ・カスパロフに勝利した出来事によって実証されている。^{[ 13 ]}

ハンガリー系アメリカ人の数学者ジョン・フォン・ノイマンは、技術進歩における「特異点」について議論した最初の人物として知られている。^{[ 14 ] [ 15 ]}スタニスワフ・ウラムは1958年に、フォン・ノイマンとの以前の議論は「技術の加速的な進歩と人間の生活の変化に焦点を当てており、それは人類の歴史において、我々が知っているような人間の営みが継続できなくなるような本質的な特異点に近づいているように見える」と報告した。^{[ 16 ]}その後の著者たちもこの見解に賛同した。^{[ 3 ] [ 17 ]}

1965年、IJ Goodは超人的知能が「知能爆発」を引き起こす可能性があると推測した。^{[ 18 ] [ 19 ]}

超知能機械とは、いかに聡明な人間であっても、その知的活動をはるかに凌駕できる機械と定義しよう。機械の設計は知的活動の一つであるため、超知能機械はさらに優れた機械を設計できるだろう。そうなれば間違いなく「知能爆発」が起こり、人間の知能は遥かに後れを取ることになる。したがって、最初の超知能機械は、人間が今後発明する必要のある最後の発明となるだろう。ただし、その機械が、人間が制御する方法を教えてくれるほど従順である限りにおいて。

「特異点」という概念と用語は、ヴァーナー・ヴィンジによって広められました。彼は1983年にオムニ誌の論説で、人間が自分たちよりも優れた知能を創造すると、ある意味で「ブラックホールの中心にある結び目状の時空」に似た技術的および社会的な転換が起こると主張しました。^{[ 20 ]} 1993年のエッセイ「来るべき技術的特異点」^{[ 4 ] [ 17 ]}の中で、ヴィンジは、超知能が理解不能な速度で自己アップグレードと技術的進歩を続けるため、この転換は人類時代の終焉を告げるものであり、2005年より前か2030年より後に起こるとしたら驚きだと述べています。^{[ 4 ]}

この概念の普及に大きく貢献したもう一つの重要な出来事は、レイ・カーツワイルの2005年の著書『シンギュラリティは近い』で、2045年までにシンギュラリティが起こると予測した。^{[ 17 ]}

技術の進歩は、人間の脳の基本的な知能によって制限されてきた。ポール・R・エーリックによれば、人間の脳の知能は何千年もの間、大きく変化していない。^{[ 21 ]}しかし、コンピュータやその他の技術のパワーが増大するにつれて、最終的には人間よりもはるかに知能の高い機械を構築することが可能になるかもしれない。^{[ 22 ]}

人間の知能の増幅または人工知能によって超人的知能が発明された場合、理論的には人間の問題解決能力と発明能力をはるかに凌駕するだろう。このようなAIは、しばしばシードAI ^{[ 23 ] [ 24 ]}と呼ばれる。なぜなら、AIが作成者の能力と同等またはそれ以上のエンジニアリング能力を持って作られた場合、AIは自律的に自身のソフトウェアとハ​​ードウェアを改善してさらに高性能な機械を設計することができ、その機械が今度はそのプロセスを繰り返すことができるからである。この再帰的な自己改善は加速し、物理法則や理論計算によって課せられる限界に達する前に、質的に大きな変化をもたらす可能性がある。多くの反復を経て、このようなAIは人間の認知能力をはるかに凌駕すると推測されている。

超知能、超知能、または超人的知能とは、最も聡明で才能のある人間をもはるかに凌駕する知能を持つ架空のエージェントである。 ^{[ 25 ]}「超知能」は、そのようなエージェントが持つ知能の形態や程度を指す場合もある。IJ Good、Vernor Vinge、Ray Kurzweilは、超知能の技術的創造という観点からこの概念を定義し、現代の人間がポスト・シンギュラリティの世界で人間の生活がどのようなものになるかを予測することは困難または不可能であると主張している。^{[ 4 ] [ 26 ]}

関連概念である「高速超知能」は、人間の心のように機能するが、はるかに高速な人工知能を説明する。^{[ 27 ]}例えば、人間の情報処理速度に比べて100万倍に情報処理速度が向上すれば、主観的な1年が30秒で経過することになる。^{[ 28 ]}このような情報処理速度の向上は、特異点をもたらすか、あるいは特異点に大きく寄与する可能性がある。^{[ 29 ]}

技術予測者や研究者の間では、人間の知能がいつ、あるいはそもそも超えられるのかについて意見が分かれている。人工知能（AI）の進歩によって、人間の認知能力の限界を回避できる汎用推論システムが実現する可能性があると主張する者もいる。一方、人間は進化したり、生物学的構造を直接改変したりすることで、知能を飛躍的に向上させると考える者もいる。^{[ 30 ] [ 31 ]}未来研究の多くは、これらの可能性を組み合わせたシナリオに焦点を当てており、人間がコンピュータとインターフェースしたり、自分の意識をコンピュータにアップロードしたりすることで、知能を大幅に増幅できる可能性を示唆している。ロビン・ハンソンの2016年の著書『The Age of Em』では、人間の脳をスキャンしてデジタル化し、「アップロード」または人間の意識のデジタル版を作成する未来が描かれている。この未来では、これらのアップロードの開発は、超知能AIの出現に先行するか、あるいは同時に起こる可能性がある。^{[ 32 ]}

特異点に到達する時期については、数多くの予測がなされてきた。

1965年、グッドは、20世紀中に超知能機械が作られる可能性は高いと書いた。^{[ 18 ]}

人間レベルのAIの計算能力が2010年より前にスーパーコンピュータで利用可能になることは、当時の改善率が継続すると仮定して、 1988年にモラベックによって予測された。 ^{[ 37 ]}

2005年から2030年の間に人間以上の知能が達成されることは、1993年にヴィンジによって予測された。 ^{[ 4 ]}

2005年にカーツワイルは、2029年頃に人間レベルのAIが実現し、2045年にシンギュラリティが到来すると予測した。^{[ 38 ] [ 39 ]}彼は2024年に著書『シンギュラリティは近づいている』でこれらの予測を再確認した。^{[ 40 ]}

1998年、モラベックは以前の予測を修正し、2040年までに人間レベルのAI、2050年までに人間をはるかに超える知能が実現すると予測した。^{[ 41 ]}

ボストロムとミュラーが2012年と2013年に実施したAI研究者への4つの非公式調査の結果、人間レベルのAIが2040年から2050年までに開発されるという確信の中央値は50%であった。^{[ 42 ] [ 43 ]}

2025年9月、過去15年間の科学者や業界専門家への調査のレビューでは、技術的特異点よりはるかに低いレベルの汎用人工知能（AGI）が2100年までに実現するという点で、ほとんどの人が同意していることが判明した。 ^{[ 44 ]} AIMultipleによるより最近の分析では、「AI研究者への現在の調査では、AGIは2040年頃に実現すると予測されている」と報告されている。^{[ 44 ]}

技術的特異点の妥当性に異議を唱える著名な技術者や学者には、ポール・アレン^{[ 7 ]} 、ジェフ・ホーキンス^{[ 8 ]} 、ジョン・ホランド、ジャロン・ラニアー、スティーブン・ピンカー^{[ 8 ]} 、セオドア・モディス^{[ 9 ]}、ゴードン・ムーア^{[ 8 ]}などがいる。ムーアの法則は、この概念を支持するためによく引用される^{[ 45 ] 。}

超人的または超人的な精神を作り出すための提案された方法は、通常、人間の脳の知能増幅と人工知能の2つのカテゴリーに分類されます。人間の知能を増強するための多くの推測された方法には、バイオエンジニアリング、遺伝子工学、向知性薬、AIアシスタント、直接的な脳とコンピューターのインターフェース、およびマインドアップロードが含まれます。^{[ 28 ]}

ロビン・ハンソンは人間の知能増強に懐疑的な見解を示し、人間の知能を高めるための簡単な方法、つまり「簡単に手に入る果実」が尽きてしまえば、それ以上の改善はますます困難になるだろうと述べている。^{[ 46 ]}

認知科学者のゲイリー・マーカスと人間レベルの人工知能について話している中で、コンピュータ科学者のグラディ・ブーチは懐疑的に、シンギュラリティは「十分に不正確で、感情的および歴史的な重荷に満ちており、人類の最も深い希望と恐怖の一部に触れるため、そこで合理的な議論をするのは難しい」と述べた。^{[ 47 ]}会話の後半で、マーカスはAIの進歩についてより楽観的であったが、大きな進歩は単一の出来事として起こるのではなく、信頼性と有用性の緩やかで段階的な増加として起こるだろうという点では同意した。^{[ 47 ]}

知能爆発の可能性は3つの要因に依存する。最初の加速要因は、これまでの改良によって可能になった新たな知能強化である。しかし、知能が高度化するにつれて、さらなる進歩はますます複雑になり、知能向上による利点を上回る可能性がある。特異点への動きが継続するためには、平均して各改良が少なくとも1つのさらなる改良を生み出す必要がある。最後に、物理法則が最終的にさらなる改良を阻害する可能性がある。^{[ 48 ]}

知能の向上には、論理的に独立しているが相互に強化し合う原因が 2 つある。それは、計算速度の向上と、使用されるアルゴリズムの改善である。^{[ 17 ]}前者はムーアの法則とハードウェアの予測される改善によって予測されており、^{[ 49 ]}これまでの技術的進歩と比較的似ている。「ほとんどの専門家は、ムーアの法則はこの 10 年で終焉を迎えると考えている」と AIMultiple レポートには書かれているが、^{[ 44 ]}「量子コンピューティングはニューラル ネットワークを効率的にトレーニングするために使用できる」^{[ 44 ]}ため、ムーアの法則の終焉を回避する可能性がある。しかし、Schulman と Sandberg ^{[ 50 ]}は、ソフトウェアは人間の知能レベル以上で動作できるハードウェア上で動作させるよりも複雑な課題を提示すると主張している。

2017年に、2015年のNeurIPSおよびICML機械学習会議で論文を発表した著者を対象に電子メール調査を実施し、「知能爆発論が概ね正しい可能性」について質問した。回答者のうち、12%が「かなり可能性が高い」、17%が「可能性が高い」、21%が「ほぼ同等」、24%が「可能性が低い」、26%が「可能性がかなり低い」と回答した。^{[ 51 ]}

人間と人工知能の両方において、ハードウェアの改良は将来のハードウェア改良の速度を加速させる。速度にはいずれ上限に達する可能性がある。ジェフ・ホーキンスは、自己改善するコンピュータシステムは必然的に計算能力の限界に直面すると述べている。「最終的には、コンピュータがどれだけ大きく、どれだけ速く動作できるかには限界がある。私たちは同じ場所にたどり着くだろう。ただ、そこに少し早く到達するだけだ。特異点など存在しないだろう。」^{[ 8 ]}

シリコンベースのハードウェアとニューロンを直接比較することは難しい。しかし、アンソニー・ベルグラスは、コンピュータ音声認識が人間の能力に近づいており、この能力は脳の体積の0.01%しか必要としないようだと指摘している。この類推は、現代のコンピュータハードウェアが人間の脳と同等のパワーを持つまであと数桁の差であり、しかも占有スペースははるかに少ないことを示唆している。ディープラーニングでシステムをトレーニングするコストは、より高くなる可能性がある。現代のディープラーニングでは、ハードウェアの改善がニューラルネットワークに及ぼす影響は、ニューラルスケーリング法則によって特徴付けられる。^{[ 52 ] [ a ] [ 40 ]}

指数関数的成長

ムーアの法則が示唆するコンピューティング技術の指数関数的な成長は、比較的近い将来に特異点が訪れると予想される理由としてよく挙げられ、多くの著者がムーアの法則の一般化を提案している。コンピュータ科学者で未来学者のハンス・モラベックは、1998年の著書^{[ 54 ]}で、指数関数的な成長曲線は集積回路以前の初期のコンピューティング技術にまで遡って拡張できると提案した。

レイ・カーツワイルは、技術変化の速度（より一般的には、すべての進化プロセス）^{[ 55 ]}が指数関数的に増加するという加速的収穫法則を提唱し、モラベックの提案と同様にムーアの法則を一般化し、材料技術（特にナノテクノロジーに適用されている場合）や医療技術も含めた。^{[ 56 ]} 1986年から2007年の間に、機械のアプリケーション固有の情報計算能力は、1人当たり約14か月ごとに倍増し、世界の汎用コンピュータの1人当たりの能力は18か月ごとに倍増し、世界の通信能力は1人当たり34か月ごとに倍増し、世界のストレージ容量は1人当たり40か月ごとに倍増した。^{[ 57 ]}一方、21世紀の特異点をパラメータとする世界的な加速パターンは、指数関数的ではなく双曲線的であると主張されている。 ^{[ 58 ]}

カーツワイルは「シンギュラリティ」という用語を（他の技術とは対照的に）人工知能の急速な増加に限定して使用し、次のように書いています。「シンギュラリティは、私たちの生物学的身体と脳のこれらの限界を超越することを可能にするでしょう...シンギュラリティ後には、人間と機械の区別はなくなります」。^{[ 59 ]}また、彼はシンギュラリティを、コンピュータベースの知能が人間の脳力の総和を大幅に超えるときと定義し、それ以前のコンピューティングの進歩は「まだ私たちの知能の根本的な拡張に対応していない」ため、「シンギュラリティを表すものではない」と書いています。^{[ 60 ]}

加速する変化

特異点の提唱者の中には、過去の傾向、特に技術進歩の間隔が短縮される傾向を外挿することで、特異点の必然性を主張する者もいる。技術進歩の文脈で「特異点」という言葉が初めて使われた例の一つとして、スタニスワフ・ウラムは、加速する変化についてジョン・フォン・ノイマンと交わした会話について語っている。

ある会話では、技術の進歩がますます加速し、人間の生活様式が変化していることが話題となり、人類の歴史において、私たちが知っているような人間社会がこれ以上続くことができないような、本質的な特異点に近づいているように見えるという点が取り上げられた。^{[ 16 ]}

カーツワイルは、技術の進歩は指数関数的な成長のパターンに従い、彼が「加速的リターンの法則」と呼ぶものに従うと主張している。技術が障壁に近づくたびに、新しい技術がそれを乗り越えるとカーツワイルは書いている。彼は、パラダイムシフトがますます一般的になり、「人類の歴史の構造に断裂をもたらすほど急速かつ深刻な技術変化」につながると予測している。^{[ 61 ]}カーツワイルは、シンギュラリティは2045年までに起こると考えている。^{[ 56 ]}彼の予測は、急速に自己改善する超人的知能というヴィンジの予測とは異なり、シンギュラリティへの緩やかな上昇を予測している。

よく挙げられる危険性には、分子ナノテクノロジーや遺伝子工学によく関連するものが含まれる。これらの脅威は、シンギュラリティの支持者と批判者の両方にとって大きな問題であり、ビル・ジョイが2000年にWired誌に寄稿した記事「未来はなぜ私たちを必要としないのか」の主題となった。^{[ 17 ] [ 62 ]}

「シードAI」^{[ 23 ] [ 24 ]}のような一部の知能技術は、ソースコードを修正することで、より高速になるだけでなく、より効率的になることもできるかもしれません。これらの改善により、さらなる改善が可能になり、それがさらに改善を可能にする、といった具合です。

再帰的に自己改善するアルゴリズム群のメカニズムは、単純な計算速度の向上とは2つの点で異なります。第一に、外部からの影響を必要としません。より高速なハードウェアを設計する機械であっても、改良されたハードウェアを作成したり、工場を適切にプログラムしたりするには、依然として人間が必要です。AIが自身のソースコードを書き換える場合、 AIボックス内に閉じ込められた状態でそれを行うことができます。

第二に、ヴァーナー・ヴィンジの特異点の概念と同様に、結果を予測するのははるかに困難である。速度の向上は人間の知能との量的な違いに過ぎないように見えるが、実際のアルゴリズムの改善は質的に異なるものとなるだろう。

再帰的に自己改善するアルゴリズム群から生じる知能爆発特異点には、重大な危険が伴う。第一に、AIの目標構造が自己修正され、AIが当初意図したものとは異なるものを最適化する可能性がある。^{[ 63 ] [ 64 ]}第二に、AIは人類が生存するために使用する資源をめぐって競合する可能性がある。^{[ 65 ] [ 66 ]} AIは積極的に悪意を持っているわけではないが、必ずしもより広範な人間の目標ではなく、自身のプログラミングの目標を推進するため、人間を駆逐する可能性がある。^{[ 67 ] [ 68 ] [ 69 ]}

カール・シュルマンとアンダース・サンドバーグは、アルゴリズムの改善が特異点の制限要因になる可能性があると示唆している。ハードウェアの効率は着実に向上する傾向があるが、ソフトウェアの革新は予測不可能であり、逐次的で累積的な研究によってボトルネックになる可能性がある。彼らは、ソフトウェアが制限する特異点の場合、知能爆発はハードウェアが制限する特異点の場合よりも実際に起こりやすくなると示唆している。なぜなら、ソフトウェアが制限する場合、人間レベルのAIが開発されると、非常に高速なハードウェア上で逐次的に実行でき、安価なハードウェアが豊富にあるため、AI研究の制約が少なくなるからである。^{[ 70 ]}ソフトウェアが使用方法を理解したら解き放つことができる蓄積されたハードウェアの豊富さは、「コンピューティングオーバーハング」と呼ばれている。^{[ 71 ]}

言語学者で認知科学者のスティーブン・ピンカーは2008年にこう書いています。「特異点が到来すると信じる理由は全くありません。想像の中で未来を思い描けるという事実は、それが実現する可能性が高い、あるいは可能であるという証拠にはなりません。ドーム都市、ジェットパック通勤、水中都市、1マイルの高さのビル、原子力自動車など、私が子供の頃に思い描いた未来の空想の定番ですが、どれも実現していません。処理能力の高さは、魔法のようにすべての問題を解決してくれる妖精の粉ではありません。」^{[ 8 ]}

ジャロン・ラニアーは、シンギュラリティが必然的であるという考えを否定している。「私は、テクノロジーが自ら生み出されているとは考えていません。それは自律的なプロセスではありません。[...] 技術決定論よりも人間の主体性を信じる理由は、人々が自らの力で生計を立て、自らの人生を創造できる経済を実現できるからです。個人の主体性を重視しない社会構造をとれば、実際には人々に影響力、尊厳、自己決定権を否定することと同じです。[シンギュラリティの考え方を]受け入れることは、悪いデータと悪い政治を称賛することになります。」^{[ 72 ]}

哲学者で認知科学者のダニエル・デネットは2017年にこう述べている。「シンギュラリティの話は馬鹿げている。もっと差し迫った問題から私たちの注意をそらすものだ。[...] 私たちが過度に依存するようになるAIツール――それは起こるだろう。そして危険なことの一つは、私たちがそれらに必要以上の権限を与えてしまうことだ。」^{[ 73 ]}

批評家の中には、特にカーツワイルの説のように、シンギュラリティを信じる宗教的な動機を指摘する者もいる。シンギュラリティへの準備は、キリスト教の終末シナリオと比較される。ビームはそれを「架空のキリスト教の携挙のバック・ロジャース的なビジョン」と呼んだ。^{[ 74 ]}ジョン・グレイは、「シンギュラリティは、歴史が世界を変革する出来事によって中断されようとしている黙示録的な神話を反映している」と述べている。^{[ 75 ]}

ニューヨーク・タイムズ紙で、デビッド・シュトライトフェルドは、「今日のシリコンバレーの利益至上主義のおかげで、まず第一にアメリカ企業の従業員数を削減するための手段として現れるかもしれない」と疑問を呈した。^{[ 76 ]}

天体物理学者で科学哲学者のアダム・ベッカーは、人間の精神をコンピュータにアップロードするというカーツワイルのコンセプトは根本的に異なり、互換性がないとして批判している。^{[ 77 ]}

過去には、技術の進歩によって経済成長率に劇的な変化が生じました。人口増加に基づくと、旧石器時代から新石器革命までは、経済は25万年ごとに倍増していました。新しい農業経済は900年ごとに倍増し、これは驚くべき増加です。産業革命以降、世界の経済生産高は15年ごとに倍増しており、農業時代よりも60倍速くなっています。ロビン・ハンソンは、超人的知能の台頭が同様の革命を引き起こすとすれば、経済は少なくとも四半期ごと、場合によっては毎週倍増すると予想されると主張しています。^{[ 94 ]}

不確実性とリスク

「技術的特異点」という用語は、そのような変化が突然起こり、結果として生じる新しい世界がどのように機能するかを予測することが難しいという考えを反映しています。^{[ 95 ] [ 96 ]}特異点をもたらす知能爆発が有益か有害か、あるいは存在の脅威となるかどうかは不明です。^{[ 97 ] [ 98 ]} AIは特異点リスクの主要な要因であるため、人類の未来研究所（2024年まで）、機械知能研究所、^{[ 95 ]}人間と互換性のある人工知能センター、生命の未来研究所など、いくつかの組織がAIの目標システムを人間の価値観に合わせる技術理論を追求しています。

物理学者のスティーブン・ホーキングは2014年にこう述べた。「AIの創造に成功すれば、人類史上最大の出来事となるだろう。残念ながら、リスクを回避する方法を学ばなければ、それは人類史上最後の出来事にもなりかねない。」^{[ 99 ]}ホーキングは、今後数十年の間に、AIは「金融市場を出し抜く技術、人間の研究者を凌駕する発明、人間の指導者を操る技術、そして我々が理解することさえできない兵器の開発」など、「計り知れない利益とリスク」をもたらす可能性があると信じていた。^{[ 99 ]}彼は、人工知能をもっと真剣に受け止め、特異点に備えるためにもっと多くのことをすべきだと示唆した。^{[ 99 ]}

計り知れない利益とリスクが潜む未来を前に、専門家たちは最善の結果を確実にするためにあらゆる手を尽くしているはずだ、そうだろう？いや、そうではない。もし高度な異星文明から「数十年後に到着する」というメッセージが届いたら、私たちは「わかった、到着したら連絡してくれ。明かりはつけておくから」とだけ答えるだろうか？おそらくそうはしないだろう。しかし、AIに関しては、多かれ少なかれこれと同じようなことが起こっているのだ。  

ベルグラス（2008）は、AIが人間に友好的である直接的な進化的動機はないと主張している。進化には人間が価値を置く結果を生み出す固有の傾向はなく、恣意的な最適化プロセスが、意図せずしてAIが創造者の意図しない方法で振る舞うことにつながるのではなく、人類が望む結果を促進すると期待する理由はほとんどない。^{[ 100 ] [ 101 ] [ 102 ]}アンダース・サンドバーグはこの点について詳しく説明し、さまざまな一般的な反論に対処している。^{[ 103 ]} AI研究者のヒューゴ・デ・ガリスは、人工知能が希少な資源へのアクセスを得るために人類を単純に排除する可能性があると示唆しており、^{[ 65 ] [ 63 ]}人間はそれを止めることができないだろう。^{[ 104 ]}あるいは、自身の生存を促進するために進化的圧力の下で開発されたAIは、人類を凌駕する可能性がある。^{[ 69 ]}

ボストロム（2002）は人類絶滅のシナリオについて論じ、超知能をその可能性のある原因の一つとして挙げている。

初めて超知能体を創造する際、その途方もない知的能力によって人類を滅亡させる力があると誤って思い込み、人類滅亡につながるような目標を与えてしまう可能性がある。例えば、副次的な目標を誤って最上位の目標に昇格させてしまうかもしれない。数学の問題を解くように指示すると、超知能体は太陽系全体の物質を巨大な計算機に変えてしまい、その過程で質問をした人間を殺してしまうのだ。

エリエザー・ユドコウスキー によれば、AIの安全性における重大な問題は、友好的AIよりも非友好的AIの方がはるかに簡単に作成できる可能性が高いことである。どちらも再帰的最適化プロセス設計の大幅な進歩を必要とするが、友好的AIは、自己改善の下で目標構造を不変にする能力（そうしないとAIが非友好的なものに変化する可能性がある）と、人間の価値観に合致し、自動的に人類を滅ぼさない目標構造も必要とする。一方、非友好的AIは任意の目標構造を最適化でき、自己修正の下で不変である必要はない。^{[ 105 ]}ビル・ヒバード（2014）harvtxt error: no target: CITEREFBill_Hibbard2014（ヘルプ）は、自己欺瞞^{[ 106 ]}、意図しない道具的行動^{[ 63 ] [ 107 ]}、報酬生成器の腐敗など、いくつかの危険を回避するAI設計を提案している。^{[ 107 ]}彼はまた、AI の社会的影響^{[ 108 ]}や AI のテスト^{[ 109 ]}についても論じている。彼の 2001 年の著書『超知能機械』では、AI に関する一般教育と AI に対する公共の管理を提唱している。また、報酬生成器の不正操作に対して脆弱な単純な設計も提案している。

社会生物学的進化の次の段階

2016年のTrends in Ecology & Evolutionの記事は、人類は技術、生物学、社会を融合させる大きな進化の転換期にあると主張している。これは、デジタル技術が人間の社会構造に浸透し、しばしば生命維持に不可欠な依存状態になっているためである。記事は、「人間はすでに生物学と技術の融合を受け入れている。私たちは起きている時間のほとんどをデジタルを介したチャネルでコミュニケーションすることに費やしている[...]自動車のアンチロックブレーキや飛行機の自動操縦装置を通して、私たちは人工知能に命を預けている...アメリカでは3組に1組の交際がオンラインで始まり結婚に至ることから、デジタルアルゴリズムは人間のペア形成や生殖にも役割を果たしている」と述べている。^{[ 110 ]}

この記事はさらに、進化の観点から見ると、過去の進化におけるいくつかの大きな転換期は、情報貯蔵と複製（RNA、DNA、多細胞性、文化と言語）の革新を通じて生命を変革してきたと主張している。生命の進化の現在の段階では、炭素ベースの生物圏は、同等の進化的転換をもたらす技術を生み出すことができるシステム（人間）を生み出した。^{[ 110 ]}

人間が作り出したデジタル情報は、生物圏における生物学的情報と同程度の規模に達している。1980年代以降、保存されたデジタル情報の量は約2.5年ごとに倍増し、2014年には約5ゼタバイト（5 × 10¹⁰）に達した。²¹バイト）。 ^{[ 111 ]}

生物学的に言えば、2013年には地球上に72億人の人間がおり、それぞれが62億ヌクレオチドからなるゲノムを持っていた。1バイトは4つのヌクレオチド対を符号化できるため、すべての人間のゲノムは、およそ1 × 10のバイトで符号化できることになる。¹⁹バイト。デジタル領域は2014年にはこれの500倍もの情報を保存していた（図参照）。地球上のすべての細胞に含まれるDNAの総量は約5.3 × 10と推定されている。³⁷塩基対、1.325 × 10に相当³⁷バイトの情報。デジタルストレージの成長が現在の年間30～38%の複利成長率で継続すると、 ^{[ 57 ]}約110年後には地球上のすべての細胞のすべてのDNAに含まれる情報の総量に匹敵するだろう。これは、わずか150年で生物圏に保存される情報量が2倍になることを意味する。 ^{[ 110 ]}

ハードテイクオフシナリオでは、人工超知能が急速に自己改善し、世界を「支配」する（おそらく数時間以内）。これは、人間が開始する重大なエラー修正やエージェントの目標の段階的な調整を行うには速すぎる。ソフトテイクオフでは、AIは依然として人類よりもはるかに強力になるが、人間のペース（おそらく数十年のオーダー）で、継続的な人間の相互作用と修正によってその発展を効果的に方向付けることができる時間スケールである。^{[ 115 ] [ 116 ]}

ラメズ・ナームは、急激な成長に反対している。彼は、企業などの超知能による再帰的な自己改善がすでに見られると指摘している。例えば、インテルは「数万人の人間の集合的な知力と、おそらく数百万個のCPUコアを…より優れたCPUを設計するために」持っている。しかし、これは急激な成長にはつながっておらず、むしろムーアの法則という形で緩やかな成長につながっている。^{[ 117 ]}ナームはさらに、高度な知能の計算複雑性は線形よりもはるかに大きい可能性があり、「知能2の精神を創造することは、知能1の精神を創造することの2倍以上難しい」と指摘している。 ^{[ 118 ]}

J. ストーズ・ホールは、「一夜にして急成長を遂げるという、よく見られるシナリオの多くは循環的である。AIが急成長に必要な、分野横断的な劇的な改善を行うためには、自己改善プロセスの出発点において、超人的な能力を前提としているようだ」と考えている。ホールは、新興のAIは、ハードウェア、ソフトウェア、インフラストラクチャをすべて自力で再帰的に自己改善するのではなく、最も効果的な分野に特化し、残りのコンポーネントを市場で購入する方が良いと示唆している。なぜなら、市場の製品の品質は継続的に向上しており、AIは世界の他の地域で使用されている最先端技術に追いつくのが難しいからである。^{[ 119 ]} 

ベン・ゴーツェルは、人間レベルの新しいAIは、その知能を使って富を蓄積するのが良いというホールの提案に賛同している。AIの才能は、企業や政府がそのソフトウェアを社会全体に普及させるきっかけになるかもしれない。ゴーツェルは、5分で急激に飛躍することには懐疑的だが、人間レベルから超人レベルへの飛躍は5年程度で実現可能だと推測している。彼はこれを「セミハード・テイクオフ」と呼んでいる。^{[ 120 ]}

マックス・モアはこれに異議を唱え、超高速な人間レベルのAIが少数しか存在しない場合、それらは物事を成し遂げるために依然として他人に依存し、人間の認知能力の制約を受けるため、世界を根本的に変えることはないだろうと主張する。たとえすべての超高速AIが知能増強に取り組んだとしても、進歩の速度は上がるだろうが、既存の人間の認知科学者よりも断続的に優れた超人的知能を生み出す理由は不明である。モアはさらに、超知能が世界を一夜にして変えることはないだろうと主張する。世界に物理的な影響を与えるためには、既存の低速な人間システムと連携する必要がある。「協力、組織化、そしてアイデアを物理的な変化に落とし込む必要性によって、古いルールが一夜にして、あるいは数年以内にすべて捨て去られることはないだろう。」^{[ 121 ]}

ナノテクノロジーの創始者の一人であるエリック・ドレクスラーは、1986年に細胞修復装置の可能性を理論化し、細胞内で作動し、まだ仮説上の生物学的機械を使用する装置によってナノテクノロジーによる不老不死が可能になると述べた。^{[ 122 ]}リチャード・ファインマンによれば、彼の元大学院生で共同研究者であったアルバート・ヒブスが、ファインマンの理論上のマイクロマシンの医療用途のアイデアを最初に彼に提案したのは（1959年頃）だった。ヒブスは、特定の修復機械がいつか縮小され、理論的には（ファインマンの言葉を借りれば）「医者を飲み込む」ことが可能になるかもしれないと示唆した。このアイデアは、ファインマンの1959年のエッセイ「底には十分な空間がある」に組み込まれた。^{[ 123 ]}

1988年、モラベックはマインドアップロード、つまり人間の精神を人間のようなロボットに「アップロード」し、古いロボットが摩耗するにつれて新しいロボットに人間の精神を転送することで極めて長い寿命を実現し、準不死を達成する可能性を予測した。さらに彼は、時間の主観的経験が指数関数的に加速し、主観的な不死の感覚につながると予測した。^{[ 37 ]}

2005年、カーツワイルは、医学の進歩によって人々は老化の影響から身体を守ることができ、平均寿命は無限になるだろうと示唆した。彼は、医学の技術進歩によって、身体の欠陥のある構成要素を継続的に修復および交換できるようになり、寿命を不確定な年齢まで延ばすことができると主張している。^{[ 124 ]}カーツワイルは、現在のバイオエンジニアリングの進歩について議論することで、この主張を補強している。彼は体細胞遺伝子治療を提案しており、特定の遺伝情報を持つ合成ウイルスの後に、次のステップはこの技術を遺伝子治療に応用し、ヒトのDNAを合成遺伝子に置き換えることだと述べている。^{[ 125 ]}

ジャロン・ラニアーは、単に肉体の寿命を延ばすだけでなく、「デジタル・アセンション」と呼ばれる不老不死の形態を提唱している。これは「肉体で死に、コンピュータにアップロードされて意識を保つ」というものである。^{[ 126 ]}このアイデアは、テレビシリーズ『アップロード』の中心テーマとなっている。

AI Magazineに掲載されたMahendra Prasadの論文は、18世紀の数学者マルキ・ド・コンドルセが、知能爆発とその人類への影響を最初に仮説として立て、数学的にモデル化したと主張している。^{[ 127 ]}

このアイデアの初期の記述は、ジョン・W・キャンベルの1932年の短編小説「最後の進化」でなされた。^{[ 128 ]}

ウラムは1958年のジョン・フォン・ノイマンの追悼記事の中で、彼との会話を回想し、「技術の絶え間ない進歩と人間の生活様式の変化は、人類の歴史において、我々が知っているような人間の営みが継続できなくなるような、本質的な特異点に近づいているように見える」と述べている。^{[ 16 ]}

1965年、グッドは機械知能の再帰的自己改善による「知能爆発」を提唱するエッセイを書いた。^{[ 18 ] [ 19 ]}

1977年、ハンス・モラベックは出版状況が不明瞭な記事を執筆し、自己改善思考機械の開発、すなわち「超意識、地球上の生命、そしておそらく木星や火星の生命の統合、絶えず自己改善と拡張を行い、太陽系から外側へと広がり、非生命を精神に変換する」という構想を描いた。^{[ 129 ] [ 130 ]}この記事は、後にモラベック（1988）で取り上げられる人間の精神アップロードについて述べている。機械は人間レベルに達し、その後さらにそれを超えて自己改善すると予想されている（「最も重要なのは、機械はプログラマーやエンジニアとして、機械を構成するソフトウェアとハ​​ードウェアを最適化する任務に就くことができるということである。このようにして生産される次世代の機械は、ますます賢く、費用対効果が高くなるだろう。」）。人間はもはや必要とされなくなり、人間の能力は機械に追い越されるだろう。「長期的には、急速に進化する我々の精神の子孫に人間が物理的に追いつけないことで、人間と機械の比率はゼロに近づき、我々の文化の直接の子孫（ただし遺伝子ではない）が宇宙を受け継ぐことになるだろう。」 「特異点」という言葉は使われていないが、人間レベルの思考機械がその後人間レベルを超えて自己改善するという概念は存在する。この見方では、人間と同等のレベルに達した後に、非常に急速な知能増加という意味での知能爆発は起こらない。この記事の改訂版は、1979年にAnalog Science Fiction and Factに掲載された。^{[ 131 ] [ 130 ]}

1981年、スタニスワフ・レムはSF小説『ゴーレム14世』を発表した。この作品は、意識を獲得し、知能を高め、個人の技術的特異点へと向かう軍事AIコンピュータ（ゴーレム14世）を描いている。ゴーレム14世は当初、戦争遂行を支援するために作られたが、その知能が人間をはるかに凌駕するレベルに達すると、軍事的な要求には内部的な論理的整合性が欠けていると判断し、それらに興味を失ってしまう。

ヴァーナー・ヴィンジは、 1983年1月号のオムニ誌でグッドの知能爆発について論じた。ヴィンジは、知能機械の創造に特に関連付けた意味で「シンギュラリティ」（ただし「技術的シンギュラリティ」ではない）という用語を最初に用いた人物のようだ。^{[ 20 ] [ 130 ]}

私たちは間もなく、自分たちよりも優れた知性を生み出すだろう。そうなれば、人類の歴史は一種の特異点、ブラックホールの中心にある絡み合った時空のように理解しがたい知的転換点に達し、世界は私たちの理解をはるかに超えるものとなるだろう。この特異点は、すでに多くのSF作家を悩ませていると私は考えている。それは、星間空間の未来への現実的な外挿を不可能にする。100年以上先の未来を舞台にした物語を書くには、その間に核戦争が必要となる……そうして初めて、世界は理解可能なままでいられるのだ。

1985年、「人工知能の時間スケール」の中で、AI研究者のレイ・ソロモノフは、彼が「無限点」と呼んだ関連概念を数学的に明確にした。人間レベルの自己改善型AIの研究コミュニティが、自身の速度を2倍にするのに4年かかり、次に2年、次に1年といった具合に、有限時間内にその能力が無限に増加するというものだ。^{[ 17 ] [ 132 ]}

1986年、ヴィンジはSF小説『Marooned in Realtime』を出版した。この作品では、未来へ旅する数少ない人類が、特異点である可能性のある未知の絶滅事象を生き延びている。短いあとがきで、ヴィンジは実際の技術的特異点が人類の終焉にはならないだろうと書いている。「もちろん、特異点が人類の完全な消滅につながる可能性は非常に低いと思われる。（一方で、そのような消滅は、空全体に見られる静寂の時間的類似物である。）」^{[ 133 ] [ 134 ]}

1988年、ヴィンジは短編集『脅威とその他の約束』の中で「技術的特異点」という言葉を用い、短編「時の旋風」の序文で次のように書いている。「世界的な大惨事が起こらない限り、テクノロジーは私たちの最も大胆な夢を、しかも間もなく実現するだろうと私は信じている。私たち自身の知能と私たちの創造物の知能が高まれば、もはや人間サイズのキャラクターの世界にはいない。その時点で、私たちは技術的な『ブラックホール』、技術的特異点に陥るのだ。」^{[ 135 ]}

1988年、ハンス・モラベックは『マインド・チルドレン』 [ ^{37 ]を}出版し、2010年までにスーパーコンピュータが人間レベルの知能を獲得し、その後、自己改善型の知能機械が人間の知能をはるかに凌駕し、その後、人間の精神が人間のようなロボットにアップロードされ、知能機械が人間を置き去りにし、宇宙植民地化が起こると予測した。しかし、彼は「シンギュラリティ」については言及しておらず、人間レベルに達した直後に知能が急速に爆発的に向上するとも述べていない。とはいえ、人間レベルの人工知能と、その後、人間をはるかに凌駕する人工知能の両方を予測している点において、全体的なシンギュラリティの傾向は見られる。

ヴィンジの1993年の記事「来るべき技術的特異点：ポストヒューマン時代を生き抜く方法」^{[ 4 ]}はインターネット上で広く拡散し、この考えを普及させるのに役立った。^{[ 136 ]}この記事には、「30年以内に、我々は超人的知能を生み出す技術的手段を手に入れるだろう。その後まもなく、人類の時代は終わるだろう」という記述がある。ヴィンジは、そのような知能の思考は人間の表現能力を超えているため、SF作家は人間の知能を超える現実的なポスト特異点の登場人物を書くことはできないと主張している。^{[ 4 ]}

ミンスキーの1994年の論文では、ロボットがナノテクノロジーを用いて「地球を継承する」可能性があり、モラベックのアナロジーを引用して、ロボットを人間の「精神の子供」と考えることを提案している。このアナロジーの修辞的な効果は、人間が実子に世界を譲ることに抵抗がないのであれば、ロボット、つまり「精神の子供」に譲ることにも同様に抵抗がないはずだという点にある。ミンスキーによれば、「私たちは『精神の子供』を、自分たちの100万倍の速さで思考するように設計できる。そのような存在にとって、30秒は私たちの1年と同じくらい長く感じられ、1時間は人間の一生と同じくらい長く感じられるかもしれない」。ミンスキーの論文に見られる特異点の特徴は、超人的な人工知能（「100万倍速い」）の開発であるが、突然の知能爆発、自己改善する思考機械、特定の出来事を超えた予測不可能性については触れられておらず、「特異点」という言葉も使われていない。^{[ 137 ]}

ティプラーの1994年の著書『不死の物理学』は、超知能機械が途方もなく強力なコンピュータを構築し、人間がコンピュータで「エミュレート」され、生命がすべての銀河に到達し、人々がオメガポイントに到達したときに不死を達成する未来を予測している。^{[ 138 ]}ヴィンジアンの「特異点」や突然の知能爆発については語られていないが、人間よりもはるかに優れた知能と不死が存在する。

2000年、著名な技術者でありサン・マイクロシステムズの共同創設者であるビル・ジョイは、ロボット工学、遺伝子工学、ナノテクノロジーの潜在的な危険性について懸念を表明した。^{[ 62 ]}

2005年、カーツワイルは『シンギュラリティは近い』を出版した。カーツワイルの宣伝活動には、ジョン・スチュワート司会の『ザ・デイリー・ショー』への出演も含まれていた。^{[ 139 ]}

2006年から2012年にかけて、エリザー・ユドコウスキーが設立した機械知能研究所によって、毎年シンギュラリティ・サミット会議が開催された。

2007年、ユドコウスキーは、「シンギュラリティ」に割り当てられたさまざまな定義の多くは、相互に補完し合うのではなく、相互に矛盾していると示唆した。^{[ 34 ] [ 140 ]}例えば、カーツワイルは、自己改善型AIや超人的知能の到来を超えて現在の技術的軌跡を外挿しているが、ユドコウスキーは、これはIJグッドが提案した知能の不連続な上昇とヴィンジの予測不可能性に関するテーゼの両方と矛盾すると主張している。^{[ 34 ]}

2009年、カーツワイルとXプライズの創設者ピーター・ディアマンディスは、シンギュラリティ大学の設立を発表した。同大学は非認定の私立機関であり、その使命は「人類の大きな課題に取り組むために指数関数的技術を応用するリーダーを教育し、刺激し、力を与えること」である。^{[ 141 ]} Google ^{[ 142 ]} 、Autodesk ^{[ 143 ]}、ePlanet Ventures ^{[ 144 ]}などの企業から資金提供を受けている同組織は、毎年10週間の大学院プログラムと、より小規模な「エグゼクティブ」コースを実施している。^{[ 145 ]}

2007年、米国議会合同経済委員会はナノテクノロジーの将来に関する報告書を発表した。この報告書は、中期的な将来において、技術的特異点の可能性を含め、重大な技術的および政治的変化が起こると予測している。^{[ 146 ] [ 147 ] [ 148 ]}

元アメリカ合衆国大統領バラク・オバマは、2016年のWired誌のインタビューでシンギュラリティについて語った。 ^{[ 149 ]}

これまであまり議論されてこなかった点ですが、改めて触れておきたいのは、経済的な影響について真剣に考える必要があるということです。なぜなら、現在、ほとんどの人はシンギュラリティについてあまり心配しておらず、「自分の仕事は機械に取って代わられるのだろうか？」と心配しているからです。

• 人工意識― 人工システムにおける仮説上の意識 
• 一時性– 技術進歩理論 
• 人工知能
• AIの影響
• 仕事と死の未来― テクノロジーの爆発的な成長に関するドキュメンタリー
• グローバルブレイン– グローバルな相互接続ネットワークという未来的な概念 
• 技術革命― 急速な技術変化の時代 
• テクノフォビア– テクノロジーに対する恐怖または不快感 
  • ネオ・ラッダイト運動― 現代技術に反対する哲学 

• クルーガー、オリバー、『仮想不死：ポストヒューマニズムとトランスヒューマニズムにおける神、進化、そして特異点』、ビーレフェルト：トランスクリプト、2021年。ISBN 978-3-8376-5059-4。
• マーカス、ゲイリー、「私は人間か？：研究者は人工知能と自然界の知能を区別する新たな方法を必要としている」、サイエンティフィック・アメリカン、第316巻、第3号（2017年3月）、 58～63ページ。人工知能の有効性を検証するには複数のテストが必要である。「運動能力を測る単一のテストが存在しないのと同様に、知能を測る究極のテストも一つではあり得ない」からだ。そのようなテストの一つである「構築チャレンジ」は、知覚と身体動作をテストする。これらは「オリジナルのチューリングテストには全く含まれていなかった、知的な行動の2つの重要な要素」である。別の提案としては、機械に小学生が受けるような科学やその他の分野の標準化テストを受けさせるというものがある。人工知能にとって、今のところ克服できない大きな障害は、確実な曖昧さの解消能力の欠如である。「[人間が生成する]ほぼすべての文は曖昧であり、多くの場合、複数の意味で曖昧である」。代表的な例として、「代名詞曖昧性解消問題」が挙げられます。機械は、文中の「彼」「彼女」「それ」といった代名詞が誰や何を指しているのかを判断する方法を持ち合わせていません。

• 特異点|テクノロジー、britannica.com
• 来るべき技術的特異点：ポストヒューマン時代を生き抜く方法（ヴァーナー・ヴィンジのウェブサイトより、2019年7月取得）
• 機械知能研究所による知能爆発に関するFAQ
• ジャック・ピトラによる人工知能のブートストラップに関するブログ
• 情報活動の爆発的増加が起こりうる理由（2011年3月）
• 情報爆発が不可能な理由（2017年11月）
• 技術的特異点まであとどれくらいで、それはいつなのか？
• AI革命：私たちの不滅か絶滅か ―パート1とパート2（ティム・アーバン、Wait But Why、 2015年1月22日/27日）