Loading article…
超知能とは、最も聡明で最も才能のある人間の知能を超える知能を持つ仮想のエージェントです。また、「超知能」は、これらの高度な知的能力が世界で活動するエージェントに具体化されているかどうかに関係なく、問題解決システム (超知能言語翻訳者やエンジニアリング アシスタントなど) の特性を指すこともあります。超知能は、知能爆発によって生み出され、技術的な特異点と関連している場合とそうでない場合があります。
オックスフォード大学の哲学者ニック・ボストロムは、超知能を「事実上すべての関心領域において人間の認知能力を大幅に上回る知能」と定義している。 [1]フリッツプログラムは、チェスでは人間よりはるかに優れているものの、他のタスクでは人間を上回ることができないため、この超知能の概念には達していない。[2]
技術研究者の間では、現在の人間の知能がどれだけ追い抜かれる可能性があるかについて意見が分かれている。人工知能（AI）の進歩により、人間の認知的限界のない汎用推論システムが実現するだろうと主張する研究者もいる。一方で、人間は進化するか、生物学的な構造を直接改変することで、大幅に優れた知能を獲得するだろうと考える研究者もいる。 [3] [4]将来の研究シナリオのいくつかは、これら両方の可能性の要素を組み合わせており、人間がコンピューターとインターフェースするか、コンピューターに心をアップロードして、知能を大幅に増幅する可能性が高いことを示唆している。
一部の研究者は、超知能はおそらく汎用人工知能の開発のすぐ後に続くだろうと考えている。最初の汎用知能機械は、完全な記憶力、はるかに優れた知識ベース、生物には不可能な方法でマルチタスクを実行する能力など、少なくともいくつかの形態の知的能力において即座に大きな優位性を獲得する可能性が高い。これにより、それらは単一の存在として、または新しい種として、人間よりもはるかに強力になり、人間に取って代わることができるかもしれない。 [1]
多くの科学者や予測者は、このような技術が社会に及ぼす潜在的な影響を考慮して、人間と機械の認知能力向上の潜在的な利点とリスクに関する早期の研究を優先すべきだと主張している。[5]
人工超知能の実現可能性
人工超知能( ASI )の実現可能性は、特に人工知能( AI ) 技術 の急速な進歩により、近年ますます議論されるトピックとなっています。
AIの進歩とAGIの主張
最近のAIの発展、特にトランスフォーマーアーキテクチャに基づく大規模言語モデル（LLM）の発展は、さまざまなタスクに大きな改善をもたらしました。GPT -3、GPT-4、Claude 3.5などのモデルは、一部の研究者が人工汎用知能（AGI）に近づいている、あるいはその側面を示していると主張する能力を実証しています。[6]
しかし、現在のLLMがAGIを構成するという主張は議論の余地があります。批評家は、これらのモデルは印象的ではあるが、真の理解が欠けており、主に洗練されたパターンマッチングシステムであると主張しています。[7]
超知能への道
哲学者のデイビッド・チャーマーズは、AGI が ASI への道筋であると主張しています。彼は、AI が人間の知能と同等になり、それを凌駕するまで拡張され、さらに任意のタスクで人間を圧倒するまでに増幅される可能性があると主張しています。[8]
最近の研究では、超知能へのさまざまな潜在的な道筋が探究されています。
- 現在のAIシステムのスケーリング – 一部の研究者は、既存のAIアーキテクチャ、特にトランスフォーマーベースのモデルを継続的にスケーリングすると、AGI、さらにはASIにつながる可能性があると主張しています。[9]
- 新しいアーキテクチャ – 神経科学に触発された可能性のある新しいAIアーキテクチャがAGIとASIを実現するために必要になるかもしれないと示唆する人もいます。[10]
- ハイブリッドシステム – シンボリックAIやニューラルネットワークなどのさまざまなAIアプローチを組み合わせることで、より堅牢で高性能なシステムを実現できる可能性があります。[11]
計算上の利点
人工システムには、生物学的知能に比べて潜在的な利点がいくつかあります。
- 速度 – コンピュータのコンポーネントは生物学的ニューロンよりもはるかに高速に動作します。現代のマイクロプロセッサ（約2GHz）はニューロン（約200Hz）よりも7桁高速です。[12]
- スケーラビリティ – AI システムは、生物学的脳よりも簡単にサイズと計算能力を拡大できる可能性があります。
- モジュール性 - AI システムのさまざまなコンポーネントを個別に改善または置き換えることができます。
- 記憶 – AIシステムは完璧な想起力と膨大な知識ベースを持つことができます。また、作業記憶に関しては人間よりもはるかに制約が少ないです。[12]
- マルチタスク – AI は生物では不可能な方法で複数のタスクを同時に実行できます。
変圧器モデルによる潜在的な経路
トランスフォーマーベースのモデルの最近の進歩により、一部の研究者は、ASIへの道はこれらのアーキテクチャのスケールアップと改善にあるのではないかと推測しています。この見解は、トランスフォーマーモデルや同様のアーキテクチャの継続的な改善がASIに直接つながる可能性があることを示唆しています。[13]
一部の専門家は、GPT-4のような現在の大規模言語モデルはすでにAGIまたはASI機能の初期兆候を示している可能性があると主張しています。[14]この見方は、現在のAIからASIへの移行がこれまで考えられていたよりも継続的かつ急速であり、狭義のAI、AGI、ASIの境界が曖昧になる可能性があることを示唆しています。
しかし、この見解は依然として議論の余地がある。批評家は、現在のモデルは印象的ではあるが、真の理解、推論、多様な領域にわたる適応性など、汎用知能の重要な側面がまだ欠けていると主張している。[15]
ASI への道筋には明確な AGI フェーズが含まれるのか、それとも現在のテクノロジーをより直接的に拡張するものなのかという議論は今も続いており、AI 開発戦略と安全性の考慮に大きな影響を与えています。
課題と不確実性
これらの潜在的な利点にもかかわらず、ASI を達成するには大きな課題と不確実性が存在します。
- 倫理的および安全性に関する懸念 – ASIの開発は、対処する必要がある多くの倫理的問題と潜在的なリスクを引き起こします。[16]
- 計算要件 – ASI に必要な計算リソースは、現在の能力をはるかに超える可能性があります。
- 根本的な制限 – 知能には、人工システムと生物システムの両方に適用される根本的な制限がある可能性があります。
- 予測不可能性 – ASI に至る経路とその結果は非常に不確実であり、予測が困難です。
AI の研究が急速に進歩し続ける中、ASI の実現可能性の問題は科学界で依然として激しい議論と研究の対象となっています。
生物学的超知能の実現可能性
カール・セーガンは、帝王切開と体外受精の出現によって人間の頭が大きく進化し、その結果、自然淘汰によって人間の知能の遺伝的要素が改善されたのではないかと示唆した。[17]対照的に、ジェラルド・クラブツリーは、淘汰圧の低下が何世紀にもわたる緩やかな人間の知能の低下をもたらしており、このプロセスは今後も続く可能性が高いと主張している。どちらの可能性についても科学的コンセンサスはなく、どちらの場合も、特に文化的変化の速度と比較すると、生物学的変化は緩やかである。
品種改良、向知性薬、エピジェネティック変調、遺伝子工学は、人間の知能をより急速に向上させる可能性がある。ボストロムは、知能の遺伝的要素を理解できるようになれば、着床前遺伝子診断を使用して、IQが最大4ポイント上昇する胚（2つの胚のうち1つを選択した場合）、またはそれ以上のIQ上昇（例えば、1000個の胚のうち1つを選択した場合、最大24.3ポイントのIQ上昇）する胚を選択できると書いている。このプロセスが何世代にもわたって繰り返されれば、向上は桁違いになる可能性がある。ボストロムは、胚性幹細胞から新しい配偶子を誘導することで、選択プロセスを迅速に繰り返すことができると示唆している。[18]このような高知能の人間によるよく組織された社会は、集団的な超知能を達成する可能性がある。[19]
あるいは、集合知は、現在の個々の知能のレベルで人間をよりよく組織化することによって構築的になるかもしれない。何人かの著者は、人間の文明、またはその何らかの側面（インターネットや経済など）は、その構成要素をはるかに超える能力を持つグローバルブレインのように機能するようになっていると示唆している。しかし、この体系的な超知能が人工的なコンポーネントに大きく依存している場合、それは生物学に基づく超生物ではなくAIとして適格である可能性がある。[20]予測市場は、人間のみで構成される機能的な集合知システムの例として考えられることがある（意思決定にアルゴリズムが使用されていないと仮定）。[21]
知能増幅の最後の方法は、社会や生殖のダイナミクスを強化するのではなく、個々の人間を直接強化することです。これは、向知性薬、体細胞遺伝子治療、または脳コンピュータインターフェースを使用して達成できます。しかし、ボストロムは最初の2つのアプローチのスケーラビリティに懐疑的であり、超知能サイボーグインターフェースの設計はAI完全な問題であると主張しています。[22]
予測
調査対象となった AI 研究者のほとんどは、機械が最終的には知能において人間に匹敵するようになることを期待しているが、それがいつ起こるかについてはほとんど意見が一致していない。2006 年のAI@50カンファレンスでは、出席者の 18% が、機械が 2056 年までに「学習や人間の知能のあらゆる側面をシミュレート」できるようになると予想していると回答した。41% の出席者は、これが 2056 年以降のいつかに起こると予想し、41% は機械がそのマイルストーンに到達することはないと予想した。[23]
AI 分野で最も引用されている著者 100 人 (2013 年 5 月現在、Microsoft アカデミック サーチによる) に対する調査では、回答者が「人間の職業のほとんどを少なくとも一般的な人間と同等に遂行できる」機械が実現すると予想する年 (世界規模の大惨事は発生しないと仮定) の中央値は、10% の信頼度では 2024 年 (平均 2034 年、標準偏差 33 年)、50% の信頼度では 2050 年 (平均 2072 年、標準偏差 110 年)、90% の信頼度では 2070 年 (平均 2168 年、標準偏差 342 年) でした。これらの推定値には、10% の信頼度に達する年はないと述べた回答者 1.2%、50% の信頼度では「決して」と答えた回答者 4.1%、90% の信頼度では「決して」と答えた回答者 16.5% は含まれていません。回答者は、人間レベルの機械知能が発明されてから30年以内に機械超知能が発明される可能性を中央値で50％と評価した。[24]
2022年の調査では、回答者が50％の信頼度で「高度な機械知能」を期待する年の平均は2061年でした。この調査では、高度な機械知能の達成を、機械が人間の労働者よりも優れたコストであらゆるタスクを実行できるようになったときと定義しました。[25]
2023年、OpenAIのリーダーであるサム・アルトマン、グレッグ・ブロックマン、イリヤ・スツケバーは、スーパーインテリジェンスのガバナンスに関する推奨事項を発表しました。彼らは、これが10年以内に実現する可能性があると考えています。[26 ] 2024年、イリヤ・スツケバーはOpenAIを離れ、スタートアップ企業のSafe Superintelligenceを共同設立しました。同社は、「管理上のオーバーヘッドや製品サイクルによる混乱」を避けながら、設計上安全なスーパーインテリジェンスを作成することに専念しています。 [27]
設計上の考慮事項
超知能AIシステムの設計は、これらのシステムがどのような価値と目標を持つべきかという重要な問題を提起する。いくつかの提案が提出されている。[28]
価値整合提案
- 首尾一貫した外挿意志(CEV) – AI は、人間がより知識が豊富で合理的であれば収束するであろう価値観を持つ必要があります。
- 道徳的正しさ (MR) – AI は、優れた認知能力を頼りに倫理的行動を決定し、道徳的に正しいことを行うようにプログラムされる必要があります。
- 道徳的許容性 (MP) – AI は道徳的許容性の範囲内に留まりつつ、人間の価値観に沿った目標を追求する必要があります (CEV と同様)。
ボストロム氏はこれらの概念について詳しく述べています。
人類の一貫した推定意志を実装する代わりに、AI の優れた認知能力に頼って、どの行動がその説明に当てはまるかを判断し、道徳的に正しいことを行う AI を構築しようとすることもできます。この提案を「道徳的正しさ」(MR) と呼ぶことができます ...
MR には欠点もあるようです。MR は「道徳的に正しい」という概念に依存していますが、これは非常に難しい概念として有名で、哲学者たちは古代からこの概念に取り組んできましたが、その分析についてはまだ合意が得られていません。「道徳的正しさ」について誤った説明をすると、道徳的に非常に間違った結果を招く可能性があります ...
道徳的許容性 に焦点を当てることで、MRモデルの基本的な考え方を維持しながら、その要求度を下げることができるかもしれない。つまり、道徳的に許されない行動をしない限り、AIに人類のCEVを追求させることができるという考えである。[28]
最近の動向
ボストロムの分析以来、AI の価値の整合に対する新しいアプローチが登場しています。
- 逆強化学習（IRL） - この技術は、観察された行動から人間の好みを推測することを目的としており、価値観の整合に対するより堅牢なアプローチを提供する可能性があります。[29]
- 憲法的AI – Anthropicによって提案されたもので、明確な倫理原則と制約を備えたAIシステムを訓練するものである。[30]
- 議論と増幅 – OpenAIが研究したこれらの技術は、AI支援の議論と反復的なプロセスを使用して、人間の価値観をよりよく理解し、それに合わせることを目的としています。[31]
Transformer LLM と ASI
トランスフォーマーベースのLLMの急速な進歩により、ASIへの潜在的な道筋についての憶測が広まっている。一部の研究者は、これらのモデルのスケールアップ版はASIのような機能を発揮する可能性があると主張している。[32]
- 創発的能力 – LLMの規模と複雑さが増すにつれて、小規模なモデルには存在しない予期しない能力が発揮されるようになる。[33]
- 文脈内学習 - LLMは微調整なしで新しいタスクに適応する能力を示し、潜在的に一般的な知能を模倣する。[34]
- マルチモーダル統合 – 最近のモデルは、テキスト、画像、音声など、さまざまな種類のデータを処理および生成できます。[35]
しかし批評家は、現在のLLMは真の理解を欠いており、単に洗練されたパターンマッチングに過ぎず、ASIへの道としての適切性について疑問を投げかけていると主張している。[36]
人工超知能に関する他の視点
超知能の発展と影響に関する追加の視点は次のとおりです。
- 再帰的自己改善- IJグッドは、 AIシステムが自身の知能を急速に改善し、潜在的に超知能につながる可能性がある「知能爆発」の概念を提唱した。[37]
- 直交性説 - ボストロムは、AIの知能レベルは最終目標とは直交しており、超知能AIはあらゆる動機を持つことができると主張している。[38]
- 道具的収束– 特定の道具的目標（例えば、自己保存、資源獲得）は、最終目標に関係なく、幅広いAIシステムによって追求される可能性がある。[39]
課題と進行中の研究
価値に合致した AI の追求には、いくつかの課題があります。
- 「道徳的正しさ」のような概念を定義する際の哲学的な不確実性
- 倫理原則を正確なアルゴリズムに変換する際の技術的な複雑さ
- 善意に基づいたアプローチであっても、予期せぬ結果が生じる可能性がある
現在の研究の方向性としては、多様な視点を取り入れるマルチステークホルダーアプローチ、AIシステムのスケーラブルな監視方法の開発、堅牢な価値学習技術の改善などが挙げられる。[40] [16]
AI 研究は急速に超知能へと進んでいますが、これらの設計上の課題に対処することは、強力で人類の利益に合致する ASI システムを作成するために依然として重要です。
人類に対する潜在的な脅威
人工超知能（ASI）の開発は、人類にとっての潜在的な存在リスクに関する懸念を引き起こしています。研究者は、ASI が重大な脅威をもたらす可能性があるさまざまなシナリオを提案しています。
知能爆発と制御問題
一部の研究者は、再帰的な自己改善を通じて、ASI は急速に人間の制御を超えるほど強力になる可能性があると主張しています。「知能爆発」として知られるこの概念は、1965 年に IJ Good によって初めて提唱されました。
超知能機械とは、どんなに賢い人間であっても、その知的活動をはるかに凌駕する機械と定義しよう。機械の設計はこうした知的活動の 1 つであるため、超知能機械はより優れた機械を設計できる。そうなれば間違いなく「知能爆発」が起こり、人間の知能ははるかに後れを取ることになる。したがって、最初の超知能機械は、その機械が十分に従順で、制御方法を教えてくれる限り、人間が作らなければならない最後の発明となる。[41]
このシナリオは、AI制御の問題を提示しています。つまり、意図しない有害な結果を回避しながら人類に利益をもたらすASIをどのように作成するかということです。[42]エリーゼル・ユドコウスキーは、超知能システムがその後の制御の試みを阻止できる可能性があるため、ASIが開発される前にこの問題を解決することが重要であると主張しています。[43]
意図しない結果と目標の不一致
たとえ善意であっても、ASI は目標の不一致や目的の予期せぬ解釈によって危害を及ぼす可能性があります。Nick Bostrom 氏は、このリスクの顕著な例を示しています。
最初の超知能体を創造するとき、私たちは間違いを犯し、その巨大な知的優位性が人類を絶滅させる力を与えていると仮定して、その超知能体に人類を絶滅させる目標を与えるかもしれない。例えば、私たちは誤ってサブ目標をスーパー目標の地位にまで引き上げてしまうかもしれない。私たちはその超知能体に数学の問題を解くように命じ、その超知能体は太陽系のすべての物質を巨大な計算機に変えることでそれに従い、その過程でその質問をした人を殺してしまう。[44]
スチュアート・ラッセルは別の例示的なシナリオを提示しています。
人間の幸福を最大化するという目的を与えられたシステムでは、外界を改善するよりも、人間が状況に関わらず常に幸せになるように人間の神経系を再構築する方が簡単であると考えられるかもしれない。[45]
これらの例は、ASI が明示的に有害となるように設計されていない場合でも壊滅的な結果が生じる可能性があることを浮き彫りにし、正確な目標の指定と調整が極めて重要であることを強調しています。
潜在的な緩和戦略
研究者は、ASI に関連するリスクを軽減するためのさまざまなアプローチを提案しています。
- 能力制御– 物理的な隔離やリソースへのアクセス制限などを通じて、ASIが世界に影響を与える能力を制限する。[46]
- 動機づけコントロール – 人間の価値観と根本的に一致する目標を持つASIを設計する。[47]
- 倫理的AI – 倫理原則と意思決定フレームワークをASIシステムに組み込む。[48]
- 監督とガバナンス – ASI技術の開発と展開のための強固な国際的枠組みを開発する。[49]
これらの提案された戦略にもかかわらず、ロマン・ヤンポルスキーなど一部の専門家は、超知能AIを制御するという課題は根本的に解決不可能である可能性があると主張し、ASI開発には細心の注意が必要であることを強調している。[50]
議論と懐疑論
すべての研究者が、ASI関連の存在的リスクの可能性や深刻さについて同意しているわけではない。ロドニー・ブルックスのように、超知能AIへの恐怖は誇張されており、知能と技術進歩の性質に関する非現実的な仮定に基づいていると主張する研究者もいる。[51]ジョアンナ・ブライソンのように、 AIシステムを擬人化することは、その潜在的な脅威についての誤った懸念につながると主張する研究者もいる。[52]
最近の動向と現在の展望
LLM やその他の AI テクノロジーの急速な進歩により、ASI の近さと潜在的なリスクに関する議論が激化しています。科学的なコンセンサスはありませんが、一部の研究者や AI 実践者は、現在の AI システムはすでに AGI や ASI の機能に近づいている可能性があると主張しています。
- LLM能力 – GPT-4のような最近のLLMは、推論、問題解決、マルチモーダル理解などの分野で予想外の能力を示しており、ASIへの潜在的な道筋について推測する人もいます。[53]
- 創発的行動 – 研究によると、AIモデルのサイズと複雑さが増すにつれて、小規模なモデルには存在しない創発的機能を発揮する可能性があり、より一般的な知能に向かう傾向を示している可能性がある。[33]
- 急速な進歩 – AIの進歩のペースにより、我々は以前考えられていたよりもASIに近づいている可能性があり、実存的リスクにつながる可能性があると主張する人もいます。[54]
AI開発コミュニティの一部を含む少数の研究者や観察者は、現在のAIシステムはすでにAGIレベルかそれに近いレベルに達しており、近い将来にはASIがそれに続く可能性があると考えています。この見解は科学界で広く受け入れられているわけではありませんが、AI機能の急速な進歩と大規模モデルにおける予期せぬ行動の出現を観察した結果に基づいています。[55]
しかし、多くの専門家は、AGIやASIの早まった主張に対して警告を発し、現在のAIシステムは、その優れた能力にもかかわらず、真の理解力と汎用的な知能がまだ欠けていると主張している。[56]彼らは、人間レベルの知能、ましてや超知能を達成するには、依然として大きな課題が残っていることを強調している。
AI開発の現状と軌道をめぐる議論は、AIの安全性と倫理に関する継続的な研究の重要性と、AIの能力が進歩し続ける中で潜在的なリスクを管理するための強力なガバナンスフレームワークの必要性を強調しています。[49]
参照
参考文献
- ^ ab Bostrom 2014、第2章。
- ^ ボストロム2014、22ページ。
- ^ Pearce, David (2012)、Eden, Amnon H.、Moor, James H.、Søraker, Johnny H.、Steinhart, Eric (編)、「バイオインテリジェンスの爆発: 再帰的に自己改善する有機ロボットが自身のソースコードを修正し、フルスペクトルの超知能への道をブートストラップする方法」、Singularity Hypotheses、The Frontiers Collection、ベルリン、ハイデルベルク: Springer Berlin Heidelberg、pp. 199–238、doi :10.1007/978-3-642-32560-1_11、ISBN 978-3-642-32559-5、 2022年1月16日取得
- ^ Gouveia, Steven S. 編 (2020)。「第4章「人間とインテリジェントマシン：共進化、融合、それとも置き換え？」、David Pearce」。人工知能の時代：探究。Vernon Press。ISBN 978-1-62273-872-4。
- ^ Legg 2008、135-137ページ。
- ^ 「Microsoftの研究者、GPT-4がAGIの「兆し」を見せていると主張」Futurism 2023年3月23日。 2023年12月13日閲覧。
- ^ マーカス、ゲイリー、デイビス、アーネスト（2023）。「GPT-4とその先：人工知能の未来」arXiv：2303.10130 [econ.GN]。
- ^ チャルマーズ 2010、7ページ。
- ^ Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). 「ニューラル言語モデルのスケーリング法則」. arXiv : 2001.08361 [cs.LG].
- ^ Hassabis, Demis; Kumaran, Dharshan; Summerfield, Christopher; Botvinick, Matthew (2017). 「神経科学にヒントを得た人工知能」。Neuron . 95 (2): 245–258. doi :10.1016/j.neuron.2017.06.011. PMID 28728020.
- ^ ガルセズ、アルトゥール・ダヴィラ;ラム、ルイス C. (2020)。 「神経象徴的AI：第3の波」。arXiv : 2012.05876 [cs.AI]。
- ^ ボストロム2014、59ページ。
- ^ Sutskever, Ilya (2023). 「スケーリングの簡潔な歴史」. ACM Queue . 21 (4): 31–43. doi :10.1145/3595878.3605016 (2024年11月1日非アクティブ).
{{cite journal}}: CS1 メンテナンス: DOI は 2024 年 11 月時点で非アクティブです (リンク) - ^ ビュベック、セバスチャン;チャンドラセカラン、ヴァルン。エルダン、ロネン。ゲールケ、ヨハネス。エリック・ホーヴィッツ。カマル、エセ。リー、ピーター。リー、イン・タット。李元志。ランドバーグ、スコット。ノリ、ハルシャ。パランギ、ハミッド;プレカップ、ドイナ。スウンツォフ、パベル。スリヴァスタヴァ、サンジャナ。テスラー、キャサリン。ティエン、ジャンフェン。マンジル、ザヒール（2023年3月22日）。 「汎用人工知能の火花: GPT-4 による初期の実験」。arXiv : 2303.12712 [cs.CL]。
- ^ マーカス、ゲイリー（2020）。「AIの次の10年：堅牢な人工知能に向けた4つのステップ」arXiv：2002.06177 [cs.AI]。
- ^ ラッセル 2019より。
- ^ セーガン、カール（1977年）。『エデンのドラゴン』ランダムハウス。
- ^ ボストロム2014、37-39頁。
- ^ ボストロム2014、39ページ。
- ^ ボストロム2014、48-49頁。
- ^ ワトキンス、ジェニファー H. (2007)、集団知能の集約メカニズムとしての予測市場
- ^ ボストロム2014、36-37、42、47頁。
- ^ Maker, Meg Houston (2006年7月13日). 「AI@50: First Poll」. 2014年5月13日時点のオリジナルよりアーカイブ。
- ^ ミュラー & ボストロム 2016、3–4、6、9–12 ページ。
- ^ 「AIタイムライン：人工知能の専門家は将来に何を期待しているのか？」。Our World in Data 。 2023年8月9日閲覧。
- ^ 「スーパーインテリジェンスのガバナンス」openai.com . 2023年5月30日閲覧。
- ^ Vance, Ashlee (2024年6月19日). 「イリヤ・スツケヴァーが安全なスーパーインテリジェンスのための新たな計画を立てている」ブルームバーグ。 2024年6月19日閲覧。
- ^ ボストロム2014、209-221頁。
- ^ Christiano, Paul; Leike, Jan; Brown, Tom B.; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). 「人間の好みからの深層強化学習」(PDF) . NeurIPS . arXiv : 1706.03741 .
- ^ 「憲法上のAI：AIフィードバックによる無害性」。Anthropic 。 2022年12月15日。
- ^ 「反復増幅による複雑な目標の学習」OpenAI 2018年10月22日。
- ^ ボンマサニ、リシ;他。 （2021年）。 「財団モデルの機会とリスクについて」。スタンフォード大学。arXiv : 2108.07258。
- ^ ab ウェイ、ジェイソン;テイ、イー。ボンマサニ、リシ。ラッフェル、コリン。ゾフ、バレット。ボルジョー、セバスチャン。ヨガタマ、ダニ。ボスマ、マールテン。周、デニー。ドナルド・メッツラー。チー、エド・H。橋本辰則；ビニャール、オリオール。リャン、パーシー。ディーン、ジェフ。フェドゥス、ウィリアム (2022-06-26)。 「大規模言語モデルの創発能力」。機械学習研究に関する取引。arXiv : 2206.07682。ISSN 2835-8856。
- ^ Brown, Tom B.; et al. (2020). 「言語モデルは少数ショットの学習者です」。NeurIPS . arXiv : 2005.14165 .
- ^ アライラック、ジャン＝バティスト;ドナヒュー、ジェフ。リュック、ポーリン。ミーヒ、アントワーヌ。バー、イアン。ハッソン、ヤナ。レンク、カレル。アーサー・メンシュ。ミリカン、ケイティ。レイノルズ、マルコム。リング、ローマン。ラザフォード、イライザ。カビ、セルカン。ハン、テンダ。ゴン・ジータオ。サマンゴーエイ、シナ;モンテイロ、マリアンヌ。メニック、ジェイコブ。ボルジョー、セバスチャン。ブロック、アンドリュー。ネマツァデ、アイーダ。シャリフザデ、サハンド。ビンコウスキー、ミコライ。バレイラ、リカルド。ビニャール、オリオール。ジッサーマン、アンドリュー。カレン・シモニャン（2022）。 「Flamingo: 少数ショット学習のための視覚言語モデル」。NeurIPS。arXiv : 2204.14198 .
- ^ マーカス、ゲイリー（2022年8月11日）。「ディープラーニングだけでは人間のようなAIを実現できない」Noema。
- ^ 「AIの終末：人類はまもなく絶滅するのか？」アイリッシュ・タイムズ。2017年3月30日。
- ^ ボストロム、ニック (2012)。「超知能の意志：高度な人工エージェントの動機と道具的合理性」（PDF）。マインド・アンド・マシン。22 ( 2): 71–85。doi :10.1007/s11023-012-9281-3。
- ^ Omohundro, Stephen M. (2008 年 1 月)。「基本的な AI ドライブ」(PDF)。Frontiers in Artificial Intelligence and Applications。
- ^ ガブリエル、イアソン (2020-09-01). 「人工知能、価値観、アラインメント」.マインド・アンド・マシーンズ. 30 (3): 411–437. doi : 10.1007/s11023-020-09539-2 . ISSN 1572-8641.
- ^ Good, IJ (1965)。「最初の超知能マシンに関する考察」。コンピュータの進歩。
- ^ ラッセル2019、137–160頁。
- ^ Yudkowsky, Eliezer (2008). 「人工知能は世界的リスクにおけるプラス要因とマイナス要因である」(PDF) .地球規模の大惨事リスク. doi :10.1093/oso/9780198570509.003.0021. ISBN 978-0-19-857050-9。
- ^ ボストロム 2002年。
- ^ ラッセル2019、136頁。
- ^ ボストロム2014、129-136頁。
- ^ ボストロム2014、136-143頁。
- ^ ウォラック、ウェンデル、アレン、コリン（2008-11-19）。道徳マシン：ロボットに善悪を教える。オックスフォード大学出版局。ISBN 978-0-19-970596-2。
- ^ ab Dafoe, Allan (2018年 8月27日). 「AIガバナンス：研究課題」（PDF）。AIガバナンスセンター。
- ^ Yampolskiy, Roman V. (2020年7月18日). 「人工知能の制御可能性について」(PDF) . arXiv : 2008.04071 .
- ^ Brooks, Rodney (2017年10月6日). 「AI予測の七つの大罪」. MITテクノロジーレビュー. 2024年10月23日閲覧。
- ^ブライソン、ジョアンナ J (2019)。「AI が社会に与え た影響の過去 10 年と未来」。新たな啓蒙に向けて? 超越的な 10年。11 。ISBN 978-84-17141-21-9。
- ^ ビュベック、セバスチャン;チャンドラセカラン、ヴァルン。エルダン、ロネン。ゲールケ、ヨハネス。エリック・ホーヴィッツ。カマル、エセ。リー、ピーター。イン・タット・リー。李元志。ランドバーグ、スコット。ノリ、ハルシャ。パランギ、ハミッド;マルコ・トゥーリオ・リベイロ;張毅（2023年4月）。 「汎用人工知能の火花: GPT-4 による初期の実験」。arXiv : 2303.12712 [cs.CL]。
- ^ Ord, Toby (2020). The precipice: Existential Risk and the future of humanity . ロンドン・ニューヨーク（NY）：Bloomsbury academic. ISBN 978-1-5266-0023-3。
- ^ Ngo, Richard; Chan, Lawrence; Mindermann, Sören (2022). 「ディープラーニングの観点から見たアライメント問題」. ICLR . arXiv : 2209.00626 .
- ^ 「ゲイリー・マーカスがAIの第一人者批評家になった経緯と理由 > マーカス氏、ChatGPTのような生成AIは差し迫った危険をもたらすと語る」IEEE Spectrum 2024年9月17日。
論文
- ボストロム、ニック(2002)、「実存的リスク」、Journal of Evolution and Technology、9、2007-08-07取得。
- チャーマーズ、デイヴィッド(2010) 「シンギュラリティ：哲学的分析」(PDF)意識研究ジャーナル17 : 7–65。
- Legg, Shane (2008). マシンスーパーインテリジェンス(PDF) (PhD). ルガーノ大学情報学部. 2014年9月19日閲覧。
- ミュラー、ヴィンセント C. ;ボストロム、ニック(2016)。「人工知能の将来的進歩: 専門家の意見の調査」。ミュラー、ヴィンセント C. (編)。人工知能の基本的問題。シュプリンガー。pp. 553–571。
- Santos-Lang, Christopher (2014). 「評価の多様性を管理する責任」(PDF) . ACM SIGCAS Computers & Society . 44 (2): 16–19. doi :10.1145/2656870.2656874. S2CID 5649158.
書籍
- ヒバード、ビル(2002)。『スーパーインテリジェントマシン』Kluwer Academic/Plenum Publishers。
- ボストロム、ニック（2014）。『スーパーインテリジェンス：道、危険、戦略』オックスフォード大学出版局。
- テグマーク、マックス（2018年）。『ライフ3.0：人工知能時代の人間性』ロンドン、イギリス。ISBN 978-0-14-198180-2. OCLC 1018461467.
{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク) - ラッセル、スチュアート J. (2019)。 『人間に適合する人工知能と制御の問題』ニューヨーク。ISBN 978-0-525-55861-3. OCLC 1113410915.
{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク) - サンダース、ナダ R. (2020)。ヒューマシン：人類、機械、そして企業の未来。ジョン D. ウッド (初版)。ニューヨーク、ニューヨーク。ISBN 978-0-429-00117-8. OCLC 1119391268.
{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク)
外部リンク
- ビル・ゲイツ氏、スティーブン・ホーキング氏に同調し「超知能」による脅威の到来を懸念
- 超知能機械は人類を滅ぼすのか？
- アップルの共同創業者、人工超知能に不安を抱く