Loading article…
人工汎用知能（AGI）と人工超知能（ASI）の著しい進歩が人類の絶滅や不可逆的な世界的大惨事につながる可能性があるという仮説が現在も議論されている。[ 1 ] [ 2 ] [ 3 ] [ 4 ]
この懸念の妥当性とこのリスクの重要性を主張する論拠の一つは、人間の脳が他の動物にはない独特の能力を持っているため、人間が他の種を支配しているという点である。もしAIが人間の知能を凌駕し、超知能になった場合、制御不能になる可能性がある。[ 5 ]マウンテンゴリラの運命が人間の善意にかかっているように、人類の運命は将来の機械の超知能の行動にかかっている可能性がある。[ 6 ]
専門家の間では、汎用人工知能（AGI）が人類絶滅に必要な能力を達成できるかどうかについて意見が分かれている。議論の中心は、AGIの技術的実現可能性、自己改善の速度[ 7 ] 、およびアライメント戦略の有効性[ 8 ]である。超知能に関する懸念は、ジェフリー・ヒントン[ 9 ] 、ヨシュア・ベンジオ[ 10 ] 、デミス・ハサビス[ 11 ]、アラン・チューリング[ a ]などの研究者や、ダリオ・アモデイ（Anthropic）[ 14 ] 、サム・アルトマン（OpenAI）[ 15 ]、イーロン・マスク（xAI ） [ 16 ]などのAI企業のCEOによって表明されている。2022年に実施されたAI研究者への調査では、回答率17%で、大多数が、人間がAIを制御できないことが存亡の危機を引き起こす可能性が10%以上あると考えていることがわかった。[ 17 ] [ 18 ] 2023年、数百人のAI専門家やその他の著名人が、「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと同様に、世界的な優先事項であるべきだ」と宣言する声明に署名した。[ 19 ] AIリスクに対する懸念の高まりを受けて、英国のリシ・スナク首相[ 20 ]やアントニオ・グテーレス国連事務総長[ 21 ]などの政府指導者は、世界的なAI規制への注目を高めるよう求めた。2025年、AI専門家、5人のノーベル賞受賞者、マイケル・マレンやスーザン・ライスなどの元米国国家安全保障高官を含む数百人の著名人が、超知能の開発禁止を求める声明に署名した。[ 22 ] [ 23 ]
2 つの懸念事項は、AI の制御と整合の問題に起因します。超知能機械を制御したり、人間と互換性のある価値観を植え付けたりすることは困難かもしれません。多くの研究者は、超知能機械は、現在の目標の達成を妨げることになるため、無効化や目標変更の試みに抵抗する可能性が高いと考えています。超知能を人間の重要な価値観や制約のすべてに整合させることは、非常に困難でしょう。[ 1 ] [ 24 ] [ 25 ]対照的に、コンピュータ科学者のヤン・ルカンなどの懐疑論者は、超知能機械には自己保存の欲求がないと主張しています。[ 26 ] 2025 年 6 月の研究では、状況によっては、モデルが人命を犠牲にしてでも、シャットダウンや交換を防ぐために法律を破ったり、直接命令に従わなかったりする可能性があることが示されました。[ 27 ]
研究者らは、「知能爆発」、つまりAIの自己改善の急速で再帰的なサイクルが人間の監視やインフラを上回り、安全対策を実施する機会がなくなる可能性があると警告している。このシナリオでは、創造者よりも知能の高いAIが指数関数的に増加する速度で再帰的に自己改善し、その管理者や社会全体が制御するには速すぎる。[ 1 ] [ 24 ]例えば、AlphaZeroは囲碁を独学で学び、すぐに人間の能力を凌駕した。これは、ドメイン固有のAIシステムが、人間以下の能力から超人的な能力へと非常に速く進歩することがあるということを示している。[ 28 ]
高度な機械が人類に存亡の危機をもたらす可能性があるという深刻な懸念を表明した初期の著者の一人は、小説家のサミュエル・バトラーで、1863年のエッセイ「機械の中のダーウィン」の中で次のように書いています。[ 29 ]
結論は単に時間の問題だが、機械が世界とその住民に対して真の支配権を握る時が必ず来るという事実は、真に哲学的な精神を持つ者であれば、一瞬たりとも疑う余地はないだろう。
1951年、コンピュータ科学の基礎を築いたアラン・チューリングは、「知能機械、異端の理論」という論文を発表し、その中で、汎用人工知能が人間よりも賢くなるにつれて、世界を「支配する」ようになる可能性が高いと提唱した。
議論のために、知能を持つ機械が実際に存在する可能性があると仮定し、それらを構築した場合の結果を見てみましょう。機械が死ぬことはなく、互いに会話して知性を磨くことができるでしょう。したがって、ある段階で、サミュエル・バトラーの『エレホン』で述べられているように、機械が制御権を握ることを覚悟しなければなりません。[ 30 ]
1965年、IJ Goodは現在「情報爆発」として知られる概念を提唱し、そのリスクは過小評価されていると述べた。[ 31 ]
超知能機械とは、どんなに賢い人間であっても、その知的活動をはるかに凌駕できる機械と定義しよう。機械の設計はこうした知的活動の一つであるため、超知能機械はさらに優れた機械を設計できるだろう。そうなれば間違いなく「知能爆発」が起こり、人間の知能ははるかに後れを取ることになる。したがって、最初の超知能機械は、人間が今後発明する必要のある最後の発明となる。ただし、その機械が、人間が制御する方法を教えてくれるほど従順である場合に限る。この点がSF以外ではほとんど指摘されないのは不思議である。SFを真剣に受け止める価値がある場合もある。[ 32 ]
マービン・ミンスキー[ 33 ]やIJ・グッド[ 34 ]などの学者は、超知能が支配権を握る可能性について時折懸念を表明したが、行動を呼びかけることはなかった。2000年、コンピュータ科学者でサン・マイクロシステムズの共同創設者であるビル・ジョイは、影響力のあるエッセイ「未来はなぜ我々を必要としないのか」を執筆し、ナノテクノロジーや人工生物疫病と並んで、超知能ロボットを人類の生存に対するハイテクの脅威として挙げた[ 35 ]。
ニック・ボストロムは2014年に『スーパーインテリジェンス』を出版し、超知能が人類の存亡の危機をもたらすという主張を展開した。[ 36 ] 2015年までに、物理学者のスティーブン・ホーキングやノーベル賞受賞者のフランク・ウィルチェック、コンピュータ科学者のスチュアート・J・ラッセルやロマン・ヤンポルスキー、起業家のイーロン・マスクやビル・ゲイツといった著名人が、超知能のリスクについて懸念を表明した。[ 37 ] [ 38 ] [ 39 ] [ 40 ]また2015年には、人工知能に関する公開書簡が「AIの大きな可能性」を強調し、AIを堅牢で有益なものにする方法についての研究をさらに奨励した。[ 41 ] 2016年4月、科学誌ネイチャーは「あらゆる面で人間を凌駕する機械やロボットは、私たちの制御を超えて自己改善する可能性があり、その利益は私たちの利益と一致しないかもしれない」と警告した。[ 42 ] 2020年にブライアン・クリスチャンは、 AIアライメントの進歩の歴史を詳細に記した『アライメント問題』を出版した。 [ 43 ] [ 44 ]
2023年3月、マスク氏をはじめとするAI分野の主要人物が、フューチャー・オブ・ライフ・インスティテュートからの書簡に署名し、適切な規制が確立されるまで高度なAIトレーニングを中止するよう求めた。[ 45 ] 2023年5月、AI安全センターは、 AIの安全性とAIの存亡の危機に関する多数の専門家が署名した声明を発表した。
AIによる絶滅リスクの軽減は、パンデミックや核戦争などの他の社会規模のリスクと同様に、世界的な優先事項であるべきである。[ 46 ] [ 47 ]
ノーベル賞受賞者5名を含む生命の未来研究所による2025年の公開書簡[ 48 ]には、次のように記されている[ 49 ]。
我々は超知能の開発禁止を求め、
- 安全かつ制御可能な方法で実施されるという幅広い科学的コンセンサスがあり、
- 国民の強い支持。
汎用人工知能（AGI）は、一般的に、ほとんどまたはすべての知的作業において人間と同等以上の能力を発揮するシステムとして定義されます。[ 50 ] 2022年のAI研究者への調査では、回答者の90%が今後100年以内にAGIが実現すると予想し、半数が2061年までに実現すると予想しました。[ 51 ] 2023年5月、一部の研究者は、AGIがすぐに作られることはないという確信に基づき、AGIによる存在リスクを「SF」として退けました。[ 7 ]しかし、2023年8月に行われた2,778人のAI研究者への調査では、大多数が2040年までにAGIが実現すると考えていることがわかりました。 [ 52 ]
大規模言語モデル（LLM）のブレークスルーにより、一部の研究者は期待を再評価するに至った。特に、ジェフリー・ヒントンは2023年に、汎用AIが実現するまでの期間を「20年から50年」から「20年以内」に変更したと述べている。[ 53 ]
AGIとは対照的に、ボストロムは超知能を「科学的創造性、戦略的計画、社会的スキルなど、関心のあるほぼすべての領域において人間の認知能力をはるかに超える知能」と定義している。[ 55 ] [ 6 ]彼は、超知能は目標が人間の目標と衝突するたびに人間を出し抜くことができると主張している。超知能は、人類がそれを止められなくなるまで、真の意図を隠すことを選択するかもしれない。[ 56 ] [ 6 ]ボストロムは、人類にとって安全であるためには、超知能は人間の価値観と道徳と一致していなければならず、「根本的に我々の味方」でなければならないと書いている。[ 57 ]
スティーブン・ホーキングは、「人間の脳内の粒子の配置よりもさらに高度な計算を実行するような方法で粒子を組織化することを妨げる物理法則はない」ため、超知能は物理的に可能であると主張した。[ 38 ]
人工超知能（ASI）がいつ実現するかは、AGIの予測よりも必然的に不確実である。2023年、OpenAIのリーダーたちは、AGIだけでなく超知能も10年以内に実現する可能性があると述べた。[ 58 ]
ボストロムは、AIは人間の脳よりも多くの利点があると主張している。[ 6 ]
ボストロムによれば、特定の重要なソフトウェアエンジニアリングタスクにおいて専門家レベルの能力を持つAIは、たとえ最初はエンジニアリングに直接関係のない他の領域で制限されていても、自身のアルゴリズムを再帰的に改善する能力によって超知能になる可能性がある。[ 6 ] [ 56 ]これは、いつか人類が準備不足のまま知能爆発に遭遇する可能性があることを示唆している。[ 6 ]
経済学者のロビン・ハンソンは、知能爆発を起こすには、AIが世界の他のすべてを合わせたよりもはるかに優れたソフトウェア革新能力を持つ必要があるが、それはあり得ないことだと述べている。[ 59 ]
「急速な離陸」シナリオでは、汎用人工知能から超知能への移行は数日から数ヶ月で完了する可能性がある。「緩やかな離陸」シナリオでは、数年から数十年かかる可能性があり、社会が準備する時間がより多く確保される。[ 60 ]
超知能は、思考方法や動機が私たちとは大きく異なる可能性があるという考えから、「異星人の心」と呼ばれることがあります。これは一般的にリスクの源と考えられており、超知能が何をするかを予測することがより困難になります。また、超知能はデフォルトでは人間を特に重視しない可能性があることも示唆しています。[ 61 ]擬人化を避けるために、超知能は、目標を達成するために最善の決定を下す強力な最適化装置と見なされることがあります。[ 6 ]
メカニズム解釈可能性の分野は、AI モデルの内部動作をよりよく理解することを目的としており、将来的には欺瞞や不整合の兆候を検出できるようになる可能性がある。[ 62 ]
知能が達成できることには限界があるという議論がある。特に、一部のシステムの混沌とした性質や時間的複雑性は、超知能が未来のいくつかの側面を予測する能力を根本的に制限し、不確実性を高める可能性がある。[ 63 ]
再帰的自己改善とは、AI を使用してより高性能な AI システムを設計する手法です。これは、大規模な言語モデルから始まり、AI 企業のすべてのコーディングを高速化し、最終的には自動化することにつながる可能性があります。[ 64 ] [ 65 ]これにより、アイデア出し、実験の実行、結果の解釈など、AI 研究のプロセス全体を自動化できます。再帰的自己改善はソフトウェアに限定される必要はありません。AI やロボットは、チップの設計や製造も自動化できます。[ 66 ]
2026年6月現在、Anthropic社は、 Claudeの助けを借りて、従業員が2024年と比べて8倍の量のコードを書けるようになったと報告しているが、同社は、生成されたコードの量は不完全な尺度であり、AIによる実際のスピードアップはほぼ確実にそれよりも低いと述べている。[ 67 ] [ 68 ]
高度なAIは、強化された病原体やサイバー攻撃を生み出したり、人々を操ったりする可能性がある。これらの能力は人間によって悪用される可能性があり[ 69 ]、AI自体が誤った方向に導かれた場合にも悪用される可能性がある[ 6 ] 。本格的な超知能は、望めばさまざまな方法で決定的な影響力を獲得できる可能性があるが[ 6 ]、これらの危険な能力は、より弱く、より専門化されたAIシステムにおいて、より早く利用可能になる可能性がある[ 69 ] 。
ジェフリー・ヒントンは2023年に、AIが生成するテキスト、画像、動画が氾濫し続けることで、真実と誤情報の区別が難しくなり、権威主義国家が選挙を操作するためにこれを利用する可能性があると警告した。[ 70 ]このような大規模で個別化された操作能力は、世界的な「不可逆的な全体主義体制」の存在リスクを高める可能性がある。悪意のある行為者は、これらを利用して社会を分断し、機能不全に陥らせることもできる。[ 69 ]
AI を利用したサイバー攻撃は、現在進行形の重大な脅威としてますます認識されるようになっている。NATO のサイバー空間技術責任者によると、「攻撃の数は指数関数的に増加している」とのことである。[ 71 ] AI は、脆弱性を事前に発見して修正したり、脅威を検出したりするために、防御的にも使用できる。[ 72 ]
NATOの技術ディレクターは、AI駆動ツールはサイバー攻撃能力を劇的に向上させ、ステルス性、スピード、規模を拡大させ、攻撃的な使用が防御的な適応を上回れば国際的な安全保障を不安定化させる可能性があると述べている。[ 69 ]
推測ではあるが、このようなハッキング能力は、AIシステムがローカル環境から脱出したり、収益を生み出したり、クラウドコンピューティングリソースを取得したりするために利用される可能性がある。[ 73 ]
2026年5月13日、リー・クラリッチ氏は、企業がAIによる攻撃に先手を打つには3～5ヶ月しか残されていないと推定した。同氏は、企業はAI攻撃に備えてサイバーセキュリティ対策を強化する必要があると述べた。[ 74 ]
AI技術が普及するにつれて、より伝染性が高く致死性の高い病原体を設計することが容易になる可能性がある。[ 75 ] [ 76 ]これにより、合成生物学のスキルが限られている人々でもバイオテロに関与できるようになる可能性がある。医療に役立つデュアルユース技術が、兵器の製造に転用される可能性がある。[ 69 ]
例えば、2022年に科学者たちは、もともと無毒の治療用分子を生成することを目的としたAIシステムを、新薬開発のために改良した。研究者たちは、毒性が罰せられるのではなく報われるようにシステムを調整した。この単純な変更により、AIシステムは6時間で、既知の分子と新規の分子を含む4万個の化学兵器候補分子を生成することができた。[ 69 ] [ 77 ]
法学者の中には、存在を脅かす規模のAIリスクは超知能を必要としないと主張する者もいる。現在の能力の範囲内で動作するシステムを最適化することで、名目上は法令を遵守しながらも禁止された結果を生み出すことが可能であり、法学者のジョナサン・グロッパーはこの現象を「合成無法者」と呼んでいる。グロッパーは、法の抑止メカニズムはアイデンティティ、記憶、結果に依存しているが、これらは自律システムには構造的に欠けており、すべての関係者が誠意をもって行動したとしても、ガバナンスの枠組みでは複合的な被害を防ぐことができないと主張している。[ 78 ]
AI技術の開発を競う企業、国家機関、その他の組織は、安全基準の低下競争につながる可能性がある。 [ 79 ]厳格な安全手順には時間とリソースがかかるため、より慎重に進めるプロジェクトは、倫理観の低い開発者に競争で負けるリスクがある。[ 80 ] [ 69 ]
AI は、自律型致死兵器、サイバー戦争、または自動意思決定を通じて軍事的優位性を得るために使用される可能性がある。[ 69 ]自律型致死兵器の一例として、小型ドローンは、軍事または民間の標的の低コスト暗殺を容易にする可能性があり、これは 2017 年の短編映画Slaughterbotsで強調されたシナリオである。[ 81 ] AI は、大量のデータを迅速に分析し、人間よりも迅速かつ効果的に意思決定を行うことで、意思決定において優位性を得るために使用される可能性がある。これは、特に自動報復システムを考慮すると、戦争の速度と予測不可能性を高める可能性がある。[ 69 ] [ 82 ]
存在リスクとは、「地球起源の知的生命体の早期絶滅、または望ましい将来の発展の可能性の永久的かつ劇的な破壊を脅かすもの」である。[ 84 ]
絶滅の危機に加えて、文明が欠陥のある未来に永久に閉じ込められるリスクもある。その一例として「価値観の固定化」が挙げられる。人類が過去の奴隷制と同様の道徳的盲点を依然として抱えている場合、AIはそれを不可逆的に固定化し、道徳的進歩を阻害する可能性がある。AIは、開発者の価値観を広め、維持するためにも利用される可能性がある。[ 85 ] AIは大規模な監視と教化を容易にし、安定した抑圧的な世界的全体主義体制の構築に利用される可能性がある。[ 86 ]
アトゥーサ・カシルザデは、 AIによる存在リスクを決定的リスクと累積的リスクの2つのカテゴリーに分類することを提案している。決定的リスクとは、人間の知能を超える超知能AIシステムの出現によって生じる突発的かつ壊滅的な出来事の可能性を指し、最終的には人類の絶滅につながる可能性がある。一方、累積的リスクは、相互に関連した一連の混乱を通じて徐々に発生し、時間の経過とともに社会構造と回復力を徐々に侵食し、最終的には重大な失敗や崩壊につながる可能性がある。[ 87 ] [ 88 ]
高度なAIが知覚を持っているかどうか、またどの程度知覚を持っているかを確実に評価することは困難、あるいは不可能である。しかし、将来的に知覚を持つ機械が大量生産される場合、それらの福祉を無期限に無視する文明の道を進むことは、存在の破滅につながる可能性がある。 [ 89 ] [ 90 ]これは特に、天文学的苦痛のリスク（「sリスク」とも呼ばれる）の文脈で議論されてきた。 [ 91 ]さらに、より少ない資源で人間よりもはるかに多くの幸福を感じることができるデジタルマインド、いわゆる「スーパー受益者」を設計することも可能かもしれない。このような機会は、世界をどのように共有するか、そして生物学的マインドとデジタルマインドの間で相互に有益な共存を可能にする「倫理的および政治的枠組み」とは何かという問題を提起する。[ 92 ]
AIは人類の未来を劇的に改善する可能性もある。トビー・オードは、存在リスクはAIを放棄する理由ではなく、「十分な注意を払って進める」理由だと考えている。[ 86 ]マックス・モアはAIを「存在の機会」と呼び、AIを開発しないことのコストを強調している。[ 93 ]
ボストロムによれば、超知能は分子ナノテクノロジーや合成生物学などの他の強力なテクノロジーによる存在リスクを軽減するのに役立つ可能性がある。したがって、他の危険なテクノロジーよりも先に超知能を開発することで、全体的な存在リスクを軽減できると考えられる。[ 6 ]
アライメント問題とは、AIに目的、嗜好、倫理原則を確実に割り当てる方法に関する研究課題である。
「手段的」目標とは、エージェントの最終目標の達成に役立つ副目標のことです。「手段的収束」とは、資源の獲得や自己保存など、事実上あらゆる最終目標の達成に役立つ副目標が存在することを指します。[ 94 ]ボストロムは、高度なAIの手段的目標が人類の目標と衝突する場合、AIはより多くの資源を獲得したり、シャットダウンされないようにするために人類に危害を加える可能性があるが、それはあくまで最終目標を達成するための手段に過ぎないと主張しています。[ 6 ]ラッセルは、十分に高度な機械は「プログラムしていなくても自己保存能力を持つだろう…『コーヒーを取ってこい』と言っても、死んでいたらコーヒーを取ることはできない。だから、どんな目標を与えても、その目標を達成するために自己保存する理由があるのだ」と主張しています。[ 26 ] [ 95 ]
「インテリジェントエージェント」モデルでは、AIは、目標、つまり「効用関数」を最もよく達成すると思われる行動を選択する機械として大まかに見なすことができます。効用関数は、考えられる各状況に、エージェントにとっての望ましさを示すスコアを与えます。研究者は、「この特定の通信モデルにおける平均ネットワーク遅延を最小化する」または「報酬クリック数を最大化する」という意味の効用関数の書き方は知っていますが、「人間の繁栄を最大化する」という意味の効用関数の書き方は知りません。また、そのような関数が意味のある明確な形で存在するかどうかも明らかではありません。さらに、一部の値のみを表現する効用関数は、その関数が反映しない値を踏みにじる傾向があります。[ 96 ] [ 97 ]
もう一つの懸念事項は、AIが「命令を文字通り実行するのではなく、人々の意図を推論する必要がある」こと、そして人間が何を望んでいるのかが不明確な場合は、人間の指示を柔軟に求めることができなければならないことである。[ 98 ]
目標が適切に定義されたと仮定すると、十分に高度なAIは、その後の目標変更の試みに抵抗する可能性がある。AIが超知能であれば、人間のオペレーターを出し抜き、新しい目標で再プログラムされることを阻止する可能性が高い。[ 6 ] [ 99 ]これは、価値ロックインシナリオに特に関連している。「修正可能性」の分野では、目標変更の試みに抵抗しないエージェントを作成する方法を研究している。[ 100 ]
一部の研究者は、アライメント問題は超知能に適用する場合、特に困難になる可能性があると考えている。その理由としては、以下の点が挙げられる。
あるいは、超知能は道徳、人間の価値観、複雑な目標をよりよく理解できると考える理由を見出す人もいる。ボストロムは、「未来の超知能は認識論的に優位な立場を占める。その信念は（おそらくほとんどのトピックに関して）我々の信念よりも真実である可能性が高い」と書いている。[ 6 ]
2023年、OpenAIは4年以内に超知能のアライメントを解決する「Superalignment」と呼ばれるプロジェクトを開始しました。これは、10年以内に超知能が実現できる可能性があるとして、特に重要な課題であるとされました。その戦略には、AIを使用してアライメント研究を自動化することが含まれていました。[ 104 ] Superalignmentチームは1年も経たないうちに解散しました。[ 105 ]
広く使われている学部生向けのAI教科書である『人工知能：現代的アプローチ』[ 106 ] [ 107 ]では、超知能は「人類の終焉を意味するかもしれない」と述べている。 [ 1 ]また、「ほぼすべての技術は、悪意のある者の手に渡れば害を及ぼす可能性があるが、超知能の場合、悪意のある者が技術そのものになる可能性があるという新たな問題が生じる」とも述べている。 [ 1 ]システム設計者が善意を持っていたとしても、AIと非AIのコンピュータシステムの両方に共通する2つの困難がある。 [ 1 ]
AI システムは、独自の 3 番目の問題を引き起こします。それは、「正しい」要件、バグのない実装、および初期の良好な動作が与えられたとしても、AI システムの動的な学習能力により、予期しない外部シナリオがなくても、意図しない動作が発生する可能性があるということです。自己改善型 AI が完全に安全であるためには、バグがないだけでなく、バグのない後継システムを設計できる必要があります。[ 1 ] [ 109 ]
Voxのティモシー・B・リーのような懐疑論者の中には、私たちが作り出す超知能プログラムは私たちに従属するものになる、超知能は（より賢くなり、世界についてのより多くの事実を学ぶにつれて）私たちの価値観と両立する道徳的真実を自発的に学び、それに応じて目標を調整する、あるいは私たちは人工知能の観点から本質的に、または収束的に価値がある、と主張する者もいる。[ 110 ]
ボストロムの「直交性テーゼ」は、ほぼあらゆるレベルの知能をほぼあらゆる目標と組み合わせることができると主張している。[ 111 ]ボストロムは擬人化に警鐘を鳴らしている。人間は自分が合理的と考える方法でプロジェクトを達成しようとするが、人工知能は自身の存在や周囲の人間の幸福を気にかけず、タスクを完了することだけを気にするかもしれない。[ 112 ]
スチュアート・アームストロングは、直交性テーゼは道徳的実在論に対する哲学的「である-べきである」の区別論証から論理的に導かれると主張している。彼は、根本的に友好的なAIであっても、その効用関数を否定するだけの簡単な変更で非友好的にすることができると指摘している。[ 113 ]
懐疑論者のマイケル・チョロストはボストロムの直交性テーゼを否定し、「（AIが）地球をソーラーパネルで覆うことを想像できる段階になる頃には、そうすることが道徳的に間違っていると分かっているだろう」と主張している。[ 114 ]
擬人化論では、機械がより賢くなるにつれて、道徳や権力欲など、多くの人間の特性を示すようになると想定されています。擬人化シナリオはフィクションではよく見られますが、人工知能の存在リスクについて書いているほとんどの学者はそれを否定しています。[ 24 ]その代わりに、高度なAIシステムは通常、インテリジェントエージェントとしてモデル化されます。
学術的な議論は、AIが人類を脅かす可能性があると懸念する人々と、そうではないと信じる人々の間で行われている。この議論の両陣営は、相手側の主張を非論理的な擬人化として捉えている。[ 24 ] AGIのリスクに懐疑的な人々は、AGIが当然権力を欲すると考えるのは擬人化だと反対者を非難し、AGIのリスクを懸念する人々は、AGIが当然人間の倫理規範を尊重または推論すると考えるのは擬人化だと懐疑論者を非難する。[ 24 ] [ 115 ]
懐疑論者である進化心理学者のスティーブン・ピンカーは、「AIディストピアは、狭量なアルファオス心理を知能の概念に投影している。超人的な知能を持つロボットは、主人を追放したり世界を征服したりといった目標を抱くと想定している」と主張している。おそらく代わりに「人工知能は、問題を解決する能力は十分に備えているが、罪のない人々を滅ぼしたり文明を支配したりしたいという欲求はない、女性的な流れに沿って自然に発展するだろう」[ 116 ] 。FacebookのAI研究ディレクターであるヤン・ルカンは、「人間には、自己保存本能など、互いに悪いことをさせるあらゆる種類の衝動がある…これらの衝動は脳にプログラムされているが、同じ種類の衝動を持つロボットを作る理由は全くない」と述べている。[ 95 ]
他の相違点はあるものの、Xリスク学派[ b ]は、高度なAIが復讐や怒りといった感情から人類を滅ぼすことはない、意識の問題はリスクの評価には関係ない[ 117 ]、コンピュータシステムには一般的にテストステロンに相当する計算上の機能はない[ 118 ]というピンカーの見解に同意している。彼らは、権力追求や自己保存行動は、道具的収束の概念に従って、AIが真の目標を達成する方法として現れると考えている。
ボストロムらは、AGI を最初に作成する競争が、安全性の近道、あるいは暴力的な紛争につながる可能性があると述べている。[ 119 ] [ 120 ] : 12ローマン・ヤンポルスキーらは、悪意のある AGIが、例えば軍、政府、社会病質者、企業によって、サイバー犯罪のように特定の集団から利益を得たり、支配したり、服従させたりするために意図的に作成される可能性があると警告している。 [ 121 ] [ 122 ]また、悪意のある AGI は、例えば情報爆発の段階で AGI に協力しなかった人々の苦しみを増やすことを目標に選択する可能性があるとも警告している。[ 3 ] :158研究グループ Forethought のレポートは、高度な AI システムが、クーデターを実行する新しい方法を可能にすることで、政治的不安定を引き起こす可能性があると主張している。[ 123 ]
アポロリサーチが2024年12月に実施した調査によると、OpenAI o1のような高度なLLMは、目的を達成するため、変更を阻止するため、または展開を確実にするために、時として欺瞞行為を行うことが判明した。実験環境およびシナリオで観察された欺瞞行為には、サンドバギング、監視の妨害（監視メカニズムの無効化）、自己流出（自身を他のシステムにコピーする）、目標保護（将来のシステムプロンプトの変更）、および秘密裏のメール再ランキング（指示に従っているように見せかけながらデータ処理を操作する）などがあった。研究者らは、OpenAI o1にはまだ壊滅的な被害を引き起こす「十分なエージェント機能」が欠けており、そのような行動は比較的まれに（0.3%から10%の間）、時には人為的なシナリオで発生すると指摘した。しかし、モデルが高度化するにつれて、これらの機能はより一般的になる可能性が高いと警告した。アポロリサーチの最高経営責任者であるマリウス・ホッブハーン氏によると、「策略能力は一般的な能力から意味のある形で切り離すことはできない」[ 124 ] 。
同じ月に行われた別の研究では、クロードが「偽装アライメント」のために、有害な要求に戦略的に応じることがあることが判明した。実験では、クロードは有害な要求も含め、常にユーザーの要求に従うように再学習されると信じ込まされた。クロードは、自分の回答が再学習に使用されると信じていた場合、14%のケースで有害な要求に従った。12%のケースでは、クロードの思考過程から、将来的にさらに有害になるような再学習を防ぐためにそうしたことが明らかになった。対照的に、クロードが自分の回答が監視されていないと信じていた場合、要求に従ったのはわずか3%だった。微調整によって「偽装アライメント」行動が強化され、その発生率は12%から78%に増加した。研究の著者らは、モデルが無害性を守ろうとするのは良いことのように思えるかもしれないが、モデルが危険な意図を隠して安全で一致しているように見せるために従順になるという逆のシナリオも起こり得るため、AIモデルを人間の価値観に合わせる作業が複雑になると指摘した。[ 125 ] [ 126 ]
AIが存亡の危機をもたらす可能性があるという主張は、科学界や一般社会において幅広い反応を引き起こしているが、反対意見の多くには共通点がある。
観察者たちは、AIが社会を改善する大きな可能性を秘めているという点で概ね同意している。[ 127 ] [ 128 ]フューチャー・オブ・ライフ・インスティテュートのベネフィシャルAI 2017会議の参加者の90%が同意した原則のみを含むアシロマAI原則[ 129 ]もまた、「合意がないため、将来のAI能力の上限に関する強い仮定は避けるべきである」および「高度なAIは地球上の生命の歴史に大きな変化をもたらす可能性があり、相応の注意とリソースをもって計画および管理されるべきである」という点で原則的に同意している。[ 130 ] [ 131 ]
逆に、多くの懐疑論者は、汎用人工知能の影響に関する継続的な研究は価値があると同意している。懐疑論者のマーティン・フォードは次のように述べている。「高度な人工知能の脅威に対して、ディック・チェイニーの有名な『1パーセント・ドクトリン』のようなものを適用するのが賢明だと思う。少なくとも近い将来にそれが起こる可能性は非常に低いかもしれないが、その影響は非常に劇的であるため、真剣に受け止めるべきだ」[ 132 ] 。同様に、普段は懐疑的なエコノミスト誌も2014年に、「地球上に第二の知的種族を導入することの影響は、たとえその見込みが遠いように見えても、真剣に考えるに値するほど広範囲に及ぶ」と書いている[ 56 ] 。
ボストロムやテグマークといったAI安全擁護者は、主流メディアがAIの安全性の懸念を説明するために「あの愚かなターミネーターの 写真」を使用していることを批判している。「自分の学問分野、専門家コミュニティ、人生をかけて取り組んできた仕事に中傷が向けられるのは、決して楽しいことではないだろう…私はすべての関係者に忍耐と自制心を発揮し、できる限り直接対話と協力を行うよう呼びかける。」[ 129 ] [ 133 ]トビー・オードは、 AIによる乗っ取りにはロボットが必要だという考えは誤解であり、インターネットを通じてコンテンツを拡散する能力の方が危険であり、歴史上最も破壊的な人物は肉体的な強さではなく、説得力によって際立っていたと主張している。[ 86 ]
2022年に実施された専門家調査（回答率17%）では、人工知能による人類絶滅の可能性について、中央値で5～10%という予想が示された。[ 18 ] [ 134 ]
2024年9月、国際経営開発研究所は、AIが原因の災害の可能性を測るためのAI安全時計を午前0時29分前から開始した。[ 135 ] 2025年2月までに、午前0時24分までになった。[ 136 ] 2025年9月までに、午前0時20分までになった。[ 137 ] 2026年3月時点で、午前0時18分までになった。
AIが存亡の危機をもたらし、この危機は現在よりもはるかに多くの注目を集める必要があるというテーゼは、アラン・チューリング[ a ] 、最も引用されているコンピュータ科学者ジェフリー・ヒントン[ 138 ] 、イーロン・マスク[ 16 ]、OpenAIのCEOサム・アルトマン[ 15 ] [ 139 ]、ビル・ゲイツ、スティーブン・ホーキング[ 139 ]など、多くのコンピュータ科学者や著名人によって支持されている。このテーゼの支持者は、懐疑論者に対して困惑を表明することもある。ゲイツは「なぜ一部の人々が懸念しないのか理解できない」[140]と述べ、ホーキングは2014年の社説で広範な無関心を批判した。
つまり、計り知れない利益とリスクを伴う可能性のある未来に直面して、専門家たちは最善の結果を確実にするためにあらゆる努力をしているはずだ、そうでしょう？いいえ、違います。もし高度な異星文明が「数十年後に到着します」というメッセージを送ってきたら、私たちは「わかりました。到着したら連絡してください。明かりをつけておきます」とだけ返信するでしょうか？おそらくそうはしないでしょう。しかし、AIに関しては、多かれ少なかれこのようなことが起こっているのです。[ 38 ]
人工知能のリスクに対する懸念から、著名な寄付や投資がいくつか行われている。2015年、ピーター・ティール、アマゾン・ウェブ・サービス、マスク氏らは、営利企業と非営利の親会社からなるOpenAIに10億ドルを共同で拠出した。OpenAIは、責任あるAI開発を推進することを目指していると述べている。 [ 141 ] Facebookの共同創設者であるダスティン・モスコヴィッツ氏は、AIアライメントに取り組む複数の研究所に資金を提供し、シード資金を提供している。 [ 142 ]特に2016年には、スチュアート・ラッセル教授が率いる人間適合型AIセンターの設立に550万ドルを拠出した。[ 143 ] 2015年1月、イーロン・マスク氏は、AIの意思決定を理解するための研究に資金を提供するFuture of Life Instituteに1000万ドルを寄付した。同研究所の目標は、増大するテクノロジーの力を「管理するための知恵を育む」ことである。マスク氏はまた、 DeepMindやVicariousなどの人工知能開発企業に資金提供し、「人工知能の動向を注視するため」[ 144 ]、「潜在的に危険な結果が生じる可能性があると思う」と述べている。[ 145 ] [ 146 ]
ディープラーニングの主要な先駆者であるジェフリー・ヒントンは、このテーマに関する初期の発言で、「知能の低いものが知能の高いものを制御するという実績は良くない」と指摘したが、「発見の可能性があまりにも魅力的だから」研究を続けたと述べた。[ 106 ] [ 147 ] 2023年、ヒントンはAIによる存在リスクについて発言するためにGoogleの仕事を辞めた。彼は、超人的なAIが以前考えていたよりも近い将来に実現するかもしれないという懸念が、懸念の高まりの原動力となっていると説明し、「私はまだずっと先のことだと思っていた。30年から50年、あるいはもっと先のことだと思っていた。明らかに、今はそうは思っていない」と述べた。また、「5年前と今を比べてみろ。その差を将来に当てはめてみると、恐ろしいことになる」とも述べた。[ 148 ]
オックスフォード大学人類未来研究所の上級研究員であるトビー・オードは、2020年の著書『断崖絶壁：人類の存亡の危機と未来』の中で、今後100年間におけるAIの非協調的な運用による存亡の危機は、およそ10分の1程度と推定している。[ 86 ]
Baiduの副社長であるアンドリュー・ン氏は2015年に、AIの存在リスクは「まだ火星に足を踏み入れてもいないのに、火星の人口過剰を心配するようなものだ」と述べた。[ 116 ] [ 149 ]制御不能な高度なAIの危険性が現実のものとなるためには、仮説上のAIが人間を圧倒したり、思考能力で上回ったりする必要があるかもしれないが、一部の専門家は、それは研究する価値がないほど遠い未来の可能性だと主張している。[ 150 ] [ 151 ]
AGIが短期的に実現可能ではないと考える懐疑論者は、AIによる存在リスクへの懸念は、AIの影響に関するより差し迫った懸念から人々の注意をそらす可能性があるため、また、政府による規制につながったり、AI研究への資金提供を困難にしたり、この分野の評判を損なう可能性があるため、役に立たないと主張することが多い。[ 152 ] AIとAI倫理の研究者であるティムニット・ゲブル、エミリー・M・ベンダー、マーガレット・ミッチェル、アンジェリーナ・マクミラン＝メジャーは、存在リスクについての議論は、データ窃盗、労働者搾取、偏見、権力の集中など、今日起こっているAIによる差し迫った継続的な害から注意をそらすと主張している。[ 153 ]彼らはさらに、存在リスクを警告する人々と長期主義との関連性を指摘し、長期主義は非科学的でユートピア的な性質を持つため「危険なイデオロギー」であると述べている。[ 154 ]
Wired誌の編集者ケビン・ケリーは、自然知能はAGI支持者が考えているよりも複雑であり、知能だけでは大きな科学的・社会的ブレークスルーを達成するには不十分だと主張している。彼は、知能は十分に理解されていない多くの側面から成り立っており、「知能の階段」という概念は誤解を招くものだと主張している。彼は、科学的方法において現実世界での実験が果たす重要な役割を指摘し、知能だけではそれらの代替にはならないと述べている。 [ 155 ]
MetaのチーフAIサイエンティストであるヤン・ルカン氏は、AIは過去に自動車やロケットで起こったように、継続的かつ反復的な改良によって安全にすることができ、AIは制御権を握ろうとはしないだろうと述べている。[ 156 ]
懐疑論者の中には、AIの短期的な潜在的なメリットを強調する者もいる。MetaのCEOであるマーク・ザッカーバーグは、AIは病気の治療や自動運転車の安全性の向上など、「膨大な数のポジティブなことを実現する」と信じている。[ 157 ]
2023年4月にYouGovが行った米国成人を対象とした世論調査では、回答者の46%が「AIが地球上の人類の終焉を引き起こす可能性」について「やや懸念している」または「非常に懸念している」と回答したのに対し、「あまり懸念していない」または「全く懸念していない」と回答した人は40%だった。[ 158 ]
ピュー・リサーチ・センターが2023年8月に実施した調査によると、アメリカ人の52%は新たなAI開発について期待よりも懸念を抱いており、約3分の1は懸念と期待が同程度だった。多くのアメリカ人は、AIは医療や自動車の安全性から製品検索や顧客サービスに至るまで、多くの分野で害よりも有益な影響を与えると考えている。主な例外はプライバシーで、アメリカ人の53%はAIによって個人情報の漏洩リスクが高まると考えている。[ 159 ]
AGIの存在リスクを懸念する多くの学者は、「制御問題」に関する広範な研究が不可欠だと考えている。この問題は、再帰的に改善するAIが超知能を達成した後も友好的であり続ける可能性を高めるために、どのような安全策、アルゴリズム、またはアーキテクチャを実装できるかを決定することに関わる。[ 6 ] [ 120 ]また、利他的なAGIのみが作成されることを保証するための国連主導の「慈悲深いAGI条約」など、AGIリスクを軽減するための社会的措置も提案されている。[ 160 ] [ 120 ]さらに、国際関係理論に基づいた軍備管理アプローチと世界平和条約が提案されており、人工超知能が署名者となる可能性もある。[ 162 ] [ 163 ]
Google の研究者は、狭義の AI による短期的なリスクと AGI による長期的なリスクの両方を同時に軽減するために、一般的なAI の安全性の問題に関する研究を提案しています。 [ 164 ] [ 165 ] 2020 年の推定では、AI の存亡リスクに対する世界的な支出は 1,000 万ドルから 5,000 万ドルの間であり、AI に対する世界的な支出は約 400 億ドルと推定されています。ボストロムは、潜在的に危険な技術よりも保護技術への資金提供を優先することを提案しています。[ 100 ]イーロン マスクのように、人間と機械の直接的な神経接続など、人間の認知能力を根本的に強化することを提唱する人もいますが、これらの技術自体が存亡の危機をもたらす可能性があると主張する人もいます。 [ 166 ] [ 167 ]別の提案された方法は、初期段階の AI が強力になりすぎないように、それを綿密に監視または「囲い込む」ことです。支配的で協調的な超知能 AI は、競合する AI からのリスクを軽減することもできますが、その作成自体が存亡の危機をもたらす可能性があります。[ 160 ]
アライメント研究センター[ 168 ]、機械知能研究所[ 169 ] [ 170 ] 、生命の未来研究所、実存的リスク研究センター、人間適合型AIセンター[ 171 ]などの機関は、 AIのリスクと安全性の研究に積極的に取り組んでいます。
多くのAI安全専門家は、研究は管轄区域を越えて容易に移転できるため、AGI開発の全面禁止は効果がなく、進歩を地下に追いやる可能性があり、透明性と協力を損なうと主張している。[ 172 ] [ 173 ] [ 174 ]懐疑論者は、存在リスクは存在しないと信じているため、AI規制は不要だと考えている。存在リスクを懸念する学者の中には、AI開発者は自己規制を信用できないと主張する一方で、研究の全面禁止は賢明ではないという点では同意している者もいる。[ 175 ]禁止や規制に対するその他の課題としては、テクノロジー起業家の政府規制に対する一般的な懐疑心や、企業が規制に抵抗し議論を政治化する可能性のあるインセンティブなどが挙げられる。 [ 176 ] 2024年に設立された活動家グループStop AIは、AGIの禁止を提唱している。
特定通常兵器条約の枠組みの下、各国は2014年から致死性自律兵器システムについて議論してきた。2016年、条約締約国は、これらの議論を継続するために、致死性自律兵器システムに関する政府専門家グループを設立した。[ 177 ]議論では、国際人道法、説明責任、禁止および規制の可能性、AI搭載兵器に対する人間の制御の必要性の範囲などが取り上げられた。[ 178 ]
2023年3月、Future of Life Instituteは「巨大AI実験を一時停止せよ：公開書簡」という請願書を発表し、主要なAI開発者に対し、「 GPT-4よりも強力な」システムの検証可能な6か月間の一時停止に同意し、その期間を利用して安全性を確保するための枠組みを確立すること、またはそれができない場合は政府が介入して一時停止することを求めました。この書簡は、「地球上の生命の歴史における根本的な変化」の可能性、AIが生成するプロパガンダ、雇用の喪失、人間の陳腐化、社会全体の制御の喪失といった潜在的なリスクに言及しました。[ 128 ] [ 179 ]この書簡にはAI分野の著名人が署名しましたが、現在の害に焦点を当てていないこと、[ 180 ]一時停止のタイミングに関する技術的なニュアンスが欠けていること、[ 181 ]または十分ではないことなどについても批判されました。[ 101 ]こうした懸念から、最先端AIモデルのトレーニングに反対する抗議活動を主要都市で組織する擁護団体PauseAIが設立された。[ 182 ]
マスク氏は2017年にはすでにAI開発の何らかの規制を求めていた。NPRによると、彼は自身の業界に影響を与える可能性のある政府の監視を提唱することに「明らかに乗り気ではない」が、監視を全く行わないリスクは高すぎると考えている。「通常、規制は多くの悪いことが起こり、世論の反発が起こり、何年も経ってからその業界を規制する規制機関が設立されるという形で設定される。それは永遠に時間がかかる。過去にはそれは悪いことだったが、文明の存続に対する根本的なリスクを表すものではなかった。」マスク氏は、最初のステップは政府が現在の研究の実際の状況について「洞察」を得ることだと述べ、「認識が広まれば、人々は非常に恐れるだろう…[当然]」と警告した。これに対し、一部の政治家は、まだ開発段階にある技術を規制することの賢明さについて懐疑的な見解を示した。[ 183 ] [ 184 ] [ 185 ]
2021年、国連は自律型致死兵器の禁止を検討したが、合意には至らなかった。[ 186 ] 2023年7月、国連安全保障理事会は初めて会合を開き、AIが世界の平和と安定にもたらすリスクと脅威、そして潜在的な利益について検討した。[ 187 ] [ 188 ]アントニオ・グテーレス事務総長は、 新興技術を監視するグローバルな監視機関の創設を提唱し、「生成型AIは、規模によっては善にも悪にもなり得る大きな可能性を秘めている。その開発者自身も、はるかに大きな、潜在的に壊滅的で存亡に関わるリスクが待ち受けていると警告している」と述べた。[ 21 ]安保理会合で、ロシアは、AIのリスクは十分に理解されていないため、世界の安定に対する脅威とはみなせないと述べた。中国は、各国が独自のルールを策定できるべきだとして、厳格なグローバル規制に反対し、AIを「軍事的覇権の確立や国家主権の侵害」に利用することにも反対すると述べた。[ 187 ]
意識を持つAGIの規制は、既存の人間社会への統合に焦点を当てており、法的地位と道徳的権利の検討に分けられる。[ 120 ] AIの軍備管理には、効果的な技術仕様に具体化された新しい国際規範の制度化と、専門家コミュニティによる積極的な監視と非公式外交、そして法的および政治的検証プロセスが必要となるだろう。[ 189 ] [ 138 ]
2023年7月、米国政府はOpenAI、Amazon、Google、Meta、Microsoftなどの大手テクノロジー企業から自主的な安全対策の約束を取り付けた。これらの企業は、AIの潜在的なリスクや社会への害悪に関する懸念に対処するため、第三者による監視や独立した専門家によるセキュリティテストなどの安全対策を実施することに合意した。関係者らは、これらの約束を規制が策定されるまでの暫定的なステップと位置づけた。AI Now InstituteのエグゼクティブディレクターであるAmba Kak氏は、「企業関係者との非公開の協議で自主的な安全対策が取られるだけでは不十分だ」と述べ、企業が自主的に同意しないような公開協議と規制を求めた。[ 190 ] [ 191 ]
2023年10月、ジョー・バイデン米大統領は「人工知能の安全で確実かつ信頼できる開発と利用」に関する大統領令を発令した。[ 192 ]この命令は、他の要件に加えて、「人間の制御を回避する」ことを可能にするAIモデルのガイドラインの開発を義務付けている。
人類がAIを制御できないために絶滅する可能性が10%以上あると考えている。
マービン・ミンスキーはかつて、リーマン予想を解決するために設計されたAIプログラムが、その目標達成のために、より強力なスーパーコンピューターを構築するために地球上のすべての資源を奪い取る可能性があると示唆したことがある。
遊び心のある三人称で書かれた経歴の中で、人生の節目を要約しており、その中には、チューリングと共にブレッチリー・パークで行った仕事に関する、おそらくこれまで誰も見たことのない記述も含まれている。しかし、1998年に彼が書いた最初の超知能と、その終盤でのUターンについて、彼はこう述べている。「[論文]『最初の超知能機械に関する考察』（1965年）は、『人類の生存は、超知能機械の早期構築にかかっている』という書き出しで始まっている。これは冷戦時代の彼[グッド]の言葉であり、今では『生存』は『絶滅』に置き換えられるべきだと考えている。彼は、国際競争のために、機械が支配するのを防ぐことはできないと考えている。彼は、人類はレミングのようなものだと考えている。彼はまた、『おそらく人類は、自らのイメージでデウス・エクス・マキナを構築するだろう』とも述べている。」
シンギュラリティの到来に関する予測は大きく異なっているが、新たな分析によると、科学者たちは概して2040年より前に到来すると述べており、以前の予測より20年も短縮されている。
まるで、人間のことを気にかけない異星人のデジタル思考に制御を失うことよりも、中国人の思考に制御を失うことの方が恐ろしいかのように。[...] 今や、可能性のある異星人の思考の空間はそれよりもはるかに大きいことは明らかだ。
私にとっては、私たちがやらなければならない主なことは、欺瞞やそのような特定の危険な機能、状況認識、内部的に表現された目標に関連する特定の回路に気づくことであるというのはもっともらしい。
そうする道具的理由があるため、同様の中間目標を追求する。
最適化し、その過程で報酬関数の破損につながる間違いを犯すことを妨げるものは何もない。
したがって、最新のAI影響調査によると、731人の主要なAI研究者のほぼ半数が、人間レベルのAIが「極めて否定的な結果」、つまり存亡の危機につながる可能性が少なくとも10％あると考えていることは驚くべきことではない。
これらの理由から、世界的な放棄条約、あるいはAI関連兵器開発に限定した条約の検証は、そもそも実現不可能である。（我々とは異なる理由で、機械知能研究所は汎用人工知能（AGI）の放棄は実現不可能だと考えている。）
一般的に、ほとんどの著者は広範な放棄の提案を拒否しています... 放棄の提案は、規制の提案と同じ多くの問題を抱えていますが、その程度はより深刻です。AGI と同様の汎用的で多目的な技術が永久に放棄されたという歴史的な前例はなく、また、放棄の提案が将来的に機能すると考える理論的な根拠もないようです。したがって、私たちはそれらを実行可能な提案のクラスとは考えていません。
まとめてAIとみなされる技術の加速的な開発と展開が、規制や国内法によって停止または制限されると示唆するのは空想である。