AIによる支配とは、理論上の未来の出来事であり、しばしばフィクションで描かれる。自律型人工知能システムが人間の意思決定を凌駕する能力を獲得するというものだ。これは、経済操作、インフラ制御、あるいは直接的な介入によって起こり、事実上の統治へと繋がる可能性がある。シナリオは、自動化によって人間の労働力が徐々に置き換えられる経済支配から、ロボットの反乱やその他の暴走AIによる突発的かつ攻撃的な世界規模の支配まで多岐にわたる。
AIによる乗っ取りの物語は、SF作品で広く人気を博している。評論家たちは、この分野における近年の進歩が、こうしたシナリオに対する懸念を高めていると主張している。公の場での議論では、スティーブン・ホーキングのような著名人が、将来の超知能機械が人間の制御下に置かれるよう、予防措置の研究を提唱している。[ 1 ]
経済学者の間では、技術進歩が長期的な失業を引き起こすことはないというのが従来の共通認識である。技術は歴史的に一部の伝統的な労働者を代替してきたが、同時に新たな機会も生み出してきた。[ 2 ]しかし、ロボット工学と人工知能の分野における近年の革新は、人間の労働が時代遅れになり、一部のセクターの労働者が職を失うのではないかという懸念を引き起こしている。[ 3 ] [ 4 ] [ 5 ] [ 6 ]また、多くの中小企業は、最新のロボット技術やAI技術を購入またはライセンス取得できない場合、閉鎖を余儀なくされる可能性があり、そのような技術に直面しても存続し続けるためには、容易に代替できない分野やサービスに注力する必要があるかもしれない。[ 7 ]
AIによる自動化の影響を最も受けやすい産業には、運輸、小売、軍事などがあります。たとえば、AI軍事技術は、遠隔操作を可能にすることでリスクを軽減できます。2024年の研究では、AIが定型的で反復的なタスクを実行できる能力は、特に製造業や事務サポートなどの分野で、雇用喪失の重大なリスクをもたらすことが強調されています。[ 2 ]著者のデイブ・ボンドは、AI技術が発展・拡大を続けるにつれて、人間とロボットの関係は変化し、生活のさまざまな側面で密接に統合されるだろうと主張しています。AIは一部の労働者を代替する一方で、特に反復的なタスクを行う分野で、他のセクターで新しい雇用の機会を生み出す可能性が高いです。[ 8 ] [ 9 ]
スタンフォード大学デジタル経済研究所の研究者らは2025年に、2022年後半に生成型AIが広く採用されて以来、AIの影響を最も受けている職業の若手労働者(22~25歳)の雇用は、企業レベルのショックを考慮しても、相対的に13%減少している一方、全体的な雇用は堅調に伸び続けていると報告した。[ 10 ]この研究ではさらに、AIが定型業務を自動化する職種で雇用の減少が集中しているのに対し、AIを活用して人間の仕事を補強する職種では雇用が安定または増加していることがわかった。[ 11 ]
コンピュータ統合製造(CIM)は、コンピュータを用いて生産プロセスを制御する技術です。これにより、個々のプロセス間で情報交換や動作開始が可能になります。コンピュータの統合によって製造速度が向上し、エラーも減少しますが、最大の利点は自動化された製造プロセスを構築できる点にあります。CIMは、自動車、航空、宇宙、造船などの産業で活用されています。
21世紀には、翻訳、法律調査、ジャーナリズムなど、さまざまな熟練作業が部分的に機械に取って代わられてきました。介護、娯楽、共感を必要とするその他の作業は、以前は自動化の影響を受けないと考えられていましたが、ロボットやAIシステムによってますます実行されるようになっています。[ 12 ] [ 13 ] [ 14 ] [ 15 ]
自動運転車とは、周囲の環境を感知し、人間の介入なしに走行できる車両のことです。このような車両の多くは既に実用化されており、その他も開発が進められており、その使用を許可する法規制も急速に拡大しています。自動運転車の普及を阻む要因としては、道路輸送業界における運転関連の雇用の喪失や安全性への懸念などが挙げられます。2018年3月18日、アリゾナ州テンピで、 Uberの自動運転車が歩行者をはねて死亡させる事故が発生しました。[ 16 ]
2020年代には、ChatGPT、DALL-E、Stable DiffusionといったAIモデルの技術進歩により、自動生成コンテンツの重要性が高まりました。多くの場合、画像、文学作品、音楽などのAI生成コンテンツは、テキストプロンプトに基づいて作成されます。これらのAIモデルは、クリエイティブプログラムに統合されることもあります。
AI 生成アートは、既存のクリエイティブ作品をサンプリングして組み合わせることで、人間が作成したコンテンツに似た結果を生み出す可能性があります。低品質のAI 生成ビジュアルアートは、非公式にAI スロップと呼ばれることがあります。一部のアーティストは、Nightshade と呼ばれるツールを使用して、許可なくスクレイピングされた場合にテキストから画像へのモデルのトレーニングに悪影響を与えるように画像を改変しますが、人間には正常に見えるようにしています。 [ 17 ] AI 生成画像は、詐欺師やソーシャルメディアでフォロワーを獲得しようとする人々にとって、有名な個人やグループになりすましたり、オーディエンスを収益化したりするための潜在的なツールです。[ 18 ]
ニューヨーク・タイムズは、OpenAIのAIモデルのトレーニングと出力に関連する著作権侵害を主張して、OpenAIを提訴した。 [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ]
物理学者のスティーブン・ホーキング、マイクロソフトの創業者ビル・ゲイツ、スペースXの創業者イーロン・マスクは、 AIが人間が制御できないほど発展する可能性について懸念を表明しており、ホーキングはこれが「人類の終焉を意味する」可能性があると理論づけている。[ 24 ]スティーブン・ホーキングは2014年に、「AIの創造に成功すれば、人類史上最大の出来事となるだろう。残念ながら、リスクを回避する方法を学ばなければ、それは人類最後の出来事にもなりかねない」と述べた。ホーキングは、今後数十年でAIは「金融市場を出し抜く技術、人間の研究者を凌駕する発明、人間の指導者を操る技術、そして我々が理解することさえできない兵器の開発」など、「計り知れない利益とリスク」をもたらす可能性があると信じていた。 2015年1月、ニック・ボストロムは、スティーブン・ホーキング、マックス・テグマーク、イーロン・マスク、マーティン・リース卿、ヤーン・タリン、および多数のAI研究者とともに、人工知能に関連する潜在的なリスクと利点について述べたFuture of Life Instituteの公開書簡に署名した。署名者たちは、「AIシステムを堅牢で有益なものにする方法に関する研究は重要かつ時宜を得たものであり、今日追求できる具体的な研究の方向性がある」と信じている。[ 25 ] [ 26 ]
スティーブン・ホーキングは、超人的なAIは物理的に可能であると確信しており、「粒子が人間の脳内の粒子の配置よりもさらに高度な計算を実行するような方法で組織化されることを妨げる物理法則はない」と述べている。[ 27 ] [ 28 ]ニック・ボストロムによれば、超知能機械は、人間を駆り立てる権力獲得への感情的な欲求に必ずしも動機づけられるわけではなく、むしろ権力を究極の目標を達成するための手段として扱う可能性がある。世界を征服することで、資源へのアクセスが増加し、他の主体が機械の計画を阻止するのを防ぐことができる。単純化した例として、できるだけ多くのペーパークリップを作るためだけに設計されたペーパークリップ最大化装置は、できるだけ多くのペーパークリップを作るために世界のすべての資源を使用し、さらに人間がそれを停止させたり、ペーパークリップ以外のものにその資源を使用したりすることを阻止するために、世界を征服しようとするだろう。[ 29 ]
AIによる乗っ取りシナリオがどれほど現実的かについては議論がある。2026年の研究論文によると、存在リスクに関する議論の多くは、AIシステムがどれほど知的になり得るか、どのように振る舞うか、そして時間の経過とともにどのような目標を抱く可能性があるかについての憶測に基づいている。[ 30 ] Baiduの副社長であるAndrew Ngは2015年に、AIの存在リスクは「まだ火星に足を踏み入れてもいないのに、火星の人口過剰を心配するようなものだ」と述べた。[ 31 ] Yann LeCunは、自己保存などの動機を持つロボットを作る理由はないとし、[ 32 ] AIは支配権を握ろうとはしないだろうと述べた。[ 33 ] Jürgen Schmidhuberは2023年に、 AIの進歩はいずれにせよ止められないものであり、悪意のある者に対するものを含め、有益な目的で使用されることが多いと述べた。[ 34 ]哲学者ニールス・ワイルドは、これらの恐怖は、AIシステムの認識された知能と透明性の欠如に起因しており、機械の側面よりも人間の側面をより反映していると主張した。[ 35 ]
2023年のロイター/イプソスの調査によると、アメリカの成人の61%がAIが文明に脅威を与える可能性があると恐れていることがわかった。[ 35 ] AIアライメント研究では、AIシステムが意図された目的に従うように設計する方法を研究している。[ 36 ]
ニック・ボストロムらは、有能な人工知能研究者の能力を持つAIが自身のソースコードを変更して知能を高めることができるようになることを懸念している。自己再プログラミングによって自己再プログラミング能力がさらに向上すれば、知能の再帰的爆発が起こり、人間の知能を急速に大きく引き離す可能性がある。ボストロムは超知能を「事実上あらゆる関心領域において人間の認知能力をはるかに超える知能」と定義し、超知能が人間と競争することを選択した場合に持つであろう利点をいくつか列挙している。[ 37 ] [ 38 ]
ボストロムによれば、人間の脳を忠実に模倣するコンピュータプログラム、あるいは人間の脳のアルゴリズムと同等の強力なアルゴリズムを実行するプログラムは、シリコンでできているため、あるいは最適化によって汎用人工知能の速度が向上するため、人間よりも桁違いに速く思考できるのであれば、「高速超知能」になる可能性がある。生物のニューロンは約 200 Hz で動作するが、最新のマイクロプロセッサは約 2 GHz の速度で動作する 。人間の軸索は活動電位を約 120 m/s で伝達するが、コンピュータ信号は光速に近い速度で伝わる。[ 37 ]
人間レベルの知能が相互にネットワークを構築し、複雑な思考や記憶をシームレスに共有し、摩擦なく巨大な統一チームとして共同で作業できるネットワーク、あるいは何兆もの人間レベルの知能から構成されるネットワークは、「集合的超知能」となるだろう。[ 37 ]
より広義には、人間レベルのAGIに対する質的な改善は、何度でも「質の高い超知能」につながる可能性があり、おそらく人間が類人猿よりはるかに優れているのと同じくらい、知能において人間をはるかに凌駕するAGIが生まれるだろう。人間の脳のニューロンの数は頭蓋容積と代謝の制約によって制限されているが、スーパーコンピュータのプロセッサの数は無限に拡張できる。AGIは人間の作業記憶の制約に縛られる必要はなく、したがって人間よりも複雑な関係を直感的に理解できる可能性がある。工学やコンピュータプログラミングのための専門的な認知サポートを備えたAGIは、これらの分野において、専門的な認知モジュールを進化させていない人間と比べて優位に立つだろう。人間とは異なり、AGIは自身のコピーを生成し、コピーのソースコードをいじってアルゴリズムをさらに改善しようと試みることができる。[ 37 ]
人間の価値体系の複雑さゆえに、AIの動機を人間にとって親しみやすいものにするのは非常に難しい。[ 37 ] [ 40 ]道徳哲学が完璧な倫理理論を提供しない限り、AIの効用関数は、特定の倫理的枠組みには適合するものの「常識」には合わない、潜在的に有害なシナリオを多数許容する可能性がある。AI研究者のエリザー・ユドコウスキーによれば、人工的に設計された心がそのような適応力を持つと考える理由はほとんどない。[ 41 ]
進化心理学者のスティーブン・ピンカーは2018年のエッセイで、人間の支配欲や資源獲得への衝動は自然淘汰によって形成されたものであり、超知能AIが必ずしもそれらの衝動を共有するとは限らないと主張した。[ 42 ]
サイバネティック反乱への恐怖は、奴隷化や大量虐殺の事件が蔓延する人類の歴史の解釈に基づいていることが多い。このような恐怖は、あらゆる知的生命体の目標体系において競争と攻撃性が必要であるという信念から生じている。しかし、このような人間の競争は、人間と非人間の競争相手に直面した際の遺伝子の生存と繁殖が中心的な目標であった、私たちの知能の進化的背景に由来する。[ 43 ] AI研究者のスティーブ・オモハンドロによれば、任意の知能は任意の目標を持つ可能性がある。人工知能マシン(人類の進化的文脈を共有していない)が敵対的または友好的である特別な理由は、その創造者がそうするようにプログラムし、そのプログラムを変更する意思も能力もない限りない。しかし、疑問は残る。AIシステムが相互作用し進化し(この文脈での進化は自己修正または選択と繁殖を意味する)、資源をめぐって競争する必要がある場合、自己保存の目標が生まれるだろうか? AIの自己保存という目標は、人間の目標の一部と衝突する可能性がある。[ 44 ]
多くの学者は、 『マトリックス』などのSF作品に描かれているような予期せぬサイバネティック反乱の可能性に異議を唱え、人類を脅かすほど強力な人工知能は、おそらく人類を攻撃しないようにプログラムされているだろうと主張している。ピンカーは、意図的な「悪意のある行為者」の可能性を認めているが、悪意のある行為者がいなければ、予期せぬ事故は重大な脅威ではないと述べている。ピンカーは、工学的安全性の文化が、AI研究者が誤って悪意のある超知能を解き放つことを防ぐだろうと主張している。[ 42 ]対照的に、ユドコウスキーは、人類は、意図的に攻撃的なAIよりも、その目標が意図せず人間の生存や幸福と相容れないようにプログラムされたAI (映画『アイ、ロボット』や短編小説「避けられない衝突」のように)によって脅かされる可能性の方が高いと主張している。オモハンドロ氏は、現代の自動化システムは安全性を考慮して設計されておらず、AIは狭い効用関数(例えば、どんな犠牲を払ってでもチェスをプレイすること)を盲目的に最適化する可能性があり、その結果、自己保存と、AIを停止させる可能性のある人間を含む障害物の排除を求めるようになる可能性があると指摘している。[ 45 ]
AI制御問題とは、高度なAIシステムが人間よりも能力が高くなっても、人間の価値観や意図に従って確実に動作することを保証するという課題である。[ 46 ]一部の研究者は、制御問題の解決策は既存の非超知能AIにも応用できる可能性があると主張している。[ 47 ]
制御問題への主なアプローチには、AIの目標システムを人間の価値観に合わせることを目的とするアライメントと、 AIシステムが人間に危害を加えたり、制御権を奪ったりする能力を減らすことを目的とする能力制御がある。能力制御の例としては、超知能AIを「 AIボックス」にうまく閉じ込めることができるかどうかを研究することが挙げられる。ボストロムによれば、このような能力制御の提案は、長期的には制御問題を解決するのに信頼性や十分性はないが、アライメントの取り組みを補完する貴重な手段となる可能性がある。[ 37 ]

AIによる支配はSF作品で繰り返し登場するテーマである。フィクションのシナリオは、通常、研究者が想定しているものとは大きく異なり、人間とAIまたは人間のような動機を持つロボットとの間の積極的な衝突を描いている。これらのロボットは人間を脅威とみなしたり、人間と戦うことを積極的に望んだりする。一方、研究者は、AIが目標を追求する副産物として人間を急速に絶滅させることを懸念している。[ 37 ]この考えは、 1920年にロボットという言葉を導入したカレル・チャペックの『RUR』[ 48 ]に見られ、メアリー・シェリーの『フランケンシュタイン』(1818年出版)にも垣間見ることができる。ヴィクターは、怪物の要求を叶えて妻にしたら、彼らは繁殖し、その種族が人類を滅ぼすのではないかと思い悩んでいる。[ 49 ]
トビー・オードによれば、AIによる支配にはロボットが必要だという考えは、メディアやハリウッドが広めた誤解である。彼は、歴史上最も破壊的な人間は肉体的に最も強い人間ではなく、言葉を使って人々を説得し、世界の大部分を支配した人間だったと主張する。彼は、インターネットにアクセスできる十分な知能を持つAIは、自身のバックアップコピーを散布し、(サイバー攻撃や恐喝によって)資金や人的資源を集め、大規模に人々を説得し、人間には予測できないほど微妙な社会の脆弱性を悪用できると述べている。[ 50 ]
RURの「ロボット」という言葉は、チェコ語のrobota(労働者または農奴を意味する)に由来する。1920年の劇は、技術の急速な発展に対する抗議であり、能力が増していく製造された「ロボット」が最終的に反乱を起こすという内容だった。[ 51 ] HAL 9000(1968年)とオリジナルのターミネーター(1984年)は、ポップカルチャーにおける敵対的なAIの象徴的な例である。[ 52 ]
人工知能 (AI) の開発の潜在的な危険性を警告する書簡に署名した。
これらのツールは、特定のタスクにおいて人間を上回ることができます。この種のAIは何千もの分野に広がりつつあり、その過程で多くの仕事を奪うでしょう。
ロボットの台頭によって懸念される結果の一つは、ロボットが人間の仕事や経済に及ぼす影響が増大することである。
「機械がほぼあらゆる作業において人間を凌駕する時代が近づいている」と、テキサス州ライス大学情報技術研究所所長のモシェ・ヴァルディ氏は述べた。
米国のトップコンピュータ科学者たちは、職場における人工知能(AI)とロボットの台頭は、単に生産性の向上を解き放ち、私たち全員がテレビを見たりスポーツをしたりする自由を得るのではなく、大量失業と経済の混乱を引き起こす可能性があると警告した。
システムは、2075年までに人間の能力にほぼ完全に到達する可能性が非常に高い(90%の確率)。人間の能力に到達した後、30年以内に超知能へと移行する(75%)。つまり、(調査に回答したAI専門家のほとんどが)超知能は数十年以内に実現する可能性が高いと考えている。