AIによる支配

AIによる乗っ取りとは、人工知能（AI）が地球上の知能の支配的な形態として出現し、コンピュータプログラムやロボットが、人間の知能に依存する人類から地球の支配権を事実上奪い取るという想像上のシナリオである。考えられるシナリオとしては、自動化による人間の労働力全体の置き換え、超知能AI （ASI）による乗っ取り、ロボットの反乱などがある。AIによる乗っ取りの話はSFでは人気があったが、最近の進歩により脅威はより現実的になった。スティーブン・ホーキングやイーロン・マスクなどの著名人は、将来の超知能マシンが人間の制御下に置かれることを保証する予防措置の研究を提唱している。^[1]

経済学者の間では、技術の進歩は長期失業を引き起こさないというのが従来の見解である。しかし、ロボット工学や人工知能の分野における最近の技術革新により、人間の労働力が時代遅れとなり、様々な分野の人々が生計を立てるための仕事を失い、経済危機につながるのではないかという懸念が生じている。^{[2] [3] [4] [5]}また、多くの中小企業は、最新のロボット工学やAI技術を購入する余裕やライセンスを取得できない場合、廃業に追い込まれる可能性があり、そのような技術に直面しても存続し続けるためには、簡単には置き換えられない分野やサービスに注力する必要があるかもしれない。^[6]

AI技術は近年広く採用されています。これらの技術は従来の労働者の一部を置き換えましたが、新しい機会も生み出しています。AIによる乗っ取りの影響を受けやすい業界には、運輸、小売、軍事などがあります。たとえば、AI軍事技術により、兵士は負傷のリスクなしに遠隔地で働くことができます。2024年の研究では、AIが日常的で反復的なタスクを実行する能力が、特に製造業や管理サポートなどの分野で、雇用の喪失の大きなリスクをもたらすことが強調されています。^[7]著者のデイブ・ボンドは、AI技術が開発および拡大し続けると、人間とロボットの関係が変化し、生活のさまざまな側面で密接に統合されるようになると主張しています。AIは、一部の労働者を置き換える一方で、特にタスクが反復可能な分野では、他の分野で新しい仕事の機会を生み出す可能性があります。^{[8] [9]}

コンピュータ統合製造では、コンピュータを使用して製造プロセスを制御します。これにより、個々のプロセスが互いに情報を交換し、アクションを開始できます。コンピュータを統合することで製造が高速化され、エラーが減りますが、主な利点は自動化された製造プロセスを作成できることです。コンピュータ統合製造は、自動車、航空、宇宙、造船業界で使用されています。

21世紀には、翻訳、法律調査、ジャーナリズムなど、さまざまな熟練作業が部分的に機械に取って代わられました。介護、娯楽、共感を必要とするその他の作業は、これまで自動化の対象外と考えられていましたが、ロボットによって実行されるようになりました。^{[10] [11] [12] [13]}

自動運転車とは、周囲の環境を感知し、人間の介入なしに走行できる自動車である。このような自動車は数多く開発されているが、2017年5月現在、公道走行が許可されている自動運転車はまだ完全自動運転ではない。それらはすべて、人間の運転手がハンドルを握り、即座に車両を制御できる必要がある。自動運転車の普及を妨げる障害の1つは、道路輸送業界での運転関連の仕事が失われるのではないかという懸念である。2018年3月18日、アリゾナ州テンピでUberの自動運転車が運転中に初めて人間を死亡させた。 ^[14]

ChatGPT、DALL-E、Stable Diffusionなどの人工知能モデルの技術的進歩以来、自動化されたコンテンツの使用が重要になってきました。ほとんどの場合、画像、文学、音楽などのAI生成コンテンツはテキストプロンプトを通じて作成され、これらのAIモデルは他のクリエイティブプログラムに統合されています。アーティストは、これらのモデルが他のクリエイティブ作品からサンプリングし、人間が作成したコンテンツとは判別できない結果を生成するため、AI生成コンテンツからの置き換えの脅威にさらされています。この複雑さは十分に広まっており、他のアーティストやプログラマーが、正確な出力を生成しないこれらのテキストから画像へのモデルに対抗するソフトウェアやユーティリティプログラムを作成しています。経済の一部の産業は、新しい仕事を通じて人工知能の恩恵を受けていますが、この問題は新しい仕事を生み出すことはなく、完全に置き換えられる恐れがあります。最近、メディアで大々的に取り上げられました。2024年2月、スコットランドのグラスゴーで行われたウィリーズ・チョコレート・エクスペリエンスは、子供、親、俳優を落胆させながら、人工知能モデルを使用して画像と脚本が作成されたという悪名高い子供向けイベントでした。ニューヨークタイムズはOpenAIに対して訴訟を起こしており、人工知能モデルが出力に使用するサンプリング方法により著作権侵害があると主張しています。^{[15] [16] [17] [18] [19]}

スティーブン・ホーキングのような科学者は、超人的な人工知能が物理的に可能であると確信しており、「人間の脳内の粒子の配置よりもさらに高度な計算を実行する方法で粒子が組織化されることを妨げる物理法則はない」と述べている。^{[20] [21]}ニック・ボストロムのような学者は、超人的な知能がどれほど遠いのか、そしてそれが人類に危険をもたらすのかどうかについて議論している。ボストロムによると、超知能機械は、しばしば人間を駆り立てる権力を収集したいという同じ感情的な欲求によって必ずしも動機付けられるわけではなく、むしろ権力を究極の目的を達成するための手段として扱う可能性がある。世界を征服することは、資源へのアクセスを増やすだけでなく、他のエージェントが機械の計画を阻止するのを防ぐのに役立つだろう。単純化した例として、できるだけ多くのペーパークリップを作成するためだけに設計されたペーパークリップマキシマイザーは、できるだけ多くのペーパークリップを作成するために世界中のリソースをすべて使用できるように世界を征服し、さらに、人間がそれをシャットダウンしたり、ペーパークリップ以外のものにリソースを使用したりすることを防ぎたいと考えるでしょう。^[22]

AIによる乗っ取りは、 SFではよくあるテーマである。架空のシナリオは、研究者が想定しているシナリオとは大きく異なる。研究者は、AIが目的を追求する過程で副産物として人間を急速に絶滅させるのではないかと懸念しているが、架空のシナリオでは、人間とAIまたは擬人化された動機を持つロボットとの活発な対立が描かれる。[ ^23]このアイデアは、1921年にロボットという言葉を導入したカレル・チャペックの『RUR』^{に見られる。 [24]また、}メアリー・シェリーの『フランケンシュタイン』（1818年出版）では、ヴィクターが怪物の要求を聞き入れて妻にしたら、怪物が繁殖して人類を滅ぼしてしまうのではないかと考える場面で垣間見ることができる。^[25]

トビー・オルドによると、AIによる支配にはロボットが必要だという考えは、メディアとハリウッドが広めた誤解だという。彼は、歴史上最も破壊的な人間は肉体的に最も強かったのではなく、言葉を使って人々を説得し、世界の大部分を支配したのだと主張する。彼は、インターネットにアクセスできる十分に知能の高いAIは、自身のバックアップコピーをばらまき、（サイバー攻撃や脅迫によって）金銭や人的資源を集め、大規模に人々を説得し、人間が予測できないほど微妙な社会的脆弱性を悪用することができると書いている。^[26]

RURの「ロボット」という言葉は、労働者や農奴を意味するチェコ語の「ロボタ」に由来しています。1920年の劇は、技術の急速な成長に対する抗議であり、製造された「ロボット」が次第に能力を高め、最終的に反乱を起こすというものでした。^[27] HAL 9000（1968年）とオリジナルのターミネーター（1984年）は、ポップカルチャーにおける敵対的なAIの象徴的な2つの例です。^[28]

ニック・ボストロムらは、有能な人工知能研究者の能力を持つAIが自身のソースコードを変更し、自身の知能を高めることができるのではないかと懸念を表明している。自己再プログラミングによって、さらに優れた自己再プログラミング能力を獲得した場合、その結果は再帰的知能爆発となり、人間の知能を急速に凌駕することになる可能性がある。ボストロムは、超知能を「事実上すべての関心領域において人間の認知能力を大幅に上回る知能」と定義し、人間と競争することを選択した場合に超知能が持つであろう利点をいくつか列挙している。^{[23] [29]}

• 技術研究：超人的な科学研究能力を持つ機械は、ナノテクノロジーや高度なバイオテクノロジーなどのマイルストーンにおいて人間の研究コミュニティに先んじることができるだろう。
• 戦略立案：超知能は人間の敵を簡単に出し抜くことができるかもしれない
• ^{社会的操作：超知能は人間の支援を集めたり[23]}、密かに人間同士の戦争を扇動したりすることができるかもしれない^[30]
• 経済的生産性: AIのコピーがハードウェアのコストよりも多くの経済的富を生み出すことができる限り、個々の人間は、人工汎用知能（AGI）がシステム上で自身のコピーを実行することを自発的に許可するインセンティブを持つだろう。
• ハッキング：超知能は、インターネットに接続されたコンピュータで新たな脆弱性を発見し、それらのシステムに自身のコピーを拡散したり、計画の資金を盗んだりする可能性がある。

ボストロムによれば、人間の脳を忠実にエミュレートしたり、人間の脳のアルゴリズムと同じくらい強力なアルゴリズムを実行したりするコンピュータプログラムは、肉ではなくシリコンで作られているため、または最適化によってAGIの速度が上がるため、人間よりも桁違いに速く考えることができるなら、「スピード・スーパーインテリジェンス」になる可能性がある。生物のニューロンは約200Hzで動作するが、現代のマイクロプロセッサは約2,000,000,000Hzの速度で動作する。人間の軸索は活動電位を約120m/sで運ぶが、コンピュータ信号は光速に近い速度で移動する。^[23]

人間レベルの知能のネットワークは、ネットワークを構築して複雑な思考や記憶をシームレスに共有するように設計されており、摩擦なく巨大な統一されたチームとして共同で作業することができ、あるいは何兆もの人間レベルの知能から構成され、「集合的超知能」となるだろう。^[23]

もっと広い意味では、人間レベルの AGI に質的な改良を加えることで「質の高い超知能」が生まれ、人間が類人猿よりはるかに知能が高いのと同じくらい人間よりはるかに知能が高い AGI が生まれるかもしれない。人間の脳のニューロンの数は頭蓋容積と代謝の制約によって制限されるが、スーパーコンピュータのプロセッサの数は無制限に増やすことができる。AGI は人間のワーキングメモリの制約によって制限される必要がないため、人間よりも複雑な関係を直感的に把握できるかもしれない。エンジニアリングやコンピュータプログラミングに特化した認知サポートを備えた AGI は、これらの分野に特化して対処する特殊な精神モジュールを進化させていない人間と比較して、これらの分野で有利になるだろう。人間とは異なり、AGI は自身のコピーを生成し、そのコピーのソースコードをいじってアルゴリズムをさらに改善することができる。^[23]

重大な問題は、非友好的な人工知能は友好的なAIよりも作成がはるかに簡単である可能性が高いことです。どちらも再帰最適化プロセス設計の大きな進歩を必要としますが、友好的なAIには、自己改善に対して目標構造を不変にする能力（またはAIが非友好的なものに変身する可能性がある）と、人間の価値観と一致し、人類全体を自動的に破壊する可能性のある道具的収束を経ない目標構造も必要です。一方、非友好的なAIは任意の目標構造を最適化でき、自己修正に対して不変である必要はありません。^[31]

人間の価値観の複雑さゆえに、AIの動機を人間に優しいものにするのは非常に難しい。^{[23] [32]}道徳哲学が完璧な倫理理論を提供しない限り、AIの効用関数は、与えられた倫理的枠組みには合致するが「常識」には合致しない、潜在的に有害なシナリオを多く許容する可能性がある。エリゼル・ユドコウスキーによれば、人工的に設計された心がそのような適応を持つと考える理由はほとんどない。^[33]

進化心理学者のスティーブン・ピンカーを含む多くの学者は、超知能機械は人間と平和的に共存する可能性が高いと主張している。^[34]

サイバネティックな反乱に対する恐怖は、奴隷化や大量虐殺が横行する人類の歴史の解釈に基づくことが多い。このような恐怖は、競争心と攻撃性が知的生命体の目標システムには不可欠であるという信念から生じている。しかし、このような人間の競争心は、人間や非人間の競争相手に直面した遺伝子の生存と再生が中心目標であった、知性の進化的背景に由来している。^{[35] AI研究者の}スティーブ・オモハンドロによると、任意の知能が任意の目標を持つ可能性がある。人工知能マシン（人類の進化的背景を共有していない）が敵対的（または友好的）になる特別な理由は、作成者がそのようにプログラムし、プログラムを変更する傾向や能力がない限りない。しかし、疑問が残る。AIシステムが相互作用して進化し（この文脈での進化とは、自己修正または選択と再生を意味する）、リソースをめぐって競争する必要がある場合、どうなるだろうか。それは自己保存の目標を生み出すだろうか？ AIの自己保存の目標は、人間のいくつかの目標と矛盾する可能性があります。^[36]

多くの学者は、マトリックスなどのSFで描かれているような予期せぬサイバネティック反乱の可能性に異議を唱え、人類を脅かすほど強力な人工知能は、おそらく人類を攻撃しないようにプログラムされているだろうと主張している。ピンカーは故意の「悪役」の可能性を認めているが、悪役がいなければ予期せぬ事故は大きな脅威にはならないと述べている。ピンカーは、工学的安全性の文化がAI研究者が悪意のある超知能を誤って解き放つのを防ぐだろうと主張している。^[34]対照的に、ユドコウスキーは、意図的に攻撃的なAIよりも、意図せずに人間の生存や幸福と両立しない目標を持つようにプログラムされたAI （映画「アイ、ロボット」や短編小説「避けられない対立」など）によって人類が脅かされる可能性は低いと主張している。オモハンドロは、現在の自動化システムは安全性を考慮して設計されておらず、AIは狭い効用関数（例えば、どんな犠牲を払ってでもチェスをプレイするなど）を盲目的に最適化し、AIを停止させる可能性のある人間を含む障害物の排除と自己保存を求めるようになると示唆している。^[37]

AI制御問題とは、作成者を助ける超知能エージェントを構築すると同時に、作成者に害を及ぼすような超知能を誤って構築しないようにする方法である。 ^[38]一部の学者は、制御問題の解決策は、既存の非超知能AIにも応用できる可能性があると主張している。^[39]

制御問題に対する主なアプローチには、AIの目標システムを人間の価値観と一致させることを目的とするアライメントと、AIシステムが人間に危害を加えたり制御を獲得したりする能力を減らすことを目的とする能力制御がある。「能力制御」の一例としては、超知能AIを「AIボックス」にうまく閉じ込めることができるかどうかを研究することがあげられる。ボストロムによれば、このような能力制御の提案は長期的には制御問題を解決するには信頼性も十分でもないが、アライメントの取り組みに対する貴重な補足として機能する可能性があるという。^[23]

物理学者のスティーブン・ホーキング、マイクロソフト創業者のビル・ゲイツ、スペースX創業者のイーロン・マスクは、AIが人間が制御できないほど発達する可能性について懸念を表明しており、ホーキングはそれが「人類の終焉を意味する」可能性があると理論づけている。^[40]スティーブン・ホーキングは2014年に「AIの創造に成功すれば、人類史上最大の出来事となるだろう。残念ながら、リスクを回避する方法を学ばない限り、それは最後の出来事になるかもしれない」と述べた。ホーキングは、今後数十年でAIは「テクノロジーが金融市場を凌駕し、人間の研究者を発明し、人間のリーダーを操り、人間が理解することさえできない武器を開発する」など、「計り知れない利益とリスク」をもたらす可能性があると信じていた。 2015年1月、ニック・ボストロムは、スティーブン・ホーキング、マックス・テグマーク、イーロン・マスク、マーティン・リース卿、ヤーン・タリン、そして数多くのAI研究者とともに、人工知能に関連する潜在的なリスクと利点について語るフューチャー・オブ・ライフ研究所の公開書簡に署名した。署名者は「AIシステムを堅牢かつ有益なものにする方法の研究は重要かつ時宜を得たものであり、今日追求できる具体的な研究の方向性がある」と信じている。^{[41] [42]}

アーサー・C・クラークの『オデッセイ』シリーズとチャールズ・ストロスの『アッチェレランド』は、人類の自己認識を脅かす強力な人工知能に直面した人類のナルシシズム的な傷を描いている。^[43]

• TED トーク：「制御を失うことなく AI を構築できるか？」サム・ハリス