マインドアップロード

理論的には、精神の情報とプロセスが生物学的身体から切り離せる場合、それらはもはやその身体の限界や寿命に縛られなくなります。さらに、脳内の情報は、部分的または全体的に1つ以上の他の基質（デジタルストレージや別の脳を含む）にコピーまたは転送することができ、それによって、純粋に機械論的な観点から、そのような情報の「死亡リスク」が軽減または排除されます。この一般的な提案は、1971年にワシントン大学の生物老年学者ジョージ・M・マーティンによって議論されました。^{[ 17 ]}生物学的脳の観点からすると、シミュレートされた脳は、意識があり区別できない性質を持っていたとしても、単なるコピーである可能性があります。そのため、アップロード前の元の生物学的存在は、デジタルツインを未来の自分ではなく、新しい独立した存在とみなす可能性があります。^{[ 18 ]}

有人宇宙飛行では、「生身の」宇宙飛行士の代わりに「アップロードされた宇宙飛行士」を使用することで、無重力、宇宙の真空、宇宙放射線による人体への危険を回避できる。これにより、提案されているStarChipのような小型宇宙船の使用が可能になり、事実上無制限の恒星間旅行距離を実現できる。^{[ 19 ]}

一部の研究者は、ナノボットを用いた神経外科手術などによって、人間の脳を編集することは理論的には物理的に可能だと考えているが、そのためには特に高度な技術が必要となる。アップロードされた精神を編集する方がはるかに容易であり、行うべき正確な編集内容が分かっている限りは問題ない。^{[ 20 ]}これにより、認知能力の向上や、模倣された存在の幸福感、動機、人格の精密な制御が容易になるだろう。 ^{[ 21 ]}

人間の脳の神経接続の数は非常に多い（約100兆個^{[ 22 ]}）が、生物学的ニューロンの活性化周波数は約200Hzに制限されている のに対し、電子ハードウェアは容易に数GHzで動作できる。十分なハードウェア並列性があれば、シミュレーションされた脳は理論的には生物学的脳よりも高速に動作できる可能性がある。したがって、アップロードされた存在は、より効率的であるだけでなく、生物学的脳よりも主観的な経験の速度が速い（例えば、人生の1時間を現実の1秒で経験する）可能性がある。^{[ 23 ]}

自己報告やライフログを使用して人の精神内容の側面を近似するという「緩やかに結合されたオフロード」（LCOL）の考え方に関連して、一部の消費者向けアプリケーションは、ユーザーが提供するテキスト（例：日記）を使用して、会話型AIコンパニオンまたは「デジタル自己」を構築します。これは、脳スキャンや脳組織のシミュレーションを伴わないため、全脳エミュレーションとは異なります。例としては、ReplikaやCharacter.AIなどのAIコンパニオン/チャットボットサービス^{[ 25 ] [ 26 ]} 、および思考や記憶を送信することでユーザーが「意識をアップロード」できると説明するMind Uploadと呼ばれるモバイルアプリケーション^{[ 27 ]などがあります。}

精神アップロードの支持者たちは、ムーアの法則を根拠に、必要な計算能力は数十年以内に利用可能になると主張している。しかし、アップロードされた人間の精神を動作させるために必要な実際の計算能力を定量化することは非常に難しく、そのような主張は見かけ倒しになる可能性がある。

人間の精神機能を捉えたり再現したりするためにどのような技術を用いるにせよ、人間の脳には膨大な数のニューロンが存在し、それぞれのニューロンが非常に複雑であるため、処理に必要な負荷は膨大になる可能性が高い。

必要な計算能力は、選択したシミュレーションモデルのスケールレベルに大きく依存します。^{[ 7 ]}

特定の脳をモデル化およびシミュレーションする場合、脳の解剖学的モデルからニューロン間の接続を示す脳マップまたは接続データベースを抽出する必要があります。全脳シミュレーションの場合、このマップは脊髄、感覚受容体、筋細胞を含む神経系全体の接続性を示す必要があります。 2010年現在、シナプスの詳細を含むマウス脳の小さな組織サンプルの破壊的スキャンが可能です。 ^{[ 29 ]}

しかし、短期記憶と作業記憶には、ニューロンの長時間または反復的な発火とニューロン内の動的プロセスが含まれる場合、シナプスとニューロンの電気的および化学的信号状態を抽出することは困難になる可能性がある。アップロードされた心は、脳スキャン直前の出来事と精神プロセスの記憶喪失を認識する可能性がある。^{[ 7 ]}

^{完全な脳マップは 2 × 10 16}バイト (20,000 TB)未満を占めると推定されており、接続されたニューロンのアドレス、シナプスタイプ、および脳の 10 ^{15 個}のシナプスのそれぞれに対する「重み」が格納されます。^{[ 30 ]}しかし、真の脳機能の生物学的複雑さ (ニューロンのエピジェネティック状態、複数の機能状態を持つタンパク質成分など) により、機能している人間の心を忠実に表現するために必要なバイナリデータの量を正確に予測することは困難です。

意識アップロードの可能性のある方法の1つは連続切片法で、脳組織と神経系の他の部分を凍結し、層ごとにスキャンして分析します。ナノスケールの凍結サンプルでは、​​ニューロンの構造とそれらの相互接続を捉えるクライオ超ミクロトームが必要です。 ^{[ 31 ] [ 32 ]}凍結した神経組織の露出した表面をスキャンして記録し、次に表面の組織層を取り除きます。これは非常に時間がかかり、労力を要しますが、連続切片の収集と顕微鏡観察を自動化するための研究が進行中です。^{[ 33 ]}スキャンを分析し、意識がアップロードされるシステムでニューラルネットワークのモデルを再現します。

現在の顕微鏡技術を用いたこのアプローチには不確実性がある。ニューロンの機能をその可視構造のみから再現できるのであれば、走査型電子顕微鏡の解像度でそのような技術には十分であろう。^{[ 33 ]}しかし、脳組織の機能は分子イベント（特にシナプス、そしてニューロンの細胞膜上の他の場所）によって部分的に決定されるため、これだけではニューロンの機能を捉えてシミュレートするには不十分かもしれない。連続切片法の技術を拡張し、高度な免疫組織化学染色法を用いてニューロンの内部分子構成を捉え、それを共焦点レーザー走査顕微鏡で読み取ることは可能かもしれない。しかし、精神の生理学的起源は現在不明であるため、この方法では人間の脳を十分な忠実度で再現するために必要なすべての生化学的情報にアクセスできない可能性がある。

機能的MRI（fMRI、血流の変化をマッピングするため）、脳磁図（MEG、電流をマッピングするため）、または複数の方法の組み合わせなどの高度な神経画像技術を使用して、非侵襲的かつ非破壊的な手法で脳の詳細な3次元モデルを構築することにより、脳活動の機能的3Dマップを作成できる可能性がある。今日では、fMRIはMEGと組み合わせて、より複雑な認知課題中の人間の皮質の機能マップを作成するためによく使用されている。これは、これらの方法が互いに補完し合うためである。現在の画像技術は、このようなスキャンに必要な情報を収集するために必要な空間分解能が不足しているが、最近および将来の重要な開発により、空間分解能と時間分解能の両方が大幅に向上すると予測されている。^{[ 35 ]}

脳コンピューターインターフェース（BCI）は、神経活動を記録（場合によっては刺激）することを目的としているため、マインドアップロードに間接的に関連するものとして議論されることがあるが、それ自体では、全脳エミュレーションの提案で通常想定される高解像度の構造的および生化学的データを提供するものではない。Neuralinkは、神経外科ロボットによって挿入される柔軟な電極「スレッド」を使用する埋め込み型BCIを開発している企業であり、2019年のJournal of Medical Internet Researchの技術レポートで説明されている。^{[ 36 ]} 2024年、Neuralinkは最初の人体への埋め込みを発表した。科学者らは、この研究は主に麻痺のある人々を支援することを目的としており、長期的な安全性とパフォーマンスには大きな課題が残っていると指摘した。^{[ 37 ] [ 38 ]}

脳シミュレーションの進行中の研究には、いくつかの動物の部分的および全体的なシミュレーションが含まれます。^{[ 4 ]}例えば、線虫C.エレガンス^{[ 39 ]} 、ショウジョウバエDrosophila ^{[ 40 ]} 、マウス^{[ 41 ]}はすべて、さまざまな程度でシミュレーションされています。

ローザンヌ連邦工科大学の脳と精神研究所が開始したブルーブレインプロジェクトは、哺乳類の脳回路をリバースエンジニアリングして人工脳を作成し、脳に関する実験的研究を加速させる試みである。^{[ 42 ]} 2009年、ラットの脳の一部をシミュレーションすることに成功した後、ディレクターのヘンリー・マークラムは、「詳細で機能的な人工ヒト脳は、今後10年以内に構築できる」と述べた。^{[ 43 ]} 2013年、マークラムは10年間の新たなヒューマンブレインプロジェクトのディレクターに就任した。それから2年も経たないうちに、このプロジェクトは管理がずさんで、その主張は誇張されていると認識され、マークラムは辞任を求められた。^{[ 44 ] [ 45 ]}

デジタル不老不死へのアプローチの一つは、アレクセイ・トゥルチンが説明したように、ナノバイオテクノロジーなどの高度な医療技術を用いて脳内のニューロンを徐々に「置き換える」ことであり、ウェットウェアコンピュータ技術を使用したり、ナノボットを使用して脳構造を読み取りたりする可能性がある。 ^{[ 47 ]}

マインドアップロードが直面する主な哲学的問題は、意識の難問、^{すなわち、}人間のような物理的実体がクオリア、現象的意識、または主観的経験を持つことができるかを説明することの難しさである。^{[ 48 ]}難問に対する多くの哲学的応答は、マインドアップロードが根本的に不可能であることを示唆しているが、他の応答はマインドアップロードと両立する。マインドアップロードの多くの支持者は、非還元主義的物理主義に頼ることでその実現可能性を擁護している^。非還元主義的物理主義には、意識は大規模なニューラルネットワークの高レベルな組織パターンから生じる創発的特徴であり、他の処理装置でも実現可能であるという信念が含まれる。マインドアップロードは、人間の心が脳内のニューラルネットワークの経路とシナプスの重みに還元されるという考えに基づいている。対照的に、多くの二元論的および観念論的説明は、非物質的（そしておそらくアクセス不可能な）物質の観点から意識の難問を説明することで、意識の難問を回避しようとしているが、これは一般的に人工意識の実現可能性に対する根本的な課題となっている。^{[ 50 ]}

物理主義が正しいと仮定すると、心は脳の情報状態として定義できるため、データ ファイルやコンピュータ ソフトウェアの状態の情報内容と同じ意味でのみ存在します。この場合、ニューラル ネットワークの情報状態を指定するデータは、脳から「コンピュータ ファイル」としてキャプチャされ、コピーされ、別の物理的形式で実装される可能性があります。^{[ 51 ]}これは、心がその基盤に高度に適応していることを否定するものではありません。^{[ 52 ]}心のアップロードのアナロジーは、コンピュータ プログラムの情報状態を、実行中のコンピュータのメモリから別のコンピュータにコピーし、2 番目のコンピュータで実行を続けることです。2 番目のコンピュータは異なるハードウェア アーキテクチャを持つ可能性がありますが、最初のコンピュータのハードウェアをエミュレートします。

これらの哲学的問題には長い歴史があります。1775年にトーマス・リードは次のように書いています。「私の脳が元の構造を失い、100年後に同じ材料が知的存在になるほど巧妙に作られたとき、その存在が私であるかどうか、あるいは、私の脳からそのような存在が2つか3つ形成された場合、それらすべてが私であり、したがって同一の知的存在であるかどうかを知りたいのです。」^{[ 53 ]}意識の難問という用語は1994年に造語されましたが、この問題に関する議論は古くからあります。ヒッポのアウグスティヌスは5世紀に物理主義の「アカデミア派」に反論し、意識は錯覚ではあり得ない、なぜなら意識のある存在だけが欺かれたり錯覚を経験したりできるからだと書いています。^{[ 54 ]}心身二元論の創始者であるルネ・デカルトは、17 世紀に同様の反論を行い、「我思う、ゆえに我あり」という有名なフレーズを生み出した。^{[ 55 ]}物理主義は古代から提唱されていたが、トーマス・ハクスリーは、精神的経験を脳内の相互作用の単なる副次的現象であり、それ自体に因果力はなく、脳活動の下流にあると最初に説明した人物の一人である。^{[ 56 ]}

多くのトランスヒューマニスト^{[ 57 ]}やシンギュラリティ主義者は、脳の非生物学的な機能的コピーを1つまたは複数作成することで不死になり、「生物学的殻」から抜け出せることを望んでいる。しかし、哲学者でトランスヒューマニストのスーザン・シュナイダーは、アップロードはせいぜい元の精神のコピーを作成するだけだと主張している^{[ 58 ]}。シュナイダーは意識には計算論的基盤があることには同意するが、それがアップロード後も人が生き残ることを意味するとは同意しない。彼女によれば、アップロードは恐らく脳の死をもたらし、元の人が生き残ったという錯覚を維持できるのは他の人だけである。意識が脳から離れて別の場所に移動できると考えるのは非現実的である。通常の物理的物体はこのように振る舞わない。通常の物体（岩、テーブルなど）は、同時にここや他の場所には存在しない。せいぜいコピーが作成されるだけである^{[ 58 ] 。}

こうした結論に反論する者もいる。例えば、仏教トランスヒューマニストのジェームズ・ヒューズは、この考察には限界があると指摘している。自己が幻想だと信じるならば、生存への懸念はアップロードを避ける理由にはならない^{[ 59 ]。}また、キース・ワイリーは、アップロード手順によって生じるすべての精神は元のアイデンティティに対して同等の権利を持つため、自己の生存は厳密に主観的な立場から遡及的に決定されるという議論を提示している^{[ 60 ] [ 61 ]} 。さらに、意識はまだ発見されていない生物外システムの一部であり、したがってまだ完全に理解することはできないと主張する者もいる。意識の転送がなければ、真のアップロードや永遠の不死は実際には達成できない^{[ 62 ] 。}

マインドアップロードのもう1つの潜在的な結果は、アップロードの決定が意識的な心ではなく、無知な記号操作者（哲学的ゾンビ）を生み出す可能性があることです。^{[ 63 ] [ 64 ]}コンピュータが意識的な経験なしに人間の心と同じ出力（発話、筋肉の動きなど）を生成するために感覚入力を処理できる場合、アップロードされた心が意識的であるか、単に意識的な存在のように振る舞う自動人形であるかを判断することは不可能かもしれません。中国語の部屋のような思考実験は、マインドアップロードに関する根本的な疑問を提起します。アップロードが意識を強く示唆するような方法で振る舞ったり、意識的であると主張したりする場合、それは意識的でしょうか？^{[ 65 ]}また、意識を維持できない処理速度の絶対的な上限があるかもしれません。意識の主観性により、この質問に対する決定的な答えは得られません。^{[ 66 ]}

レイ・カーツワイルをはじめとする多くの科学者は、意識は本質的に主観的なものであるため（独我論を参照）、別個の存在が意識を持っているかどうかを確実に知ることは不可能だと考えている。それにもかかわらず、一部の科学者は、意識は基質に依存しない計算プロセスの結果であると考えている。ロジャー・ペンローズをはじめとする他の科学者は、意識は有機基質に依存する何らかの形の量子計算から生じる可能性があると考えている（量子マインドを参照）。^{[ 67 ] [ 68 ] [ 69 ]}

アップロードされた精神が意識を持っているかどうか不確実であることを踏まえ、サンドバーグは慎重なアプローチを提案している。^{[ 70 ]}

最大限想定する原則（PAM）：エミュレートされたシステムは、元のシステムと同じ精神的特性を持つ可能性があると想定し、それに応じて扱う。

エミュレーション技術の開発プロセスは、動物福祉や人工意識に関連する倫理的問題を提起する。^{[ 70 ]}脳エミュレーションの開発に必要な神経科学は、まず無脊椎動物、次に小型哺乳類、そして最終的には人間へと動物実験を必要とする。動物の脳を摘出し、スライスし、スキャンするために安楽死させるだけで済む場合もあるが、行動学的および生体内測定が必要になる場合もあり、それは生きている動物に苦痛を与える可能性がある。^{[ 70 ]}

さらに、結果として生じる動物のエミュレーションは、意識に関する見解によっては、苦痛を伴う可能性がある。^{[ 70 ]}バンクロフトは、デイビッド・チャルマーズの「消えゆくクオリア」思考実験に基づいて、脳シミュレーションにおける意識の妥当性を主張している。バンクロフトは次のように結論付けている。 ^{[ 72 ]}「私が上で主張したように、脳の十分に詳細な計算シミュレーションが、潜在的に有機的な脳と操作的に同等であるならば、苦痛に対する保護をシミュレーションにも拡大することを検討しなければならない。」チャルマーズは、そのような仮想現実が真の現実になると主張している。^{[ 73 ]}しかし、マインドアップロードが発生し、アップロードされたものが意識を持たない場合、大きな機会費用が発生する可能性がある。『スーパーインテリジェンス』の中で、ニック・ボストロムは、「子供のいないディズニーランド」が建設される可能性があることを懸念している。^{[ 74 ]}

仮想麻酔の等価物を開発し、痛みや意識に関連する処理を省略することで、エミュレーションの苦痛を軽減できる可能性がある。しかし、一部の実験では、完全に機能し苦痛を伴う動物のエミュレーションが必要になる場合がある。また、欠陥や脳のどの部分が苦痛を受けているのかについての洞察力の欠如により、動物が意図せず苦痛を受ける可能性もある。^{[ 70 ]}部分的な脳エミュレーションの倫理的地位や、生物学的脳に触発されながらも異なる構造を持つニューロモルフィックエミュレーションの作成についても疑問が生じる。^{[ 72 ]}

脳エミュレーションは、基盤となるハードウェアを破壊することなく、コンピュータウイルスやマルウェアによって消去される可能性がある。これにより、人間の暗殺よりも暗殺が容易になる可能性がある。攻撃者は、コンピューティング能力を自分のために利用するかもしれない。^{[ 75 ]}

エミュレーションの法的権利については多くの疑問が生じる。^{[ 76 ]}エミュレーションは生物学的な人間と同じ権利を与えられるのだろうか？もし人が自分のエミュレーションコピーを作成してから死亡した場合、エミュレーションはその人の財産や公職を継承するのだろうか？生物学的なバージョンが末期症状または昏睡状態にある場合、エミュレーションは「電源を切る」よう要求できるのだろうか？生物学的な作成者が一時的にコントロールを維持できるように、エミュレーションを数年間は思春期の子供として扱うことは役に立つのだろうか？犯罪を犯したエミュレーションは死刑に処されるのだろうか、それとも「更生」の一形態として強制的なデータ変更を与えられるのだろうか？アップロードされたエミュレーションは結婚や子育ての権利を持つことができるのだろうか？^{[ 76 ]}

シミュレーションされた精神に権利があるとしたら、その保護を確保するのは困難かもしれない。例えば、社会科学の研究者は、シミュレーションされた精神、あるいはシミュレーションされた精神で構成された孤立した社会全体を、多数の同一の精神のコピーを（連続的または同時に）異なる実験条件にさらすような、管理された実験に密かに晒そうとする誘惑に駆られるかもしれない。

エミュレーションは、先制攻撃の優位性を目的とした技術軍拡競争に先行する可能性がある。エミュレーションの出現と存在は、不平等、権力闘争、エミュレーション間の強い忠誠心と死を厭わない姿勢、そして新たな形態の人種差別、外国人嫌悪、宗教的偏見など、戦争のリスクを高める可能性がある。^{[ 79 ] [ 75 ] [ 80 ]}エミュレーションが人間よりもはるかに速く動く場合、人間の指導者が賢明な決定を下したり交渉したりする時間が十分にない可能性がある。人間は、特にそれが人間の賃金を低下させる場合、エミュレーションの増大する力に対して暴力的に反応する可能性がある。エミュレーションは互いに信頼しない可能性があり、善意の防御措置でさえ攻撃と解釈される可能性がある。^{[ 75 ]}

ロビン・ハンソンの著書『エムの時代』では、マインドアップロード社会の性質について多くの仮説が提示されており、最も一般的なマインドは、長時間にわたる生産的な専門作業に適した性格を持つ大人のコピーであるという仮説も含まれている。^{[ 81 ]}

コロンビア大学の神経科学教授であり、理論神経科学センターの共同ディレクターでもあるケネス・D・ミラーは、マインドアップロードの実用性について疑問を呈している。彼の主な主張は、ニューロンとその接続を再構築すること自体が大変な作業であるが、それだけでは十分ではないということだ。脳の機能はニューロン間の電気的および生化学的信号交換のダイナミクスに依存しているため、それらを単一の「凍結」状態に捉えるだけでは不十分かもしれない。さらに、これらの信号の性質は、分子レベル以上でのモデリングを必要とする可能性がある。したがって、原理的にはこの考えを否定するわけではないが、ミラーは、精神の「絶対的な」複製の複雑さは、今後数百年は克服できないだろうと考えている。^{[ 82 ]}

脳エミュレーションを可能にする可能性のある神経科学とコンピュータハードウェア技術は、他の理由からも広く求められており、その開発は今後も続くと予想される。人々は、エミュレーションに基づかない人間レベルのAIへの道のりにおいて、短期間ではあるが重要な期間、脳エミュレーションを経験する可能性もある。^{[ 81 ]}エミュレーション技術が実現した場合、その進歩を加速させるべきか減速させるべきかは議論の余地がある。^{[ 75 ]}

脳エミュレーション研究を加速させるべき理由：

• 脳エミュレーションのボトルネックが計算能力ではなく神経科学である場合、エミュレーションの進歩は、新たな科学的発見が起こる時期に基づいて、より不規則で予測不可能になる可能性がある。^{[ 75 ] [ 83 ] [ 84 ]}計算能力が限られているということは、最初のエミュレーションはよりゆっくりと動作し、適応しやすくなり、技術が社会に浸透する時間が長くなることを意味する。^{[ 84 ]}
• 製造、3Dプリンティング、ナノテクノロジーの進歩によりハードウェア生産が加速する可能性があり^{[ 75 ]}、神経科学に対するハードウェアの過剰供給による「コンピューティングオーバーハング」^{[ 85 ]が増加する可能性がある。}
• あるAI開発グループがエミュレーション技術でリードしていれば、最初の超人AIを構築するための軍拡競争に勝つための主観的な時間がより多く確保できるだろう。焦る必要がないため、AIのリスクをより自由に検討できるだろう。^{[ 86 ] [ 87 ]}

脳エミュレーション研究のペースを落とすべき理由：

• 脳エミュレーションと関連する認知科学への投資を増やすと、AI 研究者がニューラル ネットワーク、強化学習、階層的知覚などの「ニューロモルフィック」（脳にヒントを得た）アルゴリズムを作成する能力が向上する可能性があります。これは、制御不能な AI によるリスクを加速させる可能性があります。^{[ 75 ] [ 87 ]} 2011 年の AI ワークショップの参加者は、脳エミュレーションよりも先にニューロモルフィック AI が登場する確率を 85% と推定しました。これは、脳エミュレーションには脳の構成要素の仕組みと機能の理解と、ニューロンをエミュレートするための技術的ノウハウが必要になるという考えに基づいています。しかし、Microsoft Windows のコード ベースのリバース エンジニアリングはすでに困難であり、脳のリバース エンジニアリングはおそらくはるかに困難です。参加者は、脳エミュレーションの加速が予想される AI リスクを高めるという見解に非常に僅差で傾きました。^{[ 86 ]}
• 待つことで、社会は脳エミュレーションの結果について考える時間が増え、協力関係を改善するための制度を発展させることができるかもしれない。^{[ 75 ] [ 87 ]}

エミュレーション研究は神経科学全体を加速させ、医学の進歩、認知能力の向上、嘘発見器、心理操作を加速させる可能性がある。^{[ 87 ]}

エミュレーションは、新規AIよりも制御しやすい可能性がある。その理由は以下のとおりである。

1. 人間の能力、行動傾向、脆弱性がより深く理解されるようになると、制御措置はより直感的になり、計画しやすくなる可能性がある。^{[ 86 ] [ 87 ]}
2. エミュレーションは人間の動機をより容易に継承できる可能性がある。^{[ 87 ]}
3. エミュレーションは、脳が複雑で扱いにくいため、de novo AIよりも操作が難しく、急速な普及のリスクを軽減できる可能性がある。 ^{[ 75 ] [ 87 ]}また、エミュレーションはAIよりも大型で、より多くのハードウェアを必要とする可能性があり、これも移行速度を遅くする可能性がある。^{[ 87 ]} AIとは異なり、エミュレーションは人間の脳のサイズを超えて急速に拡張することはできない。^{[ 87 ]}デジタル速度で動作するエミュレーションは、AIとの知能の差が小さくなるため、AIをより容易に制御できる可能性がある。^{[ 87 ]}

これらの考察とは対照的に、ボストロムはいくつかの欠点を指摘している。

1. 人間の行動がよりよく理解されるようになったとしても、自己改善によるエミュレーション行動の進化は、自己改善による安全なde novo AIの進化よりもはるかに予測しにくい可能性がある。 ^{[ 87 ]}
2. エミュレーションは人間のすべての動機を受け継ぐとは限らない。人間の暗い動機を受け継いだり、サイバースペースという見慣れない環境で異常な行動をとったりするかもしれない。^{[ 87 ]}
3. たとえエミュレーションへの緩やかな移行があったとしても、その後にはデノボAIへの第2の移行が起こるだろう。2回の知能爆発は、より大きな総リスクを意味するかもしれない。^{[ 87 ]}

全脳エミュレーションによって生成された超知能が制御問題にもたらすであろう困難を想定するため、コンピュータ科学者のスチュアート・J・ラッセルは著書『人間と互換性のある』の中で、そのような超知能の作成を拒否し、「明らかに悪い考えだ」と述べている。^{[ 88 ]}