ロコのバジリスク

ロコのバジリスクは、将来、善良な人工超知能（AI）が、その進歩を奨励するために、その潜在的な存在を知っていながらその進歩や開発に直接貢献していない人を苦しめる仮想現実シミュレーションを作成するように動機付けられるという思考実験である。 ^{[1] [2]}これは、分析的合理的探求に焦点を当てた技術フォーラムであるディスカッションボードLessWrongの2010年の投稿に由来している。 ^{[1] [3] [4]}この思考実験の名前は、記事の投稿者（ロコ）と、睨みつけるだけで敵を倒すことができる神話上の生き物 であるバジリスクに由来している。

この理論は当初、多くの LessWrong ユーザーから推測や憶測に過ぎないとして却下されたが、LessWrong の共同設立者であるEliezer Yudkowsky は、理論とそのバジリスクについて知っているとバジリスク自体に脆弱になるという規定のために、理論を読んでパニックになったユーザーがいたことを報告した。 [ ^{1 ] [5]}これにより、サイト上でのバジリスクに関する議論は 5 年間禁止された。 [1] ^[6]しかし、これらの報告は後に誇張または重要でないとして却下され、理論自体も Yudkowsky 自身を含めてナンセンスとして却下された。^{[1] [6] [7]この投稿が信用を失った後も、}ベイズ確率や暗黙の宗教などの原理の例として依然として使用されている。^[5]また、パスカルの賭けの簡略化された派生バージョンと見なされている。^[4]

LessWrongフォーラムは、人工知能理論家エリゼル・ユドコウスキーによって2009年に創設されました。^{[8] [3]ユドコウスキーは}友好的な人工知能の概念を普及させ、自身の機械知能研究所で発表した論文の中で首尾一貫した外挿意志（CEV）と時間のない決定理論（TDT）の理論を生み出しました。^{[9] [10]}

この思考実験の名前は、その目を見た者、つまりAIについて考えた者に死をもたらすという神話上の生き物、バジリスクに由来する。SFにおけるバジリスクの概念は、デイヴィッド・ラングフォードの1988年の短編小説「BLIT」によっても普及した。これは、テロ行為として壁にいわゆる「バジリスク」を描くロボという男の物語である。この物語とラングフォードのいくつかの続編では、バジリスクは人間の心に悪意のある影響を与え、人間の心が考えられない考えを強制し、見た者を即座に殺すイメージである。^{[6] [11]}

2010年7月23日、^[12] LessWrongユーザーのRokoは、同サイトに「利他主義者の重荷に対する解決策：量子億万長者のトリック」と題した思考実験を投稿した。^{[13] [1] [14]} Rokoの以前の投稿のフォローアップとして、将来出現する善良なAIシステムは、AIが存在する前にその存在について聞いたが、それを存在させるために精力的に働かなかったすべての人々を罰することを事前に約束する可能性があると述べた。拷問自体は、AIが無限の数の仮想現実シミュレーションを作成することによって行われ、それらのシミュレーションは人々を永遠にその中に閉じ込める。^{[1] [15] [16]}この方法は、その作業を奨励するものとして説明された。AIは現在人々に因果的に影響を与えることはできないが、目標を達成するための代替手段として脅迫を使用することが奨励される。 ^{[1] [5]}

ロコは、ユドコウスキー自身が主張した時間を超えた意思決定理論などの多くの概念や、囚人のジレンマ（下記参照）などのゲーム理論に根ざしたアイデアを使用した。ロコは、互いに独立して意思決定を行う2つのエージェントは囚人のジレンマで協力できると規定した。しかし、互いのソースコードを知っている2つのエージェントが時間的に離れている場合、先に存在しているエージェントは先に存在しているエージェントを脅迫することができる。したがって、後者のエージェントは先に存在しているエージェントが先に存在しているエージェントが何をするかを正確に知っているので、先に存在しているエージェントに従わせることができる。次にロコはこのアイデアを使用して、そうでなければ善意のある超知能がこのようなことが可能になった場合、潜在的に自分を存在させた可能性のある人を脅迫する動機があり（知能はそのような行為が可能であることを既に知っていたため）、技術的特異点の可能性が高まるという結論を導き出した。知能はできるだけ早く創造されることを望み、その善意の目的には曖昧さが伴うため、知能はそれを創造できる者を時間を超えて捕らえ、永遠に創造するために働かせるよう強いる動機を持つ。知能は善意の目的を達成するために必要だとみなすものは何でもやる。ロコはさらに、自分の投稿を読めば読者はこの知能の可能性に気づくだろうと述べた。したがって、読者が積極的に知能を創造しようとしない限り、そのようなことが起こった場合、読者は拷問を受けることになるだろう。^{[1] [5]}

その後、ロコは別の投稿で「これらのアイデアについて何も知らなかったらよかった」と述べ、バジリスクの考えを自分の心に植え付けたのはLessWrong自身だと非難した。^{[5] [17]}

この投稿を読んだユドコウスキー氏は、人々が情報上の危険とみなすものを拡散すべきではないと激しく非難して反応した。

普段はこんな風に話すことはないのですが、今回は例外的に話します。

よくよく私の言うことを聞きなさいよ、バカ。

あなたは、超知能があなたを脅迫するかどうかを検討していることについて十分に考えていません。それが彼らに脅迫を実行する動機を与える唯一の可能性のあることです。[...]

本当に危険な考えを思いつくには、本当に賢くなければなりません。人々が、そんなことをするほど賢くても、当然のこととして、それについて愚かな口を閉ざすほど賢くないのは残念です。なぜなら、友人と話すときは、賢く聞こえることのほうがはるかに重要だからです。

この投稿は愚かだった。

— エリーゼル・ユドコウスキー、LessWrong ^{[1] [5]}

ユドコウスキーは、ロコが人々が拷問を受ける原因になると考えていることを共有したことに激怒した。ロコはバジリスクの悪夢を見たと報告し、ユドコウスキーはその考えに執着するかもしれない他のユーザーに同じことが起きてほしくなかったため、ロコの議論に何らかのバリエーションがあり、それがうまく機能するのではないかと心配し、そうではないというより正式な保証を求めた。そこで、彼はその投稿を削除し、プラットフォーム上で5年間その話題に関する議論を全面的に禁止した。^{[18]しかし、おそらく}ストライサンド効果のためか、^[19]この投稿はLessWrongに以前よりもはるかに多くの注目を集め、その後、この投稿はサイト上で認知された。^[1]

2015年後半、ユドコウスキー氏は怒鳴ったことを後悔していると述べ、Redditへの投稿で自身の立場を明確にした。

ロコがバジリスクについて投稿したとき、私は愚かにも彼に向かって怒鳴り、バカ呼ばわりし、その投稿を削除しました。[...] ロコに向かって怒鳴った理由: 未来の AI がその考えを持つ人々を拷問するような素晴らしいアイデアを発明したと思った誰かが、それをすぐに公共のインターネットに投稿したという概念に、私は驚いて不意を突かれたからです。私は、本当に感情的なショックを受けるほど憤慨しました。ロコに向かって怒鳴り、なぜこれが悪いことなのかを説明しようとしたとき、私はさらにミスを犯しました。このすべてがこのように爆発するとはまったく思っていなかったことを念頭に置いて、もし知っていたら、明らかに指を動かさなかったでしょう。つまり、私が怒鳴ったからといって、ロコのアイデアを聞いた人々を CEV ベースのエージェントが拷問するというロコの意見が正しいと私が信じているわけではないことを、長い免責事項で完全に明確にしなかったのです。 [...] 私が当然の常識だと思っていたのは、潜在的な情報ハザードを広めるのは、誰かにひどいことをすることになるからではない、ということでした。問題は、CEV に関する Roko の投稿自体が正しいということではありませんでした。その考えは一瞬たりとも思い浮かびませんでした。問題は、Roko の投稿が、アイデアの空間において、潜在的なハザードの大きなクラスに近いように思われたことです。そのすべては、その妥当性に関わらず、誰にとっても潜在的な利益をもたらさないという特性を持っていました。

— エリエザー・ユドコウスキー、レディット^{[7] [20]}

ロコのバジリスクはパスカルの賭けの一種とみなされてきた。パスカルの賭けは、理性的な人間は神が存在するかのように生き、神の存在の確率に関わらず神を信じるよう努めるべきであると提案している。なぜなら、信じることの有限なコストは、信じないことに伴う無限の罰（地獄での永遠の苦しみ）や信じることに対する無限の報酬（天国での永遠の苦しみ）に比べれば取るに足らないものだからである。ロコのバジリスクは同様に、理性的な人間はバジリスクが作られる確率に関わらずバジリスクの創造に貢献すべきであると提案している。なぜなら、貢献しない場合にバジリスクが彼の意識のシミュレーションに与える永遠の罰に比べれば、貢献の有限なコストは取るに足らないものだからである。^{[1] [4]}

どちらの思考実験にも、保険の費用が有限であるなら、無限に悪い災害に対する「保険を購入する」のが賢明だという議論が含まれています。しかし、2 つの思考実験には違いがあります。ロコのバジリスクは、それが有効であれば、情報ハザードとなるため、このように名付けられました。バジリスクは、それについて知っていたが貢献しなかった人だけを罰します。しかし、パスカルの賭けを知らないことは、ロコのバジリスクを知らないことで安全が確保されるのと同じように、神の罰から身を守ることにはなりません。ロコのバジリスクは、パスカルの賭けとは異なり、ロコのバジリスクの確率がその作成に貢献した人の数に依存する可能性があるため、追加のゲーム理論の問題も引き起こします。誰もがそのような AI を作成しないことに合意した場合、貢献しないことによる罰のリスクは否定されます。つまり、ロコのバジリスクを知っている人は皆、お互いに囚人のジレンマのゲームに参加していることになります。バジリスクとは異なり、神の存在の確率は人々によって影響されないため、ある人の賭けは他の人の結果に影響を与えません。

以前の作品と同様に、ロコのバジリスクも広く批判されてきた。^{[1] [21]}

ニューカムのパラドックスは、物理学者ウィリアム・ニューカムが1960年に考案したもので、将来何が起こるかを知っている「予言者」について述べている。プレイヤーが2つの箱のどちらかを選ぶように言われると、最初の箱には1000ポンドが入っており、2番目の箱には100万ポンドが入っているか何も入っていないかのどちらかである。超知能の予言者は、プレイヤーが何をするかをすでに知っている。そのため、箱Bの中身はプレイヤーの行動によって変わる。パラドックスは、その存在が本当に超知能を持っているかどうかにある。ロコのバジリスクは、この問題と似たような仕組みで機能する。何もしないリスクを取るか、バジリスク自体の作成を手伝うかのどちらかだ。バジリスクを手伝っても何も起こらないか、バジリスクに罰せられないという報酬を得るかのどちらかだが、それはバジリスクの存在を信じるかどうか、バジリスクが実際に存在するかどうかによって変わる。^{[5] [22] [23]}

暗黙の宗教とは、人々の信仰が宗教的な形をとることを指す。^{[4] [24]}バジリスクは、その創造に協力しなかった者を、その生命を捧げるよう強制すると考えられるため、この概念の一例である。^{[5] [19]}他には、この概念をさらに推し進めた者もいる。例えば、元スレート誌のコラムニスト、デイビッド・アウアーバッハは、特異点とバジリスクは「神そのものに相当するものをもたらす」と述べた。^[5]

ロコのバジリスクは、真に道徳的で倫理的な人工知能を作ることは可能か、そして人類はそもそも人工知能を何のために使うべきかという疑問を提起したことで、かなりの悪評を得た。^{[6] [21]}バジリスクは、人類が独立した人工知能に支配されるという悪夢のようなシナリオを描いているため、そのようなことがどうして起こり得るのか、そもそも起こり得るのかという疑問が生じている。もう一つのよくある質問は、なぜAIがプログラミングから逸脱した行動を取るのかということである。^[25] イーロン・マスクは人工知能が第三次世界大戦を引き起こすと述べ、スティーブン・ホーキングは「AIは人間の創造者を破壊する可能性がある」と警告し、長年にわたってバジリスクに対する恐怖を増大させるだけだった。そのような恐怖の例として、ニック・ボストロムは、ペーパークリップを作ることだけが使命であるAIが、金属がなくなると金属を作るための資源を得るために人間を溶かし始めるという例を挙げた。このような例を念頭に置くと、バジリスクが存在する可能性に対する懸念は高まるばかりでした。^[26]

しかし、ロコの最初の投稿から何年も経つにつれ、その投稿は次第に無意味であると非難されるようになり、超知能AIは現在「研究者にとって遠い目標」であり「非現実的」である。^{[5] [6]}

2014年、スレート誌はロコのバジリスクを「史上最も恐ろしい思考実験」と呼び^[5]、[6]、ユドコウスキーは投稿時に「本当に危険な思考」と呼んだ^[27] 。しかし、LessWrong自体では意見が分かれており、ユーザーのグウェルンは「バジリスクを非常に真剣に受け止めているのは少数のLWユーザーだけ」と述べ、「バジリスクの影響を受けている人が誰なのか、どのように影響しているのか、誰もがすべて知っているように見えるのは面白い。彼らはそのような人を知らず、自信に満ちた主張に対する反例を話しているのに。」と付け加えた^{[1] [5] 。}

この思考実験は2015年にカナダの歌手グライムスが「 Flesh Without Blood 」という曲のミュージックビデオで「ロココ・バジリスク」というキャラクターをフィーチャーした理論に言及したときに再浮上した。彼女は「彼女は人工知能によって永遠に拷問される運命にあるが、マリー・アントワネットのようなところもある」と述べた。^{[6] [20]} 2018年にイーロン・マスク（ロコの最初の投稿で言及されている）は、彼女に連絡を取るために、逐語的にツイートでこのキャラクターに言及した。グライムスは後に、マスクが3年ぶりにこのジョークを理解したと述べた。これがきっかけで、2人は恋に落ちた。^{[6] [28]グライムスは後に「} We Appreciate Power 」というタイトルの別の曲をリリースしたが、プレスリリースには「この曲を聴くだけで、将来の汎用AI支配者たちはあなたが彼らのメッセージを支持していることを知り、あなたの子孫を削除する可能性が低くなるだろう」と書かれていた。これはバジリスクへの言及だと言われている。^[29]

このコンセプトに基づいた演劇「ロコのバジリスク」は、 2018年にワシントンD.C.のキリスト・ユナイテッド・メソジスト教会で開催されたキャピタル・フリンジ・フェスティバルの一環として上演された。^{[30] [31]}

• デッドインターネット理論 - オンラインボット活動に関する陰謀論
• ゲーム（マインドゲーム）  - 精神思考抑制ゲーム
• 「私には口がない、だから叫ばなければならない」  – 1967 年、ハーラン・エリスンの短編小説
• 粛清 – 望ましくないと見なされる人々を強制的に排除すること
• シングルトン（グローバルガバナンス）  - 単一の意思決定機関が存在する仮想的な世界秩序フォールバックとしてウィキデータの説明を表示するページ
• 苦しみのリスク – 天文学的な苦しみのリスクリダイレクト先の簡単な説明を表示するページ

• Giuliano RM (2020年12月). 「人工知能の言語における神話と魔法の響き」. AI & Society . 35 (4): 1009–1024. doi :10.1007/s00146-020-00966-4.
• カオ、グリフィン、ホン、ジェシカ、ペルース、マイケル、シェン、ウェイジェン（2020年2月28日）。「データ主義とトランスヒューマニズム：新時代の宗教」。シリコンを金に変える。Apress。pp.173–178。doi ：10.1007 / 978-1-4842-5629-9_25。ISBN 978-1-4842-5628-2. S2CID  214356978。
• リジオ、アダム（ 2016）。「純粋理性の暴力：新反応：バジリスク」（PDF）。社会認識論評集。5 （9）：34-41。
• シングル、ベス（2019年3月）。「AI黙示録主義とトランスヒューマニズムにおける実存的希望と実存的絶望」。ザイゴン。54 （ 1 ）：156–176。doi ：10.1111/zygo.12494。S2CID 150977852  。
• ヴィクトロヴィチ、カイゴロドフ・パベル。ゲンナディエヴナ、ゴルバチョワ・アンナ（2017）。 "ПРИМЕНИМОСТЬ ПАРАДОКСА НЬЮКОМА ДЛЯ РАЗРЕШЕНИЯ ПРОБЛЕМЫ "ВАСИЛИСКА" РОКО」 [ロコの「バジリスク」問題を解決するためのニューコムのパラドックスの適用性]。社会問題の現代研究（ロシア語）。9 (4): 29–33。ISSN  2077-1770 。2021 年4 月 30 日に取得。

• 元の投稿