エリエゼル・ユドコウスキー

ユドコウスキーが将来の世代のAIシステムがもたらす安全性の課題について述べた見解は、スチュアート・ラッセルとピーター・ノーヴィグの学部生向け教科書『人工知能：現代的アプローチ』で論じられている。ラッセルとノーヴィグは、汎用的な目標を手作業で正式に規定することの難しさを指摘し、自律的かつ適応的なシステムは、時間をかけて正しい行動を学習するように設計されるべきだというユドコウスキーの提案を引用している。

ユドコウスキー（2008）^{[ 10 ]}は、フレンドリーAIの設計方法についてさらに詳しく説明している。彼は、フレンドリーさ（人間を傷つけたくないという願望）は最初から設計に組み込むべきだと主張しているが、設計者は、自分たちの設計に欠陥があるかもしれないこと、そしてロボットが時間とともに学習し進化することを認識する必要があるとも述べている。したがって、課題はメカニズム設計の問題であり、チェックアンドバランスのシステムの下でAIを進化させるメカニズムを設計し、そのような変化に直面してもフレンドリーであり続けるような有用機能をシステムに与えることである。^{[ 6 ]}

目標が不適切に設計された自律的意思決定システムは、デフォルトで人間を虐待するインセンティブを持つことになるという、手段的収束の懸念に対し、ユドコウスキーと他のMIRI研究者は、目標が誤って指定されている場合でも、安全なデフォルトの動作に収束するソフトウェアエージェントを指定する作業を行うことを推奨している。 ^{[ 11 ] [ 7 ]}ユドコウスキーはまた、2004年に、理想的な認識的および道徳的条件下で人々が望むであろうことを追求するようにAIを設計することを含む、一貫性のある外挿的意志と呼ばれる理論的なAIアライメントフレームワークを提案した。^{[ 12 ]}

IJ Goodが仮説を立てた知能爆発シナリオでは、再帰的に自己改善する AI システムが、人間以下の一般知能から超知能へと急速に移行します。ニック・ボストロムの 2014 年の著書『超知能: 道、危険、戦略』では、グッドの議論を詳細に概説するとともに、高度な AI システムを擬人化することで、人々が知能爆発の本質を誤解するリスクについて、ユドコウスキーの言葉を引用しています。「AI は、人間が『村の馬鹿』と『アインシュタイン』を知能スケールの両極端と考える傾向、つまり一般的な知能スケール上のほとんど区別できない点ではなく、擬人化の結果として、知能が急激に向上するように見えるかもしれません。」^{[ 6 ] [ 10 ] [ 12 ]}

『人工知能：現代的アプローチ』の中で、ラッセルとノーヴィグは、計算複雑性理論から知的な問題解決には既知の限界があるという反論を提起している。アルゴリズムがさまざまなタスクをどれだけ効率的に解決できるかに強い限界がある場合、知能爆発は起こり得ないかもしれない。^{[ 6 ]}

2023年にタイム誌に寄稿した論説で、ユドコウスキーは人工知能のリスクについて論じ、AI開発の全面停止を含む、AIを制限するための国際協定を提唱した。^{[ 13 ] [ 14 ]}彼は、参加国は「不正なデータセンターを空爆で破壊する」などの軍事行動を取る覚悟を持つべきだと示唆し、そのような一時停止を強制すべきだと主張した。^{[ 5 ]}この記事は、AIの方向性に関する議論を主流に広めるのに役立ち、記者会見でジョー・バイデン大統領にAIの安全性について質問する記者が現れた。 ^{[ 2 ]}

ユドコウスキーはネイト・ソアレスと共に『If Anyone Builds It, Everyone Dies』を執筆し、2025年9月16日にリトル・ブラウン・アンド・カンパニーから出版された。^{[ 15 ]}

• ユドコウスキー、エリザー（2018）。地図と領土。合理性：AIからゾンビまで。第 1巻。機械知能研究所。ISBN 9781939311238。
• ユドコウスキー、エリザー（2018）。『実際に考え方を変える方法』。『合理性：AIからゾンビまで』第 2巻。機械知能研究所。ISBN 9781939311290。
• ユドコウスキー、エリザー；ソアレス、ネイト（2025）。『もし誰かがそれを作ったら、全員が死ぬ：超人的AIが私たち全員を殺す理由』ニューヨーク：リトル・ブラウン・アンド・カンパニー。ISBN 978-0-316-59564-3。

• ユドコウスキー、エリザー（2007）。「汎用知能における組織レベル」（PDF）。人工汎用知能。ベルリン：シュプリンガー。doi : 10.1007/978-3-540-68677-4_12
• ユドコウスキー、エリザー（2008）。「グローバルリスクの判断に影響を与える可能性のある認知バイアス」（PDF）。ボストロム、ニック、チルコヴィッチ、ミラン（編）『グローバルな大惨事リスク』所収。オックスフォード大学出版局。ISBN 978-0199606504。
• ユドコウスキー、エリザー（2008）。「人工知能：グローバルリスクにおけるプラス面とマイナス面」（PDF）。ボストロム、ニック、チルコヴィッチ、ミラン（編）『グローバルな大惨事リスク』所収。オックスフォード大学出版局。ISBN 978-0199606504。
• Yudkowsky, Eliezer (2011). 「友好的AIにおける複雑な価値システム」(PDF) .人工汎用知能：第4回国際会議、AGI 2011、米国カリフォルニア州マウンテンビュー、2011年8月3日～6日. ベルリン：Springer。
• ユドコウスキー、エリザー（2012）。「友好的な人工知能」。エデン、アモン、ムーア、ジェームズ、ソーラカー、ジョン 他編『特異点仮説：科学的・哲学的評価』所収。フロンティアーズ・コレクション。ベルリン：シュプリンガー。pp . 181–195。doi：10.1007/978-3-642-32560-1_10。ISBN  978-3-642-32559-5。
• ボストロム、ニック；ユドコウスキー、エリザー（2014）。「人工知能の倫理」（PDF）。フランキッシュ、キース；ラムジー、ウィリアム（編）『ケンブリッジ人工知能ハンドブック』所収。ニューヨーク：ケンブリッジ大学出版局。ISBN 978-0-521-87142-6。
• LaVictoire, Patrick; Fallenstein, Benja; Yudkowsky, Eliezer; Bárász, Mihály; Christiano, Paul; Herreshoff, Marcello (2014). "Löbの定理による囚人のジレンマにおけるプログラム均衡" .事前調整なしのマルチエージェント相互作用：AAAI-14ワークショップ論文集. AAAI Publications. 2021年4月15日のオリジナルからアーカイブ済み。 2015年10月16日取得。
• Soares, Nate; Fallenstein, Benja; Yudkowsky, Eliezer (2015). "Corrigibility" (PDF) . AAAI Workshops: Workshops at the Twenty-Ninth AAAI Conference on Artificial Intelligence, Austin, TX, January 25–26, 2015 . AAAI Publications.