機械知能研究所

機械知能研究所

形成	2000年; 24年前 （2000年）
タイプ	非営利 研究機関
目的	友好的な人工知能とAI制御問題の研究
位置	米国カリフォルニア州バークレー
主要人物	エリエゼル・ユドコウスキー
Webサイト	インテリジェンス

機械知能研究所( MIRI )は、以前は人工知能特異点研究所( SIAI )と呼ばれていた非営利の 研究機関で、2005 年以来、汎用人工知能による潜在的な実存的リスクの特定と管理に重点を置いています。MIRI の活動は、システム設計に対するAI フレンドリーなアプローチと、技術開発速度の予測に重点を置いています。

2000年、エリゼア・ユドコウスキーは、ブライアン・アトキンスとサビーネ・アトキンス夫妻の資金援助を受けて、人工知能（AI）の開発を加速させることを目的としたシンギュラリティ人工知能研究所を設立した。 ^{[1] [2] [3]}しかし、ユドコウスキーは、将来開発されるAIシステムが超知能化し、人類に危険をもたらす可能性があると懸念し始め、^[1] 2005年に研究所はシリコンバレーに移転し、当時この分野の科学者によってほとんど無視されていたリスクを特定し、管理する方法に焦点を当て始めた。^[2]

2006年から、同研究所は、当初はスタンフォード大学と協力し、ピーター・ティールの資金提供を受けて、 AIの将来とそのリスクについて議論するシンギュラリティ・サミットを開催した。サンフランシスコ・クロニクル紙は、この最初の会議を「ベイエリアにおける、テクノロジーに触発されたトランスヒューマニズムと呼ばれる哲学のデビューパーティー」と評した。^{[4] [5]} 2011年、同研究所のオフィスはバークレーのダウンタウンにある4つのアパートだった。^[6] 2012年12月、同研究所は名称、ウェブドメイン、シンギュラリティ・サミットをシンギュラリティ大学に売却し、^[7]翌月には「機械知能研究所」に改名した。^[8]

2014年と2015年には、AIのリスクに対する一般市民と科学者の関心が高まり、MIRIや同様の組織への研究資金への寄付が増加しました。^{[3] [9] : 327}

2019年、オープン・フィランソロピーはMIRIに対して2年間で約210万ドルの一般支援助成金を推奨した。^[10] 2020年4月、オープン・フィランソロピーはこれに2年間で770万ドルの助成金を追加した。^{[11] [12]}

2021年、ヴィタリック・ブテリンはMIRIに数百万ドル相当のイーサリアムを寄付した。 ^[13]

ユドコウスキーが率いるMIRIのAIリスクの特定と管理へのアプローチは、主にAIシステムの初期設計と、進化するAIシステムが友好的であり続けることを保証するメカニズムの構築の両方をカバーし、友好的なAIを設計する方法に焦点を当てています。^{[3] [14] [15]}

MIRIの研究者は予防措置として早期の安全対策を提唱している。^[16]しかしMIRIの研究者は、レイ・カーツワイルのようなシンギュラリティ支持者の、超知能は「すぐそこ」にあるという見解には懐疑的である。 ^[14] MIRIはAI Impactsと呼ばれるイニシアチブを通じて予測作業に資金を提供し、不連続な技術変化の歴史的事例を研究し、人間とコンピューターハードウェアの相対的な計算能力を測る新しい尺度を開発してきた。^[17]

MIRIは効果的利他主義運動の原則と目的に沿っています。^[18]

• グレイブス、マシュー（2017年11月8日）。「なぜ我々は人工超知能について懸念すべきなのか」。懐疑論者。懐疑論者協会。 2018年7月28日閲覧。
• LaVictoire, Patrick; Fallenstein, Benja; Yudkowsky, Eliezer ; Bárász, Mihály; Christiano, Paul; Herreshoff, Marcello (2014)。「Löb の定理による囚人のジレンマにおけるプログラム均衡」。事前調整なしのマルチエージェント相互作用: AAAI-14 ワークショップの論文。AAAI 出版物。
• ソアレス、ネイト、レビンスタイン、ベンジャミン A. (2017)。「ダマスカスでの死の欺瞞」(PDF)。形式認識論ワークショップ (FEW) 。2018 年7 月 28 日閲覧。
• Soares, Nate; Fallenstein, Benja; Yudkowsky, Eliezer ; Armstrong, Stuart (2015)。「Corrigibility」。AAAI ワークショップ: 第 29 回 AAAI 人工知能カンファレンスでのワークショップ、テキサス州オースティン、2015 年 1 月 25 ～ 26 日。AAAI 出版物。
• Soares, Nate; Fallenstein, Benja (2015)。「スーパーインテリジェンスと人類の利益の整合: 技術研究アジェンダ」(PDF)。Miller, James、Yampolskiy, Roman、Armstrong, Stuart 他 (編)。技術的特異点: 旅の管理。Springer。
• Yudkowsky, Eliezer (2008)。「人工知能は世界的リスクのプラス要因とマイナス要因となる」(PDF)。Bostrom , Nick、Ćirković, Milan (編)。世界的大惨事リスク。オックスフォード大学出版局。ISBN 978-0199606504。
• テイラー、ジェシカ (2016)。「クォンティライザー: 限定最適化のためのマキシマイザーのより安全な代替手段」。第 30 回 AAAI 人工知能会議でのワークショップ。
• Yudkowsky, Eliezer (2011)。「友好的な AI における複雑な価値システム」(PDF)。汎用人工知能: 第 4 回国際会議、AGI 2011、米国カリフォルニア州マウンテンビュー、2011 年 8 月 3 ～ 6 日。ベルリン: Springer。

• アレン人工知能研究所
• 人類の未来研究所
• 倫理と新興技術研究所

• ラッセル、スチュアート、デューイ、ダニエル、テグマーク、マックス（2015年冬）。「堅牢で有益な人工知能のための研究優先事項」。AIマガジン。36（4）：6。arXiv ： 1602.03506。Bibcode ： 2016arXiv160203506R。doi ： 10.1609 / aimag.v36i4.2577。

• 公式サイト