人工知能安全センター(CAIS )は、サンフランシスコに拠点を置くアメリカの非営利団体で、人工知能の安全な開発と展開を推進しています。CAISの活動は、AIの技術的な安全性と倫理に関する研究、提唱活動、AIの安全性研究分野の発展支援など多岐にわたります。[ 1 ] [ 2 ] 2022年にダン・ヘンドリックスとオリバー・チャンによって設立されました。[ 3 ]
2023年5月、CAISは、数百人のAI教授、主要なAI企業のリーダー、その他の著名人が署名したAI絶滅リスクに関する声明を発表した。 [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ]
CAISの研究者らは、「壊滅的なAIリスクの概要」を発表し、リスクシナリオとリスク軽減戦略を詳述した。記述されているリスクには、自律戦争やパンデミックの工学的利用におけるAIの使用、欺瞞やハッキングのためのAI機能などが含まれる。[ 9 ] [ 10 ]カーネギーメロン大学 の研究者らと共同で行われた別の研究では、安全対策を回避する大規模言語モデルに対する敵対的攻撃を自動的に発見する方法が説明され、現在の安全システムの不十分さが強調されている。[ 11 ] [ 12 ]
2023年、CAISのAI絶滅リスクに関する声明は、Anthropicのダリオ・アモデイ、OpenAIのサム・アルトマン、その他のAI業界リーダーの支持を得た。[ 13 ] [ 14 ]同年、仮想通貨取引所FTX(2022年11月に破産)は、その年の初めにCAISに寄付した650万ドルを取り戻そうとした。[ 15 ] [ 16 ]
その他の取り組みとしては、AI の安全性研究を支援するための計算クラスタ、オンライン コース「機械学習の安全性入門」、概念的な問題に取り組む哲学教授向けのフェローシップなどがあります。[ 10 ] AI 安全対策基金センターは、カリフォルニア州法案 SB 1047、最先端人工知能モデルの安全で確実なイノベーション法のスポンサーです。[ 17 ]