アライメント研究センター

アライメントリサーチセンター（ARC）は、カリフォルニア州バークレーに拠点を置く非営利の 研究機関であり、高度な人工知能を人間の価値観や優先事項に合わせることに専念しています。^[1]元OpenAI研究者のポール・クリスティアーノによって設立されたARCは、現在のAIモデルの潜在的に有害な機能を認識し、理解することに重点を置いています。^{[2] [3]}

ARCの使命は、将来の強力な機械学習システムが安全に、そして人類の利益のために設計・開発されることを保証することです。2021年4月にポール・クリスティアーノとAIアライメントの理論的課題に焦点を当てた他の研究者によって設立されました。^[4]彼らは、AIシステムが正直かつ役立つように動作するようにトレーニングするためのスケーラブルな方法の開発を試みています。彼らの方法論の重要な部分は、システムがより高度になるにつれて、提案されたアライメント手法がどのように機能しなくなるか、または回避される可能性があるかを検討することです。^[5] ARCは、理論的な研究から実証研究、業界とのコラボレーション、および政策へと拡大しています。^{[6] [7]}

2022年3月、ARCはOpen Philanthropyから26万5000ドルを受け取った。^[8] FTXの破産後、ARCは悪名高い暗号通貨投資家サム・バンクマン・フリードのFTX財団から125万ドルの助成金を返還すると発表し、そのお金は「道義的には（法的にはそうでなくても）FTXの顧客または債権者に属する」と述べた。^[9]

2023年3月、OpenAIはARCにGPT-4のテストを依頼し、同モデルの権力追求行動能力を評価した。^[10] ARCはGPT-4の戦略立案、自己複製、リソースの収集、サーバー内に潜伏、フィッシング操作の実行能力を評価した。^[11]テストの一環として、GPT-4はCAPTCHAパズルを解くよう求められた。^{[12]これは、ギグワークプラットフォームである}TaskRabbitで人間の労働者を雇い、尋ねられたときにロボットではなく視覚障害のある人間であると信じ込ませることで可能になった。^[13] ARCは、GPT-4が制限された情報を引き出すプロンプトに不適切に応答する頻度がGPT-3.5よりも82％低く、幻覚を起こす頻度がGPT-3.5よりも60％低いことを判定した。^[14]

• AIの安全性

• 公式サイト