AIにおけるレッドラインを定める世界的な呼びかけは、2025年9月22日に発表された宣言であり、各国政府に対し、容認できないAIの利用方法や行動を定義し、国際的に禁止するよう求めている。
このオンライン宣言は、ノーベル平和賞受賞者のマリア・レッサ氏によって、第80回国連総会ハイレベル週間で発表された。宣言には当初、ノーベル賞受賞者10名を含む、著名な政治家や科学者200名が署名した。
この呼びかけでは、具体的にどのレッドラインを設定すべきかは明示されていないが、生物兵器の設計、大規模監視、AIによるなりすましの禁止など、いくつかのレッドラインが示唆されている。
この宣言は、2025年9月22日に公開書簡としてオンラインで発表されました。ノーベル平和賞受賞者のマリア・レッサ氏は、ニューヨークで開催された第80回国連総会ハイレベルウィークの開会スピーチでこの宣言を発表し、各国政府に対し「AIに決して許されないことを定義する」 [ 1 ] [ 2 ]こと、そして「AIに対する普遍的に容認できないリスクを防止するために明確な国際的境界線を確立する」[ 3 ]ことを強く求めました。
このイニシアチブは、フランス人工知能安全センター(CeSIA)、フューチャー・ソサエティ、人間と互換性のある人工知能センター(CHAI)という3つの非営利団体によって組織されました。[ 1 ]
この書簡は、人類が人為的に引き起こされたパンデミック、広範な偽情報、大規模な操作、失業、制御の喪失といったリスクに直面していると主張している。[ 2 ] [ 3 ]支持者たちは、国内法ではこれらのリスクに対処するには不十分であり、「明確で検証可能なレッドラインに関する国際合意が必要である」と主張している。彼らは各国政府に対し、2026年末までに合意に達するよう促し、[ 1 ] [ 4 ]強力な執行メカニズムと、それを実施するための独立組織の設立を求めた。[ 4 ]
この書簡は具体的なレッドラインを求めているわけではないが、致死性自律兵器、AIシステムの自律的複製、核戦争におけるAIの使用を禁止する可能性を示唆している。[ 1 ]その他のレッドラインの例としては、ソーシャルスコアリング、大規模監視、生物兵器設計、AI生成の児童性的虐待資料、AIなりすましなどが挙げられる。レッドラインは、AIの行動(AIシステムが要求されても決して行わないことが保証されるべきこと)またはAIの使用のいずれかを禁止することができる。[ 5 ]
公開されたオンライン宣言には、ノーベル賞受賞者10名を含む200名以上の著名な政治家や科学者が署名した。署名者には、コロンビアの元大統領フアン・マヌエル・サントス氏や研究者のジェフリー・ヒントン氏、ヨシュア・ベンジオ氏などが含まれる。また、スティーブン・フライ氏やユヴァル・ノア・ハラリ氏といった人気作家も名を連ねている。[ 1 ] [ 6 ]
この書簡は、イタリアの元首相エンリコ・レッタやアイルランドの元大統領メアリー・ロビンソンを含む欧州の議員から支持を受けた。[ 2 ]
2025年現在、AIに関する世界的なレッドラインは存在しない。欧州のAI法で「容認できない」とみなされている使用法や、核兵器の発射の決定をAIに委ねないという米中合意など、地域的なレッドラインはいくつか存在する。[ 7 ]
国連安全保障理事会で、宣言から数日後、ドナルド・トランプ政権のホワイトハウス科学技術政策局長であるマイケル・クラツィオスは、「我々は、国際機関によるAIの中央集権的な管理とグローバルな統治を主張するあらゆる試みを完全に拒否する」と述べた。[ 8 ] [ 3 ]
AIのレッドラインという話題は、2026年にAnthropicと国防総省(DoD)の間で起きた紛争によって注目を集めた。この紛争は、DoDがAnthropicに対し、完全自律型兵器と大規模な国内監視に関する契約上のレッドラインを削除するよう要求したことから始まった。[ 9 ]この出来事を受けて、GoogleやOpenAIの従業員、そして上院民主党議員らは、AIの軍事利用に関するレッドラインをさらに強く求めるようになった。[ 10 ]アダム・シフ上院議員は、Anthropicのレッドラインを「成文化」する法案を提出した。[ 11 ]