AIの安全性

汎用人工知能（AGI）に関する懸念を批判する人もおり、例えばアンドリュー・ングは2015年にそれを「まだ火星に足を踏み入れてもいないのに、火星の人口過剰を心配するようなものだ」と例えた。 ^{[ 16 ]} 一方、スチュアート・J・ラッセルは慎重さを促し、「人間の創意工夫を過小評価するよりも、それを予測する方が良い」と主張している。 ^{[ 17 ]}

AI 研究者の間では、AI 技術がもたらすリスクの深刻度や主な原因について意見が大きく分かれている^{[ 18 ] [ 19 ] [ 20 ]}。ただし、調査によると、専門家は重大な結果を招くリスクを真剣に受け止めているようだ。AI 研究者を対象とした 2 つの調査では、回答者の中央値は AI 全般に対して楽観的であったが、高度な AI の「極めて悪い結果 (例えば人類の絶滅)」の可能性を 5% と見積もった。^{[ 18 ]} 2022 年の自然言語処理コミュニティを対象とした調査では、37% が、AI の決定が「少なくとも全面核戦争と同じくらい悪い」大惨事につながる可能性があることに同意または弱く同意した。^{[ 21 ]}

AIのリスク（そしてより一般的には技術リスク）は、誤用または事故として分類されるのが一般的です。^{[ 137 ]}一部の学者は、この枠組みは不十分であると指摘しています。^{[ 137 ]}例えば、キュ​​ーバ危機は、明らかに事故でも技術の誤用でもありませんでした。^{[ 137 ]}政策アナリストのZwetslootとDafoeは、「誤用と事故の観点は、危害に至る因果関係の最後の段階、つまり技術を誤用した人物、または意図しない方法で動作したシステムにのみ焦点を当てる傾向があります... しかし、多くの場合、関連する因果関係ははるかに長くなります」と述べています。リスクは、競争圧力、危害の拡散、急速な開発、高いレベルの不確実性、不十分な安全文化などの「構造的」または「システム的」要因から生じることがよくあります。^{[ 137 ]}安全工学のより広い文脈では、「組織の安全文化」のような構造的要因が、広く普及しているSTAMPリスク分析フレームワークにおいて中心的な役割を果たしている。^{[ 138 ]}

構造的視点に触発され、一部の研究者は、機械学習を使用して社会技術的安全要因を改善することの重要性を強調している。たとえば、サイバー防御に機械学習を使用したり、制度的意思決定を改善したり、協力を促進したりする。^{[ 2 ]}また、構造的脆弱性に対処するために、設計プロセスにAIの実務者とドメインエキスパートの両方を関与させることの重要性を強調している研究者もいる。^{[ 139 ]}

AIの安全性に関して、ローカルな解決策は個々のAIシステムに焦点を当て、それらが安全で有益であることを保証する一方、グローバルな解決策はさまざまな管轄区域にわたるすべてのAIシステムに対する安全対策の実施を目指します。^{[ 172 ]}

AI の安全性ガバナンスに関する研究は、AI の潜在的な影響に関する基礎的な調査から具体的なアプリケーションまで多岐にわたります。基礎的な側面では、研究者たちは、AI はその幅広い適用性により、電気や蒸気機関に例えられ、社会の多くの側面を変革する可能性があると主張してきました。^{[ 173 ]}一部の研究は、これらの影響から生じる可能性のある特定のリスク、例えば、大量失業^{[ 174 ]} 、兵器化^{[ 175 ]} 、偽情報^{[ 176 ]} 、監視^{[ 177 ]}、権力の集中[178]によるリスクを予測することに焦点を当てています。^{その他の研究}では、急速に進化する AI 産業を監視することの難しさ^{[ 179 ]}、AI モデルの入手可能性^{[ 180 ]}、「底辺への競争」のダイナミクスなど、根本的なリスク要因を探求しています。^{[ 150 ] [ 181 ]} DeepMind の長期ガバナンスおよび戦略責任者である Allan Dafoe 氏は、競争の危険性と協力の必要性を強調し、「高度で強力なシステムを展開する前に高度な注意を払うことは、AI の安全性と整合性にとって必要かつ十分な条件に近いかもしれない。しかし、先行者利益や相対的優位性が大きい領域で競争している場合、アクターは最適ではないレベルの注意を選択するよう圧力を受けるだろう」と述べている。^{[ 151 ]}研究の流れは、AI の説明責任を評価し、AI ベースのシステムの監査を指導および促進するためのアプローチ、フレームワーク、および方法の開発に焦点を当てている。^{[ 182 ] [ 183 ] [ 184 ]}これらのアプローチの重要な課題は、広く受け入れられている標準の欠如と、方法に必要なことに関する曖昧さ、^{[ 185 ] [ 186 ]}および業界における安全文化の欠如である。^{[ 187 ]}

AIの安全性を高める取り組みには、AIの出力を倫理ガイドラインに合わせ、悪用やデータ漏洩などのリスクを軽減するように設計されたフレームワークが含まれます。NvidiaのGuardrails ^{[ 188 ]} 、 Llama Guard ^{[ 189 ]} 、 Preambleのカスタマイズ可能なガードレール^{[ 190 ]} 、ClaudeのConstitutionなどのツールは、プロンプトインジェクションなどの脆弱性を軽減し、出力が事前に定義された原則に準拠することを保証します。これらのフレームワークは、安全性と信頼性を向上させるために、AIシステムに統合されることがよくあります。^{[ 191 ]}

AIの安全性という分野は、特に倫理の領域において、哲学的考察と深く結びついています。道徳規則の遵守を重視する義務論的倫理は、AIシステムを人間の価値観に合わせるための枠組みとして提案されてきました。義務論的原則を組み込むことで、AIシステムが危害を引き起こす行動を避けるように誘導され、その運用が倫理的な境界内に留まることが保証されると示唆する人もいますが^{[ 192 ]} 、これらの提案には疑問が呈され、より有望な代替案が提案されています^{[ 193 ] 。}

一部の専門家は、AIを規制するには時期尚早だと主張し、規制がイノベーションを阻害し、「無知のまま性急に規制するのは愚かだ」と懸念を表明している。^{[ 194 ] [ 195 ]}一方、実業家のイーロン・マスク氏のような人々は、壊滅的なリスクを軽減するために先制的な措置を求めている。^{[ 196 ]}

正式な法律とは別に、政府機関は倫理と安全に関する勧告を提示している。2021年3月、米国国家安全保障人工知能委員会は、AIの進歩により「安全性、堅牢性、信頼性を含む目標と価値観にシステムが合致していることを保証する」ことがますます重要になる可能性があると報告した。^{[ 197 ]}その後、米国国立標準技術研究所はAIリスク管理の枠組みを策定し、「壊滅的なリスクが存在する場合、リスクが十分に管理できるようになるまで、開発と展開を安全な方法で停止すべきである」と助言した。^{[ 198 ]}

2021年9月、中華人民共和国（PRC）は中国におけるAIの使用に関する倫理ガイドラインを発表し、AIの決定は人間の管理下に置かれるべきであることを強調し、説明責任メカニズムを求めた。同じ月、英国は10年間の国家AI戦略を発表し^{[ 199 ]}、英国政府は「非同盟の汎用人工知能の長期的なリスク、およびそれが世界にもたらすであろう予測不可能な変化を真剣に受け止めている」と述べている^{[ 200 ]} 。この戦略は、壊滅的なリスクを含む長期的なAIリスクを評価するための行動について説明している^{[ 200 ]}。英国政府は、AIの安全性に関する最初の主要なグローバルサミットを開催した。これは2023年11月1日と2日に開催され、「政策立案者と世界の指導者がAIの現在および将来のリスク、そしてこれらのリスクを世界的に協調したアプローチによってどのように軽減できるかを検討する機会」と説明された。^{[ 201 ] [ 202 ]}中国メディアプロジェクトは、「そのアプローチの主要な側面は、世界中の民主主義社会の基準から見て根本的に安全ではない」と述べ、中国のAI安全アプローチの一部は中国共産党（ CCP）の情報統制を強化することに焦点を当てていると主張した。^{[ 203 ]}

政府機関、特に米国では、AIの技術的な安全性研究の発展も奨励されています。情報高等研究計画活動（IDARPA）は、 AIシステムに対するトロイの木馬攻撃を特定し、防御するためのTrojAIプロジェクトを開始しました。^{[ 204 ]} DARPAは、説明可能な人工知能と敵対的攻撃に対する堅牢性の向上に関する研究に取り組んでいます。^{[ 205 ] [ 206 ]}また、国立科学財団は、信頼できる機械学習センターを支援し、実証的なAI安全性研究に数百万ドルの資金を提供しています。^{[ 207 ]}

2024年、国連総会は、AIの設計、開発、展開、使用における人権の尊重、保護、促進を強調した「安全で、安心で、信頼できる」AIシステムの促進に関する初のグローバル決議を採択した。^{[ 208 ]}

2024 年 5 月、科学技術革新省(DSIT) は、AI 安全研究所の Christopher Summerfield 氏と Shahar Avin 氏がUK Research and Innovationと提携して主導する Systemic AI Safety Fast Grants Programme の下で、AI 安全研究に 850 万ポンドの資金提供を行うと発表した。技術大臣のMichelle Donelan氏はAI ソウル サミットでこの計画を発表し、目標は社会全体で AI を安全にすることであり、有望な提案にはさらに資金提供が行われる可能性があると述べた。英国はまた、他の 10 か国と EU と協定を結び、協力関係を促進し、情報やリソースを共有するための AI 安全研究所の国際ネットワークを形成した。さらに、英国 AI 安全研究所はサンフランシスコに事務所を開設する予定である。^{[ 209 ]}

2024年11月、当時の米国大統領ジョー・バイデンと中国共産党総書記習近平は、人工知能ではなく人間の制御を核兵器の使用に維持する必要性を確認した。^{[ 210 ] [ 211 ]} 2025会計年度国防権限法の一部として、議会は「戦略的抑止を支援するための人工知能の使用に関する議会の意思」という第1638条を米国連邦法典に制定した。この条項は、「人工知能の使用は、兵器システムの機能、指揮当局からの通信の検証、または核兵器の使用に関する大統領の決定の実行において積極的な人間の行動を要求する原則を通じて、核保障措置の完全性を損なうものであってはならない」と規定している。^{[ 212 ] [ 213 ]} 2026年2月、トランプ政権は核兵器の決定は人間の管理下に置かれることを公に再確認し、国防総省高官は「核兵器を使用するかどうかのすべての決定には人間が関与するという国防総省の方針」を改めて表明した。^{[ 214 ]}

2025年9月、フランス人工知能安全センター（CeSIA）、フューチャー・ソサエティ、人間適合型人工知能センター（CHAI）は、AIのレッドラインに関する世界的な呼びかけを発表し、各国政府に対し、2026年末までに容認できないAIの使用を禁止する拘束力のある国際協定を締結するよう促した。この宣言は当初、ノーベル賞受賞者10名を含む200名の著名人が署名し、マリア・レッサ氏が国連総会で発表した。^{[ 215 ]}

2025年12月、ドナルド・トランプ大統領は「人工知能に関する国家政策枠組み」を確立するための大統領令に署名した。^{[ 216 ]}この大統領令は、州政府がAIを規制することを抑制し、議会にそのような規制を先取りする法律を可決するよう促した。^{[ 217 ]}ホワイトハウスは、この措置の理由として経済と国家安全保障上の懸念を挙げたが、一部からは、AI規制の不確実性を生み出したとしてトランプを批判する声もあった。^{[ 218 ] [ 219 ] [ 220 ]}

AI ラボや企業は一般的に、正式な法律の範囲外にある安全対策や規範に従っています。^{[ 221 ]}ガバナンス研究者の目的の 1 つは、これらの規範を形成することです。文献に見られる安全対策の推奨事項の例としては、第三者による監査の実施^{[ 222 ]} 、障害発見に対する報奨金の提供^{[ 222 ]} 、 AI インシデントの共有^{[ 222 ]}（この目的のために AI インシデント データベースが作成されました）^{[ 223 ]} 、研究やモデルを公開するかどうかを決定するためのガイドラインの遵守^{[ 180 ]}、AI ラボの情報セキュリティとサイバーセキュリティの向上^{[ 224 ]などがあります。}

企業もコミットメントを行っています。Cohere 、OpenAI、AI21は、「言語モデルを展開するためのベストプラクティス」を提案し、誤用を軽減することに重点を置いて合意しました。^{[ 225 ]}競争のダイナミクスに加担することを避けるため、OpenAIは憲章で「価値観が一致し、安全性を重視するプロジェクトが我々よりも先にAGIの構築に近づいた場合、我々は競争をやめてそのプロジェクトを支援することを約束する」と述べています。^{[ 226 ]}また、DeepMindのCEOであるDemis Hassabis氏やFacebook AIのディレクターであるYann LeCun氏などの業界リーダーは、アシロマ原則^{[ 37 ]や自律兵器公開書簡[ 227 ]}などの公開書簡に署名しています。

2020年代には、米国とヨーロッパで、AIの安全性と関連する公共政策に焦点を当てた非営利団体がいくつか出現しました。これには、Alliance for Secure AI、Future of Life Institute、Public First Actionなどが含まれます。^{[ 228 ] [ 229 ]}これらの団体は、シリコンバレーの監視役として機能し、特定の連邦、州、または地方の規制を提唱することがよくあります。^{[ 230 ] [ 231 ]}また、AI企業の規制緩和を提唱するLeading the Futureなどの業界団体とも競合しています。^{[ 232 ] [ 233 ]}

特定通常兵器条約の枠組みの下、各国は2014年から致死性自律兵器システムについて議論してきた。2016年、同条約の締約国は、これらの議論を継続するために、致死性自律兵器システムに関する政府専門家グループを設立した。^{[ 234 ]}これらの議論では、国際人道法、説明責任、禁止および規制の可能性、AI搭載兵器に対する人間の制御の必要性の範囲などが取り上げられた。^{[ 235 ]}