Loading article…
最先端人工知能モデルの安全かつ確実なイノベーション法、またはSB 1047は、 2024年にカリフォルニア州で成立したが否決された法案である[ 1 ] 。この法案は、「まだ存在が知られていないほど高度なAIモデルによる壊滅的な被害のリスクを軽減する」ことを目的としていた[ 2 ] 。具体的には、この法案は、トレーニングに1億ドル以上かかり、10²⁶を超える整数演算または浮動小数点演算を使用してトレーニングされたモデルに適用される予定だった[ 3 ]。SB 1047は、カリフォルニア州で事業を行うすべてのAI企業に適用される予定で、企業の所在地は関係なかった[ 4 ] 。この法案は、内部告発者を保護する[ 5 ]とともに、開発者に対し、政府運営庁の指導の下、リリース前にモデルのリスク評価を実施することを義務付ける予定だった。また、スタートアップ企業、研究者、コミュニティグループ向けのカリフォルニア大学のパブリッククラウドコンピューティングクラスターであるCalComputeを設立する予定だった。
2020年代におけるAIシステムの能力の急速な向上、特に2022年11月のChatGPTのリリースにより、一部の研究者や一般市民は、ますます強力になるAIシステムに関連する存在リスクについて懸念を抱くようになった。[ 6 ] [ 7 ]いわゆる「AIのゴッドファーザー」であるジェフリー・ヒントンとヨシュア・ベンジオを含む数百人のテクノロジー幹部とAI研究者が、2023年5月に声明に署名し、「AIによる絶滅リスク」の軽減を「パンデミックや核戦争」と並んで世界的な優先事項とするよう求めた。[ 8 ]しかし、これらのリスクの妥当性については、依然として広く議論されている。[ 9 ]
AI の強力な規制は、 OpenAIのような大手 AI 企業による規制の乗っ取りを引き起こすとして批判されてきた。これは、規制が小規模な競争や一般市民を犠牲にして、大企業の利益を促進する現象である[ 7 ]。ただし、OpenAI は最終的にこの法案に反対した[ 10 ] 。AI規制の他の支持者は、存在リスクではなく、偏見やプライバシー侵害を防ぐことを目的としている[ 7 ] 。たとえば、存在に関する懸念は誇張され非現実的だと考える専門家の中には、差別的な自動意思決定などの AI の短期的な害から注意をそらすものだと考える人もいる[ 11 ] 。
存続の危機に直面し、テクノロジー企業は、例えばAI安全サミットやAIソウルサミットなどで、安全テストを実施するという自主的な約束をしてきました。[ 12 ] [ 13 ]
2023年、法案が提案される少し前に、カリフォルニア州知事ニューサムとバイデン大統領は人工知能に関する大統領令を発令した。[ 14 ] [ 15 ] [ 16 ]州上院議員ウィーナーは、SB 1047はバイデン大統領令に大きく依拠しており、AIの安全性に関する統一的な連邦法がないことが動機となっていると述べた。[ 17 ]歴史的に、カリフォルニア州は、連邦議会の行動がない中で、消費者のプライバシーやネット中立性など、いくつかのテクノロジー問題に関する規制を独自に制定してきた。[ 18 ] [ 19 ]
この法案は州上院議員スコット・ウィーナーによって起草された。[ 20 ] [ 21 ]ウィーナーは2023年9月に、人工知能の安全性法と呼ばれるSB 294という意向法案を通じて、カリフォルニア州向けのAI法案を初めて提案した。 [ 22 ] [ 23 ] [ 24 ] 2024年2月7日、ウィーナーはSB 1047を提出した。[ 25 ] [ 26 ]
5月21日、SB 1047は上院で32対1で可決された。[ 27 ] [ 28 ]この法案は、業界からの助言を受けて、2024年8月15日にウィーナーによって大幅に修正された。[ 29 ]修正には、明確化の追加、「フロンティアモデル部門」の創設と偽証罪の罰則の削除が含まれていた。[ 30 ] [ 31 ]
8月28日、この法案は州議会で48対16で可決された。その後、修正により、この法案は上院で再び採決され、30対9で可決された。[ 32 ] [ 33 ]
9月29日、ギャビン・ニューサム知事は法案に拒否権を行使した。[ 34 ]カリフォルニア州議会議員がニューサム知事の拒否権を覆す期限は2024年11月30日だった。[ 1 ]
ニューサム氏は、法案の規制枠組みが、AIモデルが高リスク環境に展開されているかどうかを考慮しず、計算規模に基づいて大規模なAIモデルのみを対象としていることへの懸念を指摘した。[ 35 ] [ 36 ]ニューサム氏は、このアプローチは誤った安心感を生み出し、同様に重大なリスクをもたらす可能性のある小規模モデルを見落とす可能性があると強調した。[ 35 ] [ 37 ]彼はAIの安全プロトコルの必要性を認めたが[ 35 ] [ 38 ]、AI技術が急速に進化し続ける中で、規制の適応性の重要性を強調した。[ 35 ] [ 39 ]
ニューサム知事はまた、技術専門家、連邦政府のパートナー、研究機関と協力することを約束した。これには、元カリフォルニア州最高裁判事のマリアノ・フロレンティーノ・クエジャール氏が率いるカーネギー国際平和財団や、フェイフェイ・リー博士が率いるスタンフォード大学の人間中心AI（HAI）研究所が含まれる。同知事は、国民を保護しつつイノベーションを促進することを目指し、責任あるAI開発を推進するためにこれらの組織と協力する計画を発表した。[ 35 ] [ 40 ]
SB 1047 は、10 26を超える整数または浮動小数点演算のトレーニング計算と 1 億ドルを超えるコストを伴う AI モデルを対象としていました。[ 3 ] [ 41 ]対象モデルが10 0 万ドル以上を使用して微調整された場合、結果として得られるモデルも対象となります。[ 31 ]
この法案では、重大な被害を4つのカテゴリーに関して定義する予定だった。[ 2 ] [ 42 ]
開発者は、対象モデルのトレーニングを行う前に「安全およびセキュリティ プロトコル」を作成する必要がありました。展開前に、対象モデルが重大な危害の不当なリスクをもたらすことを防ぐために適切な措置を講じたことを確認するコンプライアンス ステートメントを提出する必要がありました。ステートメントには、リスク評価とコンプライアンス プロセスの説明が含まれていました。これらの規則は、トレーニング後の修正を含む対象モデルとその派生モデルの両方に適用され、2026 年以降は毎年第三者による監査が義務付けられました。リスクを軽減するための安全対策には、モデルをシャットダウンする機能[ 5 ]が含まれており、これは「キル スイッチ」[ 44 ]や「サーキット ブレーカー」 [ 45 ] などと様々に表現されています。内部告発規定は、安全上の問題や事故を報告する従業員を保護するものでした。[ 5 ]
さらに、SB 1047は、カリフォルニア大学と提携したCalComputeと呼ばれるパブリッククラウドコンピューティングクラスターを創設し、大規模なコンピューティングリソースを持たないスタートアップ企業、研究者、コミュニティグループを支援する予定だった。[ 30 ]
SB 1047 は、2026 年 1 月 1 日から、開発者に対し、規定に従って法案の要件への準拠の独立監査を実施するために、第三者監査人を毎年雇用することを義務付けるものであった。[ 30 ]政府運営庁は、安全テストと事故の結果をレビューし、ガイダンス、基準、およびベスト プラクティスを発行することになっていた。[ 30 ]この法案は、政府運営庁による法案の適用を監督するフロンティア モデル委員会を設置するものであった。委員会は 9 人のメンバーで構成されることになっていた。[ 30 ]
法案の支持者は、その条項はシンプルで焦点が絞られていると述べ、スコット・ウィーナー上院議員はそれを「軽度な介入による基本的な安全法案」と表現した。[ 7 ]これに対し、法案の批判者は、法案の文言が曖昧であり、小規模なAI企業を犠牲にして大手AI企業に権力を集中させるものだと批判し、これに異議を唱えた。[ 7 ]一方、支持者は、この法案は10 26 FLOPS以上、1億ドル以上でトレーニングされたモデル、または1000万ドル以上でファインチューニングされたモデルにのみ適用され、必要に応じて閾値を引き上げることができると主張した。[ 46 ]
偽証罪の罰則も議論の対象となり、最終的には修正によって削除された。オープンソース開発者の懸念を受けて、「キルスイッチ」要件の範囲も縮小された。法案における「合理的な保証」という用語の使用も物議を醸し、最終的には「合理的な注意」に修正された。批判者は、「合理的な注意」はモデルが壊滅的な損害を引き起こすために使用されないという確信を要求することで過度の負担を課すと主張した。一方、支持者は、この基準は確実性を要求するものではなく、既存の法律の下ですでにAI開発者に適用されていると主張した。[ 46 ]
この法案の個人支持者には、チューリング賞受賞者のヨシュア・ベンジオ[ 47 ]とジェフリー・ヒントン[ 48 ] 、イーロン・マスク[ 49 ] 、ビル・デブラシオ[ 50 ] 、ケビン・エスベルト[ 51 ] 、ダン・ヘンドリックス[ 52 ] 、ヴィタリック・ブテリン[ 53 ] 、 OpenAIの内部告発者であるダニエル・ココタイロ[ 43 ] とウィリアム・サンダース[ 54 ] 、ローレンス・レッシグ[ 55 ] 、スネハ・レヴァヌール[ 56 ] 、スチュアート・ラッセル[ 55 ] 、ヤン・ライケ[ 57 ]、俳優のマーク・ラファロ、ショーン・アスティン、ロージー・ペレス[ 58 ] 、スコット・アーロンソン[ 59 ]、マックス・テグマークなどが含まれる。[ 60 ]マーク・ハミル、ジェーン・フォンダ、JJエイブラムスを含む120人以上のハリウッドセレブも、この法案を支持する声明に署名した。[ 61 ]マックス・テグマークは、この法案がモデルによって引き起こされた害について企業に責任を負わせることに重点を置いていることを、FDAが企業が医薬品を市場に出す前に臨床試験を要求することに例えた。[ 60 ]
この法案を後援した団体には、AI安全センター、カリフォルニア経済安全保障局、エンコードなどがあった。[ 62 ]労働組合SAG-AFTRAと2つの女性団体、全米女性機構とファンド・ハーは、ニューサム知事に支持書簡を送った。[ 63 ]ロサンゼルス・タイムズの編集委員会もこの法案を支持する記事を書いた。[ 64 ]
法案に反対した個人には、アンドリュー・ン、フェイフェイ・リー[ 65 ] 、ラッセル・ウォルド[ 66 ] 、イオン・ストイカ、ジェレミー・ハワード、 チューリング賞受賞者のヤン・ルカン、そしてナンシー・ペロシ、ゾーイ・ロフグレン、アンナ・エシュー、ロー・カンナ、スコット・ピーターズ、トニー・カルデナス、アミ・ベラ、ナネット・バラガン、ルー・コレアといった米国下院議員が含まれる[ 7 ] [ 67 ] [ 68 ]。アンドリュー・ンは、ディープフェイクポルノの標的化、生成された素材への透かし、レッドチームやその他のセキュリティ対策への投資など、より的を絞った規制アプローチを求めた[ 69 ] 。
カリフォルニア大学とカリフォルニア工科大学の研究者も反対の公開書簡を書いた。[ 67 ]
この法案には、カリフォルニア商工会議所、進歩会議所[a]、コンピュータ・通信産業協会[b]、TechNet[c][3]などの業界団体が反対した。Meta [ 73 ]やOpenAI [ 74 ]などの企業は法案に反対したり懸念を表明したりしたが、Google [ 73 ] 、Microsoft 、 Anthropic [ 60 ]は大幅な修正案を提案した[ 4 ]。しかし、Anthropicは修正版の法案を支持すると発表し、法案のいくつかの側面が懸念される、あるいは曖昧であると述べた[ 75 ] 。Y Combinator [ 76 ] [ 77 ]、 Andreessen Horowitz [ 78 ][79 ] [ 80 ] 、 Context Fund [ 81 ] [ 82 ]、Alliance for the Future [ 83 ]など、いくつかのスタートアップ創業者やベンチャーキャピタル組織が法案に反対した。
法案が修正された後、AnthropicのCEOであるダリオ・アモデイ氏は、「新しいSB 1047は大幅に改善され、その利点がコストを上回る可能性が高いと我々は考えている。しかし、我々は確信しておらず、法案には依然として懸念または曖昧な点がある」と書いた。[ 84 ] xAIのCEOであるイーロン・マスク氏は法案を支持した。[ 85 ] 2024年9月9日、AI企業OpenAI、 Google DeepMind 、Anthropic、Meta、xAIの現従業員および元従業員少なくとも113人が、SB 1047を支持する書簡をニューサム知事に送った。[ 57 ] [ 59 ]
批評家たちは、既存の自由に利用可能なモデルを使用したり改良したりした場合に、法案によってオープンソース ソフトウェアに課される責任について懸念を表明した。Metaの最高 AI 責任者であるYann LeCun氏は、この法案はオープンソース AI モデルを葬り去るだろうと示唆した。[ 69 ]オープンソース コミュニティでは、法的責任の脅威のために、Metaのような企業がモデル (例えばLlama ) を自由に利用できないことを選択する可能性があるという懸念があった。[ 86 ] [ 87 ] AI Alliance は、他のオープンソース組織とともに、この法案に反対する書簡を書いた。[ 67 ]対照的に、Creative Commons の共同創設者であるLawrence Lessig氏は、SB 1047 は、損害とそれに対する責任の両方が起こりにくくなるため、オープンソース AI モデルをより安全で開発者に人気のあるものにするだろうと書いた。[ 45 ]
規制推進派のAIシンクタンクである人工知能政策研究所[ 88 ] [ 89 ]は、カリフォルニア州の回答者を対象に、SB 1047を支持するか反対するかについて3回の世論調査を実施した[ 90 ] [ 91 ] [ 92 ] [ 93 ] [ 94 ] [ 95 ]。3回目の調査では、「一部の政策立案者は、カリフォルニア州で上院法案1047号という法律を提案しており、高度なAIを開発する企業に安全テストの実施を義務付け、AIモデル開発者が適切な予防措置を講じなかった場合に、モデルが壊滅的な被害を引き起こした場合に責任を負わせる」という質問がされた[ 96 ]。選択肢は「支持」、「反対」、「わからない」であった。[ 90 ] [ 91 ]彼らの世論調査の結果は、7月には53.8～64.2％の支持、[ 90 ] [ 91 ] 8月上旬には60.1～69.9％の支持、[ 92 ] [ 93 ] 8月下旬には65.8～74.2％の支持であった。[ 94 ] [ 95 ]
一方、カリフォルニア州商工会議所は独自の世論調査を実施し、回答者の28%が法案を支持し、46%が反対、26%が中立であることが明らかになった。しかし、質問の表現は「ひどく偏っている」と評されている。[ 89 ]質問における法案の概要は、「サクラメントの議員は、AIモデルの開発方法を決定する新しいカリフォルニア州規制機関を設立する新しい州法SB 1047を提案した。この新法は、小規模なスタートアップ企業が州の官僚の命令に従わない場合、数千万ドルの罰金を支払う可能性がある。SB 1047のような負担の大きい規制は、企業が州外または国外に移転し、投資と雇用がカリフォルニアから失われる可能性があると指摘する声もある。」[ 97 ]
法案を共同提案した経済安全保障プロジェクトが委託したYouGovの世論調査では、全米の登録有権者の78%がSB 1047を支持し、80%がニューサム知事が法案に署名すべきだと考えていることがわかった。[ 98 ]質問は「カリフォルニア州議会は最近、人工知能（AI）を規制する法案を可決したが、AI企業が多数カリフォルニア州に拠点を置いているため、全国的な影響を及ぼす可能性がある。この法案は、次世代の最も強力なAIシステムを開発するカリフォルニア州の企業に対し、リリース前に安全上のリスクをテストすることを義務付ける。テストの結果、AIシステムが金融システムの混乱、電力網の停止、生物兵器の作成など、社会に壊滅的な被害をもたらす可能性があることが判明した場合、企業はこれらのリスクを防止するための合理的な安全対策を追加しなければならない。企業がテストを実施しない、または合理的な安全対策を採用しない場合、カリフォルニア州司法長官によって責任を問われる可能性がある。」[ 98 ]
社会規模のリスク軽減に重点を置き、法案のスポンサーでもあるAI安全センターが委託したDavid Binder Researchの世論調査によると、カリフォルニア州民の77%が、企業にAIモデルの安全リスクをテストすることを義務付ける提案を支持しており、86%がカリフォルニア州にとってAI安全規制を策定することが重要な優先事項であると考えていることがわかった。 [ 99 ] [ 100 ] [ 101 ] [ 102 ]質問は、「この提案では、次世代の最も強力なAIシステムを開発するカリフォルニア州の企業に対し、リリース前に安全リスクをテストすることを義務付ける。テストの結果、AIシステムが金融システムの混乱、電力網の停止、生物兵器の作成など、社会に壊滅的な被害をもたらす可能性があることが判明した場合、企業はこれらのリスクを防止するために合理的な安全対策を追加しなければならない。企業がテストを実施しない、または合理的な安全対策を採用しない場合、カリフォルニア州司法長官によって責任を問われる可能性がある。」というものだった。[ 99 ]
ccc_poll2が呼び出されましたが、定義されていません (ヘルプ ページを参照してください)。ccc_poll3が呼び出されましたが、定義されていません (ヘルプ ページを参照してください)。