敵対的機械学習

敵対的機械学習とは、機械学習アルゴリズムに対する攻撃と、そのような攻撃に対する防御を研究する分野です。^[1] 2020年5月の調査では、産業用アプリケーションにおける機械学習システムの保護を強化する必要性が切実に求められていると実務家が報告していることが明らかになりました。^[2]

ほとんどの機械学習技術は、トレーニング データとテスト データが同じ統計分布 ( IID ) から生成されるという仮定の下、特定の問題セットで機能するように設計されています。ただし、この仮定は、実際のハイステーク アプリケーションでは危険なほどに違反されることが多く、ユーザーが統計的仮定に違反する偽造データを意図的に提供することがあります。

敵対的機械学習における最も一般的な攻撃には、回避攻撃^[3]、 データ汚染攻撃^[4] 、ビザンチン攻撃^{[5] 、モデル抽出[6]}などがあります。

2004年1月のMITスパム会議で、ジョン・グラハム・カミングは、スパムメールをスパムではないと分類するためにスパムメールに追加すべき単語を自動的に学習することで、機械学習スパムフィルターを使用して別の機械学習スパムフィルターを破ることができることを示しました。^[7]

2004 年、Nilesh Dalvi らは、スパム フィルターで使用される線形分類器は、スパマーがスパム メールに「適切な単語」を挿入することで単純な「回避攻撃」によって破られる可能性があることを指摘しました。(2007 年頃、一部のスパマーは、 OCRベースのフィルターを破るために、「画像スパム」内の単語をぼかすためにランダム ノイズを追加しました。) 2006 年、Marco Barreno らは「機械学習は安全か?」を発表し、攻撃の広範な分類法を概説しました。2013 年になっても、多くの研究者は、非線形分類器 (サポート ベクター マシンやニューラル ネットワークなど) が敵に対して堅牢であるかもしれないと期待し続けていましたが、Battista Biggio らがそのような機械学習モデルに対する最初の勾配ベース攻撃を実証しました (2012 ^[8] –2013 ^[9] )。2012 年には、ディープ ニューラル ネットワークがコンピューター ビジョンの問題を支配し始めました。 2014年から、クリスチャン・セゲディらは、勾配ベースの攻撃を使用して敵対的な摂動を作り出すことで、深層ニューラルネットワークが敵対者に騙される可能性があることを実証しました。^{[10] [11]}

最近、環境の制約が異なるため、ノイズの影響を打ち消すために、実際の世界では敵対的攻撃を生成するのがより困難であることが観察されました。^{[12] [13]}たとえば、敵対的画像にわずかな回転やわずかな照明を加えると、敵対性が破壊される可能性があります。 さらに、Google Brain の Nicholas Frosst などの研究者は、敵対的なサンプルを作成するよりも、標識自体を物理的に削除することで、自動運転車に^{一時停止標識を見逃させる方がはるかに簡単であると指摘しています。 [15]} Frosst はまた、敵対的機械学習コミュニティが、特定のデータ分布でトレーニングされたモデルがまったく異なるデータ分布でも優れたパフォーマンスを発揮すると誤って想定していると考えています。 彼は、機械学習への新しいアプローチを探求する必要があると提案し、現在、最先端のアプローチよりも人間の知覚に近い特性を持つ独自のニューラルネットワークに取り組んでいます。^[15]

敵対的機械学習は依然として学術界に深く根ざしていますが、Google、Microsoft、IBMなどの大手テクノロジー企業は、機械学習モデルの堅牢性を具体的に評価し、敵対的攻撃のリスクを最小限に抑えることができるように、ドキュメントとオープンソースコードベースのキュレーションを開始しています。^{[16] [17] [18]}

例としては、スパムフィルタリング攻撃が挙げられ、スパムメッセージは「悪い」単語のスペルミスや「良い」単語の挿入によって難読化されます。^{[19] [20]}コンピュータセキュリティ攻撃では、ネットワークパケット内のマルウェアコードを難読化したり、侵入検知を誤らせるためにネットワークフローの特性を変更したりします。 ^{[21] [22]}生体認証攻撃では、偽の生体認証特性を利用して正当なユーザーになりすますことがあります。 ^[23]または、時間の経過とともに更新される特性に適応するユーザーのテンプレートギャラリーを侵害します。

研究者たちは、たった1ピクセルを変えるだけでディープラーニングのアルゴリズムを騙すことができることを実証した。^[24]また、 Googleの物体検出AIがカメをどの角度から見てもライフルとして分類するように設計されたテクスチャを持つおもちゃのカメを3Dプリントした研究者もいる。[25]このカメを作るのに必要なのは、市販されている低コストの3Dプリント技術だけだった。^{[26 ]}

機械で加工された犬の画像は、コンピューターと人間の両方にとって猫のように見えることが示されました。^[27] 2019年の研究では、人間は機械が敵対的な画像をどのように分類するかを推測できることが報告されています。^[28]研究者は、一時停止標識の外観を乱し、自動運転車がそれを合流標識または速度制限標識として分類する方法を発見しました。^{[14] [29]}

マカフィーはテスラの旧モービルアイシステムを攻撃し、速度制限標識に2インチの黒いテープを貼るだけで、制限速度を50mph超過して走行するように仕向けた。^{[30] [31]}

顔認識システムやナンバープレートリーダーを欺くために設計されたメガネや衣服の敵対的なパターンは、「ステルスストリートウェア」というニッチな産業を生み出しました。^[32]

ニューラルネットワークに対する敵対的攻撃により、攻撃者は標的のシステムにアルゴリズムを注入することができます。^[33]研究者は敵対的なオーディオ入力を作成し、インテリジェントアシスタントへのコマンドを一見無害なオーディオで偽装することもできます。^[34]同様の文献では、このような刺激に対する人間の知覚について調査しています。^{[35] [36]}

クラスタリングアルゴリズムはセキュリティアプリケーションで使用されます。マルウェアおよびコンピュータウイルスの分析は、マルウェアファミリーを識別し、特定の検出シグネチャを生成することを目的としています。^{[37] [38]}

（教師あり）機械学習アルゴリズムに対する攻撃は、分類器への影響、セキュリティ侵害、およびその特異性の 3つの主要な軸に沿って分類されています。 ^[39]

• 分類器への影響: 攻撃は分類段階を妨害することで分類器に影響を与えることができます。この段階の前に脆弱性を特定するための探索段階が行われる場合があります。攻撃者の能力はデータ操作の制約によって制限される可能性があります。^[40]
• セキュリティ違反: 攻撃により、正当なデータとして分類される悪意のあるデータが提供される場合があります。トレーニング中に悪意のあるデータが提供されると、トレーニング後に正当なデータが拒否される可能性があります。
• 特異性: 標的型攻撃は、特定の侵入や妨害を許そうとします。一方、無差別攻撃は、一般的な混乱を引き起こします。

この分類法は、敵対者の目的、攻撃対象システムに関する知識、入力データ/システムコンポーネントを操作する能力、攻撃戦略について明確な仮定を可能にする、より包括的な脅威モデルに拡張されました。^{[41] [42]}この分類法はさらに、敵対的攻撃に対する防御戦略の次元を含むように拡張されました。^[43]

以下は、最も一般的に発生する攻撃シナリオの一部です。

ポイズニングとは、出力のエラーを増やすように設計されたデータでトレーニングデータセットを汚染することです。学習アルゴリズムはトレーニングデータセットによって形成されるため、ポイズニングは悪意のある意図でアルゴリズムを効果的に再プログラムすることができます。特に、コンテンツ推奨や自然言語モデルなどのユーザー生成トレーニングデータについては懸念が高まっています。偽アカウントの遍在は、ポイズニングの機会を多く提供します。Facebookは、年間約70億の偽アカウントを削除していると報告されています。^{[44] [45]}ポイズニングは、産業用途における最大の懸念事項として報告されています。^[2]

ソーシャル メディアでは、偽情報キャンペーンによって推奨およびモデレーション アルゴリズムに偏りが生じ、特定のコンテンツが他のコンテンツよりも優先されるようになります。

データ汚染の特別な例としてはバックドア攻撃^[46]があり、これは画像、音声、ビデオ、テキストの小さな欠陥など、特定のトリガーによる入力に対して特定の動作を教えることを目的としています。

例えば、侵入検知システムは収集されたデータを使用してトレーニングされることが多い。攻撃者は、運用中に悪意のあるサンプルを注入してこのデータを汚染し、その後の再トレーニングを妨害する可能性がある。^{[41] [42] [39] [47] [48]}

データポイズニング技術はテキストから画像へのモデルに適用して出力を変更することも可能であり、アーティストはこれを利用して著作権で保護された作品や芸術的スタイルを模倣から守ることができる。^[49]

データ汚染は、モデルが合成データで訓練されている場合、モデルの崩壊によって意図せず発生することもあります。^[50]

機械学習は規模が大きくなると、複数のコンピューティングマシンに依存することが多くなります。たとえば、フェデレーテッドラーニングでは、エッジデバイスが中央サーバーと連携し、通常は勾配やモデルパラメータを送信します。ただし、これらのデバイスの一部は、中央サーバーのモデルに損害を与えたり [51]、アルゴリズムを特定の動作に偏らせたりするなど、予想される動作から逸脱する場合があります（^偽情報コンテンツの推奨を増幅するなど）。一方、トレーニングが単一のマシンで実行される場合、モデルはマシンの障害やマシンへの攻撃に対して非常に脆弱になります。マシンは単一障害点です。^[52]実際、マシンの所有者が自分で検出不可能なバックドアを挿入することもあります。^[53]

（分散）学習アルゴリズムを少数の悪意のある（ビザンチン）参加者に対して証明可能な耐性を持たせるための現在の主要なソリューションは、堅牢な勾配集約ルールに基づいています。^{[54] [55] [56] [57] [58] [59]}堅牢な集約ルールは、特に参加者間のデータが非iid分布である場合に常に機能するとは限りません。しかし、推奨アルゴリズムの消費習慣や言語モデルの文章スタイルが異なるユーザーなど、異質な正直な参加者のコンテキストでは、堅牢な学習アルゴリズムが保証できることに関する証明可能な不可能性定理があります。^{[5] [60]}

回避攻撃^{[9] [41] [42] [61]}は、訓練されたモデルの不完全さを悪用するものである。例えば、スパマーやハッカーは、スパムメールやマルウェアの内容を難読化することで検出を逃れようとすることが多い。サンプルは検出を逃れるために、つまり正当なものとして分類されるように改変される。これには訓練データへの影響は含まれない。回避の明確な例としては、スパムコンテンツが添付画像内に埋め込まれ、アンチスパムフィルターによるテキスト分析を逃れる画像ベースのスパムが挙げられる。回避の別の例としては、生体認証システムに対するスプーフィング攻撃が挙げられる。^[23]

回避攻撃は一般的にブラックボックス攻撃とホワイトボックス攻撃の2つのカテゴリに分けられます。^[17]

モデル抽出では、攻撃者がブラックボックスの機械学習システムを調査し、そのシステムがトレーニングされたデータを抽出します。^{[62] [63]} トレーニングデータまたはモデル自体が機密性の高いものである場合、問題が発生する可能性があります。たとえば、モデル抽出を使用して独自の株式取引モデルを抽出し、攻撃者がそれを自分の金銭的利益のために使用できる可能性があります。

極端なケースでは、モデル抽出によってモデル盗難が発生する可能性があります。これは、モデルを完全に再構築できるように十分な量のデータをモデルから抽出することを意味します。

一方、メンバーシップ推論は、データポイントの所有者を推論する標的型モデル抽出攻撃であり、多くの場合、機械学習の不十分な実践から生じる過剰適合を利用しています。^[64]懸念されるのは、ターゲットモデルのパラメータに関する知識やアクセスがなくてもこれが達成できることがあるため、医療記録や個人を特定できる情報を含むがこれらに限定されない機密データでトレーニングされたモデルのセキュリティ上の懸念が生じていることです。転移学習の出現と多くの最先端の機械学習モデルの公開により、テクノロジー企業は公開モデルに基づいてモデルを作成する傾向が強まっており、使用されているモデルの構造とタイプに関する情報が攻撃者に自由にアクセスできるようになっています。^[64]

敵対的深層強化学習は、学習したポリシーの脆弱性に焦点を当てた強化学習の研究が活発に行われている分野です。この研究分野では、強化学習ポリシーが知覚できない敵対的操作の影響を受けやすいことが最初にいくつかの研究で示されました。^{[65] [66]}これらの脆弱性を克服するためにいくつかの方法が提案されていますが、最新の研究では、これらの提案されたソリューションは、深層強化学習ポリシーの現在の脆弱性を正確に表現するにはほど遠いことが示されています。^[67]

音声認識に対する敵対的攻撃は、音声テキスト変換アプリケーション、特にMozillaのDeepSpeechの実装に対して導入されています。^[68]

線形モデルにおける敵対的攻撃に関する文献は増えています。実際、Goodfellowら^[69]の独創的な研究以来、線形モデルにおけるこれらのモデルの研究は、敵対的攻撃が機械学習モデルにどのような影響を与えるかを理解するための重要なツールとなっています。これらのモデルの分析は、線形回帰と分類の問題における敵対的攻撃の計算を簡素化できるため、簡素化されています。さらに、この場合、敵対的トレーニングは凸型です。^[70]

線形モデルは、最先端のモデルで観察される現象を再現しながら解析的な分析を可能にする。その代表的な例の1つは、このモデルを使用して堅牢性と精度のトレードオフを説明する方法です。^{[71]線形モデルにおける敵対的攻撃の分析は、分類[72]}や線形回帰[73]の漸近解析など、さまざまな研究で提供されています。^[74] そして^、ラデマッハ複雑性に基づく有限サンプル解析。^[75]

機械学習システムに対して使用される敵対的攻撃にはさまざまな種類があります。これらの多くは、深層学習システムだけでなく、 SVM ^[8]や 線形回帰^[76]などの従来の機械学習モデルでも機能します。これらの攻撃タイプの大まかなサンプルは次のとおりです。

• 敵対的例^[77]
• トロイの木馬攻撃/バックドア攻撃^[78]
• モデル反転^[79]
• メンバーシップ推論^[80]

敵対的サンプルとは、人間には「普通」に見えるが、機械学習モデルには誤分類を引き起こすように特別に作成された入力を指します。多くの場合、誤分類を誘発するために、特別に設計された「ノイズ」の形式が使用されます。以下は、文献に記載されている敵対的サンプルを生成するための現在の手法の一部です (決して網羅的なリストではありません)。

• 勾配ベースの回避攻撃^[9]
• 高速勾配符号法（FGSM）^[81]
• 投影勾配降下法（PGD）^[82]
• カルリーニとワーグナー（C&W）の攻撃^[83]
• 敵対的パッチ攻撃^[84]

敵対的機械学習におけるブラックボックス攻撃は、敵対者が与えられた入力に対して出力しか得られず、モデル構造やパラメータについての知識がないことを前提としています。^{[17] [85]}この場合、敵対的サンプルは、最初から作成されたモデルを使用して生成されるか、モデルをまったく使用せずに生成されます（元のモデルを照会する機能は除く）。いずれの場合も、これらの攻撃の目的は、問題のブラックボックスモデルに転送できる敵対的サンプルを作成することです。^[86]

シンプルなブラックボックス敵対的攻撃は、ブラックボックス画像分類器を攻撃するためのクエリ効率の高い方法です。^[87]

でランダムな正規直交基底を取ります。著者らは、標準基底（ピクセル）の 離散コサイン変換を提案しました。${\displaystyle v_{1},v_{2},\dots ,v_{d}}$${\displaystyle \mathbb {R} ^{d}}$

正しく分類された画像 については、 を試し、 における分類器の誤差の量を比較します。誤差が最も大きくなるものを選択します。 ${\displaystyle x}$${\displaystyle x+\epsilon v_{1},x-\epsilon v_{1}}$${\displaystyle x+\epsilon v_{1},x,x-\epsilon v_{1}}$

分類器のエラーが目的のレベルに達するまで これを繰り返します。${\displaystyle v_{2},v_{3},\dots }$

この発見は、著者らがガウス過程に基づく以前のブラックボックス敵対的攻撃アルゴリズムと比較するための単純なベースラインを設計したときに行われ、そのベースラインがさらに優れた結果を示したことに驚いた。^[88]

スクエア攻撃は、勾配情報を必要とせずに分類スコアを照会することに基づくブラックボックス回避敵対的攻撃として2020年に導入されました。^[89]スコアベースのブラックボックス攻撃であるこの敵対的アプローチは、モデル出力クラス全体の確率分布を照会できますが、モデル自体には他の方法でアクセスできません。論文の著者によると、提案されたスクエア攻撃は、当時の最先端のスコアベースのブラックボックス攻撃と比較して、より少ないクエリを必要としました。^[89]

関数の目的を記述するために、攻撃は分類器を と定義します。ここで、 は入力の次元を表し、 は出力クラスの総数を表します。は、入力がクラス に属するスコア（または 0 から 1 の間の確率）を返します。これにより、任意の入力に対する分類器のクラス出力を と定義できます。この攻撃の目標は次のとおりです。^[89]${\textstyle f:[0,1]^{d}\rightarrow \mathbb {R} ^{K}}$${\textstyle d}$${\textstyle K}$${\textstyle f_{k}(x)}$${\textstyle x}$${\textstyle k}$${\textstyle x}$${\textstyle {\text{argmax}}_{k=1,...,K}f_{k}(x)}$

$${\displaystyle {\text{argmax}}_{k=1,...,K}f_{k}({\hat {x}})\neq y,||{\hat {x}}-x||_{p}\leq \epsilon {\text{ and }}{\hat {x}}\in [0,1]^{d}}$$

言い換えれば、とが類似しているという制約の下で、分類器が誤って他のクラスに分類してしまうような、乱れた敵対的サンプルを見つけることである。この論文では損失を次のように定義し、敵対的サンプルを見つけるための解決策として、以下の制約付き最適化問題を解くことを提案している。^[89]${\textstyle {\hat {x}}}$${\textstyle {\hat {x}}}$${\textstyle x}$ ${\textstyle L}$${\textstyle L(f({\hat {x}}),y)=f_{y}({\hat {x}})-\max _{k\neq y}f_{k}({\hat {x}})}$${\textstyle {\hat {x}}}$

$${\displaystyle \min _{{\hat {x}}\in [0,1]^{d}}L(f({\hat {x}}),y),{\text{ s.t. }}||{\hat {x}}-x||_{p}\leq \epsilon }$$

理論上、その結果は、間違ったクラスに非常に自信を持っているが、元の画像と非常に似ている敵対的サンプルです。そのようなサンプルを見つけるために、スクエア アタックは反復ランダム検索技術を使用して、目的関数を改善することを期待して画像をランダムに乱します。各ステップで、アルゴリズムはピクセルの小さな正方形セクションのみを乱します。これがスクエア アタックという名前です。このアルゴリズムは、クエリの効率を向上させるために敵対的サンプルが見つかるとすぐに終了します。最後に、攻撃アルゴリズムはスコアを使用し、勾配情報を使用しないため、このアプローチは、以前は回避攻撃を防ぐために使用されていた一般的な手法である勾配マスキングの影響を受けないことが論文の著者によって示されています。^[89]

このブラック ボックス攻撃は、クエリ効率の高い攻撃としても提案されていますが、これは入力の予測出力クラスへのアクセスのみに依存します。言い換えると、HopSkipJump 攻撃では、Square Attack のように勾配を計算したりスコア値にアクセスしたりする機能は必要なく、モデルのクラス予測出力 (任意の入力に対して) のみが必要になります。提案された攻撃は、ターゲット設定と非ターゲット設定の 2 つの異なる設定に分かれていますが、どちらも、異なるモデル出力につながる最小限の摂動を追加するという一般的なアイデアから構築されています。ターゲット設定では、モデルが摂動された画像を特定のターゲット ラベル (元のラベルではない) に誤分類するようにすることが目標です。非ターゲット設定では、モデルが摂動された画像を元のラベルではない任意のラベルに誤分類するようにすることが目標です。両方の攻撃目標は次のとおりです。は元の画像、は敵対画像、は画像間の距離関数、はターゲット ラベル、はモデルの分類クラス ラベル関数です。^[90]${\textstyle x}$${\textstyle x^{\prime }}$${\textstyle d}$${\textstyle c^{*}}$${\textstyle C}$

$${\displaystyle {\textbf {Targeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })=c^{*}}$$

$${\displaystyle {\textbf {Untargeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })\neq C(x)}$$

この問題を解決するために、攻撃では非標的設定と​​標的設定の両方に対して次の境界関数を提案している。 ^[90]${\textstyle S}$

$${\displaystyle S(x^{\prime }):={\begin{cases}\max _{c\neq C(x)}{F(x^{\prime })_{c}}-F(x^{\prime })_{C(x)},&{\text{(Untargeted)}}\\F(x^{\prime })_{c^{*}}-\max _{c\neq c^{*}}{F(x^{\prime })_{c}},&{\text{(Targeted)}}\end{cases}}}$$

これをさらに単純化することで、異なる潜在的な敵対的例間の境界をより視覚的にわかりやすくすることができる。^[90]

$${\displaystyle S(x^{\prime })>0\iff {\begin{cases}argmax_{c}F(x^{\prime })\neq C(x),&{\text{(Untargeted)}}\\argmax_{c}F(x^{\prime })=c^{*},&{\text{(Targeted)}}\end{cases}}}$$

この境界関数を使用して、攻撃は反復アルゴリズムに従い、攻撃の目的を満たす 特定の画像の敵対的サンプルを見つけます。${\textstyle x^{\prime }}$${\textstyle x}$

1. ある時点に初期化する${\textstyle x}$${\textstyle S(x)>0}$
2. 以下を繰り返す
   1. 境界探索
   2. グラデーションの更新
      • 勾配を計算する
      • ステップサイズを見つける

境界探索では、修正された二分探索を使用して、境界（ によって定義される）がとの間の線と交差する点を探します。次のステップでは、 の勾配を計算し、この勾配と事前に選択されたステップサイズを使用して元の画像を更新します。HopSkipJumpの著者は、この反復アルゴリズムが収束し、元の画像に非常に近い距離にある境界に沿った点につながることを証明しています。^[90]${\textstyle S}$${\textstyle x}$${\textstyle x^{\prime }}$${\textstyle x}$${\textstyle x}$${\textstyle x}$

しかし、HopSkipJumpは提案されたブラックボックス攻撃であり、上記の反復アルゴリズムは2番目の反復ステップで勾配を計算する必要があるため（ブラックボックス攻撃ではアクセスできない）、著者らはモデルの出力予測のみを必要とする勾配計算のソリューションを提案している。^[90]と表記されるすべての方向に多数のランダムベクトルを生成することにより、画像 上の境界関数の符号で重み付けされたこれらのランダムベクトルの平均を使用して勾配の近似値を計算できます。ここで、はランダムベクトルの摂動のサイズです。^[90]${\textstyle u_{b}}$${\textstyle x^{\prime }+\delta _{u_{b}}}$${\textstyle \delta _{u_{b}}}$

$${\displaystyle \nabla S(x^{\prime },\delta )\approx {\frac {1}{B}}\sum _{b=1}^{B}\phi (x^{\prime }+\delta _{u_{b}})u_{b}}$$

上記の式の結果は、反復アルゴリズムのステップ2で必要な勾配に近い近似値を与え、HopSkipJumpをブラックボックス攻撃として完成させます。^{[91] [92] [90]}

ホワイトボックス攻撃は、攻撃者が入力されたラベルを取得できることに加えて、モデルパラメータにもアクセスできることを前提としています。^[86]

敵対的サンプルを生成するための最初の攻撃法の 1 つは、Google の研究者であるIan J. Goodfellow、Jonathon Shlens、Christian Szegedy によって提案されました。^[93]この攻撃法は高速勾配符号法 (FGSM) と呼ばれ、画像に知覚できないノイズを線形に追加し、モデルが画像を誤って分類するようにします。このノイズは、撹乱する画像に対する勾配の符号に小さな定数イプシロンを掛けて計算されます。イプシロンが増加すると、モデルが騙される可能性が高くなりますが、撹乱も識別しやすくなります。以下に示すのは、敵対的サンプルを生成するための式です。は元の画像、は非常に小さな数値、は勾配関数、は損失関数、はモデルの重み、は真のラベルです。^[94]${\textstyle x}$${\textstyle \epsilon }$${\textstyle \Delta _{x}}$${\textstyle J}$${\textstyle \theta }$${\textstyle y}$

$${\displaystyle adv_{x}=x+\epsilon \cdot sign(\Delta _{x}J(\theta ,x,y))}$$

この式の重要な特性の 1 つは、目標が真のラベルの元の画像の損失を最大化する画像を生成することであるため、勾配が入力画像に対して計算されることです。従来の勾配降下法(モデルトレーニング用) では、目標が真実のデータセットでのモデルの損失を最小化することであるため、勾配を使用してモデルの重みを更新します。高速勾配符号法は、ニューラルネットワークは入力に対する線形量の摂動にも抵抗できないという仮説に基づいて、モデルを回避するための敵対的サンプルを高速に生成する方法として提案されました。^{[95] [94] [93]} FGSM は、画像分類や骨格動作認識に対する敵対的攻撃に効果的であることが示されています。^[96]${\textstyle y}$

既存の敵対的攻撃と防御を分析する取り組みの一環として、カリフォルニア大学バークレー校の研究者ニコラス・カルリーニとデビッド・ワグナーは2016年に、敵対的サンプルを生成するためのより高速で堅牢な方法を提案しました。^[97]

カルリーニとワグナーが提案した攻撃は、難しい非線形最適化方程式を解くことから始まる。^[63]

$${\displaystyle \min(||\delta ||_{p}){\text{ subject to }}C(x+\delta )=t,x+\delta \in [0,1]^{n}}$$

ここでの目的は、元の入力に追加されるノイズ（）を最小化することであり、機械学習アルゴリズム（）は、デルタ（または）を含む元の入力を他のクラスとして予測する。しかし、上記の式を直接使う代わりに、CarliniとWagnerは次のような新しい関数を使うことを提案している。^[63]${\textstyle \delta }$${\textstyle x}$${\textstyle C}$${\textstyle x+\delta }$${\textstyle t}$${\textstyle f}$

$${\displaystyle C(x+\delta )=t\iff f(x+\delta )\leq 0}$$

これにより、最初の方程式は以下の問題に要約されます。^[63]

$${\displaystyle \min(||\delta ||_{p}){\text{ subject to }}f(x+\delta )\leq 0,x+\delta \in [0,1]^{n}}$$

さらに以下の式にも当てはまる：^[63]

$${\displaystyle \min(||\delta ||_{p}+c\cdot f(x+\delta )),x+\delta \in [0,1]^{n}}$$

カルリーニとワグナーは、与えられた入力に対するクラス確率を決定する関数である の代わりに、以下の関数を使用することを提案している。を に代入すると、この式は、次に可能性の高いクラスよりも一定量だけ信頼性が高いターゲットクラスを見つけるものと考えることができる。^[63]${\textstyle f}$${\textstyle Z}$${\textstyle x}$

$${\displaystyle f(x)=([\max _{i\neq t}Z(x)_{i}]-Z(x)_{t})^{+}}$$

勾配降下法を使用して解くと、この方程式は、かつて敵対的サンプルに対して有効であると提案された防御蒸留を回避することもできる高速勾配符号法と比較して、より強力な敵対的サンプルを生成することができる。^{[98] [99] [97] [63]}

研究者たちは機械学習を保護するための多段階アプローチを提案している。^[11]

• 脅威のモデル化 - ターゲット システムに関して攻撃者の目的と能力を形式化します。
• 攻撃シミュレーション - 攻撃者が解決しようとする最適化問題を、考えられる攻撃戦略に従って形式化します。
• 攻撃の影響評価
• 対策設計
• ノイズ検出（回避ベースの攻撃用）^[100]
• 情報ロンダリング – 敵対者が受け取った情報を改ざんする（モデル窃盗攻撃用）^[63]

回避、ポイズニング、プライバシー攻撃に対する防御メカニズムとして、次のようなものが提案されています。

• 安全な学習アルゴリズム^{[20] [101] [102]}
• ビザンチン耐性アルゴリズム^{[54] [5]}
• 多重分類システム^{[19] [103]}
• AIが書いたアルゴリズム。^[33]
• トレーニング環境を探索するAI。例えば、画像認識では、固定された2D画像セットを受動的にスキャンするのではなく、3D環境を能動的にナビゲートします。^[33]
• プライバシー保護学習^{[42] [104]}
• Kaggleスタイルのコンペティションのためのラダーアルゴリズム
• ゲーム理論モデル^{[105] [106] [107]}
• トレーニングデータのサニタイズ
• 敵対的訓練^{[81] [22]}
• バックドア検出アルゴリズム^[108]
• 勾配マスキング/難読化技術：ホワイトボックス攻撃で勾配を悪用する攻撃者を防ぐ。この防御ファミリーは、これらのモデルが依然としてブラックボックス攻撃に対して脆弱であるか、他の方法で回避できるため、信頼できないと見なされています。^[109]
• 文献ではモデルのアンサンブルが提案されているが、それらに依存する際には注意が必要である。通常、弱い分類器をアンサンブルするとより正確なモデルが得られるが、敵対的な状況には当てはまらないようだ。^[110]

• パターン認識
• Fawkes（画像クローキングソフトウェア）
• 生成的敵対ネットワーク

• MITRE ATLAS: 人工知能システムに対する敵対的脅威の状況
• NIST 8269 ドラフト: 敵対的機械学習の分類と用語
• NIPS 2007 コンピュータセキュリティのための敵対的環境における機械学習に関するワークショップ
• AlfaSVMLib 2020-09-24 にWayback Machineにアーカイブ– サポートベクターマシンに対する敵対的ラベルフリップ攻撃
• Laskov, Pavel; Lippmann, Richard (2010). 「敵対的環境における機械学習」.機械学習. 81 (2): 115–119. doi :10.1007/s10994-010-5207-6. S2CID  12567278.
• Dagstuhl Perspectives ワークショップ「コンピュータ セキュリティのための機械学習手法」
• 人工知能とセキュリティに関するワークショップ（AISec）シリーズ