敵対的機械学習

単純なブラックボックス敵対的攻撃は、ブラックボックス画像分類器を攻撃するためのクエリ効率の良い方法です。^{[ 96 ]}

ランダムな正規直交基底を取得する${\displaystyle v_{1},v_{2},\dots ,v_{d}}$で$\displaystyle \mathbb {R} ^{d}}$著者らは、標準基底（ピクセル）の離散コサイン変換を提案した。

正しく分類された画像の場合${\displaystyle x}$、 試す${\displaystyle x+\epsilon v_{1},x-\epsilon v_{1}}$分類器のエラー量を比較する${\displaystyle x+\epsilon v_{1},x,x-\epsilon v_{1}}$最も多くのエラーを引き起こすものを選んでください。

これを繰り返して${\displaystyle v_{2},v_{3},\dots }$分類器における所望の誤差レベルに達するまで。

著者らがガウス過程に基づく以前のブラックボックス敵対的攻撃アルゴリズムと比較するための単純なベースラインを設計した際に発見され、そのベースラインがさらに優れた性能を発揮したことに驚いた。^{[ 97 ]}

Square 攻撃は、勾配情報を必要とせずに分類スコアを照会することに基づくブラックボックス回避型の敵対的攻撃手法として 2020 年に導入されました。^{[ 98 ]}スコアベースのブラックボックス攻撃として、この敵対的アプローチはモデル出力クラス全体の確率分布を照会できますが、モデル自体にはアクセスできません。論文の著者によると、提案された Square 攻撃は、当時最先端のスコアベースのブラックボックス攻撃と比較して、必要なクエリ数が少なくて済みました。^{[ 98 ]}

機能の目的を説明するために、攻撃では分類器を次のように定義します。${\textstyle f:[0,1]^{d}\rightarrow \mathbb {R} ^{K}}$、 と${\textstyle d}$入力の次元を表し、${\textstyle K}$出力クラスの総数として。${\textstyle f_{k}(x)}$入力が${\textstyle x}$クラスに属する${\textstyle k}$これにより、任意の入力に対して分類器のクラス出力が可能になります。${\textstyle x}$定義される${\textstyle {\text{argmax}}_{k=1,...,K}f_{k}(x)}$この攻撃の目的は以下のとおりです。^{[ 98 ]}

$$\displaystyle \text{argmax}}_{k=1,...,K}f_{k}({\hat {x}})\neq y,||{\hat {x}}-x||_{p}\leq \epsilon \text{ かつ }}{\hat {x}}\in [0,1]^{d}}$$

言い換えれば、何らかの摂動を受けた敵対的サンプルを見つけること${\textstyle {\hat {x}}}$分類器が、制約の下でそれを誤って別のクラスに分類することになる。${\textstyle {\hat {x}}}$そして${\textstyle x}$類似している。次に、論文では損失を定義する。${\textstyle L}$として${\textstyle L(f({\hat {x}}),y)=f_{y}({\hat {x}})-\max _{k\neq y}f_{k}({\hat {x}})}$そして、敵対的サンプルを見つけるための解決策を提案する。${\textstyle {\hat {x}}}$以下の制約付き最適化問題を解く場合：^{[ 98 ]}

$${\displaystyle \min _{{\hat {x}}\in [0,1]^{d}}L(f({\hat {x}}),y),{\text{ s.t. }}||{\hat {x}}-x||_{p}\leq \epsilon }$$

理論上、結果として得られる敵対的サンプルは、誤ったクラスに非常に自信を持っているが、元の画像と非常によく似ている。このようなサンプルを見つけるために、Square Attack は反復ランダム検索技術を利用して画像をランダムに摂動させ、目的関数の改善を目指します。各ステップで、アルゴリズムは小さな正方形のピクセル領域のみを摂動させるため、Square Attack という名前が付けられ、クエリ効率を向上させるために敵対的サンプルが見つかるとすぐに終了します。最後に、この攻撃アルゴリズムはスコアを使用し、勾配情報は使用しないため、このアプローチは、以前は回避攻撃を防ぐために使用されていた一般的な技術である勾配マスキングの影響を受けないことが論文の著者らによって示されています。^{[ 98 ]}

このブラックボックス攻撃は、クエリ効率の良い攻撃としても提案されましたが、入力の予測出力クラスへのアクセスのみに依存します。言い換えれば、HopSkipJump攻撃は、Square Attackのように勾配を計算したりスコア値にアクセスしたりする機能を必要とせず、モデルのクラス予測出力（任意の入力に対して）のみを必要とします。提案された攻撃は、ターゲット設定と非ターゲット設定の2つの異なる設定に分かれていますが、どちらも、異なるモデル出力につながる最小限の摂動を追加するという一般的なアイデアに基づいています。ターゲット設定では、モデルが摂動された画像を特定のターゲットラベル（元のラベルではない）に誤分類するようにすることが目標です。非ターゲット設定では、モデルが摂動された画像を元のラベルではない任意のラベルに誤分類するようにすることが目標です。両方の攻撃目標は次のとおりです。${\textstyle x}$オリジナル画像です。${\textstyle x^{\prime }}$は敵対的イメージであり、${\textstyle d}$画像間の距離関数です。${\textstyle c^{*}}$はターゲットラベルであり、${\textstyle C}$はモデルの分類クラスラベル関数です: ^{[ 99 ]}

$${\displaystyle {\textbf {Targeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })=c^{*}}$$

$${\displaystyle {\textbf {Untargeted:}}\min _{x^{\prime }}d(x^{\prime },x){\text{ subject to }}C(x^{\prime })\neq C(x)}$$

この問題を解決するために、攻撃者は以下の境界関数を提案する。${\textstyle S}$非標的設定と​​標的設定の両方について：^{[ 99 ]}

$${\displaystyle S(x^{\prime }):={\begin{cases}\max _{c\neq C(x)}{F(x^{\prime })_{c}}-F(x^{\prime })_{C(x)},&{\text{(Untargeted)}}\\F(x^{\prime })_{c^{*}}-\max _{c\neq c^{*}}{F(x^{\prime })_{c}},&{\text{(Targeted)}}\end{cases}}}$$

これは、異なる潜在的な敵対的サンプル間の境界をよりよく視覚化するためにさらに単純化できます。^{[ 99 ]}

$${\displaystyle S(x^{\prime })>0\iff {\begin{cases}argmax_{c}F(x^{\prime })\neq C(x),&{\text{(Untargeted)}}\\argmax_{c}F(x^{\prime })=c^{*},&{\text{(Targeted)}}\end{cases}}}$$

この境界関数を用いると、攻撃は反復アルゴリズムに従って敵対的サンプルを見つける。${\textstyle x^{\prime }}$特定の画像に対して${\textstyle x}$それは攻撃目標を満たす。

1. 初期化${\textstyle x}$ある時点で${\textstyle S(x)>0}$
2. 以下を繰り返します
   1. 境界探索
   2. グラデーションの更新
      • 勾配を計算する
      • ステップサイズを見つける

境界探索は、修正された二分探索を使用して境界（定義による）の点を見つけます。${\textstyle S}$) は、${\textstyle x}$そして${\textstyle x^{\prime }}$次のステップでは、勾配を計算します。${\textstyle x}$オリジナルを更新${\textstyle x}$この勾配と事前に選択されたステップサイズを使用します。HopSkipJumpの著者らは、この反復アルゴリズムが収束することを証明し、${\textstyle x}$境界線に沿った、元の画像と非常に近い距離にある点まで。^{[ 99 ]}

しかし、HopSkipJumpはブラックボックス攻撃として提案されており、上記の反復アルゴリズムでは2番目の反復ステップで勾配の計算が必要となるため（ブラックボックス攻撃ではこの勾配にアクセスできない）、著者らはモデルの出力予測のみを必要とする勾配計算の解決策を提案している。^{[ 99 ]}すべての方向に多数のランダムベクトルを生成することにより、${\textstyle u_{b}}$勾配の近似値は、画像上の境界関数の符号で重み付けされたこれらのランダムベクトルの平均を使用して計算できます。${\textstyle x^{\prime }+\delta _{u_{b}}}$、 どこ${\textstyle \delta _{u_{b}}}$はランダムベクトル摂動のサイズです: ^{[ 99 ]}

$${\displaystyle \nabla S(x^{\prime },\delta )\approx {\frac {1}{B}}\sum _{b=1}^{B}\phi (x^{\prime }+\delta _{u_{b}})u_{b}}$$

上記の式の結果は、反復アルゴリズムのステップ 2 で必要とされる勾配の近似値を与え、HopSkipJump をブラックボックス攻撃として完成させます。^{[ 100 ] [ 101 ] [ 99 ]}

敵対的サンプルを生成するための最初の攻撃手法の1つは、Googleの研究者であるIan J. Goodfellow、Jonathon Shlens、およびChristian Szegedyによって提案されました。^{[ 102 ]}この攻撃は高速勾配符号法（FGSM）と呼ばれ、画像に知覚できない量の線形ノイズを追加し、モデルがそれを誤って分類するように仕向けます。このノイズは、摂動させたい画像に関する勾配の符号に小さな定数εを乗じることで計算されます。εが増加すると、モデルは騙されやすくなりますが、摂動も識別しやすくなります。以下に、敵対的サンプルを生成するための式を示します。${\textstyle x}$オリジナル画像です。${\textstyle \epsilon }$非常に小さな数です。${\textstyle \Delta _{x}}$は勾配関数です。${\textstyle J}$損失関数は、${\textstyle \theta }$はモデルの重みであり、${\textstyle y}$が真のラベルです。^{[ 103 ]}

$${\displaystyle adv_{x}=x+\epsilon \cdot sign(\Delta _{x}J(\theta ,x,y))}$$

この方程式の重要な特性の一つは、勾配が入力画像に関して計算される点です。これは、真のラベルの元の画像に対する損失を最大化する画像を生成することが目的だからです。${\textstyle y}$従来の勾配降下法（モデル学習用）では、正解データセットにおけるモデルの損失を最小化することが目標であるため、勾配を使用してモデルの重みを更新します。高速勾配符号法は、ニューラルネットワークは入力に対する線形量の摂動にも抵抗できないという仮説に基づいて、モデルを回避するための敵対的サンプルを高速に生成する方法として提案されました。^{[ 104 ] [ 103 ] [ 102 ]} FGSMは、画像分類や骨格動作認識に対する敵対的攻撃で効果的であることが示されています。^{[ 105 ]}

既存の敵対的攻撃と防御を分析する取り組みとして、カリフォルニア大学バークレー校の研究者であるニコラス・カルリーニとデビッド・ワグナーは、 2016年に敵対的サンプルを生成するためのより高速で堅牢な方法を提案した。^{[ 106 ]}

CarliniとWagnerが提案した攻撃は、難しい非線形最適化方程式を解くことから始まります。^{[ 70 ]}

$${\displaystyle \min(||\delta ||_{p}){\text{ subject to }}C(x+\delta )=t,x+\delta \in [0,1]^{n}}$$

ここでの目的はノイズを最小限に抑えることです（${\textstyle \delta }$）を元の入力に追加します${\textstyle x}$機械学習アルゴリズム（${\textstyle C}$）はデルタ（または）で元の入力を予測します${\textstyle x+\delta }$）他のクラスとして${\textstyle t}$しかし、上記の式を直接用いる代わりに、カルリーニとワグナーは新しい関数を用いることを提案している。${\textstyle f}$したがって：^{[ 70 ]}

$${\displaystyle C(x+\delta )=t\iff f(x+\delta )\leq 0}$$

これは最初の式を以下の問題に要約したものです。^{[ 70 ]}

$${\displaystyle \min(||\delta ||_{p}){\text{ subject to }}f(x+\delta )\leq 0,x+\delta \in [0,1]^{n}}$$

さらに、以下の式にも当てはまります。^{[ 70 ]}

$${\displaystyle \min(||\delta ||_{p}+c\cdot f(x+\delta )),x+\delta \in [0,1]^{n}}$$

カルリーニとワグナーは、以下の関数を代わりに使うことを提案している。${\textstyle f}$使用${\textstyle Z}$入力されたクラス確率を決定する関数${\textstyle x}$代入すると、この方程式は、次に可能性の高いクラスよりも一定量だけ確信度が高いターゲットクラスを見つけるものと考えることができます。^{[ 70 ]}

$${\displaystyle f(x)=([\max _{i\neq t}Z(x)_{i}]-Z(x)_{t})^{+}}$$

勾配降下法を用いて解くと、この方程式は、かつて敵対的サンプルに対して有効であると提案された防御的蒸留を回避することもできる高速勾配符号法と比較して、より強力な敵対的サンプルを生成することができる。^{[ 107 ] [ 108 ] [ 106 ] [ 70 ]}