ビジョントランスフォーマー

ビジョントランスフォーマー（ViT）は、コンピュータビジョン用に設計されたトランスフォーマーです。^[1] ViTは、入力画像を一連のパッチ（テキストをトークンに分解するのではなく）に分解し、各パッチをベクトルにシリアル化し、単一の行列乗算でより小さな次元にマッピングします。これらのベクトル埋め込みは、トランスフォーマーエンコーダーによってトークン埋め込みであるかのように 処理されます。

ViTは、コンピュータービジョンアプリケーションにおける畳み込みニューラルネットワーク（CNN）の代替として設計されました。それらは、異なる帰納的バイアス、トレーニングの安定性、およびデータ効率を備えています。^[2] CNNと比較すると、ViTはデータ効率が低くなりますが、容量は高くなります。現代の最大のコンピュータービジョンモデルのいくつかはViTであり、220億のパラメータを持つものもあります。^{[3] [4] 2024年には、}天気と気候の予測のために1130億パラメータのViTモデル（これまでで最大のViT）が提案され、 1.6エクサフロップスのスループットを持つフロンティアスーパーコンピューターでトレーニングされました。^[5]

発表後、ViTとCNNの両方の特徴を備えたハイブリッドアーキテクチャを備えた多くの変種が提案されました。ViTは、画像認識、画像セグメンテーション、自動運転などの分野で応用されています。^{[6] [7]}

TransformerはAttention Is All You Need (2017) ^[8]で導入され、自然言語処理で広く使用されています。2019年の論文^[9]では、 Transformerのアイデアをコンピュータービジョンに適用しました。具体的には、コンピュータービジョンに使用される標準的な畳み込みニューラルネットワークであるResNetから始めて、すべての畳み込みカーネルをTransformerの自己注意メカニズムに置き換えました。その結果、優れたパフォーマンスが得られました。ただし、これはVision Transformerではありません。

2020年には、エンコーダーのみのトランスフォーマーがコンピュータービジョンに適応され、画像分類の最先端の技術に到達したViTが誕生し、これまでのCNNの優位性を克服しました。^[1]マスクオートエンコーダー（2022）は、ViTを拡張して教師なしトレーニングで動作するようにしました。ビジョントランスフォーマーとマスクオートエンコーダーは、畳み込みニューラルネットワークの新たな開発を刺激しました。^{[10] [11]}

その後、以前の CNN アプローチと ViT アプローチの間で相互作用が起こりました。

2021年には、Vision Transformersの重要なバリアントがいくつか提案されました。これらのバリアントは主に、より効率的、より正確、または特定のドメインにより適したものになることを目的としています。2つの研究^{[12] [13]}では、CNNをプリプロセッサとして追加することで、ViTの効率と堅牢性を改善しました。Swin Transformer ^{[14]は、畳み込みのようなスライディングウィンドウの注意メカニズムと古典的なコンピュータービジョンの}ピラミッドプロセスを使用して、COCOなどのいくつかのオブジェクト検出データセットで最先端の結果を達成しました。

^{2020年のオリジナル論文[1]}で使用された基本的なアーキテクチャは次のとおりです。要約すると、BERTのようなエンコーダのみのTransformerです。

入力画像は 型で、 は高さ、幅、チャンネル ( RGB ) です。次に、 型の正方形のパッチに分割されます。 ${\displaystyle \mathbb {R} ^{H\times W\times C}}$${\displaystyle H,W,C}$${\displaystyle \mathbb {R} ^{P\times P\times C}}$

各パッチは線形演算子にプッシュされ、ベクトル (「パッチ埋め込み」) を取得します。パッチの位置も「位置エンコーディング」によってベクトルに変換されます。2 つのベクトルが追加され、複数の Transformer エンコーダーにプッシュされます。

ViT の注意メカニズムは、画像パッチの表現ベクトルを繰り返し変換し、画像内の画像パッチ間の意味関係をどんどん取り入れていきます。これは、自然言語処理において、表現ベクトルがトランスフォーマーを通過するときに、構文から意味まで、単語間の意味関係をどんどん取り入れていく方法に似ています。

上記のアーキテクチャは、画像を一連のベクトル表現に変換します。これを下流のアプリケーションで使用するには、追加のヘッドをトレーニングして解釈する必要があります。

例えば、分類に使用するには、クラス間の確率分布を出力する浅いMLPをその上に追加します。元の論文では線形GeLU線形ソフトマックスネットワークが使用されています。^[1]

オリジナルの ViT は、画像のパッチから画像ラベルを予測するように教師あり学習されたエンコーダのみの Transformer でした。BERTの場合と同様に、入力側で特別なトークンを使用し<CLS>、対応する出力ベクトルが最終出力 MLP ヘッドの唯一の入力として使用されます。特別なトークンは、モデルが画像ラベルの予測に関連するすべての情報を 1 つのベクトルに圧縮できるようにするためのアーキテクチャ上のハックです。

トランスフォーマーは、BERTやGPT-3などの言語モデルによって実証されているように、自然言語処理タスクで最初に応用されました。対照的に、一般的な画像処理システムは畳み込みニューラルネットワーク（CNN）を使用します。よく知られているプロジェクトには、Xception、 ResNet、EfficientNet、^[15] DenseNet、^[16]、Inceptionなどがあります。^[17]

トランスフォーマーは、入力トークン（テキスト文字列の場合は単語）のペア間の関係性（アテンション）を測定します。コストはトークンの数の2乗です。画像の場合、分析の基本単位はピクセルです。しかし、一般的な画像内のすべてのピクセルペアの関係性を計算することは、メモリと計算の点で法外です。代わりに、ViTは、画像のさまざまな小さなセクション（例：16x16ピクセル）内のピクセル間の関係性を、大幅に削減されたコストで計算します。セクション（位置埋め込みを含む）は、シーケンスに配置されます。埋め込みは学習可能なベクトルです。各セクションは線形シーケンスに配置され、埋め込みマトリックスと乗算されます。位置埋め込みを含む結果は、トランスフォーマーに送られます。^[17]

ViT は画像を処理した後、埋め込みベクトルをいくつか生成します。これらは、何らかのネットワークによって単一クラスの確率予測に変換する必要があります。オリジナルの ViT と Masked Autoencoder では、BERT[CLS]言語モデルのエミュレーションでダミー トークンが使用されていました。 の出力は分類トークンであり、 LayerNorm -feedforward-softmax モジュールによって確率分布に 処理されます。[CLS]

グローバル平均プーリング（GAP）はダミートークンを使用せず、単純にすべての出力トークンの平均を分類トークンとして取得します。オリジナルのViTでは、同様に優れていると述べられていました。^[1]

マルチヘッドアテンションプーリング（MAP）は、マルチヘッドアテンションブロックをプーリングに適用します。具体的には、入力としてベクトルのリストを受け取ります。これは、ViTの層の出力ベクトルと考えることができます。MAPからの出力は です。ここで、 は学習可能なクエリベクトル、は行が である行列です。^{[18]これは、} Set Transformerアーキテクチャで最初に提案されました。^[19]${\displaystyle x_{1},x_{2},\dots ,x_{n}}$${\displaystyle \mathrm {MultiheadedAttention} (Q,V,V)}$${\displaystyle q}$${\displaystyle V}$${\displaystyle x_{1},x_{2},\dots ,x_{n}}$

その後の論文では、GAPとMAPはどちらもBERTのようなプーリングよりも優れたパフォーマンスを発揮することが実証されました。^{[18] [20]} MAPの変種としてクラスアテンションが提案されました。これはMAPを適用し、次にフィードフォワードを適用し、最後に再度MAPを適用するというものです。^[21]

再注意は、深層ViTのトレーニングを可能にするために提案されました。これは、多頭注意モジュールを変更します。^[22]

マスクオートエンコーダ^[23]は、ノイズ除去オートエンコーダとコンテキストエンコーダからインスピレーションを得ました。^[24]エンドツーエンドで2つのViTが配置されています。最初のもの（「エンコーダ」）は、位置エンコーディングされた画像パッチを受け取り、各パッチを表すベクトルを出力します。2つ目（エンコーダのみのトランスフォーマーですが、「デコーダ」と呼ばれます）は、位置エンコーディングされたベクトルを受け取り、再び画像パッチを出力します。トレーニング中は、エンコーダとデコーダの両方のViTが使用されます。推論中は、エンコーダViTのみが使用されます。

トレーニング中、各画像はパッチにカットされ、位置埋め込みが追加されます。これらのパッチのうち、25% のみが選択されます。エンコーダー ViT は選択されたパッチを処理します。マスク トークンは使用されません。次に、マスク トークンが戻され、位置埋め込みが再度追加されます。これらはデコーダー ViT によって処理され、完全な画像の再構成が出力されます。損失は、すべてのマスクされたパッチのピクセル空間での合計平均二乗損失です (マスクされていないパッチの再構成損失は計算されません)。

同様のアーキテクチャとして、同時期に公開されたBERT ViT（BEiT）がある。^[25]

マスクオートエンコーダと同様に、DINO（ラベルなしの自己蒸留）法は、自己教師によってViTを訓練する方法です。^{[26] DINOは教師-生徒}自己蒸留の一種です。DINOでは、生徒はモデルそのものであり、教師は生徒の過去の状態の指数平均です。この方法は、モメンタムコントラスト^[27]やブートストラップユアオウンレイテンシ（BYOL）^{[28]などの以前の研究に似ています。}

DINO で使用される損失関数は、教師ネットワークの出力 ( ) と生徒ネットワークの出力 ( )の間のクロスエントロピー損失です。教師ネットワークは、生徒ネットワークの過去のパラメータの指数関数的に減少する平均です: 。ネットワークへの入力は、同じ画像の 2 つの異なる切り抜きで、ととして表されます( は元の画像)。損失関数は次のように記述されます。1つの問題は、入力に関係なく、常に同じ値 ( ) を出力することでネットワークが「崩壊」する可能性があることです。この崩壊を防ぐために、DINO では 2 つの戦略を採用しています。 ${\displaystyle f_{\theta '_{t}}}$${\displaystyle f_{\theta _{t}}}$${\displaystyle \theta '_{t}=\alpha \theta _{t}+\alpha (1-\alpha )\theta _{t-1}+\cdots }$${\displaystyle T(x)}$${\displaystyle T'(x)}$${\displaystyle x}$$${\displaystyle L(f_{\theta '_{t}}(T(x)),f_{\theta _{t}}(T'(x)))}$$${\displaystyle y}$

• シャープニング: 教師ネットワークの出力は、より低い温度のソフトマックス関数を使用してシャープニングされます。これにより、教師は予測に「自信」を持つようになり、生徒は教師のシャープニングされた出力に一致する、より意味のある表現を学習するようになります。
• センタリング: 教師ネットワークの出力は、以前の出力と平均化することでセンタリングされます。これにより、教師が特定の出力値に偏ることがなくなり、生徒がより多様な機能セットを学習できるようになります。

2024年1月、Meta AI Researchは、アーキテクチャ、損失関数、最適化手法を改良したDINOv2 ^[29]と呼ばれるアップデートバージョンをリリースしました。これは、より大規模で多様なデータセットでトレーニングされました。DINOv2によって学習された特徴はより転移性が高く、下流のタスクでより優れたパフォーマンスを発揮しました。

Swin Transformer（「シフトされたウィンドウ」）^[14]は標準的なCNNからインスピレーションを得ました。

• 各パッチごとにトークンのシーケンス全体に対して自己注意を実行する代わりに、「シフトされたウィンドウ ベース」の自己注意を実行します。つまり、正方形のパッチ ブロックに対してのみ注意を実行します。1 つのパッチ ブロックは、1 つの畳み込みの受容野に類似しています。
• いくつかのアテンション ブロックごとに、「マージ レイヤー」があり、隣接する 2x2 トークンを 1 つのトークンにマージします。これはプーリング(2x2 畳み込みカーネル、ストライド 2) に似ています。マージとは、連結の後に行列を乗算することを意味します。

これはSwin Transformer V2 ^[30]によって改良されており、 ViTを異なる注意メカニズム^{[14]によって修正します。図1} :

• 各アテンション層とフィードフォワード層の直後のLayerNorm ("res-post-norm")。
• 元のドット積アテンションを置き換えるスケールされたコサインアテンション。
• 対数間隔の連続相対位置バイアス。これにより、異なるウィンドウ解像度間での転移学習が可能になります。

TimeSformer ^[31]はビデオ理解タスク用に設計されており、Inception CNNアーキテクチャ^[32]に見られる因数分解された畳み込みカーネルに似た因数分解された自己注意を適用しました。図式的には、ビデオをフレームに分割し、各フレームをパッチの正方形グリッド（ViTと同じ）に分割します。各パッチの座標を、水平、垂直、時間を表す で表します。 ${\displaystyle x,y,t}$

• 空間アテンション レイヤーは、各クエリ パッチがキー パッチと値パッチのみに注意を払う自己アテンション レイヤーです。${\displaystyle q_{x,y,t}}$${\displaystyle k_{x',y',t'},v_{x',y',t'}}$${\displaystyle t=t'}$

• 代わりに、時間アテンション レイヤーが要件となります。${\displaystyle x'=x,y'=y}$

TimeSformer は、要件が である「高さ注意層」などの他の注意層設計も検討しました。ただし、経験的に、最適な設計は 1 つの空間注意層と 1 つの時間注意層を交互に配置することであることがわかりました。 ${\displaystyle x'=x,t'=t}$

ViT-VQGAN ^[33]には、2つのViTエンコーダと1つの識別器があります。1つは、画像の8x8パッチを、パッチごとに1つずつベクトルのリストにエンコードします。ベクトルは、ベクトル量子化の場合と同様に、離散的な「コードブック」セットからのみ取得できます。もう1つは、量子化されたベクトルを画像パッチにエンコードします。トレーニングの目的は、再構成画像（出力画像）を入力画像に忠実にすることです。識別器（通常は畳み込みネットワークですが、他のネットワークも使用できます）は、画像が元の実際の画像であるか、ViTによって再構成された画像であるかを判断しようとします。

この考え方は、ベクトル量子化変分オートエンコーダ (VQVAE) と生成的敵対的ネットワーク(GAN) を組み合わせたものと本質的に同じです。

このようなViT-VQGANをトレーニングした後、任意の画像をシンボルのリストにコード化したり、任意のシンボルのリストを画像にコード化したりすることができます。シンボルのリストは、自己回帰的に画像を生成するための標準的な自己回帰変換器（GPTなど）にトレーニングするために使用できます。さらに、キャプションと画像のペアのリストを取得し、画像をシンボルの文字列に変換し、標準的なGPTスタイルの変換器をトレーニングすることができます。その後、テスト時に画像キャプションを与えるだけで、自己回帰的に画像を生成できます。これがGoogle Partiの構造です。^[34]

その他の例としては、ビジュアルトランスフォーマー^[35]、CoAtNet ^[36]、CvT ^[37]、データ効率の良いViT（DeiT）^[38]など が挙げられます。

Transformer in Transformerアーキテクチャでは、各レイヤーが各画像パッチ埋め込みにビジョンTransformerレイヤーを適用し、結果のトークンを埋め込みに戻してから、別のビジョンTransformerレイヤーを適用します。^[39]

通常、ViTは標準的なCNNカーネル（3x3から7x7）よりも大きなパッチサイズを使用します。ViTは、オプティマイザー、ハイパーパラメータ、ネットワークの深さの選択に対してより敏感です。より小さなサイズの重複する（ストライド<サイズ）畳み込みフィルタのレイヤーで前処理すると、パフォーマンスと安定性が向上します。^[13]

この異なる行動は、彼らが持つ異なる帰納的バイアスから生じているようです。

CNNは、画像全体を処理するために同じフィルターセットを適用します。これにより、データ効率が向上し、局所的な摂動の影響を受けにくくなります。^[2] ViTは自己注意を適用し、パッチ間の長距離関係を簡単にキャプチャできるようにします。また、トレーニングにはより多くのデータが必要ですが、CNNと比較してより多くのトレーニングデータを取り込むことができます。CNNは、十分な大きさのトレーニングデータセットでトレーニングした後でも改善されない可能性があります。ViTは、敵対的なパッチや順列などの入力画像の歪みに対してもより堅牢であるようです。^[40]

ViTは多くのコンピュータビジョンタスクで使用されており、優れた結果が得られており、場合によっては最先端の技術です。画像分類、物体検出、ビデオディープフェイク検出、^[41] 画像セグメンテーション、^[42] 異常検出、画像合成、クラスター分析、自動運転。^{[6] [7]}

ViTはGANのバックボーンとして画像生成に使用されてきた^[43] 。また、拡散モデル（拡散トランスフォーマー、またはDiT）にも使用されてきた^{[44] 。}

DINO [ ^26]は、細胞絵画アッセイで生成された画像などの生物学的データセット上の画像をクラスタリングし、形態学的プロファイルを探索するための有用な表現を学習することが実証されている。^[45]

• Transformer（機械学習モデル）
• 注意（機械学習）
• 知覚者
• ディープラーニング
• パイトーチ
• テンソルフロー

• Zhang, Aston; Lipton, Zachary; Li, Mu; Smola, Alexander J. (2024)。「11.8. Transformers for Vision」。ディープラーニングへの挑戦。ケンブリッジ、ニューヨーク、ポートメルボルン、ニューデリー、シンガポール：ケンブリッジ大学出版局。ISBN 978-1-009-38943-3。
• Steiner, Andreas; Kolesnikov, Alexander; Zhai, Xiaohua; Wightman, Ross; Uszkoreit, Jakob; Beyer, Lucas (2021 年 6 月 18 日)。「ViT をトレーニングする方法? Vision Transformers におけるデータ、拡張、および正規化」。arXiv : 2106.10270 [ cs.CV]。