ビジョン・トランスフォーマー

オリジナルの ViT はエンコーダのみの Transformer で、画像のパッチから画像ラベルを予測するように教師あり学習されています。BERT の場合と同様に、入力側で特別なトークンを使用し<CLS>、対応する出力ベクトルが最終出力 MLP ヘッドの唯一の入力として使用されます。特別なトークンは、モデルが画像ラベルの予測に関連するすべての情報を 1 つのベクトルに圧縮できるようにするためのアーキテクチャ上の工夫です。^{[ 1 ]}

トランスフォーマーは、 BERTやGPT-3などの言語モデルに見られるように、自然言語処理タスクで最初に応用されました。対照的に、一般的な画像処理システムでは畳み込みニューラルネットワーク（CNN）が使用されます。よく知られているプロジェクトには、Xception、ResNet、EfficientNet ^{[ 15 ]}、DenseNet ^{[ 16 ]}、Inception ^{[ 17 ]}などがあります。

トランスフォーマーは、入力トークンのペア（テキスト文字列の場合は単語）間の関係を測定します。これはアテンションと呼ばれます。コストはトークンの数の2乗に比例します。画像の場合、分析の基本単位はピクセルです。ただし、典型的な画像のすべてのピクセルペアの関係を計算することは、メモリと計算の観点から非現実的です。代わりに、ViTは、画像のさまざまな小さなセクション（たとえば、16x16ピクセル）のピクセル間の関係を、大幅にコストを削減して計算します。セクション（位置埋め込み付き）はシーケンスに配置されます。埋め込みは学習可能なベクトルです。各セクションは線形シーケンスに配置され、埋め込み行列で乗算されます。位置埋め込み付きの結果は、トランスフォーマーに入力されます。^{[ 17 ]}

マスクドオートエンコーダー^{[ 23 ]}は、ノイズ除去オートエンコーダーとコンテキストエンコーダー^{[ 24 ]}から着想を得ています。2つのViTがエンドツーエンドで接続されています。1つ目（「エンコーダー」）は位置エンコーディングされた画像パッチを入力として受け取り、各パッチを表すベクトルを出力します。2つ目（エンコーダーのみのTransformerであるにもかかわらず「デコーダー」と呼ばれています）は位置エンコーディングされたベクトルを入力として受け取り、再び画像パッチを出力します。

マスクドオートエンコーダーと同様に、DINO (self- distillation with no labels) メソッドは、自己教師あり学習によって ViT をトレーニングする方法です。^{[ 33 ]} DINO は教師と生徒の自己蒸留の一種です。DINO では、生徒はモデル自体であり、教師は生徒の過去の状態の指数平均です。この方法は、モーメンタムコントラスト^{[ 34 ]}やブートストラップユアオウンラテント (BYOL) ^{[ 35 ]}などの以前の研究と似ています。

DINOで使用される損失関数は、教師ネットワークの出力間の交差エントロピー損失です（${\displaystyle f_{\theta '_{t}}}$）と学生ネットワークの出力（${\displaystyle f_{\theta _{t}}}$教師ネットワークは、生徒ネットワークの過去のパラメータの指数関数的に減衰する平均値である。${\displaystyle \theta '_{t}=\alpha \theta _{t}+\alpha (1-\alpha )\theta _{t-1}+\cdots }$ネットワークへの入力は、同じ画像の2つの異なる切り抜きであり、次のように表されます。${\displaystyle T(x)}$そして${\displaystyle T'(x)}$、 どこ${\displaystyle x}$は元の画像です。損失関数は次のように記述されます。$${\displaystyle L(f_{\theta '_{t}}(T(x)),f_{\theta _{t}}(T'(x)))}$$一つの問題は、ネットワークが常に同じ値を出力すると「崩壊」する可能性があることです（${\displaystyle y}$入力内容に関わらず、崩壊を防ぐため、DINOは2つの戦略を採用しています。

• シャープ化：教師ネットワークの出力は、より低い温度のソフトマックス関数を使用してシャープ化されます。これにより、教師は予測に対する「自信」を高め、生徒は教師のシャープ化された出力に一致する、より意味のある表現を学習せざるを得なくなります。
• センタリング：教師ネットワークの出力は、過去の出力との平均値をとることでセンタリングされます。これにより、教師が特定の出力値に偏ることを防ぎ、生徒がより多様な特徴を学習するように促します。

2024年1月、Meta AI Researchは、アーキテクチャ、損失関数、最適化手法を改善したDINOv2 ^{[ 36 ]}と呼ばれるアップデート版をリリースしました。これは、より大規模で多様なデータセットでトレーニングされました。DINOv2によって学習された特徴は転移性が高く、下流タスクでのパフォーマンスが向上しました。

2025 年 8 月、Meta AI Research はDINOv2のアップデートである DINOv3 をリリースしました。CLIP のような画像とテキストのアライメントが導入されました。モデルは 7B パラメータに、トレーニング データセットは 17B 枚の画像を含む初期データセットから多様性サンプリングによって取得された 17B 枚の画像に拡張されました。アーキテクチャ的には、グラム アンカリングとジッタリング付き軸方向 RoPE (回転位置埋め込み) という 2 つの改善が導入されました。グラム アンカリングは、画像のパッチの特徴ベクトル間のグラム行列に対して教師と生徒の自己蒸留を適用します。これにより、以前に観察された密な特徴マップの劣化の問題が回避されます。分類などのグローバル タスクのパフォーマンスは向上し続けましたが、セグメンテーションなどの密なタスクのパフォーマンスは早期にピークに達し、その後低下し、特徴マップがノイズだらけになりました。軸方向 RoPE により、モデルはさまざまな画像解像度、スケール、アスペクト比に対してより堅牢になります。^{[ 37 ] [ 38 ]}

Swin Transformer（「シフトウィンドウ」）^{[ 14 ]}は、標準的なCNNから着想を得ています。

• トークンのシーケンス全体（各パッチごとに1つ）に対して自己注意機構を実行する代わりに、「シフトウィンドウベース」の自己注意機構を実行します。これは、正方形のパッチブロックに対してのみ注意機構を実行することを意味します。1つのパッチブロックは、1つの畳み込みの受容野に相当します。
• 数個のアテンションブロックごとに「マージ層」があり、隣接する2x2トークンを1つのトークンにマージします。これはプーリング（ストライド2の2x2畳み込みカーネルによる）に相当します。マージとは、連結の後に行列との乗算を行うことを意味します。

^{これは、異なる注意機構[ 14 ]}によってViTを修正するSwin Transformer V2 ^{[ 39 ]によって改善されています。図1}：

• 各アテンション層およびフィードフォワード層の直後にレイヤーノルムを適用する（「res-post-norm」）。
• 元のドット積アテンションをスケーリングされたコサインアテンションに置き換える。
• 対数間隔の連続相対位置バイアスにより、異なるウィンドウ解像度間での転移学習が可能になります。

TimeSformer ^{[ 40 ]}は動画理解タスク向けに設計されており、Inception CNN アーキテクチャ^{[ 41 ]}に見られる因子化畳み込みカーネルと同様の因子化自己注意機構を適用しています。概略的に、動画をフレームに分割し、各フレームをパッチの正方形グリッドに分割します (ViT と同じ)。各パッチの座標を で表します。${\displaystyle x,y,t}$は、水平方向、垂直方向、および時間を表します。

• 空間アテンション層は自己アテンション層であり、各クエリパッチは${\displaystyle q_{x,y,t}}$キーと値のパッチのみに注意を向けます${\displaystyle k_{x',y',t'},v_{x',y',t'}}$そのため${\displaystyle t=t'}$。
• 時間注意層では、要件は${\displaystyle x'=x,y'=y}$その代わり。

TimeSformerは、要件が${\displaystyle x'=x,t'=t}$しかし、彼らは経験的に、最適な設計は空間アテンション層と時間アテンション層を交互に配置することであることを発見した。

ViT-VQGAN [ ^{42 ]に}は、2 つの ViT エンコーダとディスクリミネータがあります。1 つは画像の 8x8 パッチを、各パッチに対応するベクトルのリストにエンコードします。ベクトルは、ベクトル量子化と同様に、離散的な「コードブック」のセットからのみ取得できます。もう 1 つは、量子化されたベクトルを画像パッチにエンコードします。トレーニングの目的は、再構成画像 (出力画像) を入力画像に忠実にすることです。ディスクリミネータ (通常は畳み込みネットワークですが、他のネットワークも使用可能) は、画像が元の実画像か、ViT によって再構成された画像かを判定します。

このアイデアは、基本的にベクトル量子化変分オートエンコーダー（VQVAE）と敵対的生成ネットワーク（GAN）を組み合わせたものと同じです。

このような ViT-VQGAN をトレーニングすると、任意の画像をシンボルのリストにエンコードしたり、任意のシンボルのリストを画像にエンコードしたりすることができます。シンボルのリストは、標準的な自己回帰トランスフォーマー (GPT など) のトレーニングに使用して、画像を自己回帰的に生成することができます。さらに、キャプションと画像のペアのリストを取得し、画像をシンボルの文字列に変換して、標準的な GPT スタイルのトランスフォーマーをトレーニングすることもできます。そして、テスト時には、画像のキャプションを与えるだけで、画像を自己回帰的に生成させることができます。これが Google Parti の構造です。^{[ 43 ]}

その他の例としては、ビジュアルトランスフォーマー^{[ 44 ]} 、 CoAtNet ^{[ 45 ]}、CvT ^{[ 46 ]}、データ効率の高いViT（DeiT）^{[ 47 ]}などがある。

Transformer in Transformer アーキテクチャでは、各レイヤーが各画像パッチ埋め込みにビジョン Transformer レイヤーを適用し、結果として得られたトークンを埋め込みに追加し、その後別のビジョン Transformer レイヤーを適用します。^{[ 48 ]}