対照的な言語イメージの事前トレーニング

クリップ

開発者	オープンAI
初回リリース	2021年1月5日
リポジトリ	https://github.com/OpenAI/CLIP
書かれた	パイソン
ライセンス	MITライセンス
Webサイト	openai.com/research/クリップ

対照言語画像事前トレーニング（CLIP）は、対照的な目的を使用して、画像理解用とテキスト理解用のニューラルネットワークモデルのペアをトレーニングする手法です。^{[1]この方法は、クロスモーダル検索、 [2]}テキストから画像への生成、^[3]美的ランキング、^[4]および画像キャプション作成 など、複数の領域にわたる幅広いアプリケーションを可能にしました。^[5]

この論文は2021年1月5日にOpenAIの公式ブログで初めて発表され、^{[6] OpenAIの}CDN、^[7] GitHubリポジトリを通じて直接レポートが提供されました。 ^[8]この論文は2021年2月26日にarXivで発表されました。^[9]

この報告書（一部の詳細は削除され、付録は「補足PDF」に切り取られている）は、第38回国際機械学習会議（PMLR）の議事録^[1]に掲載され、提出期限は2021年2月であった^[10]。

CLIPと同時期に、同じ会議でALIGNが発表されました。これはGoogleの研究者によって行われ、基本的に同じアルゴリズムが使用されました。^[11]

CLIP法は、2つのモデルを対照的にトレーニングします。^[1] 1つのモデルはテキストを入力として受け取り、その意味内容を表す単一のベクトルを出力します。もう1つのモデルは画像を受け取り、同様にその視覚内容を表す単一のベクトルを出力します。モデルは、意味的に類似したテキストと画像のペアに対応するベクトルが共有ベクトル空間内で互いに近くなり、類似しないペアに対応するベクトルが離れるようにトレーニングされます。

CLIP モデルのペアをトレーニングするには、まず、画像とキャプションのペアの大規模なデータセットを準備します。トレーニング中、モデルには画像とキャプションのペアのバッチが提示されます。テキスト モデルと画像モデルからの出力をそれぞれ とします。2 つのベクトルのドット積が大きい場合、それらのベクトルは「類似」していると見なされます。 ${\displaystyle N}$${\displaystyle v_{1},...,v_{N},w_{1},...,w_{N}}$

このバッチで発生した損失は、マルチクラスNペア損失^[12]であり、類似性スコアに対する対称クロスエントロピー損失です。本質的には、この損失関数は、一致する画像ベクトルとテキストベクトル（）間のドット積が高くなるように促し、一致しないペア間のドット積が高くなるように抑制します。パラメータは温度であり、元のCLIPモデルでは次のようにパラメータ化されています。ここで、は学習されたパラメータです。 $${\displaystyle -{\frac {1}{N}}\sum _{i}\ln {\frac {e^{v_{i}\cdot w_{i}/T}}{\sum _{j}e^{v_{i}\cdot w_{j}/T}}}-{\frac {1}{N}}\sum _{j}\ln {\frac {e^{v_{j}\cdot w_{j}/T}}{\sum _{i}e^{v_{i}\cdot w_{j}/T}}}}$$${\displaystyle v_{i}\cdot w_{i}}$${\displaystyle T>0}$${\displaystyle T=e^{-\tau}}$${\displaystyle \tau \in \mathbb {R} }$

他の損失関数も可能である。例えば、Sigmoid CLIP ^[13]は次の損失関数を提案している。ここで、は負の対数シグモイド損失である。 $${\displaystyle L={\frac {1}{N}}\sum _{i,j\in 1:N}f((2\delta _{i,j}-1)(e^{\tau }w_{i}\cdot v_{j}+b))}$$${\displaystyle f(x)=\ln(1+e^{-x})}$

元のモデルは OpenAI によって開発されましたが、その後のモデルは他の組織によってもトレーニングされています。

CLIP で使用される画像エンコーディング モデルは、通常、ビジョン トランスフォーマー (ViT)です。これらのモデルの命名規則は、使用される特定の ViT アーキテクチャを反映していることがよくあります。たとえば、「ViT-L/14」は、パッチ サイズが 14 の「ビジョン トランスフォーマー ラージ」(同じシリーズの他のモデルと比較して) を意味します。つまり、画像はトランスフォーマーによって処理される前に 14 x 14 ピクセルのパッチに分割されます。サイズ インジケーターの範囲は、B、L、H、G (ベース、ラージ、超大型、巨大) の順になります。

ViT以外の画像モデルは、ResNet（OpenAIのオリジナルシリーズ）やConvNeXt ^{[14] （LAION [15]}のOpenCLIPモデルシリーズ）などの畳み込みニューラルネットワークが一般的です。

画像モデルとテキストモデルの出力ベクトルの長さは正確に同じでなければならないため、画像モデルとテキストモデルの両方には固定長のベクトル出力があり、これは元のレポートでは「埋め込み次元」と呼ばれています。^{[注 1]}

例えば、オリジナルのOpenAIモデルでは、ResNetモデルの埋め込み次元は512から1024の範囲であり^{[9] ：表19}、ViTの場合は512から768の範囲である^{[9] ：表20}

^{ViTの実装はオリジナルのもの[17]}と同じでしたが、1つの変更点がありました。位置埋め込みが初期パッチ埋め込みに追加された後、LayerNormが存在します。

ResNetの実装はオリジナルのものと同じであったが^[18] 、 3つの変更が加えられた。

• CNNの開始時（「幹」）には、提案された単一の7x7畳み込みではなく、3つの積み重ねられた3x3畳み込みが使用されました。^[19]
• 各ダウンサンプリング畳み込み層の開始時にストライド2の平均プーリングがあります（^[20]の用語に従って、rect-2ブラープーリングと呼ばれています）。これは、アンチエイリアシングのためにダウンサンプリングの前に画像をぼかす効果があります。^[21]
• 最後の畳み込み層の後には、多頭注意プーリングが続きます。

ALIGN ^[11]は、畳み込みニューラルネットワークの一種である様々なサイズの EfficientNet ^[22]を使用しました。

CLIP で使用されるテキスト エンコーディング モデルは通常、Transformersです。

オリジナルのOpenAIレポートでは、 49152語彙サイズの小文字バイトペアエンコーディング（BPE）を備えたTransformer（63Mパラメータ、12層、512幅、8アテンションヘッド）を使用したと報告されています。コンテキスト長は効率化のため76に制限されています。GPTと同様に、デコーダーのみで、因果的にマスクされた自己注意のみでした。^{[1] :  5}そのアーキテクチャはGPT-2と同じです。^[23]

BERTと同様に、テキスト シーケンスは 2 つの特別なトークン[SOS]と[EOS](「シーケンスの開始」と「シーケンスの終了」) で囲まれます。 のトランスフォーマーの最上位層のアクティベーションを取得し [EOS]、LayerNorm を適用してから、最終的な線形マップを適用します。これが入力シーケンスのテキスト エンコーディングです。最終的な線形マップの出力次元は、ペアになっている画像エンコーダーの埋め込み次元に等しくなります。これらのモデルはすべて、コンテキスト長が 77、語彙サイズが 49408 でした。

ALIGN ^[11]は様々なサイズのBERTを使用した。

OpenAIが公開したCLIPモデルは、インターネットから収集した4億組の画像とそれに対応するキャプションを含む「WebImageText」（WIT）と呼ばれるデータセットでトレーニングされました。このデータセットに含まれる単語の総数は、GPT-2のトレーニングに使用されたWebTextデータセットとほぼ同じ規模で、約40ギガバイトのテキストデータが含まれています。^[1]

データセットには 500,000 のテキスト クエリが含まれており、クエリごとに最大 20,000 の (画像、テキスト) ペアが含まれます。テキスト クエリは、英語版 Wikipediaで少なくとも 100 回出現するすべての単語から開始して生成され、その後、相互情報量の高いバイグラム、特定の検索ボリュームを超えるすべての Wikipedia 記事の名前、およびWordNet synsetsによって拡張されました。

このデータセットは非公開であり、一般には公開されておらず、それ以上の情報はありません。^{[注 3]}

CLIP 画像モデルの場合、入力画像は、まず画像の R、G、B の各値を最大値で除算してこれらの値が 0 から 1 の間になるようにし、次に [0.48145466、0.4578275、0.40821073] を減算して [0.26862954、0.26130258、0.27577711] で除算することによって前処理されます。

根拠は、これらはWebImageTextデータセット内の画像の平均と標準偏差であり、この前処理ステップにより画像テンソルが大まかに白色化されるというものでした。これらの数値は、[0.485、0.456、0.406]と[0.229、0.224、0.225]を使用するImageNetの標準的な前処理とはわずかに異なります。^[25]

入力画像の解像度がネイティブ解像度（ViT-L/14@336px 以外はすべて 224x224、ViT-L/14@336px は 336x336 の解像度）と同じでない場合、入力画像はバイキュービック補間によって縮小され、短辺がネイティブ解像度と同じになり、画像の中央の正方形が切り取られます。

ALIGN ^{[11]は、オンラインクロールから画像とその}altタグを抽出して得られた10億以上の画像とテキストのペアを使用しました。この方法は、Conceptual Captionsデータセット^[26]の構築方法に似ていると説明されていますが、複雑なフィルタリングの代わりに、頻度ベースのフィルタリングのみを適用しました。

その後、他の組織によって訓練されたモデルには公開されたデータセットが使用されました。たとえば、LAIONは公開されたデータセットLAION-400M、LAION-2B、およびDataComp-1Bを使用してOpenCLIPを訓練しました。^{[27] [15]}

オリジナルの OpenAI CLIP レポートでは、5 つのResNetと 3 つのViT (ViT-B/32、ViT-B/16、ViT-L/14) のトレーニングが報告されています。それぞれ 32 エポックでトレーニングされました。最大の ResNet モデルは、592 個のV100 GPU でトレーニングするのに 18 日かかりました。最大の ViT モデルは、256 個の V100 GPU でトレーニングするのに 12 日かかりました。

すべてのViTモデルは224x224の画像解像度でトレーニングされました。その後、ViT-L/14はFixResによって336x336の解像度にブーストされ、^[28]モデルが作成されました。^[注4]彼らはこれが最も優れたモデルであることがわかりました。^{[1] ：付録F.モデルのハイパーパラメータ}

OpenCLIPシリーズでは、ViT-L/14モデルはLAION-2Bデータセット上の384個のA100 GPUで160エポックにわたってトレーニングされ、合計320億のサンプルが確認されました。^[29]

CLIPのクロスモーダル検索は、共有潜在空間内での視覚データとテキストデータの整合を可能にし、明示的な画像注釈を必要とせずに、テキストの説明に基づいて画像を検索したり、その逆を行ったりすることができる。^[30]テキストから画像への検索では、ユーザーが説明文を入力すると、CLIPが一致する埋め込みを持つ画像を検索する。画像からテキストへの検索では、画像を使用して関連するテキストコンテンツを検索する。

CLIPの視覚データとテキストデータを結び付ける能力は、マルチメディア検索、コンテンツ発見、推奨システムに応用されています。^{[31] [32]}

CLIP は、ゼロショット画像分類タスクを実行できます。これは、テキスト エンコーダーにクラス名をプロンプトし、画像の埋め込みに最も近い埋め込みを持つクラスを選択することで実現されます。たとえば、画像を分類するには、画像の埋め込みと「{クラス} の写真」というテキストの埋め込みを比較し、ドット積が最も高くなる {クラス} を出力します。

CLIPはマルチモーダル学習のコンポーネントとして使用されてきました。たとえば、Google DeepMindのFlamingo（2022）のトレーニング中に、^[33]著者らは、BERTをテキストエンコーダーとして、NormalizerFree ResNet F6 ^[34]を画像エンコーダーとして使用して、CLIPペアをトレーニングしました。CLIPペアの画像エンコーダーはパラメーターを固定した状態で取得され、テキストエンコーダーは破棄されました。次に、固定された画像エンコーダーを、2つの固定モデルを接続するいくつかの追加のパラメーターで微調整することにより、 固定されたChinchilla言語モデルと組み合わせました。

CLIP は、本来の目的を超えて、さまざまな分野で使用されています。

• 画像特徴抽出器: CLIPの画像エンコーダーは、事前学習済みの画像特徴抽出器として適応できます。これを他のAIモデルに取り込むことができます。^[1]

• テキストから画像への生成: Stable Diffusionのようなモデルは、CLIPのテキストエンコーダーを使用して、テキストプロンプトを画像生成用の埋め込みに変換します。^{[3] CLIPは、拡散を直接誘導するための勾配信号（「CLIPガイダンス」） [35] [36]}やその他の生成アートとしても使用できます。 ^[37]

• 美的ランキング：微調整されたCLIPモデルは、画像を美的品質でランク付けするために使用でき、データセットのキュレーションに役立ちます。^[38]

• 画像キャプション：CLIPはテキスト入力と画像の埋め込みを一致させることで画像キャプションを生成するために使用することができます。^[39]

• OpenAIのCLIPウェブページ
• Arora, Aman (2023-03-11). 「注釈付き CLIP (パート 2)」. amaarora.github.io . 2024-09-11に取得。