マルチモーダル学習

マルチモダリティとは、複数のモダリティを持つことを意味し、「モダリティ」とは、ビデオ、画像、音声、テキスト、固有受容感覚などの入力または出力のタイプを指します。^{[ 7 ]}例えば、Google PaLMモデルはマルチモーダル モデルにファインチューニングされ、ロボット制御に適用されました。^{[ 8 ]} LLaMAモデルもトークン化方法を使用してマルチモーダル化され、画像入力^{[ 9 ]}やビデオ入力^{[ 10 ]}が可能になりました。GPT -4o は、テキスト、音声、画像を処理および生成できます。^{[ 11 ]}

LLMからマルチモーダルモデルを作成する一般的な方法は、学習済みエンコーダの出力を「トークン化」することです。具体的には、学習済みLLMと学習済み画像エンコーダを準備し、次のようにして画像を理解できるLLMを構築できます。${\displaystyle E}$小さな多層パーセプトロンを作成する${\displaystyle f}$、したがって任意の画像に対して${\displaystyle y}$後処理されたベクトル${\displaystyle f(E(y))}$エンコードされたトークンと同じ次元を持つ。それが「画像トークン」である。次に、テキストトークンと画像トークンをインターリーブすることができる。その後、複合モデルは画像テキストデータセットで微調整される。この基本的な構成は、モデルを改善するために、より高度な方法で適用することができる。画像エンコーダは、安定性を向上させるために固定されることがある。 ^{[ 12 ]}複数のモダリティからの埋め込みが融合され、予測器が結合された埋め込みでトレーニングされるこの種の方法は、早期融合と呼ばれる。

中間融合と呼ばれる別の方法では、まず各モダリティを個別に処理してモダリティ固有の表現を取得し、次にこれらの中間表現を融合します。^{[ 13 ]}一般的に、クロスアテンションは異なるモダリティからの情報を統合するために使用されます。たとえば、Flamingo モデルはクロスアテンション層を使用して、視覚情報を事前学習済みの言語モデルに注入します。^{[ 14 ]}

トランスフォーマーは、テキスト以外のモダリティ（入力または出力）にも使用/適応させることができ、通常はモダリティを「トークン化」する方法を見つけることによって実現されます。

マルチモーダルモデルは、ゼロからトレーニングすることも、ファインチューニングによってトレーニングすることもできます。2022年の研究では、自然言語のみで事前トレーニングされたトランスフォーマーは、パラメータのわずか0.03%をファインチューニングするだけで、さまざまな論理タスクや視覚タスクでLSTMと競合できることがわかりました。これは転移学習を示しています。^{[ 15 ]} LLaVAは、言語モデル（Vicuna-13B）^{[ 16 ]}と視覚モデル（ViT -L/14）が線形層で接続された視覚言語モデルでした。線形層のみがファインチューニングされます。^{[ 17 ]}

ビジョントランスフォーマー^{[ 18 ]}は、入力画像をパッチの連続として分解し、ベクトルに変換し、標準トランスフォーマーのトークンの埋め込みベクトルとして扱うことで、トランスフォーマーをコンピュータビジョンに適合させます。

Conformer ^{[ 19 ]}と後のWhisper ^{[ 20 ]}は、音声認識において同じパターンに従っており、まず音声信号をスペクトログラムに変換し、それを画像のように扱います。つまり、一連のパッチに分解し、ベクトルに変換し、標準トランスフォーマーのトークンの埋め込みベクトルのように扱います。

知覚器^{[ 21 ] [ 22 ]}は、マルチモダリティ用に設計されたトランスフォーマーの一種です。

画像生成の注目すべきアーキテクチャとしては、DALL-E 1 (2021)、Parti (2022)、^{[ 23 ]} Phenaki (2023)、^{[ 24 ]} 、 Muse (2023) がある。^{[ 25 ]}後期のモデルとは異なり、DALL-E は拡散モデルではない。代わりに、自己回帰的にテキストを生成するデコーダのみのトランスフォーマーを使用し、続いて画像のトークン表現を生成し、それを変分オートエンコーダによって画像に変換する。^{[ 26 ]} Parti はエンコーダとデコーダのトランスフォーマーであり、エンコーダがテキストプロンプトを処理し、デコーダが画像のトークン表現を生成する。^{[ 27 ]} Muse はエンコーダのみのトランスフォーマーであり、マスクされていない画像トークンからマスクされた画像トークンを予測するようにトレーニングされている。生成中、すべての入力トークンがマスクされ、すべてのトークンが予測されるまで、最も信頼度の高い予測が次の反復に含まれる。^{[ 25 ]} Phenaki はテキストからビデオへのモデルです。これは、事前に計算されたテキスト トークンに基づいて条件付けられた双方向マスク トランスフォーマーです。生成されたトークンは、ビデオにデコードされます。^{[ 24 ]}