微調整（ディープラーニング）

ディープラーニングにおけるファインチューニングは、事前トレーニング済みのニューラルネットワークモデルのパラメータを新しいデータでトレーニングする転移学習のアプローチです。 ^{[1]ファインチューニングはニューラルネットワーク全体に対して行うことも、その}レイヤーのサブセットに対してのみ行うこともできます。その場合、ファインチューニングされていないレイヤーは「固定」されます（つまり、バックプロパゲーション中に変更されません）。^[2]また、モデルは、元のモデルよりもはるかに少ないパラメータで構成される「アダプター」で拡張され、アダプターの重みを調整し、モデルの残りの重みを固定したままにすることで、パラメータ効率の高い方法でファインチューニングされることもあります。^[3]

畳み込みニューラルネットワークなどの一部のアーキテクチャでは、入力層に最も近い層を固定しておくのが一般的です。これは、低レベルの特徴を捕捉する一方で、後の層は、モデルが訓練されているタスクに関連性の高い高レベルの特徴を識別することが多いためです。^{[2] [4]}

大規模で一般的なコーパスで事前トレーニングされたモデルは、通常、そのパラメータを出発点として再利用し、ゼロからトレーニングされたタスク固有のレイヤーを追加することで微調整されます。^[5]モデル全体を微調整することも一般的であり、多くの場合、より良い結果が得られますが、計算コストが高くなります。^[6]

ファインチューニングは通常、教師あり学習によって行われますが、弱い教師を使用してモデルを微調整する手法もあります。^[7]ファインチューニングは、人間のフィードバックに基づく目標からの強化学習と組み合わせて、 ChatGPT （ GPT-3の微調整バージョン）やSparrowなどの言語モデルを作成することができます。^{[8] [9]}

微調整は分布シフトに対するモデルの堅牢性を低下させる可能性がある。^{[10] [11]}緩和策の1つは、微調整されたモデルの重みを元のモデルの重みで線形補間することであり、これにより、微調整されたモデルの分布内パフォーマンスをほぼ維持しながら、分布外パフォーマンスを大幅に向上させることができる。^[12]

低ランク適応（LoRA）は、モデルを効率的に微調整するためのアダプタベースの技術です。基本的な考え方は、低ランク行列を設計し、それを元の行列に追加することです。^[13]ここでのアダプタとは、低ランク行列のコレクションであり、ベースモデルに追加されると、微調整されたモデルが生成されます。これにより、より少ないスペース要件で、フルモデルの微調整に近いパフォーマンスが可能になります。数十億のパラメータを持つ言語モデルは、数百万のパラメータのみでLoRA微調整できます。

LoRAベースの微調整は、安定拡散コミュニティで人気が高まっています。^{[14] LoRAのサポートは、} Hugging FaceのDiffusersライブラリに統合されました。^[15] LoRAおよび同様の技術のサポートは、Hugging FaceのParameter-Efficient Fine-Tuning（PEFT）パッケージを通じて、他のさまざまなモデルでも利用できます。^[16]

表現微調整（ReFT）は、スタンフォード大学の研究者によって開発された新しい手法で、大規模言語モデル（LLM）の表現の1％未満を変更することで微調整することを目的としています。主に重みの更新に焦点を当てた従来のパラメータ効率の良い微調整（PEFT）方法とは異なり、ReFTは微調整対象のタスクに関連するモデルの特定の部分を対象とします。このアプローチは、ディープラーニングモデルが表現に豊富な意味情報をエンコードするという理解に基づいており、表現を変更することが重みの更新よりも効果的な戦略である可能性があることを示唆しています。^[17]

ReFT法は固定されたベースモデル上で動作し、隠れた表現に対するタスク固有の介入を学習し、モデル表現のごく一部を操作する介入を訓練して、推論時に下流のタスクを解決するようにモデルの動作を誘導します。ReFTファミリー内の特定の方法の1つは、低ランク線形サブスペースReFT（LoReFT）であり、低ランク射影行列によって張られた線形サブスペース内の隠れた表現に介入します。^[17] LoReFTは、低ランク適応（LoRA）の表現ベースの同等物と見なすことができます。

微調整は自然言語処理（NLP）、特に言語モデリングの分野では一般的です。OpenAIのGPT基礎モデルシリーズのような大規模な言語モデルは、特定の下流NLPタスク（事前学習済みモデルを使用するタスク）のデータに対して微調整することができ、修正されていない事前学習済みモデルよりもパフォーマンスを向上させることができます。^[6]

商用で提供されている大規模言語モデルは、プロバイダーが微調整APIを提供している場合、微調整できることがあります。2023年6月19日現在、言語モデルの微調整APIは、OpenAIとMicrosoft AzureのAzure OpenAIサービスによってモデルのサブセットに対して提供されているほか、Google Cloud Platformによって一部のPaLMモデルに対して提供されており、その他でも提供されています。^{[18] [19] [20]}現在、すべての商用モデルが^{[いつ? ]}微調整をサポートしているわけではありません。

Meta ( Llama LLMファミリー)、Alibaba (Qwen LLM ファミリー)、Mistral AI (Mixtral)などの企業は、さまざまなサイズのオープンソースの大規模言語モデルを GitHub で公開しており、微調整が可能です。オープンソース モデルは、モデルがホストされる場所を制御できるため、データ セキュリティの面で企業にとって有利です。

• 破滅的な忘却
• 継続的な学習
• ドメイン適応
• 基礎モデル
• ハイパーパラメータの最適化
• 過剰適合