転移学習

転移学習（TL）は、機械学習（ML）における手法の一つで、あるタスクから得た知識を再利用して、関連するタスクのパフォーマンスを向上させるものです。^{[ 1 ]}例えば、画像分類の場合、自動車の認識を学習する際に得た知識を、トラックの認識を試みるときに適用することができます。このトピックは、学習の転移に関する心理学文献と関連していますが、両分野間の実際的なつながりは限られています。以前に学習したタスクから新しいタスクに情報を再利用または転移することで、学習効率を大幅に向上させる可能性があります。^{[ 2 ]}

転移学習は複数の目的関数を用いた学習を利用するため、コストセンシティブ機械学習や多目的最適化と関連している。^{[ 3 ]}

1976年、ボジノフスキーとフルゴシはニューラルネットワークのトレーニングにおける転移学習に関する論文を発表した。^{[ 4 ] [ 5 ]}この論文では、このトピックの数学的および幾何学的モデルが示されている。1981年には、コンピュータ端末の文字を表す画像のデータセットへの転移学習の適用を検討した報告書があり、正の転移学習と負の転移学習を実験的に実証している。^{[ 6 ]}

1992年、ロリエン・プラットは識別力に基づく転送（DBT）アルゴリズムを考案した。^{[ 7 ]}

1998年までに、この分野はマルチタスク学習[ ^{8 ]}やより正式な理論的基盤[9]を含むまでに発展した。^{転移学習に関する影響}力のある出版物には、1998年の書籍『Learning to Learn』^{[ 10 ]}、2009年の調査^{[ 11 ]}、2019年の調査^{[ 12 ]などがある。}

Ng氏はNIPS 2016のチュートリアル^{[ 13 ] [ 14 ]}で、教師あり学習に続いてTLが機械学習の商業的成功の次の原動力になると述べた。

2020年の論文「事前トレーニングと自己トレーニングの再考」^{[ 15 ]}で、 Zophらは事前トレーニングは精度を損なう可能性があると報告し、代わりに自己トレーニングを推奨した。

転移学習の定義は、ドメインとタスクの観点から与えられます。ドメイン${\displaystyle {\mathcal {D}}}$特徴的な空間を構成する$\displaystyle {\mathcal {X}}}$周辺確率分布${\displaystyle P(X)}$、 どこ${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$特定のドメインが与えられた場合、${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$タスクは、ラベル空間という2つの要素から構成されます。${\displaystyle {\mathcal {Y}}}$客観的な予測機能${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$. 機能${\displaystyle f}$対応するラベルを予測するために使用されます${\displaystyle f(x)}$新しいインスタンス${\displaystyle x}$このタスクは、${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$は、ペアで構成されるトレーニングデータから学習されます。${\displaystyle \{x_{i},y_{i}\}}$、 どこ${\displaystyle x_{i}\in {\mathcal {X}}}$そして${\displaystyle y_{i}\in {\mathcal {Y}}}$[ ^{16 ]​}

ソースドメインが与えられた場合${\displaystyle {\mathcal {D}}_{S}}$学習課題$\displaystyle {\mathcal {T}}_{S}}$ターゲットドメイン$\displaystyle {\mathcal {D}}_{T}}$学習課題${\displaystyle {\mathcal {T}}_{T}}$、 どこ${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$、 または$\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$転移学習は、対象となる予測関数の学習を改善することを目的としています。${\displaystyle f_{T}(\cdot )}$で$\displaystyle {\mathcal {D}}_{T}}$知識を活用する${\displaystyle {\mathcal {D}}_{S}}$そして$\displaystyle {\mathcal {T}}_{S}}$[ ^{16 ]​}

転移学習のアルゴリズムは、マルコフ論理ネットワーク^{[ 17 ]}およびベイジアンネットワーク^{[ 18 ]}で利用可能です。転移学習は、癌のサブタイプの発見^{[ 19 ]}、建物の利用^{[ 20 ] [ 21 ]} 、一般的なゲームプレイ^{[ 22 ]} 、テキスト分類^{[ 23 ] [ 24 ]}、数字認識^{[ 25 ]}、医療画像処理、スパムフィルタリング^{[ 26 ]}に適用されています。

2020年に、筋肉からの筋電図（EMG）信号と脳波（EEG）の挙動分類の間で、ジェスチャー認識領域から精神状態認識領域まで、物理的性質が似ているため転移学習が可能であることが発見されました。この関係は双方向で機能し、脳波（EEG）も同様にEMG信号の分類に使用できることが示されました。^{[ 27 ]}実験では、ニューラルネットワークと畳み込みニューラルネットワークの精度が、学習前（標準的なランダム重み分布と比較して）と学習プロセスの終了時（漸近線）の両方で転移学習によって向上することが確認されました。 ^{[ 28 ]}つまり、別の領域に触れることで結果が改善されます。さらに、事前学習済みモデルのエンドユーザーは、パフォーマンスを向上させるために全結合層の構造を変更できます。^{[ 29 ]}

• 交叉（遺伝的アルゴリズム）
• ドメイン適応
• 一般的なゲームプレイ
• マルチタスク学習
• マルチタスク最適化
• 学習の移転
• ゼロショット学習
• 少数ショット学習
• 特徴学習
• 外的妥当性

• スラン、セバスチャン；プラット、ロリエン（2012年12月6日）。学習方法を学ぶ。シュプリンガー・サイエンス＆ビジネス・メディア。ISBN 978-1-4615-5529-2。