マルチタスク学習

マルチタスク学習(MTL) は機械学習のサブフィールドであり、複数の学習タスクを同時に解決しながら、タスク間の共通点と相違点を活用します。これにより、モデルを個別にトレーニングする場合と比較して、タスク固有のモデルの学習効率と予測精度が向上します。^{[1] [2] [3]} 本質的に、マルチタスク学習は、異なるタスク間でトレードオフがある多目的最適化問題です。 ^[4] MTL の初期バージョンは「ヒント」と呼ばれていました。^{[5] [6]}

広く引用されている 1997 年の論文で、リッチ・カルアナは次のように説明しています。

マルチタスク学習は、関連するタスクのトレーニング信号に含まれるドメイン情報を帰納的バイアスとして使用することで一般化を改善する帰納的転移のアプローチです。これは、共有表現を使用しながらタスクを並行して学習することで実現します。各タスクで学習された内容は、他のタスクの学習を改善するのに役立ちます。^[3]

分類のコンテキストでは、MTL は複数の分類タスクを共同で学習することで、それらのパフォーマンスを向上させることを目指しています。1 つの例はスパム フィルターです。これは、異なるユーザー間で別個でありながら関連のある分類タスクとして扱うことができます。これをより具体的にするために、人によってスパム メールと正規のメールを区別する特徴の分布が異なることを考慮してください。たとえば、英語を話す人はロシア語のすべてのメールがスパムであると判断するかもしれませんが、ロシア語を話す人はそうではありません。しかし、この分類タスクにはユーザー間で明確な共通性があります。たとえば、1 つの共通特徴は送金に関連するテキストである可能性があります。各ユーザーのスパム分類問題を MTL を介して共同で解決すると、ソリューションが互いに情報を共有し、パフォーマンスを向上させることができます。^[要出典] MTL の設定のその他の例としては、マルチクラス分類とマルチラベル分類があります。^[7]

マルチタスク学習が機能するのは、アルゴリズムが関連するタスクで優れたパフォーマンスを発揮することを要求する正則化が、すべての複雑さを一様にペナルティすることで過剰適合を防ぐ正則化よりも優れているためです。MTLが特に役立つ可能性がある状況の1つは、タスクが重要な共通点を共有し、一般的にわずかにサンプリング不足である場合です。^[8]ただし、以下で説明するように、MTLは関連のないタスクの学習にも有益であることが示されています。^{[8] [9]}

マルチタスク学習における主な課題は、複数のタスクからの学習信号を 1 つのモデルに統合する方法です。これは、異なるタスクが互いにどの程度一致するか、または矛盾するかに大きく依存する可能性があります。この課題に対処するには、いくつかの方法があります。

MTLパラダイムでは、情報は一部またはすべてのタスクで共有できます。タスクの関連性の構造によっては、タスク間で選択的に情報を共有したい場合があります。たとえば、タスクはグループ化されていたり、階層的に存在したり、何らかの一般的なメトリックに従って関連していたり​​する場合があります。以下でより正式に展開されるように、各タスクをモデル化するパラメータベクトルが何らかの基礎となる基底の線形結合であるとします。この基底の観点からの類似性は、タスクの関連性を示します。たとえば、スパース性では、タスク間で非ゼロの係数が重なり合うことは共通性を示します。タスクのグループ化は、基底要素のサブセットによって生成されたサブスペースにあるタスクに対応し、異なるグループのタスクは、基底の観点から任意に分離または重なり合う場合があります。^[10]タスクの関連性は、事前に課すことも、データから学習することもできます。^{[7] [11]}階層的なタスクの関連性は、事前の知識を前提としたり、関係を明示的に学習したりすることなく、暗黙的に利用することもできます。^{[8] [12]}例えば、タスク間のサンプル関連性の明示的な学習は、複数のドメインにわたる共同学習の有効性を保証するために行うことができます。^[8]

主タスクのグループを、主タスクとは無関係な補助タスクのグループを使って学習することができます。多くのアプリケーションでは、同じ入力データを使用する無関係なタスクの共同学習が有益です。その理由は、タスクの関連性に関する事前知識があれば、基本的にデータ分布の特異性をふるい落とすことで、各タスク グループの表現がよりまばらで情報に富むものになるからです。各タスク グループ内で共有される低次元表現を優先することで、従来のマルチタスク手法を基盤とする新しい方法が提案されています。プログラマーは、異なるグループのタスクにペナルティを課すことで、2 つの表現が直交するようにすることができます。合成データと実際のデータを使った実験では、無関係なタスクを組み込むことで、標準的なマルチタスク学習方法を大幅に改善できることが示されています。^[9]

マルチタスク学習に関連する概念として、知識移転があります。従来のマルチタスク学習では、共有表現がタスク間で同時に開発されるのに対し、知識移転では、共有表現が順次に共有されます。画像ベースのオブジェクト分類器である深層畳み込みニューラルネットワーク GoogLeNet [13] などの大規模機械学習プロジェクトでは、関連 タスク^のさらなるアルゴリズム学習に役立つ堅牢な表現を開発できます。たとえば、事前学習済みモデルを特徴抽出器として使用して、別の学習アルゴリズムの前処理を実行できます。または、事前学習済みモデルを使用して、同様のアーキテクチャを持つモデルを初期化し、その後、別の分類タスクを学習するように微調整することもできます。^[14]

従来、マルチタスク学習と知識の移転は、定常学習環境に適用されてきました。これを非定常環境に拡張したものが、グループオンライン適応学習（GOAL）です。^[15]学習者が継続的に変化する環境で活動する場合、情報の共有は特に有用です。学習者は他の学習者の過去の経験から恩恵を受け、新しい環境に素早く適応できるからです。このようなグループ適応学習には、金融時系列の予測からコンテンツ推奨システム、適応型自律エージェントの視覚的理解まで、数多くの用途があります。

マルチタスク最適化: 場合によっては、一見関連しているタスクを同時にトレーニングすると、単一タスクモデルと比較してパフォーマンスが低下することがあります。^[16]一般的に、MTLモデルは、共有モジュールを使用して取得された結合特徴表現の上に、タスク固有のモジュールを使用します。この結合表現はすべてのタスクにわたって有用な特徴をキャプチャする必要があるため、異なるタスクが矛盾する表現を求める場合、つまり、異なるタスクの勾配が反対方向を指しているか、大きさが大きく異なる場合、MTLは個々のタスクのパフォーマンスを妨げる可能性があります。この現象は一般に、負の転移と呼ばれます。この問題を軽減するために、さまざまなMTL最適化手法が提案されています。一般的に、タスクごとの勾配は、さまざまな集約アルゴリズムまたはヒューリスティックを通じて、結合更新方向に結合されます。

MTL問題は、RKHSvv（再生カーネルを備えたベクトル値関数の完全な 内積空間）のコンテキスト内で表現できます。特に、タスク構造が以下に説明する分離可能なカーネルを介して識別できるケースに最近注目が集まっています。ここでのプレゼンテーションは、Ciliberto et al.、2015から派生したものです。^[7]

トレーニングデータセットが、、、ここでt はタスクのインデックス、 であるとします。 とします。この設定では、一貫した入力および出力空間と、各タスクに対する同じ損失関数があります。これにより、正規化された機械学習の問題が発生します。 ${\displaystyle {\mathcal {S}}_{t}=\{(x_{i}^{t},y_{i}^{t})\}_{i=1}^{n_{t}}}$${\displaystyle x_{i}^{t}\in {\mathcal {X}}}$${\displaystyle y_{i}^{t}\in {\mathcal {Y}}}$${\displaystyle t\in 1,...,T}$${\displaystyle n=\sum _{t=1}^{T}n_{t}}$ ${\displaystyle {\mathcal {L}}:\mathbb {R} \times \mathbb {R} \rightarrow \mathbb {R} _{+}}$

ここで、 は、という成分を持つ関数を持つベクトル値の再生核ヒルベルト空間です。 ${\displaystyle {\mathcal {H}}}$${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}^{T}}$${\displaystyle f_{t}:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$

関数の 空間の再生核は 対称行列値関数であり、次の再生特性が成り立つ。 ${\displaystyle {\mathcal {H}}}$${\displaystyle f:{\mathcal {X}}\rightarrow \mathbb {R} ^{T}}$${\displaystyle \Gamma :{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} ^{T\times T}}$${\displaystyle \Gamma (\cdot ,x)c\in {\mathcal {H}}}$

再生カーネルは、式1の任意の解が次の形式になる ことを示す表現定理を生み出します。

カーネルΓの形式は、特徴空間の表現とタスク間の出力の構造化の両方を誘導します。自然な単純化は、入力空間Xとタスク 上の別々のカーネルに因数分解される分離可能なカーネルを選択することです。この場合、スカラー成分とを関連付けるカーネルは で与えられます。ベクトル値関数の場合は と 書くことができます。ここで、kはスカラー再生カーネル、A は対称正半定値行列です。以降は と表記します。 ${\displaystyle \{1,...,T\}}$${\displaystyle f_{t}}$${\displaystyle f_{s}}$${\textstyle \gamma ((x_{i},t),(x_{j},s))=k(x_{i},x_{j})k_{T}(s,t)=k(x_{i},x_{j})A_{s,t}}$${\displaystyle f\in {\mathcal {H}}}$${\displaystyle \Gamma (x_{i},x_{j})=k(x_{i},x_{j})A}$${\displaystyle T\times T}$${\displaystyle S_{+}^{T}=\{{\text{PSD matrices}}\}\subset \mathbb {R} ^{T\times T}}$

この因数分解特性、つまり分離可能性は、入力特徴空間表現がタスクによって変化しないことを意味します。つまり、入力カーネルとタスクカーネルの間に相互作用はありません。タスク上の構造はAによってのみ表現されます。分離不可能なカーネルΓの手法は現在研究されている分野です。

分離可能なケースでは、表現定理は に簡約されます。トレーニング データに対するモデル出力はKCAになります。ここで、Kはエントリを持つ経験的カーネル行列、Cは行 の行列 です。 ${\textstyle f(x)=\sum _{i=1}^{N}k(x,x_{i})Ac_{i}}$${\displaystyle n\times n}$${\textstyle K_{i,j}=k(x_{i},x_{j})}$${\displaystyle n\times T}$${\displaystyle c_{i}}$

分離可能なカーネルを用いると、式 1は次のように書き直すことができる。

ここで、V は、 YとKCAにエントリごとに適用されたLの（加重）平均です。 （が欠損値の 場合、重みはゼロになります）。${\displaystyle Y_{i}^{t}}$

Pの 2 番目の項は次のように導出できることに注意してください。

${\displaystyle {\begin{aligned}\|f\|_{\mathcal {H}}^{2}&=\left\langle \sum _{i=1}^{n}k(\cdot ,x_{i})Ac_{i},\sum _{j=1}^{n}k(\cdot ,x_{j})Ac_{j}\right\rangle _{\mathcal {H}}\\&=\sum _{i,j=1}^{n}\langle k(\cdot ,x_{i})Ac_{i},k(\cdot ,x_{j})Ac_{j}\rangle _{\mathcal {H}}&{\text{(bilinearity)}}\\&=\sum _{i,j=1}^{n}\langle k(x_{i},x_{j})Ac_{i},c_{j}\rangle _{\mathbb {R} ^{T}}&{\text{(reproducing property)}}\\&=\sum _{i,j=1}^{n}k(x_{i},x_{j})c_{i}^{\top }Ac_{j}=tr(KCAC^{\top })\end{aligned}}}$

タスク構造を表す方法は、ほぼ同等の 3 つあります。正規化子を使用する方法、出力メトリックを使用する方法、および出力マッピングを使用する方法です。

正規化定式化により、さまざまなタスク構造を簡単に表現できます。

• (ここではT x T単位行列、 はT x Tの1 の行列)とすることは、 Γ が タスクの平均からの分散を制御することと同等です。たとえば、あるバイオマーカーの血中濃度を1 日の途中でT人の患者から測定し、患者間での予測値の分散を正規化することが目的となる場合があります。${\textstyle A^{\dagger }=\gamma I_{T}+(\gamma -\lambda ){\frac {1}{T}}\mathbf {1} \mathbf {1} ^{\top }}$${\displaystyle I_{T}}$${\textstyle \mathbf {1} \mathbf {1} ^{\top }}$${\textstyle \sum _{t}||f_{t}-{\bar {f}}||_{{\mathcal {H}}_{k}}}$${\textstyle {\frac {1}{T}}\sum _{t}f_{t}}$${\displaystyle n_{t}}$
• を許容することは、グループ平均に関して測定された分散を で制御することと同等です。 (ここで、グループ r の濃度、および は指標関数です)。たとえば、異なる政党 (グループ) の人々は、政治家の好感度の予測に関して とともに正規化される可能性があります。すべてのタスクが同じグループにある場合、このペナルティは最初の に減少することに注意してください。${\displaystyle A^{\dagger }=\alpha I_{T}+(\alpha -\lambda )M}$${\displaystyle M_{t,s}={\frac {1}{|G_{r}|}}\mathbb {I} (t,s\in G_{r})}$${\displaystyle \alpha }$${\displaystyle \sum _{r}\sum _{t\in G_{r}}||f_{t}-{\frac {1}{|G_{r}|}}\sum _{s\in G_{r})}f_{s}||}$${\displaystyle |G_{r}|}$${\displaystyle \mathbb {I} }$
• とすると、 は、タスクのペアごとの類似性を与える隣接行列Mを持つグラフのラプラシアンです。これは、タスク t と sがより類似しているとき (重み 、に従って) 、タスクtとs を隔てる距離に大きなペナルティを与えることと同等です。つまり、を正規化します。${\displaystyle A^{\dagger }=\delta I_{T}+(\delta -\lambda )L}$${\displaystyle L=D-M}$ ${\displaystyle M_{t,s}}$${\displaystyle \delta }$${\displaystyle \sum _{t,s}||f_{t}-f_{s}||_{{\mathcal {H}}_{k}}^{2}M_{t,s}}$
• 上記の A の選択はすべて、 f の複雑さをより広範囲にペナルティする追加の正規化項も誘発します。${\textstyle \lambda \sum _{t}||f||_{{\mathcal {H}}_{k}}^{2}}$

学習問題P は、学習タスク マトリックス A を次のように許容するように一般化できます。

の選択は、特定のタイプの 行列A を学習するように設計する必要があります。以下の「特殊なケース」を参照してください。${\displaystyle F:S_{+}^{T}\rightarrow \mathbb {R} _{+}}$

凸損失と強制ペナルティの場合に限定すると、Cilibertoらは、Q はCとAで共に凸ではないが、関連する問題は共に凸である ことを示しました。

特に凸集合上では、同等の問題 ${\displaystyle {\mathcal {C}}=\{(C,A)\in \mathbb {R} ^{n\times T}\times S_{+}^{T}|Range(C^{\top }KC)\subseteq Range(A)\}}$

は同じ最小値を持つ凸です。そして がRの最小化者であれば、 はQの最小化者です。 ${\displaystyle (C_{R},A_{R})}$${\displaystyle (C_{R}A_{R}^{\dagger },A_{R})}$

R は、次の摂動を導入することにより、閉集合上のバリア法によって解くことができます。

障壁を介した摂動により、目的関数はの境界上でに等しくなります。 ${\displaystyle \delta ^{2}tr(A^{\dagger })}$${\displaystyle +\infty }$${\displaystyle R^{n\times T}\times S_{+}^{T}}$

S は、 CとAを交互に繰り返すブロック座標降下法で解くことができます。これにより、 S内の最小化子のシーケンスが得られ、これはR内の解に収束し、したがってQの解が得られます。 ${\displaystyle (C_{m},A_{m})}$${\displaystyle \delta _{m}\rightarrow 0}$

スペクトルペナルティ- Dinnuzoら^[17]は、Fをフロベニウスノルムに設定することを提案した、の境界での困難さを考慮せずに、ブロック座標降下法を使用してQを直接最適化した。 ${\displaystyle {\sqrt {tr(A^{\top }A)}}}$${\displaystyle \mathbb {R} ^{n\times T}\times S_{+}^{T}}$

クラスター化されたタスクの学習- Jacob et al ^{[18] は、} T 個 のタスクがR 個の互いに素なクラスターに編成されている設定でA を学習することを提案しました。この場合、を の行列とします。 、 および を設定すると、タスク行列は の関数としてパラメータ化できます。は、タスク予測の平均、クラスター間の分散、クラスター内の分散にそれぞれペナルティを課す項を持ちます。M は凸ではありませんが、凸緩和 があります。この定式化では、 です。 ${\displaystyle E\in \{0,1\}^{T\times R}}$${\displaystyle E_{t,r}=\mathbb {I} ({\text{task }}t\in {\text{group }}r)}$${\displaystyle M=I-E^{\dagger }E^{T}}$${\displaystyle U={\frac {1}{T}}\mathbf {11} ^{\top }}$${\displaystyle A^{\dagger }}$${\displaystyle M}$${\displaystyle A^{\dagger }(M)=\epsilon _{M}U+\epsilon _{B}(M-U)+\epsilon (I-M)}$${\displaystyle {\mathcal {S}}_{c}=\{M\in S_{+}^{T}:I-M\in S_{+}^{T}\land tr(M)=r\}}$${\displaystyle F(A)=\mathbb {I} (A(M)\in \{A:M\in {\mathcal {S}}_{C}\})}$

非凸ペナルティ- A がグラフ ラプラシアンになるように制約されるか、A が低ランク因数分解を持つようにペナルティを構築できます。ただし、これらのペナルティは凸ではなく、Ciliberto らが提案したバリア法の分析はこれらのケースでは実行されません。

非分離カーネル- 分離カーネルには制限があり、特に入力ドメインと出力ドメイン間の相互作用空間の構造を共同で考慮しません。これらのカーネルのモデルを開発するには、今後の作業が必要です。

^{Multi-Task Learning via StructurAl Regularization (MALSAR) [19]}と呼ばれる Matlab パッケージは、 次のマルチタスク学習アルゴリズムを実装しています: Mean-Regularized Multi-Task Learning、^{[20] [21]} Multi-Task Learning with Joint Feature Selection、^[22] Robust Multi-Task Feature Learning、^[23] Trace-Norm Regularized Multi-Task Learning、^[24] Alternating Structural Optimization、^{[25] [26]} Incoherent Low-Rank and Sparse Learning、^[27] Robust Low-Rank Multi-Task Learning、Clustered Multi-Task Learning、^{[28] [29]} Multi-Task Learning with Graph Structures。

• マルチターゲット予測: 問題と方法の統一的見解 Willem Waegeman、Krzysztof Dembczynski、Eyke Huellermeier https://arxiv.org/abs/1809.02352v1

• UIUC のバイオシグナル インテリジェンス グループ
• セントルイス・ワシントン大学 コンピュータサイエンス学部

• 構造正則化パッケージによるマルチタスク学習
• オンライン マルチタスク学習ツールキット (OMT)条件付きランダム フィールドモデルと確率的勾配降下法トレーニングに基づく汎用オンライン マルチタスク学習ツールキット( C#、. NET )