メタ学習（コンピュータサイエンス）

メタ学習^{[1] [2]は}機械学習 のサブフィールドであり、機械学習実験に関するメタデータに自動学習アルゴリズムが適用されます。2017年現在、この用語には標準的な解釈が見つかっていませんが、主な目的は、そのようなメタデータを使用して、自動学習が学習問題の解決にどのように柔軟に対応できるかを理解することです。これにより、既存の学習アルゴリズムのパフォーマンスが向上したり、学習アルゴリズム自体を学習（誘導）したりできるため、学習するための学習という別名があります。^[1]

柔軟性が重要なのは、各学習アルゴリズムがデータに関する一連の仮定、つまりその帰納的バイアスに基づいているためです。^[3]これは、バイアスが学習問題と一致する場合にのみ、アルゴリズムが適切に学習することを意味します。学習アルゴリズムは、1つのドメインでは非常にうまく機能しても、次のドメインではうまく機能しない可能性があります。学習問題（多くの場合、何らかのデータベース）とさまざまな学習アルゴリズムの有効性との関係はまだ理解されていないため、機械学習またはデータマイニング技術の使用には大きな制限が課せられます。

学習問題のプロパティ、アルゴリズムのプロパティ（パフォーマンス指標など）、データから以前に導出されたパターンなど、さまざまな種類のメタデータを使用することで、さまざまな学習アルゴリズムを学習、選択、変更、または組み合わせて、特定の学習問題を効果的に解決できます。メタ学習アプローチの批判は、おそらく関連する問題であるメタヒューリスティックの批判と非常によく似ています。メタ学習との優れた類似性があり、Jürgen Schmidhuberの初期の研究（1987年）^[1]とYoshua Bengioらの研究（1991年）^{[4]のインスピレーションとなった研究では、遺伝子進化は遺伝子にエンコードされ、各個人の脳で実行される学習手順を学習すると考えられています。}遺伝的プログラミングを使用するオープンエンドの階層型メタ学習システム^[1]では、メタ進化によってより優れた進化的方法を学習でき、メタ進化自体もメタメタ進化などによって改善できます^[1]。

メタ学習システムの 提案された定義^{[5]は、3つの要件を組み合わせたものである。}

• システムには学習サブシステムが含まれている必要があります。
• 抽出されたメタ知識を活用することで経験が得られる
  • 単一のデータセットでの以前の学習エピソード、または
  • さまざまなドメインから。
• 学習バイアスは動的に選択する必要があります。

バイアスとは、説明仮説の選択に影響を与える仮定のことを指し^{[6] 、}バイアスと分散のジレンマで表されるバイアスの概念を指すのではない。メタ学習は、学習バイアスの2つの側面に関係している。

• 宣言的バイアスは仮説空間の表現を指定し、検索空間のサイズに影響します (例: 仮説を線形関数のみを使用して表現する)。
• 手続き的バイアスは帰納的仮説の順序付けに制約を課す（例えば、より小さな仮説を優先する）。^[7]

一般的なアプローチは3つあります。^[8]

1. 外部または内部メモリを備えた（循環）ネットワークを使用する（モデルベース）
2. 効果的な距離メトリックの学習（メトリックベース）
3. 高速学習のためにモデルパラメータを明示的に最適化する（最適化ベース）。

モデルベースのメタ学習モデルは、数回のトレーニングステップでパラメータを迅速に更新します。これは、内部アーキテクチャによって実現することも、別のメタ学習モデルによって制御することもできます。^[8]

メモリ拡張ニューラルネットワーク（略してMANN）は、新しい情報を素早くエンコードし、ほんの数例で新しいタスクに適応できると言われています。^[9]

メタネットワーク（MetaNet）は、タスク間でメタレベルの知識を学習し、高速パラメータ化によって誘導バイアスをシフトして、迅速な一般化を実現します。^[10]

メトリックベースのメタ学習の核となる考え方は、重みがカーネル関数によって生成される最近傍アルゴリズムに似ています。これは、オブジェクトに対するメトリックまたは距離関数を学習することを目的としています。適切なメトリックの概念は問題に依存します。タスク空間内の入力間の関係性を表現し、問題解決を容易にする必要があります。^[8]

シャムニューラルネットワークは、出力が共同でトレーニングされる2つの双子ネットワークで構成されています。入力データサンプルペアの関係を学習する関数があります。2つのネットワークは同じであり、同じ重みとネットワークパラメータを共有しています。^[11]

マッチングネットワークは、小さなラベル付きサポートセットとラベルなしの例をそのラベルにマッピングするネットワークを学習し、新しいクラスタイプに適応するための微調整の必要性を排除します。^[12]

関係ネットワーク（RN）は、最初から最後までトレーニングされます。メタ学習中に、エピソード内の少数の画像を比較するための深い距離メトリックを学習します。各エピソードは、少数のショットの設定をシミュレートするように設計されます。^[13]

プロトタイプネットワークは、各クラスのプロトタイプ表現までの距離を計算することで分類を行うことができるメトリック空間を学習します。最近の少数ショット学習のアプローチと比較すると、プロトタイプネットワークは、限られたデータ環境で有益なより単純な帰納的バイアスを反映し、満足のいく結果を達成しています。^[14]

最適化ベースのメタ学習アルゴリズムが意図しているのは、モデルが少数の例で学習できるように最適化アルゴリズムを調整することです。 ^[8]

LSTMベースのメタ学習器は、少数ショットモードで別の学習器ニューラルネットワーク分類器をトレーニングするために使用される正確な最適化アルゴリズムを学習します。パラメータ化により、一定量の更新が行われるシナリオに特有の適切なパラメータ更新を学習できると同時に、トレーニングの迅速な収束を可能にする学習器（分類器）ネットワークの一般的な初期化も学習できます。^[15]

モデルに依存しないメタ学習（MAML）は、勾配降下法で学習するあらゆるモデルと互換性のある、かなり一般的な最適化アルゴリズムです。 ^[16]

Reptileは、その両方のコンポーネントが勾配降下法によるメタ最適化に依存しており、両方ともモデルに依存しないことを考えると、非常に単純なメタ学習最適化アルゴリズムです。 ^[17]

メタ学習の例として見られるいくつかのアプローチ:

• リカレントニューラルネットワーク（RNN）は万能コンピュータです。1993年、Jürgen Schmidhuberは、「自己参照型」RNNが原理的にバックプロパゲーションによって学習し、バックプロパゲーションとはまったく異なる独自の重み変更アルゴリズムを実行する方法を示しました。^[18] 2001年、Sepp Hochreiter 、AS Younger、P.R. Conwellは、長期短期記憶RNNに基づく教師ありメタ学習器を構築しました。この学習器は、バックプロパゲーションを通じて、バックプロパゲーションよりもはるかに高速な2次関数の学習アルゴリズムを学習しました。^{[19] [2]} Deepmindの研究者（Marcin Andrychowiczら）は、2017年にこのアプローチを最適化に拡張しました。^[20]
• 1990年代、メタ強化学習（Meta RL）は、シュミットフーバーの研究グループによって、ポリシー自体を変更するための特別な指示を含む汎用プログラミング言語で書かれた自己修正ポリシーを通じて実現されました。生涯にわたる試行は1回のみです。RLエージェントの目標は報酬を最大化することです。RLエージェントは、「自己参照」ポリシーの一部である独自の学習アルゴリズムを継続的に改善することで、報酬の獲得を加速することを学習します。^{[21] [22]}
• メタ強化学習の極端な例はゲーデルマシンで、これは自身のソフトウェアのあらゆる部分を検査し修正できる理論的構成であり、一般的な定理証明器も備えている。これは証明可能な最適な方法で再帰的な自己改善を達成することができる。 ^{[23] [2]}
• モデルに依存しないメタ学習（MAML）は、2017年にチェルシー・フィンらによって導入されました。 ^[16]一連のタスクが与えられた場合、特定のモデルのパラメータは、新しいタスクからのトレーニングデータが少ない勾配降下法の反復が、そのタスクで良好な一般化パフォーマンスにつながるようにトレーニングされます。MAMLは「モデルを簡単に微調整できるようにトレーニングします。」^[16] MAMLは、少数ショットの画像分類ベンチマークとポリシー勾配ベースの強化学習にうまく適用されました。^[16]
• 変分ベイズ適応型ディープラーニング（VariBAD）は2019年に導入されました。^[24] MAMLは最適化ベースですが、VariBADはメタ強化学習のためのモデルベースの手法であり、変分オートエンコーダーを活用してタスク情報を内部メモリにキャプチャし、タスクに応じた意思決定を行います。
• 一連のタスクに対処する場合、ほとんどのメタ学習アプローチは、すべてのタスクの平均スコアを最適化します。したがって、平均スコアを優先するために特定のタスクが犠牲になる可能性があり、これは実際のアプリケーションでは受け入れられないことがよくあります。対照的に、ロバストメタ強化学習（RoML）は、低スコアのタスクの改善に焦点を当て、タスクの選択に対する堅牢性を高めます。^{[25] RoMLはメタアルゴリズムとして機能し、他のメタ学習アルゴリズム（MAMLやVariBADなど）の上に適用して堅牢性を高めることができます。これは、教師ありメタ学習とメタ}強化学習の両方に適用できます。
• メタ知識の発見は、各学習方法がさまざまな学習問題でどのように機能するかを表す知識 (ルールなど) を誘導することによって機能します。メタデータは、学習問題におけるデータの特性 (一般、統計、情報理論的など) と学習アルゴリズムの特性 (タイプ、パラメータ設定、パフォーマンス測定など) によって形成されます。次に、別の学習アルゴリズムが、データ特性がアルゴリズム特性とどのように関連しているかを学習します。新しい学習問題が与えられると、データ特性が測定され、さまざまな学習アルゴリズムのパフォーマンスが予測されます。したがって、新しい問題に最適なアルゴリズムを予測できます。
• スタックされた一般化は、複数の (異なる) 学習アルゴリズムを組み合わせることで機能します。メタデータは、これらの異なるアルゴリズムの予測によって形成されます。別の学習アルゴリズムは、このメタデータから学習して、どのアルゴリズムの組み合わせが一般的に良い結果をもたらすかを予測します。新しい学習問題が与えられた場合、選択されたアルゴリズムのセットの予測が組み合わされ (たとえば、(重み付けされた) 投票によって)、最終的な予測が提供されます。各アルゴリズムは問題のサブセットで機能すると見なされるため、組み合わせはより柔軟で、良い予測を行うことができることが期待されます。
• ブースティングはスタックされた一般化に関連していますが、同じアルゴリズムを複数回使用し、トレーニング データ内の例は実行ごとに異なる重みを取得します。これにより、データのサブセットを正しく予測することにそれぞれ重点を置いたさまざまな予測が生成され、それらの予測を組み合わせることで、より良い (ただしコストが高い) 結果が得られます。
• 動的バイアス選択は、学習アルゴリズムの帰納的バイアスを特定の問題に合わせて変更することで機能します。これは、仮説表現、ヒューリスティック式、パラメータなど、学習アルゴリズムの主要な側面を変更することで行われます。さまざまなアプローチが存在します。
• 帰納的転移は、学習プロセスを時間の経過とともにどのように改善できるかを研究します。メタデータは、以前の学習エピソードに関する知識で構成され、新しいタスクに対する効果的な仮説を効率的に開発するために使用されます。関連するアプローチは、学習するための学習と呼ばれ、1 つのドメインから取得した知識を使用して他のドメインでの学習を支援することを目標としています。
• メタデータを使用して自動学習を改善する他のアプローチとしては、学習分類システム、事例ベース推論、制約充足などがあります。
• 応用行動分析を人間の学習者のパフォーマンスに関するエージェントを介したメタ学習の基礎として使用し、人工エージェントの指導コースを調整するための初期の理論的研究が開始されました。 ^[26]
• Google Brainの「AI構築AI」プロジェクトなどのAutoMLは、Googleによると2017年に既存のImageNetベンチマークを一時的に上回った^{。[27] [28]}

• Scholarpediaのメタラーニング記事
• Vilalta, R.; Drissi, Y. (2002). 「メタ学習の展望と調査」(PDF) .人工知能レビュー. 18 (2): 77–95. doi :10.1023/A:1019956318069.
• Giraud-Carrier, C.; Keller, J. (2002) 「メタ学習」。Meij, J. (編) 『データ洪水への対処』。ハーグ: STT/Beweton。
• Brazdil, P.; Giraud-Carrier, C.; Soares, C.; Vilalta, R. (2009) 「メタラーニング: 概念とシステム」。メタラーニング: データ マイニングへの応用。Springer。ISBN 978-3-540-73262-4。
• MAML、プロトタイプ ネットワーク、関係ネットワークを段階的に説明するメタ学習に関するビデオ コース。