機能学習

機械学習（ML）において、特徴学習または表現学習^[2]は、システムが生データから特徴検出または分類に必要な表現を自動的に発見できるようにする一連の技術です。これは手動の特徴エンジニアリングに代わるもので、機械が特徴を学習し、それを使用して特定のタスクを実行できるようにします。

特徴学習は、分類などの ML タスクでは、数学的および計算的に処理しやすい入力がしばしば必要になるという事実に起因しています。しかし、画像、ビデオ、センサー データなどの現実世界のデータは、特定の特徴をアルゴリズムで定義する試みには対応していません。代替案としては、明示的なアルゴリズムに頼らずに、検査を通じてそのような特徴や表現を発見することが挙げられます。

特徴学習は、教師あり学習、教師なし学習、自己教師学習のいずれかになります。

• 教師あり特徴学習では、ラベル付き入力データを使用して特徴を学習します。ラベル付きデータには入力とラベルのペアが含まれており、入力がモデルに与えられ、モデルは出力として真実のラベルを生成する必要があります。^{[3]これを活用して、モデルで特徴表現を生成することができ、高いラベル予測精度が得られます。例としては、教師あり}ニューラルネットワーク、多層パーセプトロン、辞書学習などがあります。
• 教師なし特徴学習では、データセット内の点間の関係性を分析することで、ラベルのない入力データを使用して特徴を学習します。^{[4]例としては、辞書学習、}独立成分分析、行列分解、^[5]およびさまざまな形式のクラスタリング などがあります。^{[6] [7] [8]}
• 自己教師あり特徴学習では、教師なし学習と同様にラベルなしデータを使用して特徴が学習されますが、入力ラベルのペアは各データポイントから構築され、勾配降下法などの教師あり手法を通じてデータの構造を学習できます。^[9]古典的な例としては、単語埋め込みやオートエンコーダーなどがあります。^{[10] [11]自己教師あり学習は}、畳み込みニューラルネットワークやトランスフォーマーなどのディープニューラルネットワークアーキテクチャの使用を通じて、多くのモダリティに適用されてきました。^[9]

教師あり特徴学習は、ラベル付きデータから特徴を学習することです。データ ラベルにより、システムはラベルを生成できなかった度合いを表すエラー項を計算できます。このエラー項は、学習プロセスを修正するためのフィードバックとして使用できます (エラーを削減/最小化)。アプローチには次のものがあります。

辞書学習では、入力データから代表的な要素のセット (辞書) を作成し、各データ ポイントを代表的な要素の加重合計として表すことができます。辞書の要素と重みは、平均表現エラー (入力データ全体) を最小化し、重みのL1正規化を行ってスパース性 (つまり、各データ ポイントの表現にはゼロ以外の重みがいくつかある) を実現することで見つけることができます。

教師あり辞書学習は、入力データの構造とラベルの両方を利用して辞書要素を最適化します。たとえば、この^[12]教師あり辞書学習手法は、入力データに基づいて辞書要素、データポイントを表す重み、および分類器のパラメータを共同で最適化することにより、分類問題に辞書学習を適用します。特に、最小化問題が定式化され、目的関数は分類誤差、表現誤差、各データポイントの表現重みのL1正則化（データのスパース表現を可能にするため）、および分類器のパラメータの L2正則化で構成されます。

ニューラル ネットワークは、相互接続されたノードの複数の層からなる「ネットワーク」を使用する学習アルゴリズムのファミリーです。動物の神経系にヒントを得たもので、ノードはニューロン、エッジはシナプスとして見なされます。各エッジには重みが関連付けられており、ネットワークはネットワークの入力層から出力層に入力データを渡すための計算ルールを定義します。ニューラル ネットワークに関連付けられたネットワーク関数は、重みによってパラメータ化される入力層と出力層の関係を特徴付けます。適切に定義されたネットワーク関数を使用すると、ネットワーク関数 (重み) のコスト関数を最小化することで、さまざまな学習タスクを実行できます。

多層ニューラル ネットワークは、隠れ層で入力の表現を学習し、その後出力層で分類や回帰に使用するため、特徴学習に使用できます。このタイプの最も一般的なネットワーク アーキテクチャは、シャム ネットワークです。

教師なし特徴学習は、ラベルなしデータから特徴を学習することです。教師なし特徴学習の目標は、多くの場合、高次元の入力データの背後にある構造を捉える低次元の特徴を発見することです。特徴学習が教師なしで実行されると、ラベルなしデータセットから学習した特徴を使用して、ラベル付きデータを使用した教師あり設定でのパフォーマンスを向上させる、一種の半教師あり学習が可能になります。 ^{[13] [14]}以下ではいくつかのアプローチを紹介します。

K平均法クラスタリングは、ベクトル量子化のアプローチです。特に、 n個のベクトルのセットが与えられた場合、 k平均法クラスタリングは、各ベクトルが最も近い平均値を持つクラスターに属するように、それらを k 個のクラスター (つまり、サブセット) にグループ化します。この問題は計算上NP 困難ですが、最適ではない貪欲アルゴリズムが開発されています。

K平均法クラスタリングは、ラベル付けされていない入力セットをk個のクラスターにグループ化し、これらのクラスターの重心を使用して特徴を生成するために使用できます。これらの特徴はいくつかの方法で生成できます。最も単純な方法は、各サンプルにk個のバイナリ特徴を追加することです。ここで、各特徴jは、 k平均法によって学習されたj番目の重心が検討中のサンプルに最も近い場合に限り、値1を持ちます。[ 6 ^]また、クラスターまでの距離を特徴として使用することもできます。その場合は、それらをラジアル基底関数（ RBFネットワークのトレーニングに使用されている手法^[15]）で変換した後で使用します。CoatesとNgは、k平均法の特定のバリアントがスパースコーディングアルゴリズムと同様に動作することを指摘しています。 ^[16]

教師なし特徴学習法の比較評価において、Coates、Lee、Ngは、適切な変換を伴うk平均法クラスタリングが、画像分類タスクにおいて、最近発明されたオートエンコーダやRBMよりも優れていることを発見しました。 ^[6] k平均法は、 NLPの領域、特に名前付きエンティティ認識の分野でもパフォーマンスを向上させます。^{[17]そこでは、}ブラウンクラスタリングや分散単語表現（ニューラル単語埋め込みとも呼ばれる）と競合します。 ^[14]

主成分分析(PCA) は、次元削減によく使用されます。ラベルなしのn 個の入力データ ベクトルのセットが与えられると、PCA は、データ マトリックスのp 個の最大特異値に対応するp個の右特異ベクトル(これは入力データの次元よりはるかに小さい)を生成します。ここで、データ マトリックスのk番目の行は、入力のサンプル平均によってシフトされたk番目の入力データ ベクトルです (つまり、データ ベクトルからサンプル平均を減算します)。同様に、これらの特異ベクトルは、入力ベクトルのサンプル共分散マトリックスのp 個の最大固有値に対応する固有ベクトルです。これらのp 個の特異ベクトルは、入力データから学習された特徴ベクトルであり、データが最も大きく変化する方向を表します。

PCA は、 p 個の特異ベクトルがデータ マトリックスの線形関数であるため、線形特徴学習アプローチです。特異ベクトルは、p回の反復を伴う単純なアルゴリズムによって生成できます。i 番目の反復では、データ マトリックスの(i-1)番目の固有ベクトルへの投影が減算され、i番目の特異ベクトルが残差データ マトリックスの最大特異値に対応する右特異ベクトルとして検出されます。

PCA にはいくつかの制限があります。まず、分散の大きい方向が最も重要であると想定しますが、必ずしもそうとは限りません。PCA は元のデータの直交変換のみに依存し、データの 1 次モーメントと 2 次モーメントのみを利用するため、データ分布の特性を十分に表すことができない可能性があります。さらに、PCA は入力データ ベクトルが相関している場合にのみ次元を効果的に削減できます (その結果、支配的な固有値が少数になります)。

局所線形埋め込み（LLE）は、（ラベルなしの）高次元入力から低次元の近傍保存表現を生成する非線形学習アプローチです。このアプローチは、RoweisとSaul（2000）によって提案されました。^{[18] [19]} LLEの一般的な考え方は、元のデータセット内の近傍のいくつかの幾何学的特性を維持しながら、低次元のポイントを使用して元の高次元データを再構築することです。

LLE は 2 つの主要なステップから構成されます。最初のステップは「近傍保存」です。各入力データ ポイントXiは、 K 個の最近傍データ ポイントの加重合計として再構築され、各ポイントに関連付けられた加重の合計が 1 になるという制約の下で、平均二乗再構築誤差 (つまり、入力ポイントとその再構築の差) を最小化することで最適な加重が求められます。2 番目のステップは「次元削減」です。最初のステップで最適化された加重を使用して、表現誤差を最小化する低次元空間のベクトルを探します。最初のステップでは、加重は固定データで最適化され、最小二乗問題として解くことができます。2 番目のステップでは、低次元ポイントは固定加重で最適化され、スパース固有値分解によって解くことができます。

最初のステップで得られた再構成重みは、入力データの近傍の「固有の幾何学的特性」を捉えます。^{[19]元のデータは滑らかな低次元}多様体上にあると想定されており、元のデータの重みによって捉えられた「固有の幾何学的特性」もその多様体上にあると予想されます。これが、LLEの2番目のステップで同じ重みが使用される理由です。PCAと比較すると、LLEは基礎となるデータ構造を活用する点でより強力です。

独立成分分析（ICA）は、独立した非ガウス成分の加重和を使用してデータ表現を形成する手法です。^{[20]すべての成分が}ガウス分布に従う場合、重みを一意に決定できないため、非ガウスの仮定が課されます。

教師なし辞書学習ではデータラベルを利用せず、データの根底にある構造を利用して辞書要素を最適化します。教師なし辞書学習の例としてスパースコーディングが挙げられます。これはラベルなし入力データからデータ表現のための基底関数（辞書要素）を学習することを目的としています。スパースコーディングは、辞書要素の数が入力データの次元よりも大きい過剰辞書の学習に適用できます。^[21] Aharonらは、スパース表現を可能にする要素の辞書を学習するためのアルゴリズムK-SVDを提案しました。^[22]

生物神経系の階層的構造は、学習ノードを複数層に積み重ねることによって特徴学習を行うディープラーニング構造に影響を与えている。 ^{[23]これらの構造は、多くの場合、}分散表現の仮定に基づいて設計される。つまり、観測データは、複数のレベルでの多くの異なる要因の相互作用によって生成される。ディープラーニング構造では、各中間層の出力は、元の入力データの表現とみなすことができる。各層は、前の下位層によって生成された表現を入力として使用し、新しい表現を出力として生成し、それを上位層に送る。最下層の入力は生データであり、最終最上位層の出力は、最終的な低次元の特徴または表現である。

制限付きボルツマンマシン(RBM) は、多層学習アーキテクチャの構成要素としてよく使用されます。^{[6] [24]} RBM は、バイナリ隠し変数のグループ、可視変数のグループ、および隠しノードと可視ノードを接続するエッジで構成される無向二部グラフで表すことができます。これは、ノード内接続がないという制約を持つ、より一般的なボルツマンマシンの特殊なケースです。RBM の各エッジには重みが関連付けられています。重みと接続によってエネルギー関数が定義され、これに基づいて可視ノードと隠しノードの結合分布を考案できます。RBM のトポロジーに基づいて、隠し (可視) 変数は独立しており、可視 (隠し) 変数を条件としています。^{[説明が必要]}このような条件付き独立性により、計算が容易になります。

RBMは、教師なし特徴学習のための単層アーキテクチャとして考えることができます。特に、可視変数は入力データに対応し、隠れ変数は特徴検出器に対応します。重みは、ヒントンのコントラストダイバージェンス（CD）アルゴリズムを使用して、可視変数の確率を最大化することでトレーニングできます。^[24]

一般的に、最大化問題を解くことでRBMを訓練すると、非スパースな表現になる傾向があります。スパースな表現を可能にするために、スパースRBM ^{[25]が提案されました。そのアイデアは、データ尤度の目的関数に}正規化項を追加し、期待される隠れ変数が小さな定数から逸脱した場合にペナルティを課すというものです。RBMは、興味深い特徴が別々の隠れユニットにマッピングされる、データの分離表現を得るためにも使用されています。^[26]${\displaystyle p}$

エンコーダとデコーダで構成されるオートエンコーダは、ディープラーニングアーキテクチャのパラダイムです。HintonとSalakhutdinov ^[24]は、エンコーダが生データ（画像など）を入力として使用し、特徴または表現を出力として生成し、デコーダがエンコーダから抽出した特徴を入力として使用し、元の入力生データを出力として再構成する例を示しています。エンコーダとデコーダは、RBMの複数の層を積み重ねて構築されます。アーキテクチャに含まれるパラメータは、もともと貪欲な層ごとの方法でトレーニングされていました。つまり、特徴検出器の1つの層が学習された後、それらは対応するRBMをトレーニングするための可視変数として供給されます。現在のアプローチでは、通常、確率的勾配降下法を使用してエンドツーエンドのトレーニングが適用されます。トレーニングは、いくつかの停止基準が満たされるまで繰り返すことができます。

自己教師あり表現学習は、情報信号として明示的なラベルに頼るのではなく、ラベルなしデータの構造をトレーニングすることで特徴を学習する。このアプローチにより、ディープニューラルネットワークアーキテクチャと大規模なラベルなしデータセットを組み合わせて使用​​することで、ディープな特徴表現を生成できるようになった。^[9]トレーニングタスクは、通常、対照的、生成的、またはその両方のクラスに分類される。^[27]対照的表現学習では、正のサンプルと呼ばれる関連するデータペアの表現を整列させるようにトレーニングし、負のサンプルと呼ばれる関係のないペアは対照的にする。通常、負のサンプルの大部分は、すべての入力が同じ表現にマッピングされる壊滅的な崩壊を防ぐために必要である。^[9]生成的表現学習では、制限された入力に一致するか、より低次元の表現から完全な入力を再構築するために、正しいデータを生成するようにモデルに指示する。^[27]

特定のデータ タイプ (テキスト、画像、音声、動画など) の自己教師あり表現学習の一般的な設定は、一般的なコンテキストのラベルなしデータの大規模なデータセットを使用してモデルを事前トレーニングすることです。^[11]コンテキストに応じて、この結果は、新しいデータを分割できる一般的なデータ セグメント (単語など) の表現のセット、または各新しいデータ ポイント (画像など) を低次元の特徴のセットに変換できるニューラル ネットワークのいずれかになります。^[9]どちらの場合でも、出力表現は、ラベル付きデータが制限される可能性のあるさまざまな問題設定で初期化として使用できます。モデルを特定のタスクに特化することは、通常、ラベルを信号としてモデル/表現を微調整するか、表現を固定してそれらを入力として受け取る追加のモデルをトレーニングすることによって、教師あり学習で行われます。^[11]

様々なモダリティの表現学習に使用するために多くの自己教師あり学習スキームが開発されており、多くの場合、他のデータタイプに転送される前に、まずテキストや画像への適用が成功していることが示されています。^[9]

Word2vec は、大規模なテキスト コーパスのスライディング ウィンドウ内の各単語とその隣接単語に対する自己監督を通じて単語を表現することを学習する単語埋め込み手法です。 ^[28]このモデルには、単語ベクトル表現を生成するための 2 つのトレーニング スキームがあり、1 つは生成的、もう 1 つは対照的です。^[27] 1 つ目は、各隣接単語を入力として単語を予測することです。^[28] 2 つ目は、隣接単語の表現類似性とランダムな単語のペアの表現非類似性のトレーニングです。^[10] word2vec の制限は、データのペアワイズ共起構造のみが使用され、順序やコンテキスト単語のセット全体は使用されないことです。最近のトランスフォーマー ベースの表現学習アプローチでは、単語予測タスクでこの問題を解決しようとしています。^[9] GPT は、前の入力単語をコンテキストとして使用して次の単語予測を事前トレーニングします。^[29]一方、BERT は双方向コンテキストを提供するためにランダム トークンをマスクします。^[30]

他の自己教師あり学習技術は、入力データ内の文章や段落などのより大きなテキスト構造の表現を見つけることで単語埋め込みを拡張します。 ^[9] Doc2vecは、単語予測タスクに段落に基づいて単語が含まれる入力を追加することでword2vecの生成的トレーニングアプローチを拡張し、段落レベルのコンテキストを表現することを目的としています。^[31]

^{画像表現学習の分野では、変換、 [32]}、インペインティング^[33]、パッチ識別^{[34] 、クラスタリング[35]}など、さまざまな自己教師あり学習手法が採用されてきました。

生成的アプローチの例としては、マスクされた画像を入力として、削除された画像領域を生成するためにAlexNet CNNアーキテクチャをトレーニングするコンテキストエンコーダ^[33]や、画像の解像度を下げた後にピクセル予測をトレーニングすることでGPT-2言語モデルアーキテクチャを画像に適用するiGPT ^[36]などがあります。

他の多くの自己教師あり学習法では、シャムネットワークが使用されています。これは、さまざまな拡張を通じて画像のさまざまなビューを生成し、それらを同様の表現に整列させるものです。課題は、モデルがすべての画像を同じ表現にエンコードする、崩壊ソリューションを回避することです。^{[37] SimCLRは、} ResNet CNNで画像表現を生成するために負の例を使用する対照的なアプローチです。^[34] Bootstrap Your Own Latent（BYOL）は、トレーニング中に変更されるモデルパラメータの低速移動平均を使用してビューの1つをエンコードすることにより、負のサンプルの必要性を排除します。^[38]

多くのグラフ表現学習技術の目標は、全体的なネットワーク トポロジに基づいて各ノードの埋め込み表現を生成することです。^[39] node2vec は、グラフ内のランダム ウォークの共起を関連の尺度として使用することで、word2vecトレーニング手法をグラフ内のノードに拡張します。 ^{[40]別のアプローチは、グラフ内の関連構造の表現間の}相互情報量、つまり類似性の尺度を最大化することです。 ^[9]一例として、Deep Graph Infomax があります。これは、各ノードの周りの「パッチ」の表現とグラフ全体の要約表現間の相互情報量に基づく対照的自己監督を使用します。負のサンプルは、マルチグラフ トレーニング設定でグラフ表現を別のグラフの表現とペアにするか、単一グラフ トレーニングで破損したパッチ表現とペアにすることで取得されます。^[41]

^{マスク予測[42]}やクラスタリング^[43]でも同様の結果が得られており、ビデオ表現学習アプローチは画像技術に似ていることが多いが、追加の学習構造としてビデオフレームの時間的シーケンスを利用する必要がある。例としては、ビデオクリップをマスクし、一連のクリップオプションが与えられた場合に正しいものを選択するようにトレーニングするVCPや、シャッフルされたビデオクリップセットが与えられた場合に元の順序を識別するように3D-CNNをトレーニングするXuらがある。^[44]

自己教師あり表現技術は、多くのオーディオデータ形式、特に音声処理に適用されています。^[9] Wav2vec 2.0は、時間的畳み込みを介してオーディオ波形をタイムステップに離散化し、コントラスト損失を使用してランダムタイムステップのマスク予測でトランスフォーマーをトレーニングします。 ^[45]これはBERT言語モデルに似ていますが、ビデオに対する多くのSSLアプローチと同様に、モデルは単語語彙全体ではなく一連のオプションの中から選択します。^{[30] [45]}

自己教師学習は、複数のデータタイプの共同表現の開発にも使用されています。^[9]アプローチでは通常、暗黙のラベルとして、モダリティ間の自然または人間由来の関連性に依存しています。たとえば、特徴的な音を持つ動物やオブジェクトのビデオクリップ、^[46]または画像を説明するために書かれたキャプションです。^[47] CLIP は、コントラスト損失を使用して、画像とキャプションのペアの大規模なデータセットから画像とテキストのエンコーディングを整列させるようにトレーニングすることにより、共同画像テキスト表現空間を生成します。^[47] MERLOT Reserve は、3 つの共同事前トレーニングタスク (ビデオフレームと周囲のオーディオとテキストのコンテキストが与えられた場合のオーディオまたはテキストセグメントのコントラストマスク予測、およびビデオフレームと対応するキャプションのコントラストアラインメント) を通じて、トランスフォーマーベースのエンコーダーをトレーニングして、大規模なビデオデータセットからオーディオ、字幕、ビデオフレームを共同で表現します。^[46]

マルチモーダル表現モデルは、通常、異なるモダリティにおける表現の直接的な対応を想定することができません。これは、正確な対応付けがノイズが多かったり、あいまいであったりすることが多いためです。たとえば、「犬」というテキストは、さまざまな犬の写真とペアになっている可能性があり、それに応じて、犬の写真はさまざまな程度の特定性でキャプションが付けられる可能性があります。この制限は、下流のタスクが最適なパフォーマンスを達成するために、モダリティ間の追加の生成マッピングネットワークを必要とする可能性があることを意味します。たとえば、テキストから画像を生成するDALLE-2などです。^[48]

動的表現学習法^[49]は、動的ネットワークなどの動的システムの潜在的埋め込みを生成する。特定の距離関数は特定の線形変換に対して不変であるため、異なる埋め込みベクトルのセットは実際には同じ/類似の情報を表すことができる。したがって、動的システムの場合、その埋め込みの時間的な違いは、任意の変換やシステムの実際の変化による埋め込みの不整合によって説明できる可能性がある。^[50]したがって、一般的に言えば、動的表現学習法によって学習された時間的な埋め込みは、偽の変化がないか検査され、その後の動的分析の前に調整される必要がある。

• 自動機械学習（AutoML）
• ディープラーニング
• 幾何学的特徴の学習
• 特徴検出（コンピュータビジョン）
• 特徴抽出
• 単語埋め込み
• ベクトル量子化
• 変分オートエンコーダ