自己指導型学習

自己教師あり学習（SSL ）は、機械学習のパラダイムの一つで、外部から提供されるラベルに頼るのではなく、データ自体を使用して教師信号を生成することで、タスクのモデルを訓練します。ニューラルネットワークの文脈では、自己教師あり学習は、入力データ内の固有の構造や関係性を活用して、意味のある訓練信号を生成することを目的としています。SSLタスクは、データ内の重要な特徴や関係性を捉えることで解決できるように設計されています。入力データは通常、関連するサンプルのペアを作成するように拡張または変換され、一方のサンプルが入力として機能し、もう一方のサンプルが教師信号の生成に使用されます。この拡張には、ノイズの導入、切り抜き、回転、その他の変換が含まれる場合があります。自己教師あり学習は、人間が物体を分類する方法をより忠実に模倣しています。^{[ 1 ]}

SSLでは、モデルは2つのステップで学習します。まず、モデルパラメータの初期化に役立つ擬似ラベルを使用して、補助的または前置き的な分類タスクに基づいてタスクが解決されます。^{[ 2 ] [ 3 ]}次に、教師あり学習または教師なし学習を使用して実際のタスクが実行されます。^{[ 4 ] [ 5 ] [ 6 ]}

自己教師あり学習は近年有望な結果を生み出しており、音声処理などの分野で実用的な応用が見出され、Facebookなどが音声認識に利用している。^{[ 7 ]}

擬似ラベルは、モデルが自身の予測に基づいてラベルなしデータに割り当てる自動生成ラベルです。これらは、正解ラベルが限られているか利用できない自己教師あり学習や半教師あり学習で広く使用されています。予測ラベルを正解ラベルの代わりとして扱うことで、学習アルゴリズムはトレーニングプロセスで大量のラベルなしデータを利用できます。^{[ 8 ]}

擬似ラベル付けは、データの統計的特性が時間とともに変化する概念ドリフトに適応する必要があるシステムでも重要な役割を果たします。このようなシナリオでは、モデルは入力インスタンスが以前に学習した動作から逸脱していることを検出する可能性があります。システムはそのインスタンスの分類結果を生成し、この予測されたクラスは、古くなりつつあるモデルコンポーネントを更新または再トレーニングするための擬似ラベルとして使用されます。このアプローチにより、手動による注釈を必要とせずに、動的な環境で継続的な適応が可能になります。^{[ 9 ] [ 10 ]}

多くの適応型学習パイプラインでは、分類器が十分な確信度で予測を生成した場合に擬似ラベルが選択され、エラー伝播のリスクが低減されます。これらの擬似ラベル付きインスタンスは、特に既存のコンポーネントがドリフトや分布シフトによって「劣化」の兆候を示した場合に、新たなデータパターンに対するモデルの理解を更新または進化させるために、トレーニングに組み込まれます。この戦略により、手動によるラベル付けへの依存度を低減しつつ、長期的なモデル性能の維持に役立ちます。

SSLは、入力から分類された出力を生成することを目標としている点で、教師あり学習手法に属します。しかし同時に、ラベル付き入出力ペアを明示的に使用する必要はありません。代わりに、相関関係、データに埋め込まれたメタデータ、または入力に存在するドメイン知識が、データから暗黙的かつ自律的に抽出されます。データから抽出されたこれらの教師信号は、トレーニングに使用できます。^{[ 1 ]}

SSLは、サンプルデータにラベルを必要としないという点で、教師なし学習と似ています。ただし、教師なし学習とは異なり、学習は固有のデータ構造を使用して行われるわけではありません。

半教師あり学習は教師あり学習と教師なし学習を組み合わせたもので、学習データのごく一部にラベルを付けるだけでよい。^{[ 3 ]}

転移学習では、あるタスク用に設計されたモデルが別のタスクで再利用されます。^{[ 25 ]}

オートエンコーダーのトレーニングは、出力パターンが入力パターン自体の最適な再構成になる必要があるため、本質的に自己教師あり学習プロセスです。しかし、現在の専門用語では、「自己教師あり学習」という用語は、多くの場合、事前テキストタスクのトレーニング設定に基づくタスクを指します。これは、完全に自己完結型のオートエンコーダーのトレーニングの場合とは異なり、そのような事前テキストタスクの（人間の）設計を伴います。^{[ 11 ]}

強化学習では、損失の組み合わせによる自己教師あり学習により、状態に関する最も重要な情報のみが圧縮された形で保持される抽象的な表現を作成できます。^{[ 26 ]}

自己教師あり学習は、音声認識に特に適しています。例えば、Facebookは、互いに連携する2つの深層畳み込みニューラルネットワークを使用して音声認識を行う自己教師ありアルゴリズムであるwav2vecを開発しました。 ^{[ 7 ]}

Googleの双方向エンコーダー表現トランスフォーマー（BERT）モデルは、検索クエリのコンテキストをよりよく理解するために使用されます。^{[ 27 ]}

OpenAIのGPT-3は、言語処理に使用できる自己回帰型言語モデルです。テキストの翻訳や質問への回答などに使用できます。^{[ 28 ]}

Bootstrap Your Own Latent (BYOL) は、 ImageNetや転移学習および半教師あり学習ベンチマークで優れた結果を出した NCSSL です。 ^{[ 29 ]}

ヤロウスキーアルゴリズムは、自然言語処理における自己教師あり学習の一例である。少数のラベル付きデータから、テキスト中の特定の箇所で多義語のどの意味が使われているかを予測することを学習する。

DirectPredは、一般的な勾配降下法で学習するのではなく、予測子の重みを直接設定するNCSSLです。^{[ 12 ]}

Self-GenomeNetは、ゲノミクスにおける自己教師あり学習の一例である。^{[ 30 ]}

SelfAPRは、自動プログラム修復に適用された自己教師あり学習の一例であり、修復対象プログラムの以前のバージョンの摂動​​に基づいてニューラルモデルが訓練され、テスト実行診断を使用してパッチを合成します。^{[ 31 ]}

自己教師あり学習は、多様な分野において新たなアプローチとしてますます注目を集めている。ラベルなしデータを効果的に活用できるその能力は、機械学習、特にデータ駆動型アプリケーション分野における進歩に新たな可能性を切り開く。

• バレストリエロ、ランドール。イブラヒム、マーク。ソバル、ヴラド。モルコス、アリ。シェカール、シャシャンク。ゴールドスタイン、トム。ボルデス、フロリアン。バーデス、エイドリアン。ミアロン、グレゴワール。天、元東。シュワルツシルト、アヴィ。ウィルソン、アンドリュー・ゴードン。ガイピン、ジョナス。ガリード、クエンティン。フェルナンデス、ピエール（2023年4月24日）。 「自己教師あり学習のクックブック」。arXiv : 2304.12210 [ cs.LG ]。

• Doersch, Carl ; Zisserman, Andrew (2017年10月)「マルチタスク自己教師あり視覚学習」2017 IEEE International Conference on Computer Vision (ICCV) pp. 2070–2079 . arXiv : 1708.07860 . doi : 10.1109/ICCV.2017.226 . ISBN  978-1-5386-1032-9. S2CID 473729 . 
• カール・ドーシュ。グプタ、アビナフ。エフロス、アレクセイ A. (2015 年 12 月)。 「文脈予測による教師なし視覚表現学習」。2015 IEEE コンピューター ビジョン国際会議 (ICCV)。ページ1422–1430。arXiv : 1505.05192 。​​土井：10.1109/ICCV.2015.167。ISBN  978-1-4673-8391-2. S2CID 9062671 . 
• Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (2018年4月1日). 「自己教師あり学習による白血球画像の高速かつ堅牢なセグメンテーション」 . Micron . 107 : 55–71 . doi : 10.1016 /j.micron.2018.01.010 . ISSN 0968-4328 . PMID 29425969. S2CID 3796689 .   
• Yarowsky, David (1995). "教師なし単語意味曖昧性解消法が教師あり法に匹敵する" . Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics . Cambridge, MA: Association for Computational Linguistics: 189–196 . doi : 10.3115 /981658.981684 . 2022年11月1日取得。