監督が弱い

弱い教師あり学習（半教師あり学習とも呼ばれる）は機械学習のパラダイムであり、大規模言語モデルの出現により、トレーニングに大量のデータが必要になるため、その関連性と注目度が高まっています。弱い教師あり学習は、少量の人間がラベル付けしたデータ（より高価で時間のかかる教師あり学習パラダイムでのみ使用）と、それに続く大量のラベルなしデータ（教師なし学習パラダイムでのみ使用）の組み合わせを使用することを特徴としています。言い換えれば、目的の出力値はトレーニング データのサブセットに対してのみ提供されます。残りのデータはラベルなしまたは不正確にラベル付けされます。直感的には、これは試験であり、ラベル付きデータは教師がクラスで別の問題セットを解くための補助として解くサンプル問題であると見なすことができます。トランスダクティブ設定では、これらの未解決の問題は試験問題として機能します。帰納的設定では、これらは試験を構成する種類の練習問題になります。技術的には、クラスタリングを実行し、ラベル付けされたデータでクラスターにラベルを付け、決定境界を高密度領域から遠ざけるか、データが存在する基礎となる 1 次元多様体を学習すると考えることができます。

学習問題のためのラベル付きデータの取得には、多くの場合、熟練した人間のエージェント (オーディオ セグメントの書き起こしなど) または物理的な実験 (タンパク質の 3D 構造の判定や特定の場所に油があるかどうかの判定など) が必要です。ラベル付けプロセスに関連するコストにより、大規模で完全にラベル付けされたトレーニング セットが実現不可能になる場合がありますが、ラベルなしデータの取得は比較的安価です。このような状況では、半教師あり学習は実用的に大きな価値があります。半教師あり学習は、機械学習や人間の学習モデルとしても理論的に興味深いものです。

より正式には、半教師あり学習では、対応するラベルが付いた、独立して同一に分布するサンプルのセットが想定され、ラベルなしのサンプルが処理されます。半教師あり学習では、この情報を組み合わせて、ラベルなしデータを破棄して教師あり学習を行うか、ラベルを破棄して教師なし学習を行うことで得られる分類パフォーマンスを上回ります。 ${\displaystyle l}$ ${\displaystyle x_{1},\dots ,x_{l}\in X}$${\displaystyle y_{1},\dots ,y_{l}\in Y}$${\displaystyle u}$${\displaystyle x_{l+1},\dots ,x_{l+u}\in X}$

半教師あり学習は、トランスダクティブ学習または帰納的学習のいずれかを指す場合があります。^[1]トランスダクティブ学習の目的は、与えられたラベルなしデータのみに対して正しいラベルを推論することです。帰納的学習の目的は、からへの正しいマッピングを推論することです。 ${\displaystyle x_{l+1},\dots ,x_{l+u}}$${\displaystyle X}$${\displaystyle Y}$

入力空間全体にわたって分類規則を推論することによってトランスダクティブ学習を実行することは不要です (そして、Vapnik の原理によれば、無謀です)。ただし、実際には、トランスダクションまたはインダクション用に正式に設計されたアルゴリズムは、多くの場合、互換的に使用されます。

ラベルなしデータを利用するには、データの分布と何らかの関係が存在する必要がある。半教師あり学習アルゴリズムは、以下の仮定のうち少なくとも1つを利用する。^[2]

互いに近い点はラベルを共有する可能性が高くなります。これは教師あり学習でも一般的に想定されており、幾何学的に単純な決定境界が優先されます。半教師あり学習の場合、滑らかさの仮定により、低密度領域での決定境界がさらに優先されるため、互いに近いが異なるクラスの点はほとんどありません。^[3]

データは離散的なクラスターを形成する傾向があり、同じクラスター内のポイントはラベルを共有する可能性が高くなります(ただし、ラベルを共有するデータは複数のクラスターにまたがる場合があります)。これは平滑性仮定の特殊なケースであり、クラスタリング アルゴリズムによる 特徴学習につながります。

データは、入力空間よりもはるかに低い次元の多様体上にほぼ存在します。この場合、ラベル付きデータとラベルなしデータの両方を使用して多様体を学習すると、次元の呪いを回避できます。その後、多様体上で定義された距離と密度を使用して学習を進めることができます。

多様体仮定は、高次元のデータが、直接モデル化するのが困難であるが、自由度がわずかしかないプロセスによって生成される場合に実用的です。たとえば、人間の声は少数の声帯によって制御され、^[4]さまざまな表情の画像は少数の筋肉によって制御されます。これらの場合、距離と滑らかさを、すべての可能な音波または画像の空間ではなく、生成問題の自然空間で考慮する方が適切です。

自己訓練（自己学習または自己ラベリングとも呼ばれる）のヒューリスティックアプローチは、歴史的に半教師あり学習に対する最も古いアプローチであり、^[2] 1960年代に応用例が始まっています。^[5]

トランスダクティブ学習フレームワークは、 1970年代にウラジミール・ヴァプニクによって正式に導入されました。 ^[6]生成モデルを使用した帰納的学習への関心も1970年代に始まりました。ガウス混合の半教師あり学習のおそらくほぼ正しい学習境界は、1995年にラツァビーとベンカテッシュによって実証されました。^[7]

統計学習に対する生成的アプローチは、まず各クラスに属するデータポイントの分布を推定しようとします^{[異論あり–議論あり]} 。特定のポイントがラベルを持つ確率は、ベイズの法則によりに比例します。生成モデルによる半教師あり学習は、教師あり学習の拡張（分類と に関する情報）または教師なし学習の拡張（クラスタリングといくつかのラベル）として考えることができます。 ${\displaystyle p(x|y)}$${\displaystyle p(y|x)}$${\displaystyle x}$${\displaystyle y}$${\displaystyle p(x|y)p(y)}$${\displaystyle p(x)}$

生成モデルは、分布がベクトルによってパラメータ化された特定の形をとることを前提としています。これらの仮定が正しくない場合、ラベルなしデータは、ラベル付きデータのみから得られるものと比較して、ソリューションの精度を実際に低下させる可能性があります。 ^[8] しかし、仮定が正しければ、ラベルなしデータは必然的にパフォーマンスを向上させます。^[7]${\displaystyle p(x|y,\theta )}$${\displaystyle \theta }$

ラベルなしデータは、個々のクラス分布の混合に従って分布します。ラベルなしデータから混合分布を学習するには、混合分布が識別可能である必要があります。つまり、異なるパラメータが異なる合計分布を生成する必要があります。ガウス混合分布は識別可能であり、生成モデルでよく使用されます。

パラメータ化された結合分布は、連鎖律を用いて と記述できます。各パラメータ ベクトルは、決定関数 に関連付けられています。パラメータは、ラベル付きデータとラベルなしデータの両方への適合に基づいて で重み付けされて選択されます。 ${\displaystyle p(x,y|\theta )=p(y|\theta )p(x|y,\theta )}$${\displaystyle \theta }$${\displaystyle f_{\theta }(x)={\underset {y}{\operatorname {argmax} }}\ p(y|x,\theta )}$${\displaystyle \lambda }$

${\displaystyle {\underset {\Theta }{\operatorname {argmax} }}\left(\log p(\{x_{i},y_{i}\}_{i=1}^{l}|\theta )+\lambda \log p(\{x_{i}\}_{i=l+1}^{l+u}|\theta )\right)}$^[9]

もう 1 つの主要な手法は、データ ポイント (ラベル付きまたはラベルなし) が少ない領域に境界を配置しようとするものです。最も一般的に使用されるアルゴリズムの 1 つは、トランスダクティブ サポート ベクター マシン(TSVM) です (名前に反して、帰納的学習にも使用できます)。教師あり学習のサポート ベクター マシンは、ラベル付きデータに対して最大マージンを持つ決定境界を求めますが、TSVM の目標は、ラベルなしデータをラベル付けして、決定境界がすべてのデータに対して最大マージンを持つようにすることです。ラベル付きデータの標準的なヒンジ損失 に加えて、とすることで、ラベルなしデータに対して損失関数が導入されます。次に、TSVM は、正規化された経験的リスクを最小化することで、再生カーネル ヒルベルト空間から選択します。 ${\displaystyle (1-yf(x))_{+}}$${\displaystyle (1-|f(x)|)_{+}}$${\displaystyle y=\operatorname {sign} {f(x)}}$${\displaystyle f^{*}(x)=h^{*}(x)+b}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle f^{*}={\underset {f}{\operatorname {argmin} }}\left(\displaystyle \sum _{i=1}^{l}(1-y_{i}f(x_{i}))_{+}+\lambda _{1}\|h\|_{\mathcal {H}}^{2}+\lambda _{2}\sum _{i=l+1}^{l+u}(1-|f(x_{i})|)_{+}\right)}$

非凸項のため正確な解は扱いにくいため、研究は有用な近似値に焦点が当てられています。^[9]${\displaystyle (1-|f(x)|)_{+}}$

低密度分離を実装する他のアプローチには、ガウス過程モデル、情報正規化、エントロピー最小化 (TSVM は特殊なケース) などがあります。

ラプラシアン正則化は、歴史的にはグラフラプラシアンを通じてアプローチされてきました。半教師あり学習のグラフベースの方法では、ラベル付きおよびラベルなしの各例のノードを持つデータのグラフ表現を使用します。グラフは、ドメイン知識または例の類似性を使用して構築できます。2 つの一般的な方法は、各データ ポイントを最も近い近傍に接続するか、距離 内の例に接続することです。との間のエッジの重みは に設定されます。 ${\displaystyle k}$${\displaystyle \epsilon }$${\displaystyle W_{ij}}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle e^{-\|x_{i}-x_{j}\|^{2}/\epsilon ^{2}}}$

多様体正則化の枠組み^{[10] [11]}では、グラフは多様体の代理として機能します。標準的なティホノフ正則化問題に項が追加され、多様体（問題の固有空間内）と周囲の入力空間に対する解の滑らかさが強化されます。最小化問題は次のようになります。

${\displaystyle {\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left({\frac {1}{l}}\displaystyle \sum _{i=1}^{l}V(f(x_{i}),y_{i})+\lambda _{A}\|f\|_{\mathcal {H}}^{2}+\lambda _{I}\int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)\right)}$^[9]

ここで は再生核ヒルベルト空間であり、 はデータが存在する多様体です。 正規化パラメータと はそれぞれ周囲空間と内部空間の滑らかさを制御します。 グラフは内部正規化項を近似するために使用されます。 および がベクトルであるグラフラプラシアンを定義すると、次のようになります。 ${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {M}}}$${\displaystyle \lambda _{A}}$${\displaystyle \lambda _{I}}$ ${\displaystyle L=D-W}$${\displaystyle D_{ii}=\sum _{j=1}^{l+u}W_{ij}}$${\displaystyle \mathbf {f} }$${\displaystyle [f(x_{1})\dots f(x_{l+u})]}$

${\displaystyle \mathbf {f} ^{T}L\mathbf {f} =\displaystyle \sum _{i,j=1}^{l+u}W_{ij}(f_{i}-f_{j})^{2}\approx \int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)}$。

ラプラシアン正則化に対するグラフベースのアプローチは、有限差分法と関連づけられる。^{[説明が必要] [引用が必要]}

ラプラシアンは、教師あり学習アルゴリズム（正規化最小二乗法やサポート ベクター マシン (SVM)）を半教師ありバージョンのラプラシアン正規化最小二乗法やラプラシアン SVM に 拡張するためにも使用できます。

半教師あり学習の手法の中には、ラベルなしデータとラベル付きデータの両方からの学習に本質的に適合しているわけではなく、教師あり学習フレームワーク内でラベルなしデータを利用するものがあります。たとえば、ラベル付きおよびラベルなしの例は、教師なしの最初のステップでデータの表現、距離メトリック、またはカーネルの選択を通知する場合があります。次に、教師あり学習はラベル付き例のみから進みます。この意味で、一部の手法では、教師ありデータを使用して低次元表現を学習し、次に学習した表現に低密度分離またはグラフベースの方法のいずれかを適用します。^{[12] [13]}表現を反復的に改良し、次にその表現に対して半教師あり学習を実行すると、パフォーマンスがさらに向上する可能性があります。 ${\displaystyle x_{1},\dots ,x_{l+u}}$

自己学習は半教師あり学習のラッパー方式です。^[14]まず、ラベル付きデータのみに基づいて教師あり学習アルゴリズムを学習します。次に、この分類器をラベルなしデータに適用して、教師あり学習アルゴリズムの入力としてラベル付きの例をさらに生成します。通常、分類器が最も信頼するラベルのみが各ステップで追加されます。^[15]自然言語処理では、語義の曖昧さ解消、アクセントの復元、スペルの修正などの問題に対する一般的な自己学習アルゴリズムは、ヤロウスキーアルゴリズムです。 ^[16]

共同トレーニングは自己トレーニングの拡張であり、複数の分類器が異なる（理想的には互いに独立している）特徴セットでトレーニングされ、お互いにラベル付けされた例を生成します。^[17]

正式な半教師あり学習の問題に対する人間の反応は、ラベルなしデータの影響の程度についてさまざまな結論を導き出してきました。^[18]より自然な学習問題も、半教師あり学習の例として見ることができます。人間の概念学習の多くは、少量の直接指導（例：幼少期の親による物体のラベル付け）と大量のラベルなし経験（例：物体に名前を付けたり数えたりせずに、または少なくともフィードバックなしで観察する）の組み合わせで構成されています。

人間の乳児は、犬や猫の画像や男性や女性の顔などのラベルのない自然カテゴリの構造に敏感です。^[19]乳児や子供は、ラベルのない例だけでなく、ラベルのある例が生じるサンプリングプロセスも考慮します。 ^{[20] [21]}

• PU学習

1. ^ 半教師あり学習文献調査、5 ページ、2007 年、CiteSeerX  10.1.1.99.9681
2. ^ ab シャペル、シェルコフ & ツィーン 2006.
3. ^ Chawla, N., Bowyer, K., Hall, LO, & Kegelmeyer, WP (2002). SMOTE: 合成少数派オーバーサンプリング手法。ArXiv, abs/1106.1813.
4. ^ スティーブンス、ケネス N. (1998)。音響音声学。マサチューセッツ州ケンブリッジ：MIT プレス。ISBN 0-585-08720-2. OCLC  42856189.
5. ^ Scudder, H. (1965 年 7 月). 「適応型パターン認識マシンのエラー確率」. IEEE Transactions on Information Theory . 11 (3): 363–371. doi :10.1109/TIT.1965.1053799. ISSN  1557-9654.
6. ^ Vapnik, V.; Chervonenkis, A. (1974).パターン認識の理論(ロシア語). モスクワ: Nauka.Chapelle、Schölkopf & Zien 2006、p. で引用。 3
7. ^ ab Ratsaby, J.; Venkatesh, S. 「パラメトリックサイド情報を使用してラベル付きおよびラベルなしの例の混合から学習する」(PDF)。第8回計算学習理論年次会議 - COLT '95 の議事録。ニューヨーク、ニューヨーク、米国：ACM Press。1995年。pp. 412–417。doi : 10.1145 /225298.225348。ISBN 0-89791-723-5. S2CID  17561403。。 Chapelle、Schölkopf & Zien 2006、p. で引用。 4
8. ^ Fabio, Cozman; Ira, Cohen (2006-09-22)、「半教師あり学習のリスク: ラベルなしデータによって生成分類器のパフォーマンスが低下する仕組み」、半教師あり学習、MIT 出版、pp. 56–72、doi :10.7551/mitpress/9780262033589.003.0004、ISBN 978-0-262-03358-9出演: シャペル、シェルコフ＆ツィーン 2006
9. ^ abc Zhu, Xiaojin. 半教師あり学習、ウィスコンシン大学マディソン校。
10. ^ M. Belkin; P. Niyogi (2004). 「リーマン多様体における半教師あり学習」。機械学習. 56 (クラスタリング特集号): 209–239. doi : 10.1023/b:mach.0000033120.25363.1e .
11. ^ M. Belkin、P. Niyogi、V. Sindhwani。多様体正則化について。AISTATS 2005。
12. ^ Iscen, Ahmet; Tolias, Giorgos; Avrithis, Yannis; Chum, Ondrej (2019). 「 深層半教師あり学習のためのラベル伝搬」。2019 IEEE /CVF コンピュータービジョンおよびパターン認識会議 (CVPR)。pp. 5065–5074。arXiv : 1904.04717。doi : 10.1109 / CVPR.2019.00521。ISBN 978-1-7281-3293-8. S2CID  104291869 . 2021年3月26日閲覧。
13. ^ Burkhart, Michael C.; Shan, Kyle (2020). 「半教師あり分類のための深層低密度分離」。国際計算科学会議 (ICCS) 。コンピュータサイエンスの講義ノート。第 12139 巻。pp . 297–311。arXiv : 2205.11995。doi : 10.1007 / 978-3-030-50420-5_22。ISBN 978-3-030-50419-9。
14. ^ Triguero, Isaac; García, Salvador; Herrera, Francisco (2013-11-26). 「半教師あり学習のための自己ラベル付け手法: 分類法、ソフトウェア、実証研究」.知識と情報システム. 42 (2): 245–284. doi :10.1007/s10115-013-0706-y. ISSN  0219-1377. S2CID  1955810.
15. ^ ファザキス、ニコス;カルロス、スタマティス。コツィアンティス、ソティリス。シュガルバス、キリアコス (2015-12-29)。 「半教師あり学習のための自己訓練型 LMT」。計算知能と神経科学。2016 : 3057481.土井: 10.1155/2016/3057481。PMC 4709606。PMID  26839531。 
16. ^ Yarowsky, David (1995). 「教師なしの語義曖昧性解消は教師あり手法に匹敵する」。計算言語学協会第33回年次会議議事録。マサチューセッツ州ケンブリッジ：計算言語学協会：189–196。doi ：10.3115/981658.981684 。 2022年11月1日閲覧。
17. ^ Didaci, Luca; Fumera, Giorgio; Roli, Fabio (2012-11-07). Gimel'farb, Georgy; Hancock, Edwin; Imiya, Atsushi; Kuijper, Arjan; Kudo, Mineichi; Omachi, Shinichiro; Windeatt, Terry; Yamada, Keiji (eds.). Analysis of Co-training Algorithm with Very Small Training Sets . Lecture Notes in Computer Science. Springer Berlin Heidelberg. pp. 719–726. doi :10.1007/978-3-642-34166-3_79. ISBN 9783642341656. S2CID  46063225。
18. ^ Zhu, Xiaojin (2009).半教師あり学習入門. Goldberg, AB (Andrew B.). [サンラファエル、カリフォルニア州]: Morgan & Claypool Publishers. ISBN  978-1-59829-548-1. OCLC  428541480.
19. ^ Younger BA; Fearing DD (1999). 「項目を別々のカテゴリーに分解する: 乳児のカテゴリー化における発達的変化」.児童発達. 70 (2): 291–303. doi :10.1111/1467-8624.00022.
20. ^ Xu, F. & Tenenbaum, JB (2007). 「ベイズ語学習におけるサンプリングに対する感度」.発達科学. 10 (3): 288–297. CiteSeerX 10.1.1.141.7505 . doi :10.1111/j.1467-7687.2007.00590.x. PMID  17444970. 
21. ^ Gweon, H., Tenenbaum JB, Schulz LE (2010). 「乳児は帰納的一般化においてサンプルとサンプリングプロセスの両方を考慮する」Proc Natl Acad Sci USA . 107 (20): 9066–71. Bibcode :2010PNAS..107.9066G. doi : 10.1073/pnas.1003095107 . PMC 2889113 . PMID  20435914. {{cite journal}}: CS1 maint: multiple names: authors list (link)

• シャペル、オリヴィエ。シェルコップフ、ベルンハルト。ジエン、アレクサンダー (2006)。半教師あり学習。マサチューセッツ州ケンブリッジ：MIT Press。ISBN 978-0-262-03358-9。

• マニフォールド正規化グラフベースの半教師ありアルゴリズムであるラプラシアン サポート ベクター マシンとラプラシアン正規化最小二乗法の無料で利用できるMATLAB実装です。
• KEEL: データ マイニング問題 (回帰、分類、クラスタリング、パターン マイニングなど) の進化アルゴリズムを評価するソフトウェア ツール。半教師あり学習用の KEEL モジュール。
• 半教師あり学習ソフトウェア
• 半教師あり学習 — scikit-learn ドキュメントscikit-learnにおける半教師あり学習。