監督体制が不十分

互いに近い点ほどラベルを共有する可能性が高い。これは教師あり学習でも一般的に仮定されており、幾何学的に単純な決定境界が好まれる。半教師あり学習の場合、滑らかさの仮定により、低密度領域では決定境界が好まれるため、互いに近いがクラスが異なる点はほとんどない。^{[ 3 ]}

データは離散的なクラスターを形成する傾向があり、同じクラスター内の点はラベルを共有する可能性が高い（ただし、ラベルを共有するデータは複数のクラスターにまたがる場合もある）。これは平滑性仮定の特殊なケースであり、クラスタリングアルゴリズムを用いた特徴学習につながる。

データは、入力空間よりもはるかに低次元の多様体上にほぼ存在します。この場合、ラベル付きデータとラベルなしデータの両方を使用して多様体を学習することで、次元の呪いを回避できます。その後、多様体上で定義された距離と密度を使用して学習を進めることができます。

多様体仮定は、直接モデル化するのが難しいものの自由度が少ないプロセスによって高次元データが生成される場合に実用的です。たとえば、人間の声は少数の声帯によって制御され、^{[ 4 ]}さまざまな顔の表情の画像は少数の筋肉によって制御されます。このような場合、距離と滑らかさを、それぞれすべての可能な音波や画像の空間ではなく、生成問題の自然な空間で考慮する方が良いでしょう。

統計的学習に対する生成的アプローチは、まず推定を試みる。${\displaystyle p(x|y)}$各クラスに属するデータポイントの分布。確率${\displaystyle p(y|x)}$特定の点${\displaystyle x}$ラベルがあります${\displaystyle y}$は、${\displaystyle p(x|y)p(y)}$ベイズの定理により。生成モデルを用いた半教師あり学習は、教師あり学習（分類と情報）の拡張と見なすことができる。${\displaystyle p(x)}$）または教師なし学習の拡張（クラスタリングとラベル付け）として。

生成モデルは、分布が何らかの特定の形式をとることを前提としている。${\displaystyle p(x|y,\theta )}$ベクトルによってパラメータ化される${\displaystyle \theta }$これらの仮定が間違っている場合、ラベルなしデータは、ラベル付きデータのみから得られるものと比較して、ソリューションの精度を実際に低下させる可能性があります。^{[ 8 ]} しかし、仮定が正しい場合は、ラベルなしデータは必然的にパフォーマンスを向上させます。^{[ 7 ]}

ラベルなしデータは、個々のクラス分布の混合分布に従って分布します。ラベルなしデータから混合分布を学習するには、それが識別可能である必要があります。つまり、異なるパラメータが異なる合計分布を生成する必要があります。ガウス混合分布は識別可能であり、生成モデルで一般的に使用されます。

パラメータ化された同時分布は次のように記述できます。${\displaystyle p(x,y|\theta )=p(y|\theta )p(x|y,\theta )}$連鎖律を用いることにより、各パラメータベクトルは${\displaystyle \theta }$決定関数に関連付けられている${\displaystyle f_{\theta }(x)={\underset {y}{\operatorname {argmax} }}\ p(y|x,\theta )}$パラメータは、ラベル付きデータとラベルなしデータの両方への適合度に基づいて選択され、重み付けされます。${\displaystyle \lambda }$:

${\displaystyle {\underset {\Theta }{\operatorname {argmax} }}\left(\log p(\{x_{i},y_{i}\}_{i=1}^{l}|\theta )+\lambda \log p(\{x_{i}\}_{i=l+1}^{l+u}|\theta )\right)}$^{[ 9 ]}

もう1つの主要な手法は、データポイントが少ない領域（ラベル付きまたはラベルなし）に境界を設定しようとするものです。最も一般的に使用されるアルゴリズムの1つは、トランスダクティブサポートベクターマシン（TSVM）です（その名前にもかかわらず、帰納的学習にも使用できます）。教師あり学習用のサポートベクターマシンは、ラベル付きデータに対して最大のマージンを持つ決定境界を求めますが、TSVMの目標は、決定境界がすべてのデータに対して最大のマージンを持つように、ラベルなしデータにラベルを付けることです。標準的なヒンジ損失に加えて、${\displaystyle (1-yf(x))_{+}}$ラベル付きデータの場合、損失関数${\displaystyle (1-|f(x)|)_{+}}$ラベルなしデータに対して導入される${\displaystyle y=\operatorname {sign} {f(x)}}$TSVMは次に選択する${\displaystyle f^{*}(x)=h^{*}(x)+b}$再生核ヒルベルト空間から$\displaystyle {\mathcal {H}}}$正規化された経験的リスクを最小化することによって：

${\displaystyle f^{*}={\underset {f}{\operatorname {argmin} }}\left(\displaystyle \sum _{i=1}^{l}(1-y_{i}f(x_{i}))_{+}+\lambda _{1}\|h\|_{\mathcal {H}}^{2}+\lambda _{2}\sum _{i=l+1}^{l+u}(1-|f(x_{i})|)_{+}\right)}$

非凸項のため、厳密解を求めることは不可能である。${\displaystyle (1-|f(x)|)_{+}}$そのため、研究は有用な近似に焦点を当てている。^{[ 9 ]}

低密度分離を実現する他のアプローチとしては、ガウス過程モデル、情報正則化、エントロピー最小化（TSVMはその特殊なケース）などがある。

ラプラシアン正則化は、歴史的にグラフラプラシアンを通してアプローチされてきました。半教師あり学習のためのグラフベースの手法では、データのグラフ表現を使用し、ラベル付きおよびラベルなしの各例にノードが割り当てられます。グラフは、ドメイン知識または例の類似性を使用して構築できます。一般的な2つの方法は、各データポイントをそのノードに接続することです。${\displaystyle k}$最も近い隣人、またはある程度の距離内の例${\displaystyle \epsilon }$重量${\displaystyle W_{ij}}$エッジ間の${\displaystyle x_{i}}$そして${\displaystyle x_{j}}$次に、${\displaystyle e^{-\|x_{i}-x_{j}\|^{2}/\epsilon ^{2}}}$。

多様体正則化の枠組みでは、^{[ 10 ] [ 11 ]}グラフは多様体の代理として機能します。標準的なティホノフ正則化問題に項が追加され、多様体（問題の固有空間）および周囲の入力空間に関して解の滑らかさが強制されます。最小化問題は次のようになります。

${\displaystyle {\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left({\frac {1}{l}}\displaystyle \sum _{i=1}^{l}V(f(x_{i}),y_{i})+\lambda _{A}\|f\|_{\mathcal {H}}^{2}+\lambda _{I}\int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)\right)}$^{[ 9 ]}

どこ$\displaystyle {\mathcal {H}}}$は再生核ヒルベルト空間であり、$\displaystyle {\mathcal {M}}}$はデータが存在する多様体です。正則化パラメータ$\displaystyle \lambda _{A}}$そして$\displaystyle \lambda _{I}}$それぞれ周囲空間と固有空間における滑らかさを制御します。グラフは、固有正則化項を近似するために使用されます。グラフラプラシアンの定義${\displaystyle L=DW}$どこ${\displaystyle D_{ii}=\sum _{j=1}^{l+u}W_{ij}}$そして${\displaystyle \mathbf {f} }$ベクトル${\displaystyle [f(x_{1})\dots f(x_{l+u})]}$、 我々は持っています

${\displaystyle \mathbf {f} ^{T}L\mathbf {f} =\displaystyle \sum _{i,j=1}^{l+u}W_{ij}(f_{i}-f_{j})^{2}\approx \int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)}$。

ラプラシアン正則化に対するグラフベースのアプローチは、有限差分法と関連付けられる。

ラプラシアンは、教師あり学習アルゴリズムである正則化最小二乗法とサポートベクターマシン（SVM）を、半教師あり学習バージョンのラプラシアン正則化最小二乗法とラプラシアンSVMに拡張するためにも使用できます。

半教師あり学習の手法の中には、ラベル付きデータとラベルなしデータの両方から学習することを本質的に目的としていないものがあり、代わりに教師あり学習のフレームワーク内でラベルなしデータを利用するものがあります。例えば、ラベル付きとラベルなしの例${\displaystyle x_{1},\dots ,x_{l+u}}$教師なし学習の最初のステップでは、データの表現、距離メトリック、またはカーネルの選択に役立つ可能性があります。次に、ラベル付きサンプルのみから教師あり学習が進められます。この流れで、教師ありデータを使用して低次元表現を学習し、学習した表現に低密度分離またはグラフベースの方法を適用する方法もあります。 ^{[ 12 ] [ 13 ]}表現を繰り返し洗練し、その表現に対して半教師あり学習を実行すると、パフォーマンスがさらに向上する可能性があります。

自己学習は、半教師あり学習のラッパー手法です。^{[ 14 ]}まず、ラベル付きデータのみに基づいて教師あり学習アルゴリズムをトレーニングします。次に、この分類器をラベルなしデータに適用して、教師あり学習アルゴリズムへの入力として、より多くのラベル付き例を生成します。一般的に、各ステップでは、分類器が最も確信しているラベルのみが追加されます。^{[ 15 ]}自然言語処理では、単語の意味の曖昧性解消、アクセントの復元、スペル修正などの問題に対する一般的な自己学習アルゴリズムとして、ヤロウスキーアルゴリズムがあります。^{[ 16 ]}

共同学習は自己学習の拡張であり、複数の分類器が異なる（理想的には互いに排他的な）特徴セットで学習され、互いに対してラベル付きサンプルを生成する。^{[ 17 ]}