Loading article…
ゼロショット学習( ZSL ) は、ディープラーニングにおける問題設定であり、テスト時に学習者がトレーニング中に観察されなかったクラスのサンプルを観察し、それらが属するクラスを予測する必要があります。この名前は、分類を 1 つまたは少数の例から学習できるワンショット学習という以前の概念に基づいた言葉遊びです。
ゼロショット法は、通常、観測クラスと非観測クラスを何らかの補助情報（観測可能なオブジェクトの識別特性をエンコードしたもの）を介して関連付けることによって機能します。[1]たとえば、分類する動物の画像セットと、動物の外観に関する補助的なテキスト記述が与えられた場合、馬を認識するようにトレーニングされているがシマウマを与えられたことのない人工知能モデルは、シマウマが縞模様の馬のように見えることも知っている場合は、シマウマを認識できます。この問題は、コンピュータービジョン、自然言語処理、機械知覚の分野で広く研究されています。[2]
背景と歴史
自然言語処理におけるゼロショット学習に関する最初の論文は、2008年にChang、Ratinov、Roth、SrikumarによってAAAI'08で発表されましたが、そこでの学習パラダイムの名前はデータレス分類でした。[3]コンピュータビジョンにおけるゼロショット学習に関する最初の論文も同じ会議で発表され、ゼロデータ学習という名前が付けられました。[4]ゼロショット学習という用語は、2009年にNIPS'09でPalatucci、Hinton、Pomerleau、Mitchellによって発表された論文で初めて文献に登場しました。[5]この用語は後に別のコンピュータビジョンの論文で繰り返され、 [6]ゼロショット学習という用語は、数年前にコンピュータビジョンで導入されたワンショット学習から派生したものとして定着しました。[7]
コンピューター ビジョンでは、ゼロ ショット学習モデルは、クラス表現とともに、見たクラスのパラメーターを学習し、クラス ラベル間の表現の類似性に依存して、推論中にインスタンスを新しいクラスに分類できるようにします。
自然言語処理では、開発された主要な技術的方向性は、「ラベルを理解する」能力、つまり分類する文書と同じ意味空間でラベルを表す能力に基づいています。これにより、注釈付きデータを観察することなく単一の例を分類できます。これは、ゼロショット分類の最も純粋な形式です。最初の論文[3]では、明示的意味解析(ESA) 表現が使用されていましたが、その後の論文では、高密度表現を含む他の表現が使用されました。このアプローチは、多言語領域[8] [9] 、細かいエンティティのタイピング[10]などの問題にも拡張されました。さらに、計算アプローチは、表現のみに依存するだけでなく、テキスト含意[11]や質問応答[12]などの他のタスクからの転送に依存するように拡張されました。
原著論文[3]では、単一の例を分類する能力を超えて、例のコレクションが与えられた場合、それらが同じ分布から来ていると仮定すると、半教師あり学習のような方法（またはトランスダクティブ学習）でパフォーマンスをブートストラップすることが可能であるとも指摘しています。
機械学習における標準的な一般化とは異なり、分類器はトレーニング中にすでに観察したクラスに新しいサンプルを正しく分類することが期待されますが、ZSL では分類器のトレーニング中にクラスのサンプルは与えられません。したがって、これはドメイン適応の極端なケースと見なすことができます。
ゼロショットクラスの前提条件情報
当然、これらのゼロショット クラスについては何らかの補助情報を提供する必要がありますが、この種類の情報にはいくつかの種類があります。
- 属性による学習: クラスには、事前に定義された構造化された説明が付随します。たとえば、鳥の説明には、「赤い頭」、「長いくちばし」などが含まれます。[6] [13]これらの属性は、多くの場合、構造化された構成方法で編成されており、その構造を考慮すると学習が向上します。[14]このアプローチは主にコンピュータービジョンで使用されていましたが、自然言語処理にもいくつかの例があります。[15]
- テキスト記述からの学習。上で指摘したように、これは自然言語処理で追求されてきた主要な方向性です。ここでは、クラスラベルは意味を持つものとみなされ、定義や自由形式の自然言語記述で補強されることがよくあります。これには、たとえば、クラスのWikipediaの説明が含まれます。[10] [16] [17]
- クラス間の類似性。ここでは、クラスは連続空間に埋め込まれています。ゼロショット分類器は、サンプルがその空間内のある位置に対応することを予測することができ、トレーニング中にそのようなサンプルが観察されなかったとしても、最も近い埋め込まれたクラスが予測クラスとして使用されます。[18]
一般化ゼロショット学習
上記の ZSL 設定では、テスト時にゼロショット サンプル、つまり新しい未知のクラスのサンプルのみが与えられることを前提としています。一般化ゼロショット学習では、新しいクラスと既知のクラスの両方のサンプルがテスト時に現れる可能性があります。これは、与えられたサンプルが新しいか既知かを推定するのが非常に難しいため、テスト時の分類器に新たな課題をもたらします。これに対処するためのアプローチには、次のものがあります。
- ゲーティングモジュールは、まず与えられたサンプルが新しいクラスから来たのか古いクラスから来たのかを判断するように訓練され、その後推論時にハード決定[19]またはソフト確率決定[20]のいずれかを出力する。
- 生成モジュールは、見えないクラスの特徴表現を生成するように訓練されており、標準的な分類器は、見えるクラスと見えないクラスのすべてのサンプルで訓練することができます。[21]
適用分野
ゼロショット学習は以下の分野に適用されています。
参照
参考文献
- ^ Xian, Yongqin; Lampert, Christoph H.; Schiele, Bernt; Akata, Zeynep (2020-09-23). 「ゼロショット学習 -- 良い点、悪い点、醜い点の包括的な評価」. arXiv : 1707.00600 [cs.CV].
- ^ Xian, Yongqin; Schiele, Bernt; Akata, Zeynep (2017). 「ゼロショット学習 - 良い点、悪い点、そして醜い点」。IEEEコンピュータービジョンおよびパターン認識会議の議事録: 4582– 4591。arXiv : 1703.04394。Bibcode : 2017arXiv170304394X。
- ^ abc Chang, MW (2008). 「意味表現の重要性: データレス分類」. AAAI .
- ^ Larochelle, Hugo (2008). 「新しいタスクのゼロデータ学習」(PDF)。
- ^ Palatucci, Mark (2009). 「セマンティック出力コードによるゼロショット学習」(PDF) . NIPS .
- ^ ab Lampert, CH (2009). 「クラス間属性転送による見えないオブジェクトクラスの検出学習」. IEEE コンピュータビジョンおよびパターン認識会議: 951– 958. CiteSeerX 10.1.1.165.9750 .
- ^ Miller, EG (2000). 「変換上の共有密度による 1 つの例からの学習」(PDF) . CVPR .
- ^ Song, Yangqiu (2019). 「テキスト文書のあらゆる言語でのゼロショットトピック分類に向けて」.人工知能. 274 : 133–150 . doi : 10.1016/j.artint.2019.02.002 .
- ^ Song, Yangqiu (2016). 「多言語のクロスリンガルデータレス分類」(PDF) . IJCAI .
- ^ ab Zhou, Ben (2018). 「型互換グラウンディングとしてのゼロショットオープンエンティティタイピング」(PDF) . EMNLP . arXiv : 1907.03228 .
- ^ Yin, Wenpeng (2019). 「ゼロショットテキスト分類のベンチマーク：データセット、評価、含意アプローチ」（PDF）。EMNLP。arXiv：1909.00161。
- ^ Levy, Omer (2017). 「読解によるゼロショット関係抽出」(PDF) . CoNLL . arXiv : 1706.04115 .
- ^ Romera-Paredes, Bernardino; Torr, Phillip (2015). 「ゼロショット学習への驚くほどシンプルなアプローチ」(PDF)。機械学習に関する国際会議: 2152– 2161。
- ^ Atzmon, Yuval; Chechik, Gal (2018). 「ゼロショット学習のための確率的 AND-OR 属性グループ化」(PDF) .人工知能における不確実性. arXiv : 1806.02664 . Bibcode :2018arXiv180602664A.
- ^ Roth, Dan (2009). 「観測されていないラベルによるアスペクトガイド付きテキスト分類」ICDM . CiteSeerX 10.1.1.148.9946 .
- ^ Hu, R Lily; Xiong, Caiming; Socher, Richard (2018). 「クラスの自然言語記述によるゼロショット画像分類: メタ学習アプローチ」(PDF)。NeurIPS。
- ^ Srivastava, Shashank; Labutov, Igor; Mitchelle, Tom (2018). 「自然言語定量化からの分類子のゼロショット学習」。計算言語学協会第56回年次会議の議事録（第1巻：長文論文）。pp. 306– 316。doi ：10.18653/v1/P18-1029。
- ^ Frome, Andrea; et, al (2013). 「Devise: 深層視覚意味埋め込みモデル」(PDF)。ニューラル情報処理システムの進歩: 2121– 2129。
- ^ Socher, R; Ganjoo, M; Manning, CD ; Ng , A. (2013). 「クロスモーダル転送によるゼロショット学習」。Neural Information Processing Systems。arXiv : 1301.3666。Bibcode :2013arXiv1301.3666S 。
- ^ Atzmon, Yuval (2019). 「一般 化ゼロショット学習のための適応型信頼スムージング」。IEEEコンピュータービジョンおよびパターン認識会議: 11671– 11680。arXiv : 1812.09903。Bibcode : 2018arXiv181209903A。
- ^ Felix, R; et, al ( 2018). 「マルチモーダルサイクル一貫性一般化ゼロショット学習」。欧州コンピュータビジョン会議の議事録: 21– 37。arXiv : 1808.00136。Bibcode :2018arXiv180800136F 。
- ^ Wittmann, Bruce J.; Yue, Yisong; Arnold, Frances H. (2020-12-04). 「機械学習支援による指向性進化が、最小限のスクリーニング負担で組み合わせエピスタティック適応度ランドスケープをナビゲート」: 2020.12.04.408955. doi :10.1101/2020.12.04.408955. S2CID 227914824.
{{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です