アクティブラーニング（機械学習）

アクティブラーニングは機械学習の特殊なケースで、学習アルゴリズムが人間のユーザー（またはその他の情報源）に対話的に問い合わせて、新しいデータポイントに目的の出力をラベル付けすることができます。人間のユーザーは、必要に応じて権威ある情報源を参照する能力を含め、問題領域に関する専門知識を持っている必要があります。 ^{[ 1 ] [ 2 ] [ 3 ]}統計学の文献では、最適実験計画法と呼ばれることもあります。^{[ 4 ]}情報源は、教師またはオラクルとも呼ばれます。

ラベルなしデータが豊富にあるが、手動でのラベル付けはコストがかかる状況があります。このようなシナリオでは、学習アルゴリズムは教師にラベルを積極的に問い合わせることができます。学習者が例を選択するため、概念を学習するための例の数は、通常の教師あり学習で必要な数よりもはるかに少なくなることがよくあります。ただし、アルゴリズムが情報のない例に圧倒されるリスクがあります。最近の開発は、マルチラベルアクティブラーニング^{[ 5 ]} 、ハイブリッドアクティブラーニング^{[ 6 ]}、およびシングルパス（オンライン）コンテキストでのアクティブラーニング^{[ 7 ]}に特化しており、機械学習の分野の概念（たとえば、競合と無知）をオンライン機械学習の分野における適応的で増分的な学習ポリシーと組み合わせます。アクティブラーニングを使用すると、比較更新に量子コンピュータまたはスーパーコンピュータが必要な場合でも、機械学習アルゴリズムをより迅速に開発できます。^{[ 8 ]}

大規模なアクティブラーニングプロジェクトは、Amazon Mechanical Turkのようなクラウドソーシングフレームワークを活用することで、多くの人間をアクティブラーニングのループに組み込むことができ、メリットが得られる可能性がある。

Tを、検討対象となるすべてのデータの集合とする。例えば、タンパク質工学の問題では、Tには、特定の興味深い活性を持つことが知られているすべてのタンパク質と、その活性を試験したいと考えられるすべての追加のタンパク質が含まれる。

各反復iにおいて、Tは 3 つのサブセットに分割されます。

1. $\displaystyle \mathbf {T} _{K,i}}$ラベルが既知のデータポイント。
2. $\displaystyle \mathbf {T} _{U,i}}$ラベルが不明なデータポイント。
3. $\displaystyle \mathbf {T} _{C,i}}$: ラベル付けするために選択されたT _U,iのサブセット。

アクティブラーニングに関する現在の研究のほとんどは、 T _C,iのデータポイントを選択するための最良の方法に関係しています。

• プールベースサンプリング: このアプローチは最もよく知られているシナリオであり、^{[ 9 ]}学習アルゴリズムはラベル付けするデータポイント (インスタンス) を選択する前にデータセット全体を評価しようとします。多くの場合、ロジスティック回帰や SVM などの機械学習手法を使用して、データの完全にラベル付けされたサブセットで最初にトレーニングされ、個々のデータインスタンスのクラスメンバーシップ確率が得られます。候補インスタンスは、予測が最も曖昧なインスタンスです。インスタンスはデータプール全体から抽出され、学習器がデータをどれだけ「理解」しているかの尺度である信頼度スコアが割り当てられます。システムは次に、最も信頼度の低いインスタンスを選択し、教師にラベルを問い合わせます。プールベースサンプリングの理論上の欠点は、メモリ集約型であるため、膨大なデータセットを処理する能力が制限されることですが、実際には、制限要因は、教師がコンピュータのメモリではなく、通常は労力に対して報酬を支払う必要がある (疲労する) 人間の専門家であることです。
• ストリームベースの選択的サンプリング：ここでは、ラベル付けされていないインスタンスが連続して1つずつ調べられ、機械はクエリパラメータに対して各項目の情報量を評価します。学習器は、各データポイントに対してラベルを割り当てるか、教師に問い合わせるかを自分で決定します。プールベースのサンプリングとは対照的に、ストリームベースの方法の明らかな欠点は、学習アルゴリズムがプロセスの早い段階で、ラベルを割り当てるか教師に問い合わせるかを適切に判断するのに十分な情報を持っておらず、既にラベル付けされたデータの存在を効率的に活用できないことです。したがって、教師はプールベースのアプローチよりもラベルの提供に多くの労力を費やす可能性が高くなります。
• メンバーシップクエリ合成: これは、学習者が基となる自然分布から合成データを生成するものです。たとえば、データセットが人間と動物の写真である場合、学習者は脚の切り抜き画像を教師に送信し、この付属肢が動物のものか人間のものかクエリすることができます。これは、データセットが小さい場合に特に役立ちます。^{[ 10 ]} ここでの課題は、すべての合成データ生成の取り組みと同様に、合成データが実際のデータの制約を満たすという点で一貫性があることを保証することです。入力データの変数/特徴の数が増え、変数間に強い依存関係が存在すると、十分な忠実度で合成データを生成することがますます困難になります。たとえば、人間の臨床検査値の合成データセットを作成するには、白血球分画のさまざまな白血球(WBC) 成分の合計が 100 に等しくなければなりません。これは、成分の数が実際にはパーセンテージであるためです。同様に、アラニンアミノトランスフェラーゼ（ALT）とアスパラギン酸アミノトランスフェラーゼ（AST）という酵素は肝機能を測定する（ただし、ASTは肺や膵臓などの他の組織でも産生される）。慢性疾患患者をシミュレーションした場合、ASTが正常範囲の下限（8～33単位/L）にあり、ALTが正常範囲の数倍（4～35単位/L）にある合成データポイントは生理学的に不可能である。

どのデータポイントにラベルを付けるべきかを決定するアルゴリズムは、その目的に基づいていくつかの異なるカテゴリに分類できます。^{[ 1 ]}

• 探索と活用のバランス：ラベル付けする例の選択は、データ空間表現の探索と活用の間のジレンマと見なされます。この戦略は、アクティブラーニング問題をコンテキストバンディット問題としてモデル化することで、この妥協を管理します。たとえば、Bouneffouf ら^{[ 11 ]}は、Active Thompson Sampling (ATS) と呼ばれる逐次アルゴリズムを提案しています。これは、各ラウンドで、プールにサンプリング分布を割り当て、この分布から 1 つの点をサンプリングし、このサンプル点のラベルについてオラクルに問い合わせます。
• 予想されるモデル変更：現在のモデルを最も大きく変更するであろう点にラベルを付けてください。
• 予想される誤差削減：モデルの汎化誤差を最も削減する点にラベルを付けます。
• アクティブラーニングのための指数勾配探索：^{[ 12 ]}この論文では、最適なランダム探索によってあらゆるアクティブラーニングアルゴリズムを改善できる指数勾配（EG）アクティブと呼ばれる逐次アルゴリズムが提案されています。
• 不確実性サンプリング：現在のモデルが正しい出力が何であるべきかについて最も不確実性が高い点にラベルを付けます。
• 委員会によるクエリ：様々なモデルが現在のラベル付きデータでトレーニングされ、ラベルなしデータの出力について投票が行われます。委員会が最も意見を異にする点にラベルが付けられます。
• 多様な部分空間またはパーティションからのクエリ: ^{[ 13 ]}基となるモデルがツリーの森である場合、リーフノードは元の特徴空間の（重複する）パーティションを表す可能性があります。これにより、重複しない、または最小限に重複するパーティションからインスタンスを選択してラベル付けすることが可能になります。
• 分散低減：出力分散（誤差の構成要素の一つ）を最小化する点にラベルを付けます。
• 共形予測：新しいデータポイントが、何らかの特定の方法で古いデータポイントと類似したラベルを持つと予測し、古い例内の類似性の度合いを使用して予測の信頼度を推定します。 ^{[ 14 ]}
• ミスマッチ優先最遠探索：主な選択基準は、現在のモデルと最近傍予測との間の予測ミスマッチです。これは、誤って予測されたデータポイントを対象とします。2番目の選択基準は、以前に選択されたデータまでの距離であり、最も遠いものが優先されます。これは、選択されたデータの多様性を最適化することを目的としています。^{[ 15 ]}
• ユーザー中心のラベル付け戦略：学習は、散布図などのグラフや図に次元削減を適用することによって行われます。次に、ユーザーはコンパイルされたデータ（カテゴリ、数値、関連性スコア、2 つのインスタンス間の関係）にラベルを付けるように求められます。^{[ 16 ]}

これらのカテゴリに分類されるさまざまなアルゴリズムが研究されてきました。^{[ 1 ] [ 4 ]}従来のAL戦略は優れたパフォーマンスを発揮できますが、特定の状況でどの戦略が最も適しているかを事前に予測することはしばしば困難です。近年、メタ学習アルゴリズムの人気が高まっています。それらのいくつかは、手動で設計された戦略に頼るのではなく、AL戦略を学習するという問題に取り組むために提案されています。「アクティブラーニングへのメタ学習アプローチ」と「従来のヒューリスティックベースのアクティブラーニング」を比較するベンチマークは、「アクティブラーニングの学習」が岐路に立っているかどうかについての直感を与えてくれるかもしれません。^{[ 17 ]}

アクティブラーニングアルゴリズムの中には、サポートベクターマシン（SVM）に基づいて構築され、SVMの構造を利用してどのデータポイントにラベルを付けるかを決定するものがあります。このような手法では通常、T _U,i内のラベル付けされていない各データのマージンWを計算し、W をそのデータから分離超平面までのn次元距離として扱います。

最小周辺超平面法では、 Wが最小のデータがSVMにとって最も不確実なデータであると仮定し、ラベル付けのためにT _C,iに配置する。最大周辺超平面法などの他の類似法では、 Wが最大のデータを選択する。トレードオフ法では、最小のWと最大のWの組み合わせを選択する。

• 機械学習研究用データセット一覧
• サンプルの複雑さ
• ベイズ最適化
• 強化学習

• アクティブラーニングによる汎化性能の向上、David Cohn、Les Atlas、Richard Ladner、Machine Learning 15、201–221 (1994)。https ://doi.org/10.1007/BF00993277
• Balcan, Maria-Florina & Hanneke, Steve & Wortman, Jennifer. (2008). アクティブラーニングの真のサンプル複雑性.. 45-56. https://link.springer.com/article/10.1007/s10994-010-5174-y
• アクティブラーニングとベイズ最適化：目標を持って学習するための統一的視点、Francesco Di Fiore、Michela Nardelli、Laura Mainini、https://arxiv.org/abs/2303.01560v2
• 能動的学習の方法を学ぶ：深層強化学習アプローチ、Meng Fang、Yuan Li、Trevor Cohn、https://arxiv.org/abs/1708.02383v1