マルチインスタンス学習

機械学習において、マルチインスタンス学習（MIL）は教師あり学習の一種です。学習器は、個別にラベル付けされたインスタンスのセットを受け取る代わりに、それぞれに多数のインスタンスを含むラベル付きバッグのセットを受け取ります。マルチインスタンス二値分類の単純なケースでは、バッグ内のすべてのインスタンスが負であれば、バッグは負とラベル付けされます。一方、バッグ内に少なくとも1つの正のインスタンスがあれば、バッグは正とラベル付けされます。ラベル付きバッグのコレクションから、学習器は（i）個々のインスタンスを正しくラベル付けする概念を誘導するか、（ii）概念を誘導せずにバッグにラベルを付ける方法を学習しようとします。

Babenko (2008) ^{[ 1 ]}は、MIL の簡単な例を挙げています。数人の人がいて、それぞれが数個の鍵が入ったキーホルダーを持っていると想像してください。これらの人のうち、ある部屋に入れる人もいれば、入れない人もいます。そこで、特定の鍵またはキーホルダーでその部屋に入れるかどうかを予測することが課題となります。この問題を解決するには、すべての「有効な」キーホルダーに共通する正確な鍵を見つける必要があります。この鍵を正しく識別できれば、キーホルダー全体を正しく分類することもできます。必要な鍵が含まれている場合は「有効」、含まれていない場合は「無効」と分類できます。

機械学習

トレーニングデータの種類とバリエーションに応じて、機械学習は大きく分けて教師あり学習、教師なし学習、強化学習の3つのフレームワークに分類できます。マルチインスタンス学習（MIL）は教師あり学習のフレームワークに属し、すべてのトレーニングインスタンスには、離散値または実数値のラベルが付与されます。MILは、トレーニングセット内のラベルに関する知識が不完全な問題を扱います。より正確には、マルチインスタンス学習では、トレーニングセットはラベル付きの「バッグ」で構成され、各バッグはラベルなしインスタンスの集合です。バッグ内のインスタンスのうち少なくとも1つが正であれば正のラベルが付与され、すべてのインスタンスが負であれば負のラベルが付与されます。MILの目標は、新しい、未知のバッグのラベルを予測することです。

歴史

Keeler ら^{[ 2 ]}は、1990 年代初頭の研究で、MIL の分野を最初に探求しました。マルチインスタンス学習という実際の用語は、1990 年代半ばに Dietterich らが薬剤活性予測の問題を調査していたときに導入されました。^{[ 3 ]}彼らは、既知の分子のコレクションを分析することによって、新しい分子が何らかの薬剤を作るのに適しているかどうかを予測できる学習システムを作成しようとしました。分子は多くの代替的な低エネルギー状態を持つことができますが、そのうちの 1 つまたはいくつかだけが薬剤を作るのに適しています。問題は、科学者が分子に適しているかどうかだけを判断でき、どの低エネルギー形状がそれの原因となっているかを正確に言うことができなかったために発生しました。

この問題を解決するために提案された方法の 1 つは、教師あり学習を使用し、適格な分子のすべての低エネルギー形状を正のトレーニングインスタンスとみなし、不適格な分子のすべての低エネルギー形状を負のインスタンスとみなすことでした。Dietterich らは、この方法では、すべての低エネルギー形状が誤って正とラベル付けされるため、偽陽性ノイズが高くなり、実際には役に立たないことを示しました。^{[ 3 ]}彼らのアプローチは、各分子をラベル付きバッグとみなし、その分子のすべての代替低エネルギー形状を個別のラベルなしでバッグ内のインスタンスとみなすことでした。これにより、マルチインスタンス学習が定式化されました。

Dietterich らが提案した複数インスタンス学習問題の解決策は、軸平行矩形 (APR) アルゴリズムです。^{[ 3 ]}このアルゴリズムは、特徴の結合によって構築された適切な軸平行矩形を探索します。彼らは、薬剤活性予測の具体的なテストデータであり、複数インスタンス学習で最もよく使用されるベンチマークである Musk データセットでこのアルゴリズムをテストしました。^{[ 4 ]}^{[ 5 ]} APR アルゴリズムは最良の結果を達成しましたが、APR は Musk データを念頭に置いて設計されました。

マルチインスタンス学習の問題は、創薬に限ったものではありません。1998年、MaronとRatanは、マシンビジョンのシーン分類にマルチインスタンス学習の別の応用例を見つけ、Diverse Densityフレームワークを考案しました。^{[ 6 ]}画像が与えられると、インスタンスは1つ以上の固定サイズのサブ画像とみなされ、インスタンスのバッグは画像全体とみなされます。画像にターゲットシーン（たとえば滝）が含まれている場合はポジティブ、そうでない場合はネガティブとラベル付けされます。マルチインスタンス学習は、ターゲットシーンを特徴付けるサブ画像のプロパティを学習するために使用できます。それ以来、これらのフレームワークは、画像コンセプト学習やテキスト分類から株式市場の予測まで、幅広いアプリケーションに適用されてきました。

例

画像分類を例にとると、Amores (2013)は、与えられた画像からその視覚的内容に基づいてターゲットクラスを判別したいとします。例えば、ターゲットクラスが「ビーチ」で、画像に「砂」と「水」の両方が含まれている場合を考えてみましょう。MILの用語では、画像はバッグとして記述されます。 $X=\{X_{1},..,X_{N}\}$ それぞれ $X_{i}$ は、対応するから抽出された特徴ベクトル（インスタンスと呼ばれる）です。 $i$ 画像内の番目の領域と $N$ は、画像を分割する領域（インスタンス）の総数です。バッグに「砂」領域のインスタンスと「水」領域のインスタンスの両方が含まれている場合、バッグは正（「ビーチ」）とラベル付けされます。

MILが適用される例は以下のとおりです。

分子活性
カルモジュリン結合タンパク質の結合部位の予測^{[ 7 ]}
代替スプライシングアイソフォームの機能予測Li、Menonら(2014)、Eksi ら (2013)
画像分類マロン＆ラタン（1998）
テキストまたは文書の分類Kotzias et al. (2015)
MicroRNA標的の機能的結合部位の予測Bandyopadhyay、Ghosh他(2015)
医療画像分類Zhu et al. (2017) PJSudharshan 他。 (2019) Harvtxt エラー: ターゲットがありません: CITEREFP.J.Sudharshan_et_al.2019 (ヘルプ)

多くの研究者が、サポートベクターマシンやブースティングといった古典的な分類手法を、複数インスタンス学習の文脈で機能するように適応させる研究に取り組んできた。

定義

インスタンスの空間が ${\mathcal {X}}$ すると、バッグの集合は関数の集合となる。 $\displaystyle \mathbb {N} ^{\mathcal {X}}=\{B:{\mathcal {X}}\rightarrow \mathbb {N} \}}$ これは、の多重部分集合の集合と同型である。 ${\mathcal {X}}$ 各バッグにつき $B\in \mathbb {N} ^{\mathcal {X}}$ そして各事例 $x\in {\mathcal {X}}$ 、 $B(x)$ 回数として見なされる $x$ 発生する $B$ [ ⁸^] ${\mathcal {Y}}$ ラベルの空間であるならば、「複数インスタンス概念」はマップである $c:\mathbb {N} ^{\mathcal {X}}\rightarrow {\mathcal {Y}}$ MILの目標は、そのような概念を学習することです。記事の残りの部分では、バイナリ分類に焦点を当てます。 ${\mathcal {Y}}=\{0,1\}$ 。

前提条件

^{Dietterich et al. (1997) や Maron & Lozano-Pérez (1997) の初期の論文[ 3 ]}^{[ 9 ]}を含む、マルチインスタンス学習に関するほとんどの研究は、バッグ内のインスタンスとバッグのクラスラベルの関係について仮定を置いています。その重要性から、この仮定はしばしば標準 MI 仮定と呼ばれます。

標準的な仮定

標準的な仮定では、各インスタンスが $x\in {\mathcal {X}}$ 関連ラベルを持つ $y\in \{0,1\}$ これは学習者には隠されている。 $(x,y)$ は「インスタンスレベルの概念」と呼ばれます。バッグはインスタンスレベルの概念のマルチセットとして見なされ、そのインスタンスの少なくとも1つが正のラベルを持つ場合は正、すべてのインスタンスが負のラベルを持つ場合は負とラベル付けされます。形式的には、 $B=\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\}$ バッグになる。ラベルは $B$ すると $c(B)=1-\prod _{i=1}^{n}(1-y_{i})$ 標準的な相互情報量（MI）の仮定は非対称であり、正負のラベルが逆になると、仮定の意味が変わってしまいます。そのため、この仮定を用いる際には、どちらのラベルを正とするかを明確にする必要があります。

標準的な仮定は厳しすぎると見なされる可能性があり、そのため近年、研究者たちはその立場を緩和しようと試み、より緩やかな仮定が生まれた。^{[ 10 ]}その理由は、標準的なMIL仮定はMuskデータセットに適しているものの、MILは他の多くの問題にも適用できるため、おそらく別の仮定の方がより適切であるという考えに基づいている。この考えに基づき、Weidmann ^{[ 11 ]}はMILのための一般化されたインスタンスベースの仮定の階層を定式化した。これは、標準的なMI仮定と3種類の一般化されたMI仮定から構成され、それぞれが前のものよりも一般的である。つまり、前者は後者の特定のパラメータの選択として得られるという意味で、標準的なMI仮定よりも一般的である。 $\subset$ プレゼンスベース $\subset$ 閾値ベース $\subset$ カウントベースの仮定が最も一般的で、標準の仮定が最も一般的ではない。（ただし、カウントベースの仮定を満たすバッグは閾値ベースの仮定を満たし、閾値ベースの仮定は存在ベースの仮定を満たし、存在ベースの仮定は標準の仮定を満たすことに注意してください。その意味で、標準の仮定が最も弱く、したがって最も一般的であり、カウントベースの仮定が最も強く、したがって最も一般的ではないと言うことも正しいです。）これらの仮定のいずれかの下でうまく機能するアルゴリズムは、より一般的でない仮定の下でも少なくとも同等にうまく機能すると期待されます。

存在、閾値、およびカウントに基づく仮定

存在に基づく仮定は、標準的な仮定の一般化であり、バッグが肯定とラベル付けされるためには、必要なインスタンスレベルの概念のセットに属するすべてのインスタンスが含まれている必要がある。形式的には、 $C_{R}\subseteq {\mathcal {X}}\times {\mathcal {Y}}$ を必要なインスタンスレベルの概念の集合とし、 $\#(B,c_{i})$ インスタンスレベルの概念が出現した回数を表す $c_{i}$ バッグの中で発生する $B$ 。それから $c(B)=1\Leftrightarrow \#(B,c_{i})\geq 1$ すべての人々のために $c_{i}\in C_{R}$ 。 $C_{R}$ インスタンスレベルの概念が1つだけ含まれる場合、存在に基づく仮定は標準的な仮定に帰着する。

さらに一般化すると、閾値ベースの仮定では、各必須インスタンスレベルの概念は、バッグ内で一度出現するだけでなく、バッグが正であるとラベル付けされるために、最小（閾値）回数出現する必要がある。上記の表記では、各必須インスタンスレベルの概念に対して $c_{i}\in C_{R}$ しきい値に関連付けられています $l_{i}\in \mathbb {N}$ バッグの場合 $B$ 、 $c(B)=1\Leftrightarrow \#(B,c_{i})\geq l_{i}$ すべての人々のために $c_{i}\in C_{R}$ 。

カウントベースの仮定は、必須概念が正にラベル付けされたバッグ内で出現できる回数の下限と上限の両方を強制する最終的な一般化です。各必須インスタンスレベルの概念 $c_{i}\in C_{R}$ しきい値が低い $l_{i}\in \mathbb {N}$ 上限値 $u_{i}\in \mathbb {N}$ と $l_{i}\leq u_{i}$ バッグ $B$ ラベルは $c(B)=1\Leftrightarrow l_{i}\leq \#(B,c_{i})\leq u_{i}$ すべての人々のために $c_{i}\in C_{R}$ 。

GMILの仮定

Scott、Zhang、およびBrown（2005）^{[ 12 ]}は、標準モデルの別の一般化である「一般化複数インスタンス学習」（GMIL）について述べている。GMILの仮定は、必要なインスタンスのセットを指定する。 $Q\subseteq {\mathcal {X}}$ バッグ $X$ 少なくともに十分近いインスタンスが含まれている場合、ポジティブとラベル付けされます。 $r$ 必要なインスタンスのうち $Q$ [ ¹²^]この条件の下でのみ、GMILの仮定は存在に基づく仮定と同等である。^[⁸^]しかし、Scottらは、吸引点の集合が存在するというさらなる一般化について述べている^。 $Q\subseteq {\mathcal {X}}$ そして反発点の集合 ${\overline {Q}}\subseteq {\mathcal {X}}$ バッグは、少なくともに十分近いインスタンスが含まれている場合に限り、ポジティブとラベル付けされます。 $r$ 観光名所の1つであり、最大でも十分近い。 $s$ 反発点の。^{[ 12 ]}この条件は、存在に基づく条件よりも厳密には一般的ですが、上記の階層には含まれません。

集団的仮定

バッグが固定されていると想定されていた以前の想定とは対照的に、集合的な想定ではバッグは固定されていると想定される。 $B$ 分布として $p(x|B)$ インスタンスにわたって ${\mathcal {X}}$ 同様にラベルを分布とみなす $p(y|x)$ インスタンスにわたって。集合的な仮定の下で動作するアルゴリズムの目標は、分布をモデル化することです。 $p(y|B)=\int _{\mathcal {X}}p(y|x)p(x|B)dx$ 。

以来 $p(x|B)$ は一般的に固定されているが未知数と考えられており、アルゴリズムは代わりに経験的なバージョンの計算に焦点を当てている。 ${\widehat {p}}(y|B)={\frac {1}{n_{B}}}\sum _{i=1}^{n_{B}}p(y|x_{i})$ 、どこ $n_{B}$ バッグ内のインスタンスの数 $B$ 。以来 $p(y|x)$ も通常は固定されているが未知であるとみなされ、ほとんどの集団仮定に基づく手法は、単一インスタンス版と同様に、この分布の学習に焦点を当てています。^{[ 8 ]}^{[ 10 ]}

集合的仮定ではすべてのインスタンスに等しい重要度が与えられるが、Fouldsは集合的仮定を拡張してインスタンスの重みを組み込んだ。重み付き集合的仮定は次のようになる。 ${\widehat {p}}(y|B)={\frac {1}{w_{B}}}\sum _{i=1}^{n_{B}}w(x_{i})p(y|x_{i})$ 、どこ $w:{\mathcal {X}}\rightarrow \mathbb {R} ^{+}$ はインスタンスに対する重み関数であり、 $w_{B}=\sum _{x\in B}w(x)$ [ ⁸^]

アルゴリズム

マルチインスタンス学習のアルゴリズムには、インスタンスベースとメタデータベース（または埋め込みベース）の2つの主要な種類があります。「インスタンスベース」という用語は、アルゴリズムがMIの仮定に基づいて代表的なインスタンスのセットを見つけ、これらの代表から将来のバッグを分類しようとすることを意味します。対照的に、メタデータベースのアルゴリズムは、インスタンスとバッグラベルの関係について仮定を置かず、代わりにバッグに関するインスタンスに依存しない情報（メタデータ）を抽出して概念を学習しようとします。^{[ 10 ]}最新のMIアルゴリズムの概説については、FouldsとFrankを参照してください。^{[ 8 ]}

インスタンスベースのアルゴリズム

最初に提案された MI アルゴリズムは、Dietterich らによって開発された一連の「反復識別」アルゴリズムと、Maron と Lozano-Pérez によって開発された Diverse Density であった。^{[ 3 ]}^{[ 9 ]}これらのアルゴリズムはどちらも標準的な仮定の下で動作した。

反復判別

大まかに言うと、反復識別アルゴリズムはすべて2つのフェーズから構成されます。最初のフェーズは、各正例群から少なくとも1つのインスタンスを含み、負例群からはインスタンスを含まない軸平行矩形（APR）を成長させることです。これは、ランダムなインスタンスから始めて反復的に行われます。 $x_{1}\in B_{1}$ プラスのバッグでは、APRはあらゆるインスタンスをカバーする最小のAPRに拡張されます $x_{2}$ 新しい陽性バッグ $B_{2}$ このプロセスは、APRが各ポジティブバッグから少なくとも1つのインスタンスをカバーするまで繰り返されます。次に、各インスタンス $x_{i}$ APRに含まれる要素には「関連性」が与えられ、これはその要素を削除した場合にAPRから除外される負の点の数に対応します。次に、アルゴリズムは関連性の低い順に候補となる代表インスタンスを選択し、負の点群に含まれるインスタンスがAPRに含まれなくなるまでこの処理を繰り返します。アルゴリズムは、収束するまでこれらの成長と代表インスタンスの選択のステップを繰り返し、各反復におけるAPRのサイズは候補となる代表インスタンスのみで構成されるものとします。

第1フェーズの後、APRは代表的な属性のみを厳密に包含すると考えられています。第2フェーズでは、この厳密なAPRを次のように拡張します。各属性を中心とするガウス分布を作成し、正例が一定の確率で厳密なAPRの外側に落ちるように、より緩やかなAPRを作成します。^{[ 4 ]}反復識別手法は標準的な仮定ではうまく機能しますが、他のMI仮定にはうまく一般化できません。^{[ 8 ]}

多様な密度

最も単純な形では、多様性密度（DD）は単一の代表例を想定しています。 $t^{*}$ 概念として。この代表例は、正のバッグからのインスタンスに負のバッグからのインスタンスよりもはるかに近いという意味で「密」である必要があり、また、各正のバッグから少なくとも1つのインスタンスに近いという意味で「多様」である必要があります。

させて ${\mathcal {B}}^{+}=\{B_{i}^{+}\}_{1}^{m}$ を正のラベルが付いた袋の集合とし、 ${\mathcal {B}}^{-}=\{B_{i}^{-}\}_{1}^{n}$ 負のラベルが付いたバッグの集合をとすると、代表インスタンスの最良の候補は次のように与えられる。 ${\hat {t}}=\arg \max _{t}DD(t)$ 多様な密度 $DD(t)=Pr\left(t|{\mathcal {B}}^{+},{\mathcal {B}}^{-}\right)=\arg \max _{t}\prod _{i=1}^{m}Pr\left(t|B_{i}^{+}\right)\prod _{i=1}^{n}Pr\left(t|B_{i}^{-}\right)$ バッグが独立して分配されるという仮定の下で、 $t^{*}$ 貸す $B_{ij}$ バッグ i の j 番目のインスタンスを表すと、ノイズ付き OR モデルは次のようになります。

Pr(t|B_{i}^{+})=1-\prod _{j}\left(1-Pr\left(t|B_{ij}^{+}\right)\right)

Pr(t|B_{i}^{-})=\prod _{j}\left(1-Pr\left(t|B_{ij}^{-}\right)\right)

$P(t|B_{ij})$ はスケールされた距離とみなされる $P(t|B_{ij})\propto \exp \left(-\sum _{k}s_{k}^{2}\left(x_{k}-(B_{ij})_{k}\right)^{2}\right)$ どこ $s=(s_{k})$ はスケーリングベクトルです。このようにして、すべての正のバッグにに近いインスタンスがある場合 $t$ 、それから $Pr(t|B_{i}^{+})$ それぞれが高くなる $i$ しかし、もしネガティブバッグがあれば $B_{i}^{-}$ 近いインスタンスがあります $t$ 、 $Pr(t|B_{i}^{-})$ 低くなります。したがって、 $DD(t)$ すべてのポジティブバッグに、 $t$ 負のバッグには、 $t$ 候補者のコンセプト ${\hat {t}}$ 勾配法によって取得できます。新しいバッグの分類は、近接性を評価することによって行うことができます。 ${\hat {t}}$ [ ^{9 ]} Diverse Densityは元々1998年にMaronらによって提案されたものですが、より最近のMILアルゴリズムでは、2001年のEM-DD [ 13 ]や2004年のDD-SVM [ 14 ]、2006年のMILES [ 8 ]など^、^{DDフレームワーク}が^使用されて^います。

標準的な仮定の下で、多くの単一インスタンスアルゴリズムが複数インスタンスのコンテキストにも適用されており、

2000年以降、標準的な仮定から離れ、上記に挙げたより一般的な仮定に対処するように設計されたアルゴリズムの開発が進められた。^{[ 10 ]}

Weidmann ^{[ 11 ]}は、カウントベースの仮定の下で概念を学習するための2段階分類（TLC）アルゴリズムを提案している。最初のステップでは、トレーニングセットの各バッグ内の各インスタンスから決定木を構築することで、インスタンスレベルの概念を学習しようとする。次に、各バッグは決定木内のカウントに基づいて特徴ベクトルにマッピングされる。2番目のステップでは、特徴ベクトルに対して単一インスタンスアルゴリズムを実行して概念を学習する。
Scott ら^{[ 12 ]}は 2005 年に GMIL 仮定の下で概念を学習するアルゴリズム GMIL-1 を提案した。GMIL-1 はすべての軸平行長方形を列挙する。 $\{R_{i}\}_{i\in I}$ 元のインスタンス空間において、ブールベクトルの新しい特徴空間を定義します。 $B$ ベクトルにマッピングされます $\mathbf {b} =(b_{i})_{i\in I}$ この新しい機能空間では、 $b_{i}=1$ 年利の場合 $R_{i}$ カバー $B$ 、そして $b_{i}=0$ それ以外の場合は、単一インスタンスアルゴリズムを適用して、この新しい特徴空間における概念を学習することができる。

新しい特徴空間の次元が高く、元のインスタンス空間のすべての APR を明示的に列挙するコストがかかるため、GMIL-1 は計算とメモリの両方の点で非効率的です。GMIL-2 は、効率を改善するために GMIL-1 を改良して開発されました。GMIL-2 はインスタンスを前処理して、候補となる代表インスタンスのセットを見つけます。次に、GMIL-2 は GMIL-1 と同様に各バッグをブールベクトルにマッピングしますが、候補となる代表インスタンスの一意のサブセットに対応する APR のみを考慮します。これにより、メモリと計算の要件が大幅に削減されます。^{[ 8 ]}

Xu (2003) ^{[ 10 ]}は、集団的仮定の下で概念を学習するために、ロジスティック回帰とブースティング法に基づくいくつかのアルゴリズムを提案した。

メタデータベース（または埋め込みベース）のアルゴリズム

メタデータベースのアルゴリズムは、各バッグをメタデータの特徴ベクトルにマッピングすることで、任意の単一インスタンスアルゴリズムを使用して実際の分類タスクを実行できる柔軟性を提供します。将来のバッグは、メタデータの特徴空間にマッピング（埋め込み）され、選択された分類器によってラベル付けされます。したがって、メタデータベースのアルゴリズムでは、どの特徴またはどのタイプの埋め込みが効果的な分類につながるかに重点が置かれています。なお、TLCやGMILなど、前述のアルゴリズムの一部はメタデータベースとみなすことができます。

一つのアプローチは、各バッグのメタデータを、バッグ内のインスタンスに関する統計情報のセットにすることです。SimpleMI アルゴリズムはこのアプローチを採用しており、バッグのメタデータは、バッグ内のすべてのインスタンスについて各インスタンス変数の平均値や最小値、最大値などの単純な要約統計量として扱われます。より複雑な統計情報を使用する他のアルゴリズムもありますが、SimpleMI は、一見複雑ではないにもかかわらず、多くのデータセットで驚くほど競争力があることが示されています。^{[ 8 ]}
もう 1 つの一般的なアプローチは、バッグ自体のジオメトリをメタデータとして扱うことです。これは MIGraph および miGraph アルゴリズムで採用されているアプローチで、各バッグを、ノードがバッグ内のインスタンスであるグラフとして表現します。対応するインスタンス間の距離 (インスタンス空間上の何らかのメトリックまで) が何らかの閾値より小さい場合、2 つのノード間にエッジが存在します。分類は、グラフカーネルを使用した SVM によって行われます (MIGraph と miGraph はカーネルの選択のみが異なります)。^{[ 8 ] MILES}^{[ 19 ]および MInD}^{[ 20 ]}でも同様のアプローチが採用されています。MILESはトレーニングセット内のインスタンスとの類似性によってバッグを表現し、MInD は他のバッグとの距離によってバッグを表現します。
k近傍法（kNN）の改良版も、幾何学的メタデータを用いたメタデータベースのアルゴリズムとみなすことができるが、バッグとメタデータ特徴間のマッピングは明示的ではない。ただし、バッグ間の距離を計算するために使用するメトリックを指定する必要がある。WangとZucker（2000）^{[ 21 ]}は、バッグに対して（それぞれ最大および最小の）ハウスドルフメトリックを提案している。 $A$ そして $B$ :

H(A,B)=\max \left\{\max _{A}\min _{B}\|a-b\|,\max _{B}\min _{A}\|a-b\|\right\}

h_{1}(A,B)=\min _{A}\min _{B}\|a-b\|

彼らは、kNNの2つのバリエーション、ベイズkNNと引用kNNを、従来の最近傍問題を複数インスタンスの設定に適応させたものとして定義している。

一般化

これまで本稿では、複数インスタンス学習を二値分類器の文脈でのみ考察してきた。しかし、単一インスタンスの二値分類器の一般化は、複数インスタンスの場合にも適用できる。

そのような一般化の一つが、複数インスタンス複数ラベル問題（MIML）であり、各バッグはラベル空間の任意の部分集合に関連付けられる。形式的には、 ${\mathcal {X}}$ は特徴の空間であり、 ${\mathcal {Y}}$ はラベルの空間であり、MIML の概念はマップです $c:\mathbb {N} ^{\mathcal {X}}\rightarrow 2^{\mathcal {Y}}$ ZhouとZhang（2006）^{[ 22 ]}は、 MIML問題を複数インスタンス問題または複数概念問題に還元することで解決することを提案している。
もう 1 つの明らかな一般化は、複数インスタンス回帰です。ここでは、標準回帰と同様に、各バッグは単一の実数に関連付けられています。標準の仮定とよく似て、MI 回帰では、各バッグに 1 つのインスタンスがあり、「プライムインスタンス」と呼ばれ、バッグのラベルを決定します (ノイズを除いて)。MI 回帰の理想的な目標は、各バッグのプライムインスタンスの二乗損失を最小化する超平面を見つけることですが、プライムインスタンスは隠されています。実際、Ray と Page (2001) ^{[ 23 ]}は、バッグごとに3 つ未満のインスタンスがある場合、各バッグから 1 つのインスタンスに適合する最適な適合超平面を見つけることは困難であることを示し、代わりに近似アルゴリズムを開発しました。MI 分類用に開発されたアルゴリズムの多くは、MI 回帰問題に対しても良い近似を提供する可能性があります。^{[ 8 ]}

参考文献

↑バベンコ、ボリス。「マルチインスタンス学習：アルゴリズムと応用」。PubMed/NCBI Google Scholarで記事を表示（2008年）。
↑ Keeler, James D.、David E. Rumelhart、および Wee-Kheng Leow。手書き数字の統合セグメンテーションと認識。Microelectronics and Computer Technology Corporation、1991 年。
1 2 3 4 5 Dietterich, Thomas G.、Richard H. Lathrop、および Tomás Lozano-Pérez。「軸平行長方形を用いた複数インスタンス問題の解決」人工知能 89.1 (1997): 31-71。
1 2 C. Blake、E. Keogh、CJ Merz。UCI機械学習データベースリポジトリカリフォルニア大学アーバイン校情報・コンピュータ科学科、カリフォルニア州アーバイン、1998年。
↑ワン・ウェイホン;ドゥ、ヤンイェ。李、屈。ファン・チャオリン（2011）。「遺伝子発現プログラミングとクローン選択に基づく信用評価」。プロセディアエンジニアリング。15 : 3759–3763。土井: 10.1016/j.proeng.2011.08.704。
↑ O. Maron および AL Ratan。「自然シーン分類のためのマルチインスタンス学習」。第 15 回国際機械学習会議議事録、マディソン、ウィスコンシン州、pp.341–349、1998 年。
↑ Minhas, F. u. A. A; Ben-Hur, A (2012). "カルモジュリン結合部位の複数インスタンス学習" . Bioinformatics . 28 (18): i416– i422. doi : 10.1093/bioinformatics/bts416 . PMC 3436843 . PMID 22962461 .
1 2 3 4 5 6 7 8 9 10 11 Foulds, James、および Eibe Frank。「マルチインスタンス学習の仮定に関するレビュー」The Knowledge Engineering Review 25.01 (2010): 1-25。
1 2 3 Maron, Oded、および Tomás Lozano-Pérez。「複数インスタンス学習のためのフレームワーク」。ニューラル情報処理システムの進歩（1998）：570-576
1 2 3 4 5 Xu, X. 複数インスタンス問題における統計的学習。修士論文、ワイカト大学（2003）。
1 2 Weidmann、Nils B.「一般化された複数インスタンスデータの 2 レベル分類」。ディスる。アルバート・ルートヴィヒ大学、2003 年。
1 2 3 4 Scott, Stephen、Jun Zhang、Joshua Brown。「一般化された複数インスタンス学習について」International Journal of Computational Intelligence and Applications 5.01 (2005): 21-35。
↑ Zhang, Qi、およびSally A. Goldman。「EM-DD: 改良された複数インスタンス学習手法」。ニューラル情報処理システムの進歩。(2001): 1073 - 80
↑ Chen, Yixin、および James Z. Wang。「領域を用いた学習と推論による画像分類」『機械学習研究ジャーナル』5 (2004): 913-939
↑ Andrews, Stuart、Ioannis Tsochantaridis、および Thomas Hofmann。「複数インスタンス学習のためのサポートベクターマシン」。ニューラル情報処理システムの進歩（2003年）。pp 561 - 658
↑周志華、張敏玲。「マルチインスタンス学習のためのニューラルネットワーク」。インテリジェント情報技術に関する国際会議議事録、北京、中国。（2002年）。455-459頁
↑ Blockeel, Hendrik、David Page、および Ashwin Srinivasan。「マルチインスタンスツリー学習」。第22回国際機械学習会議議事録。ACM、2005年、57-64ページ。
↑ Auer, Peter、および Ronald Ortner。「複数インスタンス学習へのブースティングアプローチ」機械学習：ECML 2004。Springer Berlin Heidelberg、2004年。63-74。
↑ Chen, Yixin; Bi, Jinbo; Wang, JZ (2006-12-01). "MILES: 埋め込みインスタンス選択による複数インスタンス学習". IEEE Transactions on Pattern Analysis and Machine Intelligence . 28 (12): 1931–1947 . doi : 10.1109/TPAMI.2006.248 . ISSN 0162-8828 . PMID 17108368. S2CID 18137821 .
↑ Cheplygina, Veronika; Tax, David MJ; Loog, Marco (2015-01-01). "Multiple instance learning with bag dissimilarities". Pattern Recognition . 48 (1): 264–275 . arXiv : 1309.5643 . Bibcode : 2015PatRe..48..264C . doi : 10.1016/j.patcog.2014.07.022 . S2CID 17606924 .
↑ Wang, Jun、および Jean-Daniel Zucker。「複数インスタンス問題の解決：遅延学習アプローチ」ICML (2000): 1119-25
↑ Zhou, Zhi-Hua、および Min-Ling Zhang。「シーン分類への応用を伴うマルチインスタンスマルチラベル学習」。ニューラル情報処理システムの進歩。2006年。pp 1609 - 16
↑ Ray, Soumya、および David Page。「多重インスタンス回帰」。ICML。第 1 巻。2001 年。pp 425 - 32

さらに読む

MILに関する最近のレビューには以下が含まれる。

アモレス（2013）は、さまざまなパラダイムの広範なレビューと比較研究を提供しており、
Foulds & Frank (2010)は、文献中のさまざまなパラダイムで使用されているさまざまな仮定を徹底的にレビューしています。
Dietterich, Thomas G; Lathrop, Richard H; Lozano-Pérez, Tomás (1997). "軸平行長方形を用いた複数インスタンス問題の解決".人工知能. 89 ( 1– 2): 31– 71. doi : 10.1016/S0004-3702(96)00034-3 .
エレーラ、フランシスコ。ベンチュラ、セバスティアン。ベロ、ラファエル。コーネリス、クリス。ザフラ、アメリア。サンチェス・タラゴ、ダネル;サラ・ブルイマンス（2016）。複数インスタンスの学習。土井：10.1007/978-3-319-47759-6。ISBN 978-3-319-47758-9. S2CID 24047205 .
Amores, Jaume (2013). "複数インスタンス分類：レビュー、分類法、比較研究" .人工知能. 201 : 81–105 . doi : 10.1016/j.artint.2013.06.003 .
Foulds, James; Frank, Eibe (2010). "マルチインスタンス学習の仮定に関するレビュー". The Knowledge Engineering Review . 25 : 1–25 . CiteSeerX 10.1.1.148.2333 . doi : 10.1017/S026988890999035X . S2CID 8601873 .
Keeler, James D.; Rumelhart, David E.; Leow, Wee-Kheng (1990). 「手書き数字の統合的セグメンテーションと認識」. 1990年ニューラル情報処理システム進歩に関する会議（NIPS 3）議事録. Morgan Kaufmann Publishers. pp. 557–563 . ISBN 978-1-55860-184-0。
Li, Hong-Dong; Menon, Rajasree; Omenn, Gilbert S; Guan, Yuanfang (2014). "スプライスアイソフォーム機能解析のためのゲノムデータ統合の新たな時代" . Trends in Genetics . 30 (8): 340–7 . doi : 10.1016/ j.tig.2014.05.005 . PMC 4112133. PMID 24951248 .
Eksi, Ridvan; Li, Hong-Dong; Menon, Rajasree; Wen, Yuchen; Omenn, Gilbert S; Kretzler, Matthias; Guan, Yuanfang (2013). "RNA-seq データを統合して代替スプライシングアイソフォームの機能を体系的に区別する" . PLOS Computational Biology . 9 (11) e1003314. Bibcode : 2013PLSCB...9E3314E . doi : 10.1371/journal.pcbi.1003314 . PMC 3820534 . PMID 24244129 .
Maron, O.; Ratan, AL (1998). 「自然シーン分類のためのマルチインスタンス学習」.第15回国際機械学習会議議事録. Morgan Kaufmann Publishers. pp. 341–349 . ISBN 978-1-55860-556-5。
Kotzias, Dimitrios; Denil, Misha; De Freitas, Nando; Smyth, Padhraic (2015). 「深層特徴量を用いたグループラベルから個別ラベルへの変換」.第21回ACM SIGKDD国際知識発見・データマイニング会議（KDD '15）議事録. pp. 597–606 . doi : 10.1145/2783258.2783380 . ISBN 978-1-4503-3664-2. S2CID 7729996 .
Ray, Soumya; Page, David (2001).多重インスタンス回帰(PDF) . ICML.
Bandyopadhyay, Sanghamitra; Ghosh, Dip; Mitra, Ramkrishna; Zhao, Zhongming (2015). "MBSTAR: マイクロRNA標的における特定の機能的結合部位を予測するための複数インスタンス学習" . Scientific Reports . 5 : 8004. Bibcode : 2015NatSR...5.8004B . doi : 10.1038/srep08004 . PMC 4648438 . PMID 25614300 .
Zhu, Wentao; Lou, Qi; Vang, Yeeleng Scott; Xie, Xiaohui (2017). "Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification". Medical Image Computing and Computer-Assisted Intervention − MICCAI 2017. Lecture Notes in Computer Science. Vol. 10435. pp. 603–11 . arXiv : 1612.05968 . doi : 10.1007/978-3-319-66179-7_69 . ISBN 978-3-319-66178-0. S2CID 9623929 .

[Babenko-1] バベンコ、ボリス。「マルチインスタンス学習：アルゴリズムと応用」。PubMed/NCBI Google Scholarで記事を表示（2008年）。

[Keeler-2] Keeler, James D.、David E. Rumelhart、および Wee-Kheng Leow。手書き数字の統合セグメンテーションと認識。Microelectronics and Computer Technology Corporation、1991 年。

[Dietterich-3] 1 2 3 4 5 Dietterich, Thomas G.、Richard H. Lathrop、および Tomás Lozano-Pérez。「軸平行長方形を用いた複数インスタンス問題の解決」人工知能 89.1 (1997): 31-71。

[Musk-4] 1 2 C. Blake、E. Keogh、CJ Merz。UCI機械学習データベースリポジトリカリフォルニア大学アーバイン校情報・コンピュータ科学科、カリフォルニア州アーバイン、1998年。

[5] ワン・ウェイホン;ドゥ、ヤンイェ。李、屈。ファン・チャオリン（2011）。「遺伝子発現プログラミングとクローン選択に基づく信用評価」。プロセディアエンジニアリング。15 : 3759–3763。土井: 10.1016/j.proeng.2011.08.704。

[Maron-6] O. Maron および AL Ratan。「自然シーン分類のためのマルチインスタンス学習」。第 15 回国際機械学習会議議事録、マディソン、ウィスコンシン州、pp.341–349、1998 年。

[pmid22962461-7] Minhas, F. u. A. A; Ben-Hur, A (2012). "カルモジュリン結合部位の複数インスタンス学習" . Bioinformatics . 28 (18): i416– i422. doi : 10.1093/bioinformatics/bts416 . PMC 3436843 . PMID 22962461 .

[Review-8] 1 2 3 4 5 6 7 8 9 10 11 Foulds, James、および Eibe Frank。「マルチインスタンス学習の仮定に関するレビュー」The Knowledge Engineering Review 25.01 (2010): 1-25。

[Perez-9] 1 2 3 Maron, Oded、および Tomás Lozano-Pérez。「複数インスタンス学習のためのフレームワーク」。ニューラル情報処理システムの進歩（1998）：570-576

[Xu-10] 1 2 3 4 5 Xu, X. 複数インスタンス問題における統計的学習。修士論文、ワイカト大学（2003）。

[Weidmann-11] 1 2 Weidmann、Nils B.「一般化された複数インスタンスデータの 2 レベル分類」。ディスる。アルバート・ルートヴィヒ大学、2003 年。

[GMIL-12] 1 2 3 4 Scott, Stephen、Jun Zhang、Joshua Brown。「一般化された複数インスタンス学習について」International Journal of Computational Intelligence and Applications 5.01 (2005): 21-35。

[13] Zhang, Qi、およびSally A. Goldman。「EM-DD: 改良された複数インスタンス学習手法」。ニューラル情報処理システムの進歩。(2001): 1073 - 80

[14] Chen, Yixin、および James Z. Wang。「領域を用いた学習と推論による画像分類」『機械学習研究ジャーナル』5 (2004): 913-939

[15] Andrews, Stuart、Ioannis Tsochantaridis、および Thomas Hofmann。「複数インスタンス学習のためのサポートベクターマシン」。ニューラル情報処理システムの進歩（2003年）。pp 561 - 658

[16] 周志華、張敏玲。「マルチインスタンス学習のためのニューラルネットワーク」。インテリジェント情報技術に関する国際会議議事録、北京、中国。（2002年）。455-459頁

[17] Blockeel, Hendrik、David Page、および Ashwin Srinivasan。「マルチインスタンスツリー学習」。第22回国際機械学習会議議事録。ACM、2005年、57-64ページ。

[18] Auer, Peter、および Ronald Ortner。「複数インスタンス学習へのブースティングアプローチ」機械学習：ECML 2004。Springer Berlin Heidelberg、2004年。63-74。

[19] Chen, Yixin; Bi, Jinbo; Wang, JZ (2006-12-01). "MILES: 埋め込みインスタンス選択による複数インスタンス学習". IEEE Transactions on Pattern Analysis and Machine Intelligence . 28 (12): 1931–1947 . doi : 10.1109/TPAMI.2006.248 . ISSN 0162-8828 . PMID 17108368. S2CID 18137821 .

[20] Cheplygina, Veronika; Tax, David MJ; Loog, Marco (2015-01-01). "Multiple instance learning with bag dissimilarities". Pattern Recognition . 48 (1): 264–275 . arXiv : 1309.5643 . Bibcode : 2015PatRe..48..264C . doi : 10.1016/j.patcog.2014.07.022 . S2CID 17606924 .

[21] Wang, Jun、および Jean-Daniel Zucker。「複数インスタンス問題の解決：遅延学習アプローチ」ICML (2000): 1119-25

[22] Zhou, Zhi-Hua、および Min-Ling Zhang。「シーン分類への応用を伴うマルチインスタンスマルチラベル学習」。ニューラル情報処理システムの進歩。2006年。pp 1609 - 16

[23] Ray, Soumya、および David Page。「多重インスタンス回帰」。ICML。第 1 巻。2001 年。pp 425 - 32

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

8

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

DDフレームワーク

使用され

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]および MInD

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

マルチインスタンス学習

機械学習

歴史

例

定義

前提条件

標準的な仮定

存在、閾値、およびカウントに基づく仮定

GMILの仮定

集団的仮定

アルゴリズム

インスタンスベースのアルゴリズム

反復判別

多様な密度

メタデータベース（または埋め込みベース）のアルゴリズム

一般化

関連項目

参考文献

さらに読む

関連するトピック

機械学習

教師あり学習

ラベル付けさ

二値分類