多重カーネル学習

多重カーネル学習とは、あらかじめ定義されたカーネルセットを使用し、アルゴリズムの一部としてカーネルの最適な線形または非線形結合を学習する機械学習手法の集合を指します。多重カーネル学習を使用する理由としては、a) より多くのカーネルセットから最適なカーネルとパラメータを選択できるため、カーネル選択によるバイアスを軽減しつつ、より自動化された機械学習手法が可能になること、b) 類似性の概念が異なるため異なるカーネルを必要とする、異なるソース（例えば、ビデオの音声と画像）からのデータを組み合わせることなどが挙げられます。新しいカーネルを作成する代わりに、多重カーネルアルゴリズムを使用して、各データソースに対して既に確立されているカーネルを組み合わせることができます。

^{複数のカーネル学習アプローチは、ビデオにおけるイベント認識[ 1 ]} 、画像における物体認識^{[ 2 ]}、および生体医療データの融合^[³^]など、多くのアプリケーションで使用されています。

アルゴリズム

複数のカーネル学習アルゴリズムは、教師あり学習、半教師あり学習、および教師なし学習のために開発されてきました。ほとんどの研究はカーネルの線形結合を用いた教師あり学習のケースで行われてきましたが、多くのアルゴリズムが開発されています。複数のカーネル学習アルゴリズムの基本的な考え方は、学習アルゴリズムの最小化問題に余分なパラメータを追加することです。例として、一連のカーネルの線形結合の教師あり学習のケースを考えてみましょう。 $n$ カーネル $K$ 新しいカーネルを導入します $K'=\sum _{i=1}^{n}\beta _{i}K_{i}$ 、どこ $\beta$ は各カーネルの係数のベクトルです。カーネルは加法的であるため（再生核ヒルベルト空間の性質による）、この新しい関数も依然としてカーネルです。データセットの場合 $X$ ラベル付き $Y$ すると、最小化問題は次のように書ける。

\min _{\beta ,c}\mathrm {E} (Y,K'c)+R(K,c)

どこ $\mathrm {E}$ は誤差関数であり、 $R$ は正則化項です。 $\mathrm {E}$ は一般的に二乗損失関数（チホノフ正則化）またはヒンジ損失関数（SVMアルゴリズムの場合）であり、 $R$ 通常は $\displaystyle \ell _{n}}$ ノルムまたはノルムの組み合わせ（つまり、エラスティックネット正則化）です。この最適化問題は、標準的な最適化手法で解くことができます。逐次最小最適化などの既存の手法の適応も、複数のカーネルSVMベースの手法向けに開発されています。^{[ 4 ]}

指導付き学習

教師あり学習には、カーネルの形状を学習するためにさまざまな方法を使用するアルゴリズムが他にも多数あります。GonenとAlpaydın（2011）^{[ 5 ]は、次の分類を提案しました。}

固定ルールアプローチ

上述の線形結合アルゴリズムのような固定ルールアプローチでは、ルールを用いてカーネルの組み合わせを設定します。これらはパラメータ化を必要とせず、加算や乗算などのルールを用いてカーネルを結合します。重みはアルゴリズム内で学習されます。固定ルールの他の例としては、次の形式のペアワイズカーネルがあります。

k((x_{1i},x_{1j}),(x_{2i},x_{2j}))=k(x_{1i},x_{2i})k(x_{1j},x_{2j})+k(x_{1i},x_{2j})k(x_{1j},x_{2i})

。

これらのペアワイズアプローチは、タンパク質間相互作用の予測に用いられてきた。^{[ 6 ]}

ヒューリスティックなアプローチ

これらのアルゴリズムは、パラメータ化された組み合わせ関数を使用します。パラメータは一般的に、単一カーネルのパフォーマンスまたはカーネル行列からの何らかの計算に基づいて、個々のカーネルごとに定義されます。これらの例としては、Tenabe et al. (2008) のカーネルが挙げられます。^{[ 7 ]} $\displaystyle \pi _{m}}$ のみを使用して得られる精度 $K_{m}$ 、そして $\delta$ 単一カーネル精度の最小値よりも小さい閾値として定義できます。

\beta _{m}={\frac {\pi _{m}-\delta }{\sum _{h=1}^{n}(\pi _{h}-\delta )}}

他のアプローチでは、カーネル類似性の定義を使用します。

A(K_{1},K_{2})={\frac {\langle K_{1},K_{2}\rangle }{\sqrt {\langle K_{1},K_{1}\rangle \langle K_{2},K_{2}\rangle }}}

この尺度を用いて、QuiとLane（2009）^{[ 8 ]}は、以下のヒューリスティックを用いて定義した。

\beta _{m}={\frac {A(K_{m},YY^{T})}{\sum _{h=1}^{n}A(K_{h},YY^{T})}}

最適化手法

これらのアプローチは、カーネル結合関数のパラメータを決定するための最適化問題を解決します。これは、類似度尺度と構造的リスク最小化アプローチで行われてきました。上記で定義されたような類似度尺度の場合、問題は次のように定式化できます。^{[ 9 ]}

\max _{\beta ,\operatorname {tr} (K'_{tra})=1,K'\geq 0}A(K'_{tra},YY^{T}).

どこ $K'_{tra}$ これはトレーニングセットのカーネルです。

構造的リスク最小化アプローチとして用いられてきたものには、Lanckriet ら (2002) が用いたような線形アプローチが含まれる。^{[ 10 ]}カーネルの非現実性を定義することができる。 $\omega (K)$ これは、標準的なSVM問題を解いた後の目的関数の値です。次に、以下の最小化問題を解くことができます。

\min _{\operatorname {tr} (K'_{tra})=c}\omega (K'_{tra})

どこ $c$ は正の定数です。同じ考え方に基づく他の多くのバリエーションが存在し、個々のカーネルに非負の重みを使用したり、カーネルの非線形結合を使用したりして、問題を洗練して解決するためのさまざまな方法が用いられています。

ベイズ的アプローチ

ベイズアプローチでは、カーネルパラメータに事前分布を設定し、事前分布と基本アルゴリズムからパラメータ値を学習します。例えば、決定関数は次のように記述できます。

f(x)=\sum _{i=0}^{n}\alpha _{i}\sum _{m=1}^{p}\eta _{m}K_{m}(x_{i}^{m},x^{m})

$\eta$ ディリクレ事前分布でモデル化でき、 $\alpha$ これは、平均ゼロのガウス分布と逆ガンマ分散事前分布を用いてモデル化できます。このモデルは、ギブスサンプラーを用いたカスタマイズされた多項プロビットアプローチを使用して最適化されます。

^{[ 11 ]} これらの方法は、タンパク質フォールド認識やタンパク質相同性問題などのアプリケーションで成功裏に使用されています^{[ 12 ]}^{[ 13 ]}

ブースティングアプローチ

ブースティング手法では、パフォーマンスの関数である停止基準に達するまで、新しいカーネルを繰り返し追加します。その例として、Bennett ら (2002) によって開発された MARK モデルがあります^{[ 14 ]。}

f(x)=\sum _{i=1}^{N}\sum _{m=1}^{P}\alpha _{i}^{m}K_{m}(x_{i}^{m},x^{m})+b

パラメータ $\displaystyle \alpha _{i}^{m}}$ そして $b$ 座標ベースで勾配降下法によって学習されます。このようにして、降下アルゴリズムの各反復で、各反復で選択する最適なカーネル列が特定され、それが結合カーネルに追加されます。その後、モデルが再実行され、最適な重みが生成されます。 $\displaystyle \alpha _{i}}$ そして $b$ 。

半教師あり学習

多重カーネル学習への半教師あり学習アプローチは、教師あり学習アプローチの他の拡張と類似しています。画像分類のために、ラベルなしデータに対して対数尤度経験損失と条件付き期待値コンセンサスを用いたグループLASSO正則化を使用する帰納的手順が開発されました。問題を次のように定義できます。 $L={(x_{i},y_{i})}$ ラベル付きデータとし、 $U={x_{i}}$ をラベルなしデータの集合とする。すると、決定関数は次のように記述できる。

f(x)=\alpha _{0}+\sum _{i=1}^{|L|}\alpha _{i}K_{i}(x)

問題は次のように書ける。

\min _{f}L(f)+\lambda R(f)+\gamma \Theta (f)

どこ $L$ は損失関数（この場合は重み付き負の対数尤度）であり、 $R$ は正則化パラメータ（この場合はグループLASSO ）であり、 $\Theta$ は、ラベルなしデータに対する条件付き期待値コンセンサス（CEC）ペナルティです。CECペナルティは次のように定義されます。すべてのデータに対する周辺カーネル密度をとします。

g_{m}^{\pi }(x)=\langle \phi _{m}^{\pi },\psi _{m}(x)\rangle

どこ $\psi _{m}(x)=[K_{m}(x_{1},x),\ldots ,K_{m}(x_{L},x)]^{T}$ （ラベル付きデータとすべてのラベル付きデータおよびラベルなしデータとの間のカーネル距離） $\phi _{m}^{\pi }$ は、2ノルムが1の非負のランダムベクトルです。 $\Pi$ は各カーネルが投影される回数です。次に、MKD に対して期待値正則化が実行され、参照期待値が得られます。 $q_{m}^{pi}(y|g_{m}^{\pi }(x))$ そしてモデルの予測 $p_{m}^{\pi }(f(x)|g_{m}^{\pi }(x))$ 。次に、定義します。

\Theta ={\frac {1}{\Pi }}\sum _{\pi =1}^{\Pi }\sum _{m=1}^{M}D(q_{m}^{pi}(y|g_{m}^{\pi }(x))||p_{m}^{\pi }(f(x)|g_{m}^{\pi }(x)))

どこ $D(Q||P)=\sum _{i}Q(i)\ln {\frac {Q(i)}{P(i)}}$ はカルバック・ライブラー情報量です。結合された最小化問題は、修正ブロック勾配降下法アルゴリズムを使用して最適化されます。詳細については、Wang ら^{[ 15 ]を参照してください。}

教師なし学習

教師なし多重カーネル学習アルゴリズムもZhuangらによって提案されている。問題は次のように定義される。 $U={x_{i}}$ ラベルなしデータのセットとする。カーネルの定義は線形結合カーネルである。 $K'=\sum _{i=1}^{M}\beta _{i}K_{m}$ この問題では、カーネル距離に基づいてデータをグループに「クラスタリング」する必要があります。 $B_{i}$ 次のようなグループまたはクラスターである $x_{i}$ はメンバーです。損失関数を次のように定義します。 $\sum _{i=1}^{n}\left\Vert x_{i}-\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})x_{j}\right\Vert ^{2}$ さらに、歪みを最小限に抑えるために、 $\displaystyle \sum _{i=1}^{n}\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})\left\Vert x_{i}-x_{j}\right\Vert ^{2}}$ 最後に、過学習を防ぐために正則化項を追加します。これらの項を組み合わせると、最小化問題は次のように表すことができます。

\min _{\beta ,B}\sum _{i=1}^{n}\left\Vert x_{i}-\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})x_{j}\right\Vert ^{2}+\gamma _{1}\sum _{i=1}^{n}\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})\left\Vert x_{i}-x_{j}\right\Vert ^{2}+\gamma _{2}\sum _{i}|B_{i}|

ここで、。この定式化の一つは次のように定義される。 $D\in {0,1}^{n\times n}$ 行列とする。 $D_{ij}=1$ つまり $x_{i}$ そして $x_{j}$ 隣人同士です。それから、 $B_{i}={x_{j}:D_{ij}=1}$ これらのグループも学習する必要があることに注意してください。Zhuang らは、交互最小化法によってこの問題を解決します。 $K$ そしてグループ $B_{i}$ 詳細については、Zhuang et al. ^{[ 16 ]を参照してください。}

図書館

利用可能なMKLライブラリには以下が含まれます。

SPG-GMKL：100万個のカーネルを処理できるスケーラブルなC++ MKL SVMライブラリ。^{[ 17 ]}
GMKL : MATLABの一般化多重カーネル学習コード、 $\displaystyle \ell _{1}}$ そして $\displaystyle \ell _{2}}$ 教師あり学習のための正則化。^{[ 18 ]}
（別の）GMKL：弾性ネット正則化も実行できる別のMATLAB MKLコード^{[ 19 ]}
SMO-MKL：逐次最小最適化MKLアルゴリズムのC++ソースコード。 $p$ -nノルム正則化。^{[ 20 ]}
SimpleMKL：MKL SVM用のSimpleMKLアルゴリズムに基づいたMATLABコード。^{[ 21 ]}
MKLPy：MKLおよびカーネルマシン用のPythonフレームワークで、EasyMKL ^{[ 22 ]}などのさまざまなアルゴリズムに対応したscikit準拠です。

参考文献

↑ Lin Chen、Lixin Duan、Dong Xu、「異種ウェブソースからの学習によるビデオのイベント認識」、IEEE International Conference on Computer Vision and Pattern Recognition (CVPR)、2013、pp. 2666-2673
↑ Serhat S. Bucak、Rong Jin、Anil K. Jain、「視覚物体認識のための多重カーネル学習：レビュー」、T-PAMI、2013年。
↑ Yu et al. L2ノルム多重カーネル学習とその生物医学データ融合への応用. BMC Bioinformatics 2010, 11:309
↑ Francis R. Bach、Gert RG Lanckriet、Michael I. Jordan。2004年。「多重カーネル学習、円錐双対性、およびSMOアルゴリズム」。第21回国際機械学習会議（ICML '04）議事録。ACM、ニューヨーク州ニューヨーク、アメリカ合衆国
↑メフメット・ギョネン、エテム・アルパイディン。複数のカーネル学習アルゴリズムに関するジャーナル。マッハ。学ぶ。解像度12(7月):2211−2268、2011
↑ Ben-Hur, A. および Noble WSタンパク質間相互作用を予測するためのカーネル法。バイオインフォマティクス。2005 年 6 月;21 Suppl 1:i38-46。
↑田辺博明、Tu Bao Ho、Canh Hao Nguyen、川崎沙織。「計算生物学におけるカーネルを組み合わせるためのシンプルかつ効果的な方法」。IEEE International Conference on Research, Innovation and Vision for the Future、2008年論文集。
↑ Shibin Qiu および Terran Lane。多重カーネルサポートベクター回帰のフレームワークとsiRNA有効性予測への応用。IEEE/ACM Transactions on Computational Biology and Bioinformatics、6(2):190–199、2009年
↑ Gert RG Lanckriet、Nello Cristianini、Peter Bartlett、Laurent El Ghaoui、Michael I. Jordan。「半正定値計画法によるカーネル行列の学習」。Journal of Machine Learning Research、5:27–72、2004a
↑ Gert RG Lanckriet、Nello Cristianini、Peter Bartlett、Laurent El Ghaoui、Michael I. Jordan。「半正定値計画法によるカーネル行列の学習」。第19回国際機械学習会議議事録、2002年
↑マーク・ジローラミ、サイモン・ロジャース。「カーネル学習のための階層的ベイズモデル」。第22回国際機械学習会議議事録、2005年
↑ Theodoros Damoulas および Mark A. Girolami。「分類のための特徴空間の組み合わせ」。パターン認識、42(11):2671–2683、2009年
↑ Theodoros Damoulas および Mark A. Girolami。「確率的多クラス多カーネル学習：タンパク質フォールド認識と遠隔相同性検出について」。Bioinformatics、24(10):1264–1270、2008年
↑ Kristin P. Bennett、Michinari Momma、Mark J. Embrechts。「MARK：異種カーネルモデルのためのブースティングアルゴリズム」。第8回ACM SIGKDD国際知識発見・データマイニング会議議事録、2002年
↑ Wang, Shuhui 他「S3MKL: 実世界画像アプリケーション向けスケーラブルな半教師あり多重カーネル学習」 IEEE TRANSACTIONS ON MULTIMEDIA、第14巻、第4号、2012年8月
↑ J. Zhuang、J. Wang、SCH Hoi、X. Lan。「教師なし多重カーネル学習」。Jour. Mach. Learn. Res. 20:129–144、2011年
↑ Ashesh Jain、SVN Vishwanathan、Manik Varma。「SPG-GMKL：100万個のカーネルを用いた一般化多重カーネル学習」。ACM SIGKDD知識発見・データマイニング会議議事録、中国・北京、2012年8月。
↑ M. Varma および BR Babu。「効率的な多重カーネル学習におけるより一般的なアプローチ」。国際機械学習会議議事録、モントリオール、カナダ、2009年6月。
↑ Yang, H., Xu, Z., Ye, J., King, I., & Lyu, MR (2011). Efficient Sparse Generalized Multiple Kernel Learning. IEEE Transactions on Neural Networks, 22(3), 433-446
↑ SVN Vishwanathan、Z. Sun、N. Theera-Ampornpunt、M. Varma。「多重カーネル学習とSMOアルゴリズム」。Advances in Neural Information Processing Systems、バンクーバー、BC、カナダ、2010年12月。
↑ Alain Rakotomamonjy、Francis Bach、Stephane Canu、Yves Grandvalet。SimpleMKL。Journal of Machine Learning Research、Microtome Publishing、2008、9、pp.2491-2521。
↑ Fabio Aiolli、Michele Donini。EasyMKL：スケーラブルなマルチカーネル学習アルゴリズム。Neurocomputing、169、pp.215-224。

[1] Lin Chen、Lixin Duan、Dong Xu、「異種ウェブソースからの学習によるビデオのイベント認識」、IEEE International Conference on Computer Vision and Pattern Recognition (CVPR)、2013、pp. 2666-2673

[2] Serhat S. Bucak、Rong Jin、Anil K. Jain、「視覚物体認識のための多重カーネル学習：レビュー」、T-PAMI、2013年。

[3] Yu et al. L2ノルム多重カーネル学習とその生物医学データ融合への応用. BMC Bioinformatics 2010, 11:309

[conic-4] Francis R. Bach、Gert RG Lanckriet、Michael I. Jordan。2004年。「多重カーネル学習、円錐双対性、およびSMOアルゴリズム」。第21回国際機械学習会議（ICML '04）議事録。ACM、ニューヨーク州ニューヨーク、アメリカ合衆国

[supervised_review-5] メフメット・ギョネン、エテム・アルパイディン。複数のカーネル学習アルゴリズムに関するジャーナル。マッハ。学ぶ。解像度12(7月):2211−2268、2011

[6] Ben-Hur, A. および Noble WSタンパク質間相互作用を予測するためのカーネル法。バイオインフォマティクス。2005 年 6 月;21 Suppl 1:i38-46。

[7] 田辺博明、Tu Bao Ho、Canh Hao Nguyen、川崎沙織。「計算生物学におけるカーネルを組み合わせるためのシンプルかつ効果的な方法」。IEEE International Conference on Research, Innovation and Vision for the Future、2008年論文集。

[8] Shibin Qiu および Terran Lane。多重カーネルサポートベクター回帰のフレームワークとsiRNA有効性予測への応用。IEEE/ACM Transactions on Computational Biology and Bioinformatics、6(2):190–199、2009年

[9] Gert RG Lanckriet、Nello Cristianini、Peter Bartlett、Laurent El Ghaoui、Michael I. Jordan。「半正定値計画法によるカーネル行列の学習」。Journal of Machine Learning Research、5:27–72、2004a

[10] Gert RG Lanckriet、Nello Cristianini、Peter Bartlett、Laurent El Ghaoui、Michael I. Jordan。「半正定値計画法によるカーネル行列の学習」。第19回国際機械学習会議議事録、2002年

[11] マーク・ジローラミ、サイモン・ロジャース。「カーネル学習のための階層的ベイズモデル」。第22回国際機械学習会議議事録、2005年

[12] Theodoros Damoulas および Mark A. Girolami。「分類のための特徴空間の組み合わせ」。パターン認識、42(11):2671–2683、2009年

[13] Theodoros Damoulas および Mark A. Girolami。「確率的多クラス多カーネル学習：タンパク質フォールド認識と遠隔相同性検出について」。Bioinformatics、24(10):1264–1270、2008年

[14] Kristin P. Bennett、Michinari Momma、Mark J. Embrechts。「MARK：異種カーネルモデルのためのブースティングアルゴリズム」。第8回ACM SIGKDD国際知識発見・データマイニング会議議事録、2002年

[15] Wang, Shuhui 他「S3MKL: 実世界画像アプリケーション向けスケーラブルな半教師あり多重カーネル学習」 IEEE TRANSACTIONS ON MULTIMEDIA、第14巻、第4号、2012年8月

[16] J. Zhuang、J. Wang、SCH Hoi、X. Lan。「教師なし多重カーネル学習」。Jour. Mach. Learn. Res. 20:129–144、2011年

[17] Ashesh Jain、SVN Vishwanathan、Manik Varma。「SPG-GMKL：100万個のカーネルを用いた一般化多重カーネル学習」。ACM SIGKDD知識発見・データマイニング会議議事録、中国・北京、2012年8月。

[18] M. Varma および BR Babu。「効率的な多重カーネル学習におけるより一般的なアプローチ」。国際機械学習会議議事録、モントリオール、カナダ、2009年6月。

[19] Yang, H., Xu, Z., Ye, J., King, I., & Lyu, MR (2011). Efficient Sparse Generalized Multiple Kernel Learning. IEEE Transactions on Neural Networks, 22(3), 433-446

[20] SVN Vishwanathan、Z. Sun、N. Theera-Ampornpunt、M. Varma。「多重カーネル学習とSMOアルゴリズム」。Advances in Neural Information Processing Systems、バンクーバー、BC、カナダ、2010年12月。

[21] Alain Rakotomamonjy、Francis Bach、Stephane Canu、Yves Grandvalet。SimpleMKL。Journal of Machine Learning Research、Microtome Publishing、2008、9、pp.2491-2521。

[22] Fabio Aiolli、Michele Donini。EasyMKL：スケーラブルなマルチカーネル学習アルゴリズム。Neurocomputing、169、pp.215-224。

複数のカーネル学習アプローチは、ビデオにおけるイベント認識[ 1 ]

[ 2 ]

[

[ 4 ]

[ 5 ]は、次の分類を提案しました。

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]。

[ 15 ]を参照してください。

[ 16 ]を参照してください。

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]