バイクラスタリング、ブロッククラスタリング、[1] [2] コクラスタリングまたは2モードクラスタリング[3] [4] [5]は、行列の行と列を同時にクラスタリングできるデータマイニング手法です。この用語は、ボリス・ミルキン[6]によって初めて導入されましたが、これは、1972年にジョン・A・ハーティガン[7]によって導入された手法にちなんで名付けられました。
次元の特徴ベクトルで表されるサンプルセットが与えられると、データセット全体を行と列(つまり、行列)として表すことができます。バイクラスタリング アルゴリズムはバイクラスターを生成します。バイクラスターは、列のサブセット全体で同様の動作を示す行のサブセットであり、その逆も同様です。
発達
バイクラスタリングは、1972年にジョン・A・ハーティガンによって最初に導入されました。[7]「バイクラスタリング」という用語は、その後ボリス・G・ミルキンによって使用され、改良されました。このアルゴリズムは、2000年にY・チェンとジョージ・M・チャーチが平均二乗残基スコア(MSR)に基づくバイクラスタリングアルゴリズムを提案し、それを生物学的遺伝子発現データに適用するまで一般化されませんでした。[8]
2001 年と 2003 年に、IS Dhillon はファイルと単語にバイクラスタリングを適用する 2 つのアルゴリズムを発表しました。1 つのバージョンは、二部スペクトルグラフ分割に基づいています。[9]もう 1 つは情報理論に基づいています。Dhillon は、バイクラスタリング中の相互情報量の損失が P と Q 間のKullback–Leibler 距離(KL 距離) に等しいと仮定しました。P はバイクラスタリング前のファイルと特徴語の分布を表し、Q はバイクラスタリング後の分布です。KL 距離は、2 つのランダム分布の差を測定するためのものです。2 つの分布が同じ場合は KL = 0 になり、差が大きくなるにつれて KL も大きくなります。[10]したがって、アルゴリズムの目的はPとQの間の最小のKL距離を見つけることでした。2004年に、Arindam BanerjeeはKL距離の代わりに重み付きBregman距離を使用して、KL距離アルゴリズムとは異なり、あらゆる種類の行列に適したバイクラスタリングアルゴリズムを設計しました。[11]
2種類以上のオブジェクトをクラスタリングするために、2005年にベッカーマンはディロンの定理における相互情報量を単一のペアから複数のペアに拡張しました。[12]
複雑
バイクラスタリング問題の複雑さは、問題の正確な定式化、特に特定のバイクラスターの品質を評価するために使用されるメリット関数に依存します。ただし、この問題の最も興味深い変種はNP 完全です。NP 完全では 2 つの条件があります。バイナリ マトリックス A に 0 または 1 の要素a ( i , j )のみがある単純なケースでは、バイクラスターは対応する二部グラフのバイクリークに等しくなります。最大サイズのバイクラスターは、二部グラフの最大エッジ バイクリークに相当します。複雑なケースでは、マトリックス A の要素を使用して、特定のバイクラスターの品質を計算し、問題のより制限されたバージョンを解決します。[13]計算を短絡するには、大きな計算労力または損失のあるヒューリスティックの使用が必要です。 [14]
バイクラスターの種類
定数値を持つバイクラスター(a)
バイクラスタリング アルゴリズムは、定数値のバイクラスターを見つけようとする場合、マトリックスの行と列を並べ替えて類似の行と列をグループ化し、最終的に類似の値を持つバイクラスターをグループ化します。データが正規化されている場合は、この方法で十分です。完全な定数バイクラスターは、すべての値a(i,j)が特定の定数 μ に等しいマトリックス (I,J) です。実体データでは、これらのエントリa(i,j)は、n(i,j) + μの形式で表すことができます。ここで、n(i,j) はノイズを表します。ハーティガンのアルゴリズムによると、元のデータ マトリックスをバイクラスターのセットに分割することにより、分散を使用して定数バイクラスターを計算します。したがって、完全なバイクラスターは、分散が 0 のマトリックスとして同等に定義できます。データ マトリックスが 1 行 1 列のバイクラスターに分割されるのを防ぐために、ハーティガンは、データ マトリックス内に、たとえばK 個のバイクラスターがあると想定します。データ マトリックスがKバイクラスターに分割されると、アルゴリズムは終了します。
行 (b) または列 (c) に定数値を持つバイクラスター
定数値バイクラスターとは異なり、これらのタイプのバイクラスターは、値の分散のみに基づいて評価することはできません。識別を完了するには、最初に列と行を正規化する必要があります。ただし、正規化ステップなしで、異なるアプローチの行と列を持つバイクラスターを見つけることができる他のアルゴリズムがあります。
コヒーレントな値を持つバイクラスター(d、e)
行と列に一貫性のある値を持つバイクラスターの場合、行または列に定数値を持つバイクラスターのアルゴリズムに対する全体的な改善を検討する必要があります。このアルゴリズムには、行と列の両方の共分散を使用して、グループ間の分散分析が含まれる場合があります。Cheng と Church の定理では、バイクラスターは、ほぼ同じスコアを持つ行と列のサブセットとして定義されます。類似性スコアは、行と列の一貫性を測定するために使用されます。
これらのクラスターモデルと相関クラスタリング
などの他のタイプのクラスタリングとの関係については、 [15]で議論されています。
アルゴリズム
バイオインフォマティクス向けに開発されたバイクラスタリングアルゴリズムは数多くあり、ブロッククラスタリング、CTWC(結合2ウェイクラスタリング)、ITWC(相互関連2ウェイクラスタリング)、δ-バイクラスター、δ-pCluster、δ-パターン、FLOC、OPC、プラッドモデル、OPSM(順序保存サブマトリックス)、ギブス、SAMBA(バイクラスター分析の統計的アルゴリズム手法)、[16]ロバストバイクラスタリングアルゴリズム(RoBA)、交差最小化、[17] cMonkey、[18] PRM、DCC、LEB(バイクラスターの局所化と抽出)、QUBIC(定性的バイクラスタリング)、BCCA(バイ相関クラスタリングアルゴリズム)BIMAX、ISA、FABIA(バイクラスター獲得のための因子分析)、 [19]ルニビック、[20] そして最近提案されたハイブリッド手法EBIC(進化的バイクラスタリング)[21]は、複数のパターンを非常に高い精度で検出できることが示されています。最近では、反復複雑性削減の概念に基づいて開発されたIMMD-CC [22]が提案されています。IMMD-CCは、反復マルチモード離散化によって得られた非常にスパースな変換から共クラスターの重心を識別することができます。
バイクラスタリングアルゴリズムは、共クラスタリング、二次元クラスタリング、サブスペースクラスタリングという名前で他の応用分野でも提案され、使用されています。[14]
時系列データにおける局所パターンの発見の重要性は周知の事実です。最近の提案では、時系列遺伝子発現データの特定のケースにおけるバイクラスタリング問題に対処しています。この場合、興味深いバイクラスターは、連続した列を持つものに限定できます。この制限により、扱いやすい問題が生まれ、CCC-バイクラスタリング[23]やe- CCC-バイクラスタリング[24]などの効率的な網羅的列挙アルゴリズムの開発が可能になります。CCC- バイクラスタリングアルゴリズムのおおよそのパターンでは、バイクラスター内の発現パターンを表す発現プロファイルに対して、遺伝子ごとに一定数のエラーが許容されます。e-CCC-バイクラスタリングアルゴリズムでは、離散化行列 A と効率的な文字列処理技術によって、近似式を使用して、すべての最大 CCC-バイクラスターを見つけて報告します。
これらのアルゴリズムは、サフィックス ツリーに基づく効率的な文字列処理技術を使用して、時系列遺伝子発現マトリックスのサイズで元の発現マトリックスの離散化バージョンを操作することによって得られる時間線形/多項式で、完全/近似発現パターンを持つコヒーレントで連続した列を持つすべての最大バイクラスターを見つけて報告します。これらのアルゴリズムは、問題を解決し、計算の複雑さの分析を概説するためにも適用されます。
最近のアルゴリズムの中には、cMonkey などの他のデータ型の形式で、バイクラスタリング長方形行列の追加サポートを組み込む試みもあります。
バイクラスタリングではクラスター間の重複が許され、一部のアルゴリズムでは調整が難しい列/条件を除外できるため、これらの方法の結果をどのように判断するかについては議論が続いています。利用可能なアルゴリズムのすべてが決定論的であるとは限らず、アナリストは結果が安定した最小値をどの程度表しているかに注意を払う必要があります。これは教師なし分類問題であるため、ゴールドスタンダードがないため、結果のエラーを見つけるのが困難です。1つの方法は、複数のバイクラスタリングアルゴリズムを使用し、その中から多数決または超多数決で最良の結果を決定することです。別の方法は、バイクラスタのシフトパターンとスケーリングパターンの品質を分析することです。[25]バイクラスタリングは、テキストマイニング(または分類)の分野で使用されており、一般に共クラスタリングとして知られています。[26]テキストコーパスは、行がドキュメントを表し、列が辞書内の単語を表す行列Dとしてベクトル形式で表されます。行列要素D ij は、文書iでの単語jの出現を表します。次に、共クラスタリングアルゴリズムを適用して、単語のグループ (列) によって特徴付けられるドキュメントのグループ (行) に対応する D 内のブロックを検出します。
テキスト クラスタリングは、高次元スパース問題を解決できます。つまり、テキストと単語を同時にクラスタリングします。テキストをクラスタリングするときは、単語の情報だけでなく、単語によって構成される単語クラスターの情報も考慮する必要があります。次に、テキスト内の特徴語の類似性に応じて、最終的に特徴語をクラスタリングします。これを共クラスタリングと呼びます。共クラスタリングには 2 つの利点があります。1 つは、単語クラスターに基づいてテストをクラスタリングすると、クラスタリングの次元を大幅に削減できるため、テスト間の距離を測定するのにも適していることです。2 つ目は、より有用な情報をマイニングし、テスト クラスターと単語クラスター内の対応する情報を取得できることです。この対応する情報を使用して、テキストと単語の種類を記述できます。同時に、単語クラスタリングの結果は、テキスト マイニングと情報検索にも使用できます。
結果として得られるブロックの情報内容に基づいて、SVDや BVD などの行列ベースのアプローチや、グラフベースのアプローチなど、いくつかのアプローチが提案されています。情報理論的アルゴリズムは、相互情報量が最大化されるように、各行を文書のクラスターに、各列を単語のクラスターに繰り返し割り当てます。行列ベースの方法は、元の行列と分解から再生成された行列との間の誤差が最小化されるように、行列をブロックに分解することに重点を置いています。グラフベースの方法は、クラスター間のカットを最小化する傾向があります。2 つの文書グループ d 1と d 2がある場合、カットの数は、グループ d 1と d 2の文書に出現する単語の数として測定できます。
最近では(Bisson と Hussain)[26] は、単語間の類似性と文書間の類似性を使用してマトリックスを共クラスタリングする新しいアプローチを提案しました。彼らの方法(χ-Sim、相互類似性として知られています)は、文書間の類似性と単語間の類似性を見つけ、次に階層的クラスタリングなどの古典的なクラスタリング方法を使用することに基づいています。行と列を交互に明示的にクラスタリングする代わりに、単語の高次の出現を考慮し、本質的にそれらが発生する文書を考慮に入れます。したがって、2 つの単語間の類似性は、それらが発生する文書と「類似した」単語が発生する文書に基づいて計算されます。ここでの考え方は、同じトピックに関する 2 つの文書は、必ずしも同じ単語セットを使用してトピックを説明するのではなく、そのトピックの特徴である単語のサブセットと他の類似した単語を使用するというものです。高次の類似性を取り入れるこのアプローチでは、コーパス全体の潜在的な意味構造が考慮され、結果としてドキュメントと単語のより優れたクラスタリングが生成されます。
テキストデータベースでは、文書と用語の行列D(サイズm×n、m:文書数、n:用語数)で定義される文書コレクションに対して、被覆係数ベースのクラスタリング手法[27]は、2段階確率実験を使用して、文書と用語(単語)の両方に対して同じ数のクラスターを生成します。被覆係数の概念によると、クラスターの数は次の式で大まかに推定することもできます。ここで、tはD内のゼロ以外のエントリの数です。Dでは、各行と各列に少なくとも1つのゼロ以外の要素が含まれている必要があることに注意してください。
他のアプローチとは対照的に、FABIA は重い裾を持つ現実的な非ガウス信号分布を想定する乗法モデルです。FABIA は変分アプローチなどのよく理解されているモデル選択手法を活用し、ベイズフレームワークを適用します。生成フレームワークにより、FABIA は各バイクラスターの情報内容を決定し、偽のバイクラスターを真のバイクラスターから分離できます。
参照
参考文献
- ^ G. Govaert; M. Nadif (2008). 「ベルヌーイ混合モデルによるブロッククラスタリング: さまざまなアプローチの比較」.計算統計とデータ分析. 52 (6): 3233–3245. doi :10.1016/j.csda.2007.09.007.
- ^ R. Balamurugan ; AM Natarajan; K. Premalatha ( 2015). 「バイクラスタリングマイクロアレイ遺伝子発現データのための恒星質量ブラックホール最適化」。応用人工知能。29 ( 4 ): 353–381。doi : 10.1080/08839514.2015.1016391。S2CID 44624424 。
- ^ G. Govaert; M. Nadif (2013).共クラスタリング: モデル、アルゴリズム、アプリケーション。ISTE、Wiley。ISBN 978-1-84821-473-6。
- ^ R. Balamurugan; AM Natarajan; K. Premalatha (2016). 「マイクロアレイ遺伝子発現データのバイクラスタリングのための改良ハーモニー検索法」。International Journal of Data Mining and Bioinformatics。16 ( 4): 269–289。doi : 10.1504 /IJDMB.2016.082205。
- ^ Van Mechelen I、Bock HH、De Boeck P ( 2004)。「2モードクラスタリング法:構造化された概要」。医療研究における統計的方法。13 ( 5 ): 363–94。CiteSeerX 10.1.1.706.4201。doi : 10.1191 /0962280204sm373ra。PMID 15516031。S2CID 19058237 。
- ^ ab Mirkin, Boris (1996).数学的分類とクラスタリング。Kluwer Academic Publishers。ISBN 978-0-7923-4159-8。
- ^ ab Hartigan JA (1972). 「データマトリックスの直接クラスタリング」アメリカ統計学会誌67 ( 337): 123–9. doi :10.2307/2284710. JSTOR 2284710.
- ^ https://www.cs.princeton.edu/courses/archive/fall03/cs597F/Articles/biclustering_of_expression_data.pdf Cheng Y、Church G M. 発現データのバイクラスタリング[C]//Ismb. 2000、8: 93–103。
- ^ Dhillon, Inderjit S. (2001). 「二部スペクトルグラフ分割を使用したドキュメントと単語の共クラスタリング」。知識発見とデータマイニングに関する第 7 回 ACM SIGKDD 国際会議の議事録。pp. 269–274。doi : 10.1145 /502512.502550。ISBN 158113391X. S2CID 11847258。
- ^ Dhillon, Inderjit S.; Mallela, Subramanyam; Modha, Dharmendra S. (2003). 「情報理論的共クラスタリング」。知識発見とデータマイニングに関する第 9 回 ACM SIGKDD 国際会議の議事録。pp. 89–98。doi : 10.1145 /956750.956764。ISBN 1581137370. S2CID 12286784。
- ^ Banerjee, Arindam; Dhillon, Inderjit; Ghosh, Joydeep; Merugu, Srujana; Modha, Dharmendra S. (2004). 「Bregman 共クラスタリングと行列近似に対する一般化最大エントロピーアプローチ」。知識発見とデータマイニングに関する第 10 回 ACM SIGKDD 国際会議の議事録。pp. 509–514。doi :10.1145/1014052.1014111。ISBN 1581138881. S2CID 2719002。
- ^ Bekkerman, Ron; El-Yaniv, Ran; McCallum, Andrew (2005). 「ペアワイズ相互作用による多方向分布クラスタリング」。機械学習に関する第 22 回国際会議 ICML '05 の議事録。pp . 41–48。doi :10.1145/ 1102351.1102357。ISBN 1595931805. S2CID 858524。
- ^ Peeters R (2003). 「最大辺2クリーク問題はNP完全である」.離散応用数学. 131 (3): 651–654. doi : 10.1016/S0166-218X(03)00333-0 . S2CID 3102766.
- ^ ab Madeira SC、Oliveira AL (2004)。「生物学 的データ分析のためのバイクラスタリングアルゴリズム:概要」。IEEE / ACM Transactions on Computational Biology and Bioinformatics。1 (1) : 24–45。doi : 10.1109 /TCBB.2004.2。PMID 17048406。S2CID 206628783。
- ^ Kriegel, H.-P.; Kröger, P.; Zimek, A. (2009 年 3 月)。「高次元データのクラスタリング: サブスペース クラスタリング、パターン ベース クラスタリング、相関クラスタリングに関する調査」。ACM Transactions on Knowledge Discovery from Data。3 (1): 1–58。doi : 10.1145 /1497577.1497578。S2CID 17363900 。
- ^ Tanay A, Sharan R, Kupiec M, Shamir R (2004). 「高度に異質なゲノムワイドデータの統合解析による酵母分子ネットワークのモジュール性と組織性の解明」Proceedings of the National Academy of Sciences . 101 (9): 2981–2986. Bibcode :2004PNAS..101.2981T. doi : 10.1073/pnas.0308661100 . PMC 365731 . PMID 14973197.
- ^ Abdullah, Ahsan; Hussain, Amir (2006). 「交差最小化に基づく新しいバイクラスタリング手法」Neurocomputing . 69 (16–18): 1882–1896. doi :10.1016/j.neucom.2006.02.018.
- ^ Reiss DJ、Baliga NS 、 Bonneau R (2006) 。 「グローバル制御ネットワークの推論のための異種ゲノムワイドデータセットの統合バイクラスタリング」。BMC Bioinformatics。7 : 280–302。doi : 10.1186 / 1471-2105-7-280。PMC 1502140。PMID 16749936。
- ^ Hochreiter S、 Bodenhofer U、 Heusel M、 Mayr A、 Mitterecker A、 Kasim A、 Khamiakova T、 Van Sanden S、 Lin D、 Talloen W、 Bijnens L、 Gohlmann HW、 Shkedy Z、 Clevert DA (2010)。 「FABIA: バイクラスター獲得のための因子分析」。バイオインフォマティクス。26 (12): 1520–1527。doi :10.1093/bioinformatics/btq227。PMC 2881408。PMID 20418340 。
- ^ Orzechowski P、 Pańszczyk A、Huang X 、 Moore JH (2018)。「runibic: 遺伝子発現データの並列行ベースバイクラスタリングのための Bioconductor パッケージ」。バイオインフォマティクス。34 (24): 4302–4304。doi :10.1093 / bioinformatics /bty512。PMC 6289127。PMID 29939213。
- ^ Orzechowski P、Sipper M、Huang X 、 Moore JH ( 2018)。「EBIC: パターン発見のための進化ベースの並列バイクラスタリングアルゴリズム」。バイオインフォマティクス。34 (21): 3719–3726。arXiv : 1801.03039。doi : 10.1093 / bioinformatics / bty401。PMC 6198864。PMID 29790909。
- ^ Fanaee-T H、 Thoresen、M(2020)。「反復マルチモード離散化:共クラスタリングへの応用」。ディスカバリーサイエンス。コンピュータサイエンスの講義ノート。Vol。12323。pp.94–105。doi :10.1007 / 978-3-030-61527-7_7。hdl :10852 / 82994。ISBN 978-3-030-61526-0. S2CID 222832035。
- ^ Madeira SC、Teixeira MC、Sá-Correia I、Oliveira AL (2010)。「線形時間バイクラスタリングアルゴリズムを使用した時系列遺伝子発現データにおける調節モジュールの識別」。IEEE / ACM Transactions on Computational Biology and Bioinformatics。1 (7): 153–165。doi :10.1109/TCBB.2008.34。PMID 20150677。S2CID 7369531。
- ^ Madeira SC、Oliveira AL (2009)。「遺伝子発現時系列における近似発現パターンを 見つけるための多項式時間バイクラスタリングアルゴリズム」。分子生物学アルゴリズム。4 (8): 8. doi : 10.1186 / 1748-7188-4-8。PMC 2709627。PMID 19497096。
- ^ Aguilar-Ruiz JS (2005). 「遺伝子発現データからのパターンのシフトとスケーリング」.バイオインフォマティクス. 21 (10): 3840–3845. doi : 10.1093/bioinformatics/bti641 . PMID 16144809.
- ^ ab Bisson G.; Hussain F. (2008). 「Chi-Sim: 共クラスタリングタスクのための新しい類似性尺度」2008 第 7 回機械学習およびアプリケーション国際会議pp. 211–217. doi :10.1109/ICMLA.2008.103. ISBN 978-0-7695-3495-4.S2CID 15506600 。
- ^ Can, F.; Ozkarahan, EA (1990). 「テキストデータベースのカバー係数ベースのクラスタリング手法の概念と有効性」(PDF) . ACM Transactions on Database Systems . 15 (4): 483–517. doi :10.1145/99935.99938. hdl : 2374.MIA/246 . S2CID 14309214.
その他
- NK Verma、S. Bajpai、A. Singh、A. Nagrare、S. Meena、Yan Cui、「バイクラスタリング アルゴリズムの比較」、インド IIT カラグプルで開催された国際医学生物学システム会議 (ICSMB 2010)、pp. 90 ~ 97、12 月 16 ~ 18 日。
- J. Gupta、S. Singh、NK Verma「MTBA: バイクラスタリング分析用の MATLAB ツールボックス」、IEEE 計算知能ワークショップ: 理論、アプリケーション、将来の方向性、IIT カンプール、インド、pp. 148–152、2013 年 7 月。
- A. Tanay、R. Sharan、R. Shamir、「バイクラスタリング アルゴリズム: 調査」、計算分子生物学ハンドブック、 Srinivas Aluru編、Chapman (2004)
- Kluger Y、 Basri R、Chang JT、Gerstein MB (2003) 。「マイクロアレイデータのスペクトルバイクラスタリング:遺伝子と条件の共クラスタリング」。 ゲノム研究。13 ( 4): 703–716。doi :10.1101/gr.648603。PMC 430175。PMID 12671006。
- Adetayo Kasim、Ziv Shkedy、Sebastian Kaiser、Sepp Hochreiter、Willem Talloen (2016)、「R を使用した大規模および高次元データに対するバイクラスタリング手法の応用」、Chapman & Hall/CRC Press
- Orzechowski, P., Sipper, M., Huang, X., & Moore, JH (2018). EBIC: パターン発見のための進化ベースの並列バイクラスタリングアルゴリズム。バイオインフォマティクス。
外部リンク
- FABIA: バイクラスター獲得のための因子分析、R パッケージ — ソフトウェア
