トピックモデル

自然言語処理において、トピックモデルは、文書の集合に現れる抽象的なトピックを発見するための確率的、ニューラル、または代数的モデルの一種です。トピックモデリングは、テキスト内の隠れた意味的特徴や構造を発見するためのテキストマイニングツールとしてよく使用されます。トピックモデルによって生成されるトピックは、確率的生成モデル、単語の共起に基づく行列分解法、意味埋め込みに適用されるクラスタリングアルゴリズムなど、さまざまな数学的フレームワークを通じて生成されます。^{[ 1 ] [ 2 ] [ 3 ]}

トピックモデルは、非構造化テキストやその他の形式のビッグデータの大規模なコレクションから潜在的な特徴を整理および発見するためによく使用されます。^{[ 4 ] [ 5 ]}テキストマイニング以外にも、トピックモデルは、遺伝情報、バイオインフォマティクス、コンピュータビジョン、ソーシャルネットワークなどの分野で潜在的な構造を明らかにするためにも使用されています。^{[ 6 ] [ 7 ]}

初期のトピック モデルは、1998 年に Papadimitriou、Raghavan、Tamaki、Vempala によって記述されました。^{[ 8 ]}確率的潜在意味解析(PLSA)と呼ばれる別のモデルは、1999 年に Thomas Hofmann によって作成されました。^{[ 9 ]} 現在使用されているトピック モデルの中で最も一般的なものと思われる潜在的ディリクレ配分(LDA) は、PLSA の一般化です。2002年にDavid Blei、Andrew Ng、Michael I. Jordanによって開発された LDA は、文書トピック分布とトピック単語分布に疎なディリクレ事前分布を導入し、文書が少数のトピックをカバーし、トピックが少数の単語を使用することが多いという直感を符号化しています。^{[ 10 ]}他のトピック モデルは一般的に LDA の拡張であり、トピックを構成する単語の相関に加えてトピック間の相関をモデル化することで LDA を改善したPachinko 配分などがあります。階層的潜在木分析（HLTA）はLDAの代替手法であり、潜在変数の木を用いて単語の共起をモデル化し、文書のソフトクラスタに対応する潜在変数の状態をトピックとして解釈します。

時間情報へのアプローチとしては、ブロックとニューマンによる 1728～1800 年ペンシルベニア ガゼットにおけるトピックの時間的ダイナミクスの決定などがある。グリフィスとステイヴァーズは、ジャーナルPNASの抄録にトピック モデリングを使用して、1991 年から 2001 年にかけて人気が上昇または下降したトピックを特定したが、ランバとマドゥスシャン^{[ 11 ]}は、1981 年から 2018 年にかけて DJLIT ジャーナルから取得した全文研究論文にトピック モデリングを使用した。図書館情報学の分野では、ランバとマドゥスダン^{[ 11 ] [ 12 ] [ 13 ] [ 14 ]}は、ジャーナル記事や電子学位論文 (ETD) などのさまざまなインドのリソースにトピック モデリングを適用した。ネルソン^{[ 15 ]}は、アメリカ南北戦争中のリッチモンドの社会的および政治的変化と継続性を理解するために、リッチモンド タイムズ ディスパッチにおける時間の経過に伴うトピックの変化を分析している。 Yang、Torget、Mihalceaは、1829年から2008年までの新聞にトピックモデリング手法を適用した。Mimnoは、150年にわたる古典文献学と考古学に関する24の学術誌にトピックモデリングを適用し、学術誌のトピックが時間の経過とともにどのように変化するか、また学術誌が時間の経過とともにどのように異なってきたり似てきたりするかを調べた。

Yinら^{[ 16 ]は}、地理​​的に分散した文書のためのトピックモデルを導入した。このモデルでは、文書の位置は推論中に検出される潜在領域によって説明される。

ChangとBlei ^{[ 17 ]}は、ウェブサイト間のリンクをモデル化するために、関係トピックモデルにリンクされた文書間のネットワーク情報を含めた。

^{Rosen-Zviら[ 18 ]}による著者トピックモデルは、文書の著者に関連付けられたトピックをモデル化することで、著者情報のある文書のトピック検出を改善します。

HLTAは、主要なAIおよび機械学習関連の学会で発表された最新の研究論文のコレクションに適用されました。その結果得られたモデルは「AIツリー」と呼ばれています。得られたトピックは、 aipano.cse.ust.hkで論文をインデックス化するために使用され、研究者が研究動向を追跡し、読むべき論文を特定するのに役立ち、また、学会主催者やジャーナル編集者が投稿論文の査読者を特定するのにも役立ちます。

生成されたトピックの質的側面と一貫性を向上させるために、一部の研究者は「一貫性スコア」の有効性、つまりコンピュータで抽出されたクラスター（トピック）が人間のベンチマークとどのように一致するかを調べてきました。^{[ 19 ] [ 20 ]}一貫性スコアは、文書コーパスから抽出するトピックの数を最適化するための指標です。^{[ 21 ]}

実際には、研究者は、最尤適合のためのいくつかのヒューリスティックのいずれかを使用して、データ コーパスに適切なモデル パラメータを適合させようとします。D. Blei による調査では、このアルゴリズム群について説明しています。^{[ 22 ]} Papadimitriou ら^{[ 8 ]}をはじめとするいくつかの研究者グループは、証明可能な保証を持つアルゴリズムを設計しようとしてきました。データが実際に問題のモデルによって生成されたと仮定して、データの作成に使用されたモデルを見つける可能性が高いアルゴリズムを設計しようとします。ここで使用される手法には、特異値分解(SVD) とモーメント法が含まれます。2012 年に、非負行列因子分解(NMF)に基づくアルゴリズムが導入され、トピック間の相関を持つトピック モデルにも一般化されます。^{[ 23 ]}

2017年以降、ニューラルネットワークは推論速度を向上させるためにトピックモデリングに活用され^{[ 24 ]}、弱教師あり学習によって人間がドメイン知識を取り込むことを可能にするvONTSSのようなさらなる進歩につながっている^{[ 25 ] 。}

2018年には、確率的ブロックモデルに基づいたトピックモデルへの新しいアプローチが提案された。^{[ 26 ]}

トピックモデリングは、コンテキスト埋め込み^{[ 27 ]と微調整[ 28 ]}を通じてLLMを活用してきた。

• 動的トピックモデル
• 教師なし学習
• 明示的な意味解析
• 潜在意味解析
• 潜在的ディリクレ配分
• 階層的ディリクレ過程
• 非負行列因子分解
• 統計的分類
• 文埋め込み

• Steyvers, Mark; Griffiths, Tom (2007). 「確率的トピックモデル」 . Landauer, T.; McNamara, D; Dennis, S.; 他 編『潜在意味解析ハンドブック』（PDF） . Psychology Press. ISBN 978-0-8058-5418-32013年6月24日にオリジナル（PDF）からアーカイブされました。
• Blei, DM; Lafferty, JD (2009). "トピックモデル" (PDF) .
• Blei, D.; Lafferty, J. (2007). "科学の相関トピックモデル". Annals of Applied Statistics . 1 (1): 17–35 . arXiv : 0708.3601 . doi : 10.1214/07-AOAS114 . S2CID 8872108 . 
• Mimno, D. (2012年4月). 「計算歴史学：古典学雑誌1世紀におけるデータマイニング」(PDF) . Journal on Computing and Cultural Heritage . 5 (1): 1– 19. doi : 10.1145/2160165.2160168 . S2CID 12153151 . 
• Marwick, Ben (2013). 「マイクロブログコンテンツのテキストマイニング、トピックモデリング、ソーシャルネットワーク分析を用いた人類学における新たな課題と論争の発見」 . Yanchang, Zhao; Yonghua, Cen (編) 『Rによるデータマイニングアプリケーション』 . Elsevier. pp. 63–93 . doi : 10.1016/B978-0-12-411511-8.00003-7 . ISBN  978-0-12-411511-8。
• Jockers, M. 2010あなたのDHブログの仲間は誰？：トピックモデリングでDHブロガーのマッチングを行うMatthew L. Jockers、2010年3月19日投稿
• Drouin, J. 2011教会プルーストアーカイブのトピックモデリングへの挑戦。2011年3月17日投稿。
• Templeton, C. 2011人文科学におけるトピックモデリング：概要メリーランド人文科学技術研究所ブログ。2011年8月1日投稿
• Griffiths, T.; Steyvers, M. (2004). "科学的トピックの発見" . Proceedings of the National Academy of Sciences . 101 (Suppl 1): 5228–35 . Bibcode : 2004PNAS..101.5228G . doi : 10.1073/pnas.0307752101 . PMC 387300 . PMID 14872004 .  
• Yang, T.、A Torget、R. Mihalcea (2011) 歴史的新聞におけるトピックモデリング。第5回ACL-HLT文化遺産、社会科学、人文科学のための言語技術ワークショップ議事録。計算言語学会、マディソン、ウィスコンシン州。96-104ページ。
• Block, S. (2006年1月). 「デジタル化でより多くのことを行う：初期アメリカ史料のトピックモデリング入門」 . Common-place the Interactive Journal of Early American Life . 6 (2).
• Newman, D.; Block, S. (2006年3月) 「18世紀の新聞の確率的トピック分解」(PDF) . Journal of the American Society for Information Science and Technology . 57 (5): 753– 767. doi : 10.1002/asi.20342 . S2CID 1484286 . 

• ミムノ、デイビッド。「トピックモデリングの参考文献」。
• Brett, Megan R. 「トピックモデリング：基礎入門」 . Journal of Digital Humanities.
• オンラインニュースとレビューに適用されるトピックモデル アリス・オーによるLDAを用いたトピックモデリングに関するGoogle Tech Talkプレゼンテーションの動画
• 科学モデリング：学術研究の動的トピックモデル デビッド・M・ブレイによるGoogle Tech Talkプレゼンテーションのビデオ
• 政治学における自動トピックモデル 2010年6月14日に開催されたTools for Textワークショップにおけるブランドン・スチュワート氏によるプレゼンテーションのビデオ
• Shawn Graham、Ian Milligan、Scott Weingart 「トピックモデリングとMALLET入門」。The Programming Historian。2014年8月28日のオリジナルからアーカイブ。 2014年5月29日取得。
• ブレイ、デイビッド・M. 「入門資料とソフトウェア」
• コード、デモ- トピックモデリングにLDAを使用する例