Loading article…
機械学習と自然言語処理において、パチンコ割り当てモデル (PAM)はトピックモデルです。トピックモデルは、文書のコレクションの隠れたテーマ構造を明らかにするためのアルゴリズムのセットです。[1]このアルゴリズムは、トピックを構成する単語の相関関係に加えて、トピック間の相関関係をモデル化することで、潜在ディリクレ割り当て(LDA) などの以前のトピックモデルを改良しています。PAM は、潜在ディリクレ割り当てよりも柔軟性が高く、表現力に優れています。 [2]このアルゴリズムは、最初は自然言語処理のコンテキストで説明および実装されましたが、バイオインフォマティクス などの他の分野にも応用できる可能性があります。このモデルは、日本で人気のパチンコ機にちなんで名付けられました。パチンコ機では、金属ボールが複雑なピンのコレクションの周りを跳ね回り、下部のさまざまなビンに落ちます。[3]
歴史
パチンコ配分は、 2006年にWei LiとAndrew McCallumによって初めて説明されました。[3] このアイデアは、2007年にLi、McCallum、David Mimnoによって階層的パチンコ配分に拡張されました。[4] 2007年に、McCallumと彼の同僚は、階層的ディリクレ過程（HDP）の変形に基づくPAMのノンパラメトリックベイズ事前分布を提案しました。[2]このアルゴリズムは、マサチューセッツ大学アマースト校のMcCallumのグループによって公開されたMALLETソフトウェアパッケージ に実装されています。
モデル
PAM は、V 内の単語と T 内のトピックを任意の有向非巡回グラフ(DAG) で接続します。トピック ノードが内部レベルを占め、リーフが単語になります。
コーパス全体を生成する確率は、各文書の確率の積である: [3]
参照
- 確率的潜在意味索引（PLSI）は、1999年にトーマス・ホフマンが提唱した初期のトピックモデルである。[5]
- 潜在ディリクレ分布は、2002年にDavid Blei、Andrew Ng、Michael Jordanによって開発されたPLSIの一般化であり、文書にさまざまなトピックが混在することを可能にします。[6]
- MALLET は、パチンコ割り当てを実装するオープンソースの Java ライブラリです。
参考文献
- ^ Blei, David. 「トピックモデリング」。2012年10月2日時点のオリジナルよりアーカイブ。2012年10月4日閲覧。
- ^ ab Li, Wei; Blei, David; McCallum, Andrew (2007). 「ノンパラメトリックベイズパチンコ割り当て」. arXiv : 1206.5270 .
{{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です - ^ abc Li, Wei; McCallum , Andrew (2006). 「パチンコ割り当て: トピック相関の DAG 構造混合モデル」(PDF)。機械学習に関する第 23 回国際会議 ICML '06 の議事録。pp. 577–584。doi : 10.1145 /1143844.1143917。ISBN 1595933832.S2CID 13160178 。
- ^ Mimno, David; Li, Wei; McCallum, Andrew (2007). 「階層的トピックの混合とパチンコ割り当て」(PDF)。機械学習に関する第 24 回国際会議の議事録。pp. 633–640。doi : 10.1145 / 1273496.1273576。ISBN 9781595937933. S2CID 6045658。
- ^ Hofmann, Thomas (1999). 「確率的潜在意味索引付け」(PDF)。情報検索における研究開発に関する第22回国際SIGIRカンファレンス議事録。2010年12月14日時点のオリジナル(PDF)からアーカイブ。
- ^ Blei, David M.; Ng, Andrew Y.; Jordan, Michael I ; Lafferty, John (2003 年 1 月). 「潜在的ディリクレ配分」. Journal of Machine Learning Research . 3 : pp. 993–1022. 2012 年 5 月 1 日時点のオリジナルよりアーカイブ。2010年7 月 19 日閲覧。
外部リンク
- 階層的トピックとパチンコ割り当ての混合、2007 年に David Mimno が HPAM を発表したビデオ録画。