確率的潜在意味解析

確率的潜在意味解析( PLSA ) は、確率的潜在意味索引( PLSI、特に情報検索の分野では)とも呼ばれ、2 モードおよび共起データの解析のための統計手法です。実際には、PLSA の元となった潜在意味解析と同様に、特定の隠れた変数との親和性の観点から、観測変数の低次元表現を導き出すことができます。

線型代数から派生し、発生表を縮小する（通常は特異値分解を介して）標準的な潜在意味解析と比較して、確率的潜在意味解析は、潜在クラスモデルから導出された混合分解に基づいています。

PLSAは、単語と文書の共起の形での観測を考慮して、各共起の確率を条件付きで独立した多項分布の混合としてモデル化します。 ${\displaystyle (w,d)}$

${\displaystyle P(w,d)=\sum _{c}P(c)P(d|c)P(w|c)=P(d)\sum _{c}P(c|d)P(w|c)}$

は単語のトピックです。トピックの数は、事前に選択する必要があり、データから推定するものではないハイパーパラメータであることに注意してください。最初の定式化は対称的な定式化であり、およびは両方とも潜在クラスから同様の方法（条件付き確率およびを使用）で生成されますが、2番目の定式化は非対称的な定式化であり、各ドキュメント に対して、潜在クラスは に従ってドキュメントに条件付きで選択され、次に に従ってそのクラスから単語が生成されます。この例では単語とドキュメントを使用しましたが、任意の2つの離散変数の共起をまったく同じ方法でモデル化できます。 ${\displaystyle c}$${\displaystyle w}$${\displaystyle d}$${\displaystyle c}$${\displaystyle P(d|c)}$${\displaystyle P(w|c)}$${\displaystyle d}$${\displaystyle P(c|d)}$${\displaystyle P(w|c)}$

したがって、パラメータの数は に等しくなります。パラメータの数は、ドキュメントの数に比例して増加します。また、PLSA は推定対象となるコレクション内のドキュメントの生成モデルですが、新しいドキュメントの生成モデルではありません。 ${\displaystyle cd+wc}$

それらのパラメータはEM アルゴリズムを使用して学習されます。

PLSAはフィッシャーカーネルを介して識別的な設定で使用される場合がある。^[1]

PLSAは、情報検索とフィルタリング、自然言語処理、テキストからの機械学習、バイオインフォマティクス^[2]、および関連分野で応用されています。

確率的潜在意味解析で使用されるアスペクトモデルには、深刻な過剰適合の問題があることが報告されている。^[3]

• 階層的拡張:
  • 非対称：MASHA（「多項式非対称階層分析」）^[4]
  • 対称型：HPLSA（「階層的確率的潜在意味解析」）^[5]

• 生成モデル: PLSA のよく批判される欠点、つまり新しいドキュメントに適した生成モデルではないという欠点を解決するために、次のモデルが開発されました。
  • 潜在的ディリクレ配分–ドキュメントごとのトピック分布にディリクレ事前分布を追加する
• 高次データ: 科学文献ではほとんど議論されていませんが、PLSA は自然に高次データ (3 モード以上) に拡張されます。つまり、3 つ以上の変数の共起をモデル化できます。上記の対称定式化では、これらの追加変数の条件付き確率分布を追加するだけでこれが実現されます。これは、非負テンソル因数分解の確率的類似物です。

これは潜在クラスモデルの一例であり（参考文献を参照）、非負値行列分解 と関連している^{[6] [7]}。現在の用語は1999年にトーマス・ホフマンによって造られた。^[8]

• 複合語処理
• パチンコの割り当て
• ベクトル空間モデル

• 確率的潜在意味解析
• C# で PLSA デモを完了する