階層的ディリクレ過程

統計学と機械学習において、階層的ディリクレ過程（HDP）は、グループ化されたデータをクラスタリングするノンパラメトリックな ベイズ的アプローチである。^{[1] [2]この手法では、各データ グループに}ディリクレ過程を使用し、すべてのグループのディリクレ過程は、それ自体がディリクレ過程から抽出された基本分布を共有する。この手法では、グループ間でクラスターを共有することで、グループが統計的強度を共有できる。ディリクレ過程から抽出された基本分布は重要である。なぜなら、ディリクレ過程から抽出された分布は原子確率尺度であり、原子はすべてのグループ レベルのディリクレ過程に現れるからである。各原子はクラスターに対応するため、クラスターはすべてのグループ間で共有される。これはYee Whye Teh、Michael I. Jordan、Matthew J. Beal およびDavid Bleiによって開発され、 2002 年に発表された無限隠れマルコフ モデルの形式化および一般化として、2006 年にJournal of the American Statistical Associationに発表された。^{[ 3]}

^{このモデルの説明は、 [1]}から引用されています。HDPはグループ化されたデータのモデルです。これは、データ項目が複数の異なるグループに分かれていることを意味します。たとえば、トピック モデルでは、単語はドキュメントに整理され、各ドキュメントは単語 (データ項目) のバッグ (グループ) によって形成されます。グループを でインデックス付けし、各グループがデータ項目 で構成されているとします。 ${\displaystyle j=1,...J}$${\displaystyle x_{j1},...x_{jn}}$

HDP は、データ項目の事前分布を管理する基本分布と、事前クラスター数とグループ間の共有量を管理する集中パラメータの数によってパラメータ化されます。 番目のグループは、ディリクレ過程によって与えられる分布を持つ ランダムな確率尺度に関連付けられます。${\displaystyle H}$${\displaystyle j}$${\displaystyle G_{j}}$

${\displaystyle {\begin{aligned}G_{j}|G_{0}&\sim \operatorname {DP} (\alpha _{j},G_{0})\end{aligned}}}$

ここで、 はグループに関連付けられた集中パラメータであり、 はすべてのグループで共有される基本分布です。また、共通基本分布はディリクレ過程分布です。 ${\displaystyle \alpha _{j}}$${\displaystyle G_{0}}$

${\displaystyle {\begin{aligned}G_{0}&\sim \operatorname {DP} (\alpha _{0},H)\end{aligned}}}$

濃度パラメータと基本分布を持ちます。最後に、ディリクレ過程を観測データに関連付けるために、各データ項目は潜在パラメータ に関連付けられます。 ${\displaystyle \alpha _{0}}$${\displaystyle H}$${\displaystyle x_{ji}}$${\displaystyle \theta _{ji}}$

${\displaystyle {\begin{aligned}\theta _{ji}|G_{j}&\sim G_{j}\\x_{ji}|\theta _{ji}&\sim F(\theta _{ji})\end{aligned}}}$

最初の行は、各パラメータが によって与えられる事前分布を持つことを示しており、2 行目は、各データ項目が、その関連パラメータによってパラメータ化された分布を持つことを示しており、上記の結果モデルは HDP 混合モデルと呼ばれ、HDP は階層的にリンクされたディリクレ過程のセットを指し、混合モデルはディリクレ過程がデータ項目とどのように関連しているかを指します。 ${\displaystyle G_{j}}$${\displaystyle F(\theta _{ji})}$

HDP がクラスタリング モデルを実装する方法と、クラスターがグループ間で共有される仕組みを理解するには、ディリクレ過程から得られるものが確率 1 の原子確率測度であることを思い出してください。つまり、共通ベース分布は次のように記述できる形式になります。 ${\displaystyle G_{0}}$

${\displaystyle {\begin{aligned}G_{0}&=\sum _{k=1}^{\infty }\pi _{0k}\delta _{\theta _{k}^{*}}\end{aligned}}}$

ここで、全体の基本分布が無限のサポートを持つと仮定すると、無限の数の原子 があります。各原子は質量 に関連付けられています。は確率測度であるため、質量の合計は 1 でなければなりません。はグループ固有のディリクレ過程の基本分布であるため、それぞれはの原子によって与えられる原子を持ち、それ自体は次の形式で表すことができます。 ${\displaystyle \theta _{k}^{*},k=1,2,...}$${\displaystyle H}$${\displaystyle \pi _{0k}}$${\displaystyle G_{0}}$${\displaystyle G_{0}}$${\displaystyle G_{j}}$${\displaystyle G_{0}}$

${\displaystyle {\begin{aligned}G_{j}&=\sum _{k=1}^{\infty }\pi _{jk}\delta _{\theta _{k}^{*}}\end{aligned}}}$

したがって、原子の集合はすべてのグループで共有され、各グループには独自のグループ固有の原子質量があります。この表現を観測データに関連付けると、各データ項目が混合モデルによって記述されていることがわかります。

${\displaystyle {\begin{aligned}x_{ji}|G_{j}&\sim \sum _{k=1}^{\infty }\pi _{jk}F(\theta _{k}^{*})\end{aligned}}}$

ここで、原子は混合成分パラメータの役割を果たし、質量は混合比率の役割を果たします。結論として、各データ グループは混合モデルを使用してモデル化され、混合成分はすべてのグループで共有されますが、混合比率はグループ固有です。クラスタリングの用語では、各混合成分は、クラスターがすべてのグループで共有され、各グループが独自の混合比率を持ち、クラスターのさまざまな組み合わせで構成されるデータ項目のクラスターをモデル化するものとして解釈できます。 ${\displaystyle \theta _{k}^{*}}$${\displaystyle \pi _{jk}}$

HDP混合モデルは、潜在的ディリクレ配分の自然なノンパラメトリック一般化であり、トピックの数は無制限で、データから学習できます。^[1] ここで、各グループは単語の袋からなる文書であり、各クラスターはトピックであり、各文書はトピックの混合物です。HDPは、無限隠れマルコフモデル^[3]の中核コンポーネントでもあります。これは、状態の数を無制限にし、データから学習できるようにする隠れマルコフモデルのノンパラメトリック一般化です。 ^{[1] [4]}

HDP はさまざまな方向に一般化できます。ディリクレ過程はピットマン-ヨー過程とガンマ過程に置き換えることができ、階層的ピットマン-ヨー過程と階層的ガンマ過程になります。階層はより深く、階層的に配置した複数のレベルのグループを持つことができます。このような配置は、ピットマン-ヨー過程の複数レベルの階層を持つシーケンスのベイズ非パラメトリック モデルであるシーケンス メモライザーで活用されています。さらに、ベイズ マルチドメイン学習 (BMDL) モデルは、階層的負の二項分解に基づいて、過剰分散カウント データのドメイン依存潜在表現を導出し、特定の癌の種類のサンプル数が少ない場合でも、癌のサブタイプを正確に分類します。^[5]

• 中国料理レストランのプロセス

Scholia には階層的ディリクレ過程のトピックプロファイルがあります。