階層的隠れマルコフモデル

階層的隠れマルコフモデル (HHMM)は、隠れマルコフモデル(HMM)から派生した統計モデルです。HHMM では、各状態は自己完結型の確率モデルであると考えられます。より正確には、HHMM の各状態自体が HHMM です。

HHMMとHMMはパターン認識を含む多くの分野で有用である。^{[1] [2]}

学習と一般化を容易にするために、特定の構造で HMM を使用すると便利な場合があります。たとえば、十分なトレーニング データが利用できる場合は、完全に接続された HMM を常に使用できますが、任意の状態遷移を許可しないことでモデルを制約すると便利な場合がよくあります。同様に、HMM をより大きな構造に埋め込むことも有益です。理論的には、基本的な HMM 以外の問題は解決できないかもしれませんが、必要なトレーニング データの量に関しては、いくつかの問題をより効率的に解決できます。

階層型隠れマルコフモデル (HHMM) では、各状態は自己完結型の確率モデルであると見なされます。より正確には、HHMM の各状態自体が HHMM です。これは、HHMM の状態が、標準の HMM 状態の場合のように単一の観測シンボルではなく、観測シンボルのシーケンスを発することを意味します。

HHMM 内の状態がアクティブになると、その状態自身の確率モデルがアクティブになります。つまり、基礎となる HHMM の状態の 1 つがアクティブになり、その状態が今度はその基礎となる HHMM をアクティブにする、というように続きます。このプロセスは、生成状態と呼ばれる特別な状態がアクティブになるまで繰り返されます。生成状態だけが、通常の HMM の意味で観測シンボルを出力します。生成状態がシンボルを出力すると、制御は生成状態をアクティブにした状態に戻ります。観測シンボルを直接出力しない状態は、内部状態と呼ばれます。内部状態の下での HHMM 内の状態のアクティブ化は、垂直遷移と呼ばれます。垂直遷移が完了すると、同じレベル内の状態への水平遷移が発生します。水平遷移が終了状態につながると、階層の上位にある、最後の垂直遷移を生成した HHMM 内の状態に制御が返されます。

垂直遷移は、一連の生成状態に到達して最終的にトップ レベルに戻る前に、さらに垂直遷移を引き起こす可能性があることに注意してください。したがって、訪問した生成状態は、トップ レベルの状態によって「生成される」一連の観測シンボルを生み出します。

HHMM パラメータとモデル構造を推定する方法は HMM パラメータの場合よりも複雑であるため、興味のある読者は Fine et al. (1998) を参照してください。

HMM と HHMM は同じ分類器のクラスに属します。つまり、同じ問題セットを解決するために使用できます。実際、HHMM は標準の HMM に変換できます。ただし、HHMM はその構造を活用して、問題のサブセットをより効率的に解決します。

古典的なHHMMでは、事前に定義されたトポロジーが必要であり、サブモデルの数と階層構造を事前に知っておく必要があります。^[1] Samkoら(2010)は、特徴空間(つまり、マルコフモデル自体の外部)からの状態に関する情報を使用して、新しいHHMMのトポロジーを教師なしの方法で定義しました。^[2]ただし、HHMM構築に関連する情報を含むこのような外部データは、言語処理など、すべてのコンテキストで利用できるとは限りません。

• 階層型隠れマルコフモデル
• 階層的時間記憶

• S. Fine、Y. Singer、N. Tishby、「階層的隠れマルコフモデル: 分析と応用」、機械学習、第 32 巻、p. 41–62、1998 年
• K.Murphy および M.Paskin。「階層型 HMM における線形時間推論」、NIPS-01 (Neural Info. Proc. Systems)。
• H. Bui、D. Phung、S. Venkatesh。「一般状態階層を持つ階層型隠れマルコフモデル」、AAAI-04 (全国人工知能会議)。