隠れマルコフモデル

プロセスの状態${\displaystyle X_{n}}$(それぞれ)${\displaystyle X_{t})}$これらは隠れ状態と呼ばれ、${\displaystyle \operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\mid X_{n}=x_{n}{\bigr )}}$(それぞれ)${\displaystyle \operatorname {\mathbf {P} } {\bigl (}Y_{t}\in A\mid X_{t}\in B_{t}{\bigr )})}$これは放出確率または出力確率と呼ばれます。

離散的な形式では、隠れマルコフ過程は、復元抽出を伴う壺問題の一般化として視覚化できます（次のステップに進む前に、壺から取り出した各アイテムが元の壺に戻されます）。^{[ 7 ]}

遠く離れて暮らすアリスとボブという二人の友人が、毎日電話でその日の出来事を語り合っているとします。ボブは公園を散歩すること、買い物、そしてアパートの掃除という3つの活動にしか興味がありません。何をするかは、その日の天気によって決まります。アリスは天気に関する確かな情報は持っていませんが、大まかな傾向は把握しています。アリスはボブが毎日何をしたかを話すのを聞いて、その日の天気がどんなだったかを推測しようとします。

アリスは、天気は離散マルコフ連鎖として機能していると考えている。天気の状態は「雨」と「晴れ」の2つだが、アリスはそれらを直接観察することはできない。つまり、それらはアリスには隠されている。毎日、ボブは天気に応じて「散歩」「買い物」「掃除」のいずれかの活動を行う可能性がある。ボブはアリスに自分の活動を伝えるので、それが観測値となる。このシステム全体は、隠れマルコフモデル（HMM）である。

アリスは地域の一般的な気象傾向と、ボブが平均的に何をするのが好きなのかを知っている。つまり、HMMのパラメータは既知である。これらはPythonでは次のように表現できる。

状態= ( "雨" , "晴れ" )観測値= ( "歩く " , "買い物 " , "掃除 " )開始確率= { "雨" : 0.6 , "晴れ" : 0.4 }transition_probability = { "Rainy" : { "Rainy" : 0.7 , "Sunny" : 0.3 }, "Sunny" : { "Rainy" : 0.4 , "Sunny" : 0.6 }, }emission_probability = { "Rainy" : { "walk" : 0.1 , "shop" : 0.4 , "clean" : 0.5 }, "Sunny" : { "walk" : 0.6 , "shop" : 0.3 , "clean" : 0.1 }, }

このコードでは、 は、start_probabilityボブが最初にアリスに電話をかけたときの HMM の状態についてのアリスの信念を表します (アリスが知っているのは、平均的に雨が降る傾向があるということだけです)。ここで使用されている特定の確率分布は、平衡分布ではありません{'Rainy': 0.57, 'Sunny': 0.43}。平衡分布は (遷移確率が与えられた場合) ほぼ です。transition_probabilityは、基となるマルコフ連鎖の天候の変化を表します。この例では、今日が雨の場合、明日が晴れる確率は 30% です。 はemission_probability、ボブが各日に特定の活動を行う可能性を表します。雨の場合は、彼がアパートを掃除している確率は 50% です。晴れの場合は、彼が散歩に出かけている確率は 60% です。

同様の例は、ビタビアルゴリズムのページでさらに詳しく説明されています。

この課題は、モデルのパラメータが与えられた場合、特定の出力シーケンスが発生する確率を最適な方法で計算することです。そのためには、考えられるすべての状態シーケンスについて合計する必要があります。

一連の事象を観測する確率

${\displaystyle Y=y(0),y(1),\dots,y(L-1),}$

長さLのものは次のように与えられる。

${\displaystyle P(Y)=\sum _{X}P(Y\mid X)P(X),}$

ここで、合計は考えられるすべての隠れノードのシーケンスにわたって計算される。

${\displaystyle X=x(0),x(1),\dots ,x(L-1).}$

動的計画法の原理を適用すれば、この問題も順方向アルゴリズムを用いて効率的に処理できる。

関連するタスクの多くは、モデルのパラメータと一連の観測値が与えられた場合に、潜在変数の1つ以上が発生する確率を問うものです。${\displaystyle y(1),\dots ,y(t)}$。

上記の問題のいくつかについては、統計的有意性について尋ねることも興味深いかもしれません。ある帰無分布から抽出されたシーケンスが、特定の出力シーケンスの確率以上（順方向アルゴリズムの場合）または最大状態シーケンス確率（ビタビアルゴリズムの場合）を持つ確率はどれくらいでしょうか？^{[ 8 ]} HMMを 使用して特定の出力シーケンスに対する仮説の関連性を評価する場合、統計的有意性は、出力シーケンスの仮説を棄却できなかったことに関連する偽陽性率を示します。

上述の隠れマルコフモデルでは、隠れ変数の状態空間は離散的ですが、観測値自体は離散的（通常はカテゴリ分布から生成される）または連続的（通常はガウス分布から生成される）のいずれかです。隠れマルコフモデルは、連続状態空間を許容するように一般化することもできます。そのようなモデルの例としては、隠れ変数に関するマルコフ過程が線形力学系であり、関連する変数間に線形関係があり、すべての隠れ変数と観測変数がガウス分布に従う場合などが挙げられます。先ほど述べた線形力学系のような単純なケースでは、厳密な推論は扱いやすい（この場合はカルマンフィルタを使用する）ですが、一般に、連続潜在変数を持つHMMでは厳密な推論は不可能であり、拡張カルマンフィルタやパーティクルフィルタなどの近似法を使用する必要があります。

今日では、隠れマルコフモデルにおける推論はノンパラメトリック設定で行われ、依存構造によって モデルの識別可能性が確保され^{[ 41 ]}、学習可能性の限界はまだ研究中である^{[ 42 ] 。}

隠れマルコフモデルは生成モデルであり、観測値と隠れ状態の同時分布、あるいは同等に、隠れ状態の事前分布（遷移確率）と状態が与えられた場合の観測値の条件付き分布（放出確率）の両方をモデル化します。上記のアルゴリズムは、遷移確率に対して一様事前分布を暗黙のうちに仮定しています。しかし、他のタイプの事前分布を使用して隠れマルコフモデルを作成することも可能です。遷移確率のカテゴリ分布を考慮すると、明らかな候補はディリクレ分布です。これは、カテゴリ分布の共役事前分布です。通常、対称ディリクレ分布が選択されます。これは、どの状態が他の状態よりも本質的に起こりやすいかについての無知を反映しています。この分布の単一のパラメータ（集中パラメータと呼ばれる）は、結果として得られる遷移行列の相対的な密度または疎性を制御します。1を選択すると、一様分布が得られます。1より大きい値を選択すると、密な行列が生成され、その中で、状態のペア間の遷移確率はほぼ等しくなります。 1 未満の値では、各ソース状態に対して無視できない遷移確率を持つ宛先状態が少数しかない疎行列になります。また、2 レベルの事前ディリクレ分布を使用することもできます。この場合、1 つのディリクレ分布 (上側の分布) が別のディリクレ分布 (下側の分布) のパラメータを決定し、それが遷移確率を決定します。上側の分布は状態の全体的な分布を決定し、各状態が発生する可能性を決定します。その集中パラメータは、状態の密度または疎性を決定します。両方の集中パラメータが疎な分布を生成するように設定されているこのような 2 レベルの事前分布は、たとえば、一部の品詞が他の品詞よりもはるかに頻繁に発生する教師なし品詞タグ付けに役立つ可能性があります。一様な事前分布を仮定する学習アルゴリズムは、一般的にこのタスクでうまく機能しません。このような非一様な事前分布を持つモデルのパラメータは、ギブスサンプリングまたは期待値最大化アルゴリズムの拡張バージョンを使用して学習できます。

前述のディリクレ事前分布を用いた隠れマルコフモデルの拡張では、ディリクレ分布の代わりにディリクレ過程を使用します。このタイプのモデルでは、未知の、場合によっては無限の数の状態を許容します。前述の2つのレベルのディリクレ分布を用いたモデルと同様に、2レベルのディリクレ過程を使用するのが一般的です。このようなモデルは、階層的ディリクレ過程隠れマルコフモデル、略してHDP-HMMと呼ばれます。これは元々「無限隠れマルコフモデル」 ^{[ 43 ]}という名前で記述され、さらに「階層的ディリクレ過程」^{[ 44 ]で形式化されました。}

別のタイプの拡張では、標準的な HMM の生成モデルの代わりに識別モデルを使用します。このタイプのモデルは、同時分布をモデル化するのではなく、観測値が与えられた場合の隠れ状態の条件付き分布を直接モデル化します。このモデルの例として、いわゆる最大エントロピー マルコフ モデル(MEMM) があり、これはロジスティック回帰(「最大エントロピーモデル」とも呼ばれる)を使用して状態の条件付き分布をモデル化します。このタイプのモデルの利点は、観測値の任意の特徴 (つまり関数) をモデル化できるため、対象となる問題のドメイン固有の知識をモデルに注入できることです。この種のモデルは、隠れ状態とその関連する観測値との間の直接的な依存関係をモデル化することに限定されません。むしろ、近くの観測値の特徴、関連する観測値と近くの観測値の組み合わせ、あるいは実際には、特定の隠れ状態から任意の距離にある任意の観測値の特徴を、隠れ状態の値を決定するために使用されるプロセスに含めることができます。さらに、生成モデルでこのような特徴量を使用する場合とは異なり、これらの特徴量が互いに統計的に独立している必要はありません。最後に、単純な遷移確率の代わりに、隣接する隠れ状態のペアに対する任意の特徴量を使用できます。このようなモデルの欠点は次のとおりです。(1) 隠れ状態に適用できる事前分布の種類が著しく制限されます。(2) 任意の観測値が発生する確率を予測することはできません。この2番目の制限は、HMMの一般的な使用法の多くではこのような予測確率を必要としないため、実際には問題にならないことがよくあります。

先に述べた識別モデルの変種として、線形連鎖条件付き確率場があります。これは、MEMMや類似モデルのような有向グラフモデルではなく、無向グラフモデル（マルコフ確率場とも呼ばれる）を使用します。このタイプのモデルの利点は、MEMMに見られるいわゆるラベルバイアスの問題がなく、より正確な予測が可能になることです。欠点は、MEMMよりも学習に時間がかかる場合があることです。

さらに別のバリアントとして、階乗隠れマルコフモデルがあり、これは単一の観測値を、一連の対応する隠れ変数に基づいて条件付けすることができます。${\displaystyle K}$単一のマルコフ連鎖ではなく、独立したマルコフ連鎖。これは単一のHMMに相当し、${\displaystyle N^{K}}$州（あると仮定して）${\displaystyle N}$各チェーンの状態）であるため、このようなモデルでの学習は困難です。長さのシーケンスの場合${\displaystyle T}$単純なビタビアルゴリズムの計算量は${\displaystyle O(N^{2K}\,T)}$正確な解を見つけるには、ジャンクションツリーアルゴリズムを使用できますが、${\displaystyle O(N^{K+1}\,K\,T)}$複雑さ。実際には、変分法などの近似手法を用いることができる。^{[ 45 ]}

上記のモデルはすべて、隠れた状態間のより遠い依存関係を許容するように拡張できます。たとえば、特定の状態が単一の前の状態ではなく、前の 2 つまたは 3 つの状態に依存することを許容します。つまり、遷移確率は 3 つまたは 4 つの隣接する状態のセットを包含するように拡張されます (または一般的には${\displaystyle K}$隣接状態）。このようなモデルの欠点は、それらをトレーニングするための動的計画法アルゴリズムが${\displaystyle O(N^{K}\,T)}$実行時間、${\displaystyle K}$隣接する州と${\displaystyle T}$合計観測値（つまり長さ-${\displaystyle T}$マルコフ連鎖）。この拡張機能は、バイオインフォマティクス、 DNA配列のモデリングで広く使用されています。

最近の別の拡張は、補助的な基礎プロセスを追加してデータの特殊性をモデル化するトリプレット マルコフ モデル^{[ 46 ]}です。このモデルには多くのバリエーションが提案されています。証拠理論とトリプレット マルコフ モデル^{[ 47 ]}の間に確立された興味深い関連性についても言及する必要があります。これにより、マルコフコンテキストでデータを融合^{[ 48 ]したり、非定常データをモデル化したりすることが可能になります。 [ 49 ] [ 50 ]}最近の文献では、代替的なマルチストリーム データ融合戦略も提案されています。たとえば、 ^{[ 51 ]などです。}

最後に、隠れマルコフモデルを用いて非定常データのモデリングの問題に取り組むための別の論理が2012年に提案されました。^{[ 52 ]}これは、観測データの時間的ダイナミクスの変化を捉えるために、小さなリカレントニューラルネットワーク（RNN）、具体的にはリザーバーネットワーク^{[ 53 ]}を採用することにあります。高次元ベクトルの形でエンコードされたこの情報は、HMMの状態遷移確率の条件変数として使用されます。このような設定の下では、最終的に非定常HMMが得られ、その遷移確率は、非現実的なアドホックな時間的変化モデルとは対照的に、データから推測される方法で時間とともに変化します。

2023年に、隠れマルコフモデル用の2つの革新的なアルゴリズムが導入されました。これらのアルゴリズムは、条件付き分布のみを利用して、結合分布を明示的にモデル化する必要なく、HMMの事後分布を計算できるようにします。^{[ 54 ] [ 55 ]} HMMの結合法則の知識が必要で、学習に計算負荷がかかる可能性があるフォワードバックワードアルゴリズムやビタビアルゴリズムなどの従来の方法とは異なり、識別フォワードバックワードアルゴリズムと識別ビタビアルゴリズムは、観測法則の必要性を回避します。^{[ 56 ] [ 57 ]}このブレークスルーにより、HMMを識別モデルとして適用できるようになり、さまざまなアプリケーションで隠れマルコフモデルを活用するための、より効率的で汎用性の高いアプローチが提供されます。

縦断的データに適したモデルは、潜在マルコフモデルと呼ばれます。^{[ 58 ]}このモデルの基本バージョンは、個々の共変量、ランダム効果を含め、多レベルデータなどのより複雑なデータ構造をモデル化するように拡張されています。潜在マルコフモデルの完全な概要、特にモデルの仮定と実際の使用法については、^{[ 59 ]に記載されています。}

• Teif, VB; Rippe, K. (2010). "クロマチンにおけるタンパク質-DNA結合の統計力学的格子モデル". J. Phys.: Condens. Matter . 22 (41) 414105. arXiv : 1004.5514 . Bibcode : 2010JPCM...22O4105T . doi : 10.1088/0953-8984/22/41/414105 . PMID 21386588 . S2CID 103345 .  
• マーク・スタンプ（サンノゼ州立大学）による、隠れマルコフモデルへの分かりやすい入門書。
• 期待値最大化法を用いたHMMの適合 – 完全な導出
• HMMに関するステップバイステップのチュートリアル（ 2017年8月13日にWayback Machineにアーカイブ済み）（リーズ大学）
• 隠れマルコフモデル（基礎数学を用いた解説）
• 隠れマルコフ モデル(Narada Warakagoda 著)
• 隠れマルコフモデル：基礎と応用 パート1、パート2 （V. ペトルシン著）
• ジェイソン・アイスナーによるスプレッドシートに関する講義（ビデオとインタラクティブなスプレッドシート付き）