条件付き確率場

一般的なグラフの場合、CRFにおける厳密な推論の問題は扱いが困難です。CRFの推論問題は基本的にMRFの場合と同じであり、同じ議論が成り立ちます。^{[ 7 ]} ただし、厳密な推論が可能な特殊なケースが存在します。

• グラフがチェーンまたはツリー構造の場合、メッセージパッシングアルゴリズムは正確な解を生成します。これらの場合に使用されるアルゴリズムは、HMMの場合のフォワードバックワードアルゴリズムおよびビタビアルゴリズムに類似しています。
• CRFがペアワイズポテンシャルのみを含み、エネルギーが劣モジュラである場合、組み合わせ的最小カット/最大フローアルゴリズムは正確な解を与える。

正確な推論が不可能な場合、近似解を得るためにいくつかのアルゴリズムを用いることができる。これらには以下が含まれる。

• 奇妙な信念の伝播
• アルファ拡張
• 平均場推論
• 線形計画緩和

パラメーターを学ぶ${\displaystyle \theta }$通常は最尤学習によって行われます。${\displaystyle p(Y_{i}|X_{i};\theta )}$すべてのノードが指数族分布を持ち、トレーニング中にすべてのノードが観測される場合、この最適化は凸最適化となります。^{[ 7 ]}例えば、勾配降下法や、L-BFGSアルゴリズムなどの準ニュートン法を用いて解くことができます。一方、一部の変数が観測されない場合、推論問題はこれらの変数について解く必要があります。一般的なグラフでは正確な推論は扱いにくいため、近似を用いる必要があります。

シーケンスモデリングでは、通常、対象となるグラフは連鎖グラフです。観測変数の入力シーケンス${\displaystyle X}$一連の観測を表し、${\displaystyle Y}$これは、観測値に基づいて推測する必要がある隠れた（または未知の）状態変数を表します。${\displaystyle Y_{i}}$鎖状に構造化されており、各鎖の間には辺がある。${\displaystyle Y_{i-1}}$そして${\displaystyle Y_{i}}$単純な解釈に加えて、${\displaystyle Y_{i}}$入力シーケンス内の各要素の「ラベル」として、このレイアウトは効率的なアルゴリズムを可能にします。

• モデルトレーニング、条件付き分布の学習${\displaystyle Y_{i}}$そして、訓練データ群から得られた特徴関数。
• デコードとは、与えられたラベルシーケンスの確率を決定することである。${\displaystyle Y}$与えられた${\displaystyle X}$。
• 推論、最も可能性の高いラベルシーケンスの決定${\displaystyle Y}$与えられた${\displaystyle X}$。

それぞれの条件付き依存関係${\displaystyle Y_{i}}$の上${\displaystyle X}$は、次の形式の固定された特徴関数セットによって定義されます。${\displaystyle f(i,Y_{i-1},Y_{i},X)}$これは、入力シーケンスに対する測定値であり、各可能な値の尤度を部分的に決定するものと考えることができる。${\displaystyle Y_{i}}$モデルは各特徴に数値的な重みを割り当て、それらを組み合わせて特定の値の確率を決定します。${\displaystyle Y_{i}}$。

線形連鎖CRFは、概念的にはより単純な隠れマルコフモデル（HMM）と多くの点で共通する用途がありますが、入力および出力シーケンス分布に関する特定の仮定を緩和しています。HMMは、状態遷移と出力をモデル化するために定数確率を使用する非常に具体的な特徴関数を持つCRFとして大まかに理解できます。逆に、CRFは、入力シーケンスに応じて隠れ状態のシーケンス内の位置全体で変化する任意の関数に定数遷移確率を変換するHMMの一般化として大まかに理解できます。

特に、HMMとは対照的に、CRFは任意の数の特徴関数を含むことができ、特徴関数は入力シーケンス全体を検査することができる。${\displaystyle X}$推論中のどの時点においても、特徴関数の範囲は確率的な解釈を持つ必要はない。

CRFは、各${\displaystyle Y_{i}}$固定数に依存する${\displaystyle k}$以前の変数${\displaystyle Y_{ik},...,Y_{i-1}}$従来の高次CRFの定式化では、トレーニングと推論は、の値が小さい場合にのみ実用的です。${\displaystyle k}$( k ≤ 5など)、 ^{[ 8 ]}計算コストは​​指数関数的に増加するため${\displaystyle k}$。

しかし、最近の別の進歩により、ベイズノンパラメトリックの分野の概念とツールを活用することで、これらの問題が改善されました。具体的には、CRF-infinity アプローチ^{[ 9 ]}は、スケーラブルな方法で無限に長い時間ダイナミクスを学習できる CRF 型モデルを構成します。これは、連続観測における無限に長いダイナミクスを学習するためのノンパラメトリック ベイズ モデルであるシーケンスメモイザ (SM) に基づく CRF 用の新しいポテンシャル関数を導入することによって実現されます。^{[ 10 ]}このようなモデルを計算的に扱いやすくするために、CRF-infinity は、想定される新しいポテンシャル関数 (SM によって駆動される) の平均場近似^{[ 11 ]}を採用しています。これにより、任意の長さの時間的依存関係を捉えてモデル化する能力を損なうことなく、モデルの効率的な近似トレーニングおよび推論アルゴリズムを考案できます。

CRFには、ラベルシーケンスの可変長セグメントをモデル化するセミマルコフ条件付き確率場（semi-CRF）という別の一般化が存在する。${\displaystyle Y}$^{[ 12 ]}これにより、高次CRFの長距離依存性をモデル化する能力の多くが提供されます。${\displaystyle Y_{i}}$妥当な計算コストで。

最後に、構造化サポートベクターマシンなどの構造化予測のためのマージンが大きいモデルは、 CRFに代わる学習手順と見なすことができる。

潜在動的条件付き確率場（LDCRF）または識別型確率的潜在変数モデル（DPLVM）は、シーケンスタグ付けタスク用のCRFの一種です。これらは、識別的に学習される潜在変数モデルです。

LDCRFでは、他のシーケンスタグ付けタスクと同様に、観測のシーケンスxが与えられた場合、${\displaystyle x_{1},\dots ,x_{n}}$モデルが解決しなければならない主な問題は、ラベルのシーケンスy =を割り当てる方法です。${\displaystyle y_{1},\dots ,y_{n}}$1 つの有限ラベルセットYから。通常の線形連鎖 CRF のようにP ( y | x )を直接モデル化する代わりに、確率の連鎖規則を使用して、潜在変数のセットhがxとyの間に「挿入」されます。^{[ 13 ]}

${\displaystyle P(\mathbf {y} |\mathbf {x} )=\sum _{\mathbf {h} }P(\mathbf {y} |\mathbf {h} ,\mathbf {x} )P(\mathbf {h} |\mathbf {x} )}$

これにより、観測値とラベル間の潜在的な構造を捉えることができます。^{[ 14 ]} LDCRFは準ニュートン法を使用してトレーニングできますが、コリンズの構造化パーセプトロンアルゴリズムに基づいて、潜在変数パーセプトロンと呼ばれる特殊なバージョンのパーセプトロンアルゴリズムも開発されています。^{[ 13 ]}これらのモデルは、コンピュータビジョン、特にビデオストリームからのジェスチャー認識^{[ 14 ]}や浅い構文解析^{[ 13 ]}に応用されています。