連続時間マルコフ連鎖

させて${\displaystyle P}$はシステム ( 0 ) の (唯一の) 解である。(一意性は、次の仮定によって保証される。${\displaystyle Q}$（規則的です。）私たちはこう言います。${\displaystyle X}$初期分布を持つマルコフである${\displaystyle \lambda }$およびレートマトリックス${\displaystyle Q}$意味: 任意の非負整数に対して${\displaystyle n\geq 0}$すべての${\displaystyle t_{0},\dots ,t_{n+1}\in T}$そのため${\displaystyle t_{0}<\dots <t_{n+1},}$すべての人々のために${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

帰納法と事実を用いて${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$（ １ ）を含む上記の記述と次の記述の等価性を示すことができる。すべての${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$任意の非負整数に対して${\displaystyle n\geq 0}$すべての${\displaystyle t_{0},\dots ,t_{n+1}\in T}$そのため${\displaystyle t_{0}<\dots <t_{n+1},}$すべての人々のために${\displaystyle i_{0},\dots ,i_{n+1}\in I}$そのため${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$（したがって、${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$)

関数の連続性から導かれる${\displaystyle (P(t)_{i,j})_{t\in T}}$（${\displaystyle i,j\in S}$）その軌跡${\displaystyle (X_{t}(\omega ))_{t\in T}}$ほぼ確実に右連続である（離散計量に関して）${\displaystyle S}$): 存在する${\displaystyle \Pr }$- null セット${\displaystyle N}$そのため${\displaystyle \{\omega \in \Omega$ :(X_{t}(\omega ))_{t\in T}{\text{は右連続である}}\}\subseteq N} . ^{[ 13 ]}

私たちは言う${\displaystyle X}$初期分布を持つマルコフである${\displaystyle \lambda }$およびレートマトリックス${\displaystyle Q}$意味するところ：すべての${\displaystyle i\in S,}$${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$そしてすべての${\displaystyle i,j}$すべての${\displaystyle t}$そして、小さな厳密に正の値の場合${\displaystyle h}$すべてにおいて以下が成り立つ${\displaystyle t\in T}$そのため${\displaystyle 0<\Pr(X(t)=i)}$:

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$、

用語${\displaystyle [i=j]}$は${\displaystyle 1}$もし${\displaystyle i=j}$その他${\displaystyle 0}$、そして小文字の「o」の用語${\displaystyle o(h)}$ある意味では${\displaystyle i,j,h}$[ ^{15 ] [ 16 ]​}

上記の式は、${\displaystyle q_{i,j}}$は、${\displaystyle i}$に${\displaystyle j}$起こる${\displaystyle i\neq j}$移行がどれほど速いか${\displaystyle i}$起こる${\displaystyle i=j}$。

通信クラス、一時性、再帰性、正の再帰性およびゼロの再帰性は、離散時間マルコフ連鎖の場合と同様に定義されます。

要素p _ij = P( X _t = j | X ₀ = i )を持つ行列をP( t ) と書きます。すると、行列 P( t ) は順方向方程式、つまり一次微分方程式を満たします。      

${\displaystyle P'(t)=P(t)Q}$、

ここで、プライム記号はtに関する微分を表す。この方程式の解は行列指数関数によって与えられる。

${\displaystyle P(t)=e^{tQ}}$。

状態空間{1,2}上のCTMCのような単純なケースでは、このようなプロセスの一般的なQ行列は、 α、β > 0の2  ×  2行列になります。  

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

上記の順方向行列の関係は、この場合明示的に解くことができ、

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$。

大きな行列では直接解を計算するのは複雑です。Qが行列の半群の生成元であるという事実

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

使用されます。

定常分布は分布である${\displaystyle \pi }$それは遷移率行列の固定点であり、${\displaystyle Q(\pi )=\pi }$先に検討した2状態プロセスP( t )について、次の点に注意してください。

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$、

t  → ∞ のとき 、分布は

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$。

各行の分布は同じであることに注目してください。これは開始状態に依存しません。行ベクトルπは、次の式を解くことで求められます。

${\displaystyle \pi Q=0}$

制約付き

${\displaystyle \sum _{i\in S}\pi _{i}=1}$。

例１

右側の図は、状態空間{強気相場、弱気相場、停滞相場}と遷移率行列を持つ連続時間マルコフ連鎖を表しています。

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

この連鎖の定常分布は、以下の式を解くことで求めることができる。${\displaystyle \pi Q=0}$ただし、要素の合計が 1 になるという制約がある。

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

例２

右の画像は、状態空間 {1,2,3,4,5,6,7,8,9} を持つパックマンをモデル化した離散時間マルコフ連鎖を示しています。プレイヤーは迷路の中でパックマンを操作し、パックドットを食べます。その間、ゴーストに追われます。便宜上、迷路は小さな 3x3 グリッドとし、ゴーストは水平方向と垂直方向にランダムに移動します。状態 2 と 8 の間には、どちらの方向にも秘密の通路を使用できます。確率がゼロのエントリは、次の遷移率行列から削除されます。

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

このマルコフ連鎖は既約です。なぜなら、幽霊は有限時間内にすべての状態からすべての状態へ移動できるからです。秘密の通路があるため、マルコフ連鎖は非周期的でもあります。なぜなら、幽霊は偶数または奇数の状態遷移で任意の状態から任意の状態へ移動できるからです。したがって、一意の定常分布が存在し、それを解くことで見つけることができます。${\displaystyle \pi Q=0}$ただし、要素の合計は1でなければならないという制約条件を満たす。この制約条件を満たす線形方程式の解は${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$ 隣接する秘密通路の中心州と境界州2および8が最も多く訪問され、角の州は最も訪問が少ない。

CTMC X _tの場合、時間反転プロセスは次のように定義されます。${\displaystyle {\hat {X}}_{t}=X_{T-t}}$ケリーの補題により、この過程は順方向過程と同じ定常分布を持つ。

連鎖反応は、逆方向の反応が順方向の反応と同じである場合に可逆であると言われる。コルモゴロフの基準によれば、反応が可逆であるための必要十分条件は、閉ループ内の遷移速度の積が両方向で同じであることである。

エルゴード的な連続時間マルコフ連鎖Qの定常確率分布πを求める方法の一つは、まずその埋め込みマルコフ連鎖 (EMC) を求めることです。厳密に言えば、EMC は正則な離散時間マルコフ連鎖です。EMC の 1 ステップ遷移確率行列Sの各要素はs _ijで表され、状態iから状態jへの遷移の条件付き確率を表します。これらの条件付き確率は次のように求めることができます。

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

このことから、Sは次のように書ける。

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

ここで、Iは単位行列であり、diag( Q ) は行列Qから主対角線を選択し、他のすべての要素をゼロに設定することによって形成される対角行列です。

定常確率分布ベクトルを求めるには、次に${\displaystyle \varphi }$そのため

${\displaystyle \varphi S=\varphi ,}$

と${\displaystyle \varphi }$行ベクトルであり、すべての要素が${\displaystyle \varphi }$0より大きく、${\displaystyle \|\varphi \|_{1}}$= 1. これから、π は次のように求められます。

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

（Qが周期的でなくても、Sは周期的である可能性がある。πが求められたら、それを単位ベクトルに正規化する必要がある。）

連続時間マルコフ連鎖から派生するもう1つの離散時間プロセスは、δスケルトンです。これは、δ単位の時間間隔でX ( t )を観測することによって形成される（離散時間）マルコフ連鎖です。確率変数X (0)、X (δ)、X (2δ)、...は、δスケルトンが訪れる状態のシーケンスを表します。