マルコフ更新過程

マルコフ更新過程は、マルコフジャンプ過程のクラスを一般化する確率と統計におけるランダム過程のクラスです。マルコフ連鎖やポアソン過程などの他のランダム過程のクラスは、マルコフ更新過程のクラスの特殊なケースとして導出できますが、マルコフ更新過程は、より一般的な更新過程のクラスの特殊なケースです。

状態空間 の状態をとるジャンプ プロセスのコンテキストでは、ランダム変数 のセットについて考えます。ここで、 はジャンプ時間を表し、 は状態のシーケンス内の関連する状態を表します (図を参照)。到着間隔のシーケンスを とします。シーケンスがマルコフ更新プロセスであるとみなされるためには、次の条件が満たされている必要があります。 ${\displaystyle \mathrm {S} }$${\displaystyle (X_{n},T_{n})}$${\displaystyle T_{n}}$${\displaystyle X_{n}}$${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$${\displaystyle (X_{n},T_{n})}$

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$

1. および を前の文で定義したとおりとします。に対して新しい確率過程を定義すると、この過程は連続時間マルコフ連鎖で発生するため、半マルコフ過程と呼ばれます。この過程は指定されたジャンプ時点でのみマルコフ的であり、半マルコフという名前がふさわしいものです。^{[1] [2] [3] （}隠れ半マルコフモデルも参照。）${\displaystyle X_{n}}$${\displaystyle T_{n}}$${\displaystyle Y_{t}:=X_{n}}$${\displaystyle t\in [T_{n},T_{n+1})}$${\displaystyle Y_{t}}$
2. すべての保持時間が指数分布する半マルコフ過程（上記の箇条書きで定義）は、連続時間マルコフ連鎖と呼ばれます。言い換えると、到着間隔が指数分布し、ある状態での待機時間と次に到達する状態が独立している場合、連続時間マルコフ連鎖になります。

   ${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}}$

3. マルコフ更新過程のシーケンスは離散時間マルコフ連鎖です。言い換えると、マルコフ更新過程方程式で時間変数を無視すると、離散時間マルコフ連鎖になります。 ${\displaystyle X_{n}}$

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S} }$

4. sのシーケンスが独立かつ同一に分布し、その分布が状態に依存しない場合、プロセスは更新です。したがって、状態が無視され、iid 時間のチェーンがある場合は、更新プロセスになります。 ${\displaystyle \tau }$${\displaystyle X_{n}}$

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0}$

• マルコフ過程
• 再生理論
• 可変順序マルコフモデル
• 隠れセミマルコフモデル