マルコフ連鎖

マルコフ過程は、マルコフ性（時には「記憶性がない」とも呼ばれる）を満たす確率過程です。簡単に言うと、現在の状態のみに基づいて将来の結果を予測できる過程であり、最も重要なのは、そのような予測は過程の完全な履歴を知っている場合と同じくらい正確であるということです。^{[ 5 ]}言い換えれば、システムの現在の状態を条件として、その将来の状態と過去の状態は独立しています。

マルコフ連鎖は、離散状態空間または離散インデックス集合（多くの場合、時間を表す）を持つマルコフ過程の一種ですが、マルコフ連鎖の正確な定義は様々です。^{[ 6 ]}例えば、マルコフ連鎖は、可算状態空間を持つ離散時間または連続時間のマルコフ過程として定義されるのが一般的です（したがって、時間の性質に関係なく）^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]}が、マルコフ連鎖は、可算状態空間または連続状態空間の離散時間を持つものとして定義されるのも一般的です（したがって、状態空間に関係なく）。^{[ 6 ]}

システムの状態空間と時間パラメータのインデックスを指定する必要があります。以下の表は、離散時間と連続時間の両方について、状態空間の一般性の異なるレベルにおけるマルコフ過程のさまざまなインスタンスの概要を示しています。

マルコフ過程の特殊なケースを示す用語の使用法については、文献で明確な合意が得られていないことに注意してください。通常、「マルコフ連鎖」という用語は、離散的な時間の集合を持つプロセス、つまり離散時間マルコフ連鎖（DTMC）^{[ 11 ]}に予約されていますが、一部の著者は、明示的な言及なしに連続時間マルコフ連鎖（CTMC）を指すために「マルコフ過程」という用語を使用しています。^{[ 12 ] [ 13 ] [ 14 ]}さらに、マルコフ過程の他の拡張もそのように呼ばれていますが、必ずしもこれら 4 つのカテゴリのいずれにも属しません（マルコフ モデルを参照）。さらに、時間インデックスは必ずしも実数値である必要はありません。状態空間と同様に、他の数学的構成要素を持つインデックス集合を通過するプロセスも考えられます。一般的な状態空間連続時間マルコフ連鎖は、非常に一般的であるため、特定の用語がないことに注意してください。

時間パラメータは通常離散的ですが、マルコフ連鎖の状態空間には一般的に合意された制約はありません。この用語は任意の状態空間上のプロセスを指す場合があります。^{[ 15 ]}ただし、マルコフ連鎖の多くのアプリケーションでは、より単純な統計分析が可能な有限または可算無限の状態空間が使用されます。時間インデックスと状態空間パラメータの他に、多くのバリエーション、拡張、および一般化があります（バリエーションを参照）。簡潔にするため、特に断りのない限り、この記事の大部分は離散時間、離散状態空間の場合に焦点を当てています。

システムの状態変化は遷移と呼ばれます。様々な状態変化に伴う確率は遷移確率と呼ばれます。プロセスは、状態空間、特定の遷移の確率を表す遷移行列、および状態空間全体にわたる初期状態（または初期分布）によって特徴付けられます。慣例として、プロセスの定義にはすべての可能な状態と遷移が含まれていると仮定するため、常に次の状態が存在し、プロセスは終了しません。

離散時間ランダムプロセスとは、各ステップで特定の状態にあるシステムであり、その状態がステップ間でランダムに変化するプロセスです。ステップはしばしば時間の瞬間として考えられますが、物理的な距離やその他の離散的な測定値を指す場合もあります。形式的には、ステップは整数または自然数であり、ランダムプロセスはこれらを状態にマッピングしたものです。マルコフ性とは、次のステップ（そして実際には将来のすべてのステップ）におけるシステムの条件付き確率分布は、システムの現在の状態のみに依存し、前のステップにおけるシステムの状態には依存しないという性質です。

システムはランダムに変化するため、マルコフ連鎖の将来のある時点における状態を確実に予測することは一般的に不可能です。しかし、システムの将来に関する統計的特性は予測可能です。多くの応用分野では、これらの統計的特性が重要となります。

25セント相当の硬貨（25セント硬貨）が5枚、10セント相当の硬貨（10セント硬貨）が5枚、5セント相当の硬貨（5セント硬貨）が5枚入った小銭入れがあるとします。小銭入れから硬貨を1枚ずつランダムに取り出し、テーブルの上に置きます。${\displaystyle X_{n}}$n回の抽選後にテーブルに置かれたコインの合計値を表し、${\displaystyle X_{0}=0}$すると、次のシーケンス${\displaystyle \{X_{n}:n\in \mathbb {N} \}}$マルコフ過程ではない。

なぜそうなるのかを理解するために、最初の6回の抽選で、5枚の5セント硬貨と1枚の25セント硬貨がすべて引き当てられたと仮定してみましょう。したがって${\displaystyle X_{6}=\$0.50}$. もし私たちがただ知っているのではなく${\displaystyle X_{6}}$しかし、以前の値も考慮すれば、どのコインが引き出されたかを判断でき、次のコインはニッケルではないことがわかっているので、${\displaystyle X_{7}\geq \$0.60}$確率1で。しかし、以前の値がわからない場合は、値のみに基づいて${\displaystyle X_{6}}$4枚の10セント硬貨と2枚の5セント硬貨を引いたと推測できますが、その場合、次にもう1枚の5セント硬貨を引くことは確かに可能です。したがって、${\displaystyle X_{7}}$以前の価値観に関する知識によって影響を受ける${\displaystyle X_{6}}$。

しかし、このシナリオをマルコフ過程としてモデル化することは可能です。定義する代わりに${\displaystyle X_{n}}$テーブル上のコインの合計価値を表すために、次のように定義できます。${\displaystyle X_{n}}$テーブル上のさまざまなコインの種類の数を表す。たとえば、${\displaystyle X_{6}=1,0,5}$は、6回の1枚ずつの抽選の後、テーブル上に25セント硬貨が1枚、10セント硬貨が0枚、5セント硬貨が5枚ある状態を表すものとして定義できる。この新しいモデルは次のように表すことができる。$6×6×6=216$考えられる状態。各状態は、テーブル上にある各種類のコインの枚数（0～5枚）を表します。（これらの状態すべてが6回の抽選で到達できるわけではありません。）

最初の抽選で状態が${\displaystyle X_{1}=0,1,0}$達成する確率${\displaystyle X_{2}}$今は${\displaystyle X_{1}}$例えば、州${\displaystyle X_{2}=1,0,1}$不可能です。2回目の抽選後、3回目の抽選はこれまでにどのコインが引かれたかに依存しますが、最初の状態のために引かれたコインだけに依存するわけではありません（確率的に重要な情報がその後シナリオに追加されたため）。このようにして、${\displaystyle X_{n}=i,j,k}$州は、${\displaystyle X_{n-1}=\ell ,m,p}$州。

離散時間マルコフ連鎖とは、マルコフ性を持つ確率変数X ₁、X ₂、X ₃、 ... のシーケンスであり、次の状態へ移行する確率は現在の状態のみに依存し、前の状態には依存しないという性質を持つ。

${\displaystyle \Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),}$両方の条件付き確率が適切に定義されている場合、つまり、${\displaystyle \Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.}$

X _iの取りうる値は、チェーンの状態空間と呼ばれる可算集合Sを形成する。

状態空間が有限の場合、遷移確率分布は遷移行列と呼ばれる行列で表すことができ、Pの ( i , j ) 番目の要素は、

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).}$

Pの各行の合計が1であり、すべての要素が非負であるため、 Pは右確率行列である。

連続時間マルコフ連鎖${\displaystyle (X_{t})_{t\geq 0}}$は、有限または可算な状態空間S、状態空間と同じ次元を持つ遷移率行列Q、および状態空間上で定義された初期確率分布によって定義されます。 i  ≠ jの場合、要素q _ijは非負であり、状態iから状態jへのプロセスの遷移率を表します。要素q _iiは、遷移率行列の各行の合計がゼロになるように選択されますが、(離散) マルコフ連鎖における確率遷移行列の行の合計はすべて 1 になります。 

このプロセスには3つの同等の定義がある。^{[ 45 ]}

無限小の定義

させて${\displaystyle X_{t}}$を時刻tにおけるプロセスの状態を表す確率変数とし、時刻tにおいてプロセスが状態iにあると仮定する。すると、${\displaystyle X_{t}=i}$、${\displaystyle X_{t+h}=j}$以前の値とは無関係である${\displaystyle \left(X_{s}:s<t\right)}$、そしてすべてのjおよびすべてのtに対してh → 0となる。 $${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),}$$ どこ${\displaystyle \delta _{ij}}$は、小文字のoを用いたクロネッカーデルタです。${\displaystyle q_{ij}}$これは、 iからjへの遷移がどれだけ速く起こるかを測定するものと見なすことができる。

一般状態空間における連続時間マルコフ過程の定義は、上記よりも技術的な内容となる。

連続時間マルコフ過程${\displaystyle X=(X_{t})_{t\geq 0}}$は、濾過に適した確率過程である。${\displaystyle \mathbb {F} =({\mathcal {F}}_{t})_{t\geq 0}}$局所的にコンパクトなポーランド空間における値${\displaystyle (S,{\mathcal {B}}(S))}$（例えば、${\displaystyle (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$後者は基本的に、${\displaystyle X_{t}}$それらは規則的であり、簡単に言えば「行儀よく」振る舞うということです。${\displaystyle X}$は、マルコフ性を満たす場合、マルコフ過程と呼ばれます。すなわち、すべての に対して が成り立ちます。${\displaystyle t\geq s\geq 0}$そして${\displaystyle A\in {\mathcal {B}}(S)}$^{[ 5 ]}

${\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s})}$。

さらに、${\displaystyle X}$すべてのに対して弱マルコフ性を満たす場合、それは時間的に均質であると呼ばれる。${\displaystyle t,s\geq 0}$:

${\displaystyle P(X_{t+s}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{0}=x)|_{x=X_{s}}=:P_{t}(X_{s},A)}$。

機能${\displaystyle (t,x,A)\mapsto P_{t}(x,A)}$は、いわゆる遷移関数である。${\displaystyle X}$そして${\displaystyle (P_{t})_{t\geq 0}}$プロセスの遷移半群。遷移関数は、有限状態空間の設定で使用される遷移行列の一般化である。

より抽象的な方法では、マルコフ過程は逆の方向にも定義または構築できます。${\displaystyle (P_{t})_{t\geq 0}}$遷移半群である、すなわち、

1. ${\displaystyle P_{t}}$すべてのマルコフカーネルは${\displaystyle t\geq 0}$、
2. ${\displaystyle P_{t+s}(x,A)=\int _{S}P_{t}(y,A)P_{s}(x,dy)\quad \forall t,s\geq 0,x\in \mathbb {R} ,A\in {\mathcal {B}}(S)}$（チャップマン・コルモゴロフ方程式）
3. ${\displaystyle P_{0}(x,\cdot )=\delta _{x}}$、

どこ${\displaystyle \delta _{x}}$ディラック測度は${\displaystyle x}$、 そして${\displaystyle X:\Omega \times [0,\infty )\to S}$。 それから${\displaystyle X}$自然濾過に関して均質なマルコフ過程である${\displaystyle \mathbb {F} ^{X}=(\sigma (X_{s}:0\leq s\leq t))_{t\geq 0}}$すべての場合${\displaystyle 0\leq t_{1}<...<t_{n}}$、${\displaystyle A_{1},...,A_{n}\in {\mathcal {B}}(S)}$基礎となる確率尺度${\displaystyle P}$満たす

${\displaystyle P(X_{t_{1}}\in A_{1},...,X_{t_{n}}\in A_{n}\mid X_{0}=x)=\int _{A_{1}}...\int _{A_{n-1}}P_{t_{n}-t_{n-1}}(x_{n-1},A_{n})\cdots P_{t_{1}}(x,dx_{1})}$。

または、確率尺度がない場合${\displaystyle P}$が指定されており、上記の式は尺度を定義します。${\displaystyle P^{x}:=P(\cdot \mid X_{0}=x)}$の上${\displaystyle \sigma (X_{s}:s\geq 0)}$そのプロセスの下で${\displaystyle X}$開始${\displaystyle x}$これは構成上マルコフ過程である。

言い換えれば、マルコフ過程は確率過程として定義できる。${\displaystyle X}$フィルタリングされた確率空間上、または間接的に遷移半群（すなわち、プロセスの遷移確率）の観点から、確率空間を誘導し、${\displaystyle X}$マルコフ性を持つ。

周期性はクラス特性であるため、マルコフ連鎖が既約であれば、そのすべての状態は同じ周期を持つ。特に、1つの状態が非周期であれば、マルコフ連鎖全体が非周期となる。^{[ 50 ]}

有限マルコフ連鎖が既約である場合、すべての状態は正の再帰性を持ち、次の式で与えられる一意の定常分布を持つ。${\displaystyle \pi _{i}=1/E[T_{i}]}$。

状態iは、非周期的かつ正の再帰性を持つ場合、エルゴード的であると言われる。言い換えれば、状態iは、再帰性があり、周期が 1 であり、平均再帰時間が有限である場合にエルゴード的である。

既約マルコフ連鎖のすべての状態がエルゴード的である場合、その連鎖はエルゴード的であると言われる。言い換えれば、ある整数が存在する。${\displaystyle k}$すべてのエントリ${\displaystyle M^{k}}$肯定的である。

有限状態の既約マルコフ連鎖は、非周期状態を持つ場合、エルゴード的であることが示される。

複数の状態を持ち、各状態から出る遷移が1つだけのマルコフ連鎖は、既約でも非周期的でもないため、エルゴード的ではない。

マルコフ連鎖が定常分布を持つ場合、それは測度保存力学系に変換できる。確率空間を次のように定義する。${\displaystyle \Omega =\Sigma ^{\mathbb {N} }}$、 どこ${\displaystyle \Sigma }$はマルコフ連鎖のすべての状態の集合です。確率空間上のシグマ代数は円筒集合によって生成されるものとします。確率測度は定常分布とマルコフ連鎖遷移によって生成されるものとします。${\displaystyle T:\Omega \to \Omega }$シフトオペレーターになる：${\displaystyle T(X_{0},X_{1},\dots )=(X_{1},\dots )}$同様に、次のような動的システムを構築できます。${\displaystyle \Omega =\Sigma ^{\mathbb {Z} }}$代わりに。^{[ 57 ]}

有限状態空間を持つ既約マルコフ連鎖は一意の定常分布を持つため、上記の構成は既約マルコフ連鎖に対しては曖昧さがない。

エルゴード理論では、測度保存力学系は、任意の可測部分集合が${\displaystyle S}$そのため${\displaystyle T^{-1}(S)=S}$暗示する${\displaystyle S=\emptyset }$または${\displaystyle \Omega }$（空集合を除いて）

用語に一貫性がない。すべての状態において厳密に正である定常分布を持つマルコフ連鎖が与えられた場合、対応する測度保存力学系がエルゴード的であれば、マルコフ連鎖は既約である。^{[ 52 ]}

場合によっては、一見非マルコフ過程であっても、「現在」と「未来」の状態の概念を拡張することで、マルコフ的な表現を持つことがあります。例えば、X を非マルコフ過程とします。このとき、 Yの各状態がXの状態の時間間隔を表すような過程Yを定義します。数学的には、これは次の形式になります。

${\displaystyle Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.}$

Yがマルコフ性を持つ場合、YはXのマルコフ表現である。

マルコフ表現を持つ非マルコフ過程の例として、次数が1より大きい自己回帰時系列が挙げられる。 ^{[ 58 ]}

到達時間とは、与えられた状態群から開始して、連鎖が特定の状態または状態群に到達するまでの時間のことである。このような時間間隔の分布は位相型分布となる。最も単純な分布は、単一の指数分布遷移の分布である。

一般的なマルコフ過程の場合${\displaystyle X}$連続時間（CTMCまたは一般状態空間を持つプロセス）では、逆プロセス${\displaystyle {\overleftarrow {X}}=(X_{T-t})_{t\in [0,T]}}$一定の時間から${\displaystyle T>0}$は再びマルコフ過程です。これはマルコフ性から直接導かれます。非公式に言えば、現在が与えられた場合、未来と過去は独立しています。時間反転では、それらの役割が入れ替わるだけです。ただし、逆過程は一般に時間的に均質ではありません。あるランダムな時間に対して、${\displaystyle \tau }$（必ずしも停止時間ではない）停止したプロセス${\displaystyle X^{\tau }=(X_{t\land \tau })_{t\geq 0}}$時間的に均質なマルコフ過程である場合、逆の過程${\displaystyle {\overleftarrow {X^{\tau }}}=(X_{\tau -t\land \tau }1_{\{\tau <\infty \}})_{t\geq 0}}$再び時間的に均質である。^{[ 60 ]}

もし${\displaystyle X}$はCTMCであり、ケリーの補題により${\displaystyle {\overleftarrow {X}}}$順方向プロセスと同じ定常分布を持つ。

マルコフ連鎖は、逆方向の過程が順方向の過程（分布において）と同じである場合に可逆であると言われます。コルモゴロフの基準によれば、マルコフ連鎖が可逆であるための必要十分条件は、閉ループ内の遷移率の積が両方向で同じであることとされています。

エルゴード的な連続時間マルコフ連鎖Qの定常確率分布πを求める方法の一つは、まずその埋め込みマルコフ連鎖 (EMC) を求めることです。厳密に言えば、EMC は離散時間マルコフ連鎖であり、ジャンプ過程と呼ばれることもあります。EMC の 1 ステップ遷移確率行列Sの各要素はs _ijで表され、状態iから状態jへの遷移の条件付き確率を表します。これらの条件付き確率は次のように求めることができます。

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}}$

このことから、Sは次のように書ける。

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

ここで、Iは単位行列であり、diag( Q ) は行列Qから主対角線を選択し、他のすべての要素をゼロに設定することによって形成される対角行列です。

定常確率分布ベクトルを見つけるには、次に${\displaystyle \varphi }$そのため

${\displaystyle \varphi S=\varphi ,}$

と${\displaystyle \varphi }$行ベクトルであり、すべての要素が${\displaystyle \varphi }$0より大きく、${\displaystyle \|\varphi \|_{1}}$= 1. これから、π は次のように求められます。

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

（Qが周期的でなくても、Sは周期的である可能性がある。πが求められたら、それを単位ベクトルに正規化する必要がある。）

連続時間マルコフ連鎖から派生するもう1つの離散時間プロセスは、δスケルトンです。これは、δ単位の時間間隔でX ( t )を観測することによって形成される（離散時間）マルコフ連鎖です。確率変数X (0)、X (δ)、X (2δ)、...は、δスケルトンが訪れる状態のシーケンスを表します。   

マルコフモデルは、変化するシステムをモデル化するために使用されます。マルコフ連鎖を一般化した主なモデルは4種類あり、各連続状態が観測可能かどうか、また観測に基づいてシステムを調整するかどうかによって分類されます。

ベルヌーイスキームは、遷移確率行列の行がすべて同一であるマルコフ連鎖の特殊なケースであり、これは次の状態が現在の状態から独立しているだけでなく、過去の状態からも独立していることを意味します。可能な状態が2つしかないベルヌーイスキームは、ベルヌーイ過程として知られています。

Note, however, by the Ornstein isomorphism theorem, that every aperiodic and irreducible Markov chain is isomorphic to a Bernoulli scheme;^[61] thus, one might equally claim that Markov chains are a "special case" of Bernoulli schemes. The isomorphism generally requires a complicated recoding. The isomorphism theorem is even a bit stronger: it states that anystationary stochastic process is isomorphic to a Bernoulli scheme; the Markov chain is just one such example.

When the Markov matrix is replaced by the adjacency matrix of a finite graph, the resulting shift is termed a topological Markov chain or a subshift of finite type.^[61] A Markov matrix that is compatible with the adjacency matrix can then provide a measure on the subshift. Many chaotic dynamical systems are isomorphic to topological Markov chains; examples include diffeomorphisms of closed manifolds, the Prouhet–Thue–Morse system, the Chacon system, sofic systems, context-free systems and block-coding systems.^[61]

Markovian systems appear extensively in thermodynamics and statistical mechanics, whenever probabilities are used to represent unknown or unmodelled details of the system, if it can be assumed that the dynamics are time-invariant, and that no relevant history need be considered which is not already included in the state description.^[62][63] For example, a thermodynamic state operates under a probability distribution that is difficult or expensive to acquire. Therefore, Markov Chain Monte Carlo method can be used to draw samples randomly from a black-box to approximate the probability distribution of attributes over a range of objects.^[63]

Markov chains are used in lattice QCD simulations.^[64]

${\displaystyle {\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}}$

Michaelis-Menten kinetics. The enzyme (E) binds a substrate (S) and produces a product (P). Each reaction is a state transition in a Markov chain.

反応ネットワークは、複数の反応と化学種を含む化学システムです。このようなネットワークの最も単純な確率モデルでは、システムを連続時間マルコフ連鎖として扱い、状態は各種の分子の数であり、反応は連鎖の可能な遷移としてモデル化されます。^{[ 65 ]}マルコフ連鎖と連続時間マルコフ過程は、物理システムがマルコフ特性に非常に近い場合に化学で役立ちます。たとえば、溶液中に多数のn個の分子が状態 A にあり、それぞれが一定の平均速度で状態 B に化学反応を起こすことができると想像してください。おそらくその分子は酵素であり、状態はそれがどのように折り畳まれているかを示しています。任意の単一の酵素の状態はマルコフ連鎖に従い、分子は基本的に互いに独立しているため、ある時点で状態 A または B にある分子の数は、特定の分子がその状態にある確率のn倍になります。

酵素活性の古典的なモデルであるミカエリス・メンテン速度論は、各時間ステップで反応が何らかの方向に進行するマルコフ連鎖として見なすことができる。ミカエリス・メンテンは比較的単純であるが、はるかに複雑な反応ネットワークもマルコフ連鎖でモデル化することができる。^{[ 66 ]}

マルコフ連鎖に基づくアルゴリズムも、医薬品や天然物などの目的の化合物クラスに向けて、インシリコでの化学物質のフラグメントベースの成長を集中させるために使用されました。 ^{[ 67 ]}分子が成長するにつれて、新生分子からフラグメントが「現在の」状態として選択されます。それは過去を認識していません（つまり、すでに何に結合しているかを認識していません）。その後、フラグメントが結合すると、次の状態に遷移します。遷移確率は、実際の化合物クラスのデータベースでトレーニングされます。^{[ 68 ]}

また、共重合体の成長（および組成）は、マルコフ連鎖を用いてモデル化できる。成長中のポリマー鎖を構成するモノマーの反応性比に基づいて、鎖の組成（例えば、モノマーが交互に付加される傾向があるか、あるいは同じモノマーが連続して付加される傾向があるかなど）を計算できる。立体効果により、一部のポリマー鎖の成長には二次マルコフ効果も関与する可能性がある。

同様に、一部のエピタキシャル超格子酸化物材料の結晶化と成長はマルコフ連鎖によって正確に記述できることが示唆されている。 ^{[ 69 ]}

マルコフ連鎖は生物学の様々な分野で用いられています。代表的な例としては以下のようなものがあります。

• 系統発生学とバイオインフォマティクスでは、DNA進化のほとんどのモデルが、ゲノム内の特定の場所に存在するヌクレオチドを記述するために連続時間マルコフ連鎖を使用します。
• 個体群動態学では、特にマルコフ連鎖が行列個体群モデルの理論的研究における中心的なツールとなっている。
• 神経生物学では、例えば哺乳類のネオコルテックスのシミュレーションにマルコフ連鎖が使用されている。^{[ 70 ]}
• システム生物学、例えば単一細胞へのウイルス感染のモデリングなど。^{[ 71 ]}
• 疾病発生および流行モデリングのためのコンパートメントモデル。

マルコフ連鎖は情報処理のあらゆる場面で使用されています。クロード・シャノンの有名な1948年の論文「通信の数学的理論」は、情報理論の分野を一挙に創始したもので、自然言語（英語など）のテキストをエルゴード的マルコフ過程によって生成されるものとしてモデル化することでエントロピーの概念を導入することから始まります。この過程では、各文字が前の文字に統計的に依存する可能性があります。 ^{[ 72 ]}このような理想化されたモデルは、システムの統計的規則性の多くを捉えることができます。システムの完全な構造を完全に記述しなくても、このような信号モデルは、算術符号化などのエントロピー符号化技術によって非常に効果的なデータ圧縮を可能にします。また、効果的な状態推定とパターン認識も可能にします。マルコフ連鎖は強化学習でも重要な役割を果たします。

マルコフ連鎖は隠れマルコフモデルの基礎でもあり、電話ネットワーク（誤り訂正にビタビアルゴリズムを使用）、音声認識、バイオインフォマティクス（再配置検出など^{[ 73 ]}）といった多様な分野で重要なツールとなっています。

LZMAロスレスデータ圧縮アルゴリズムは、マルコフ連鎖とレンペル・ジブ圧縮を組み合わせることで、非常に高い圧縮率を実現します。

マルコフ連鎖は、待ち行列の解析的処理（待ち行列理論）の基礎となるものです。アグナー・クラルップ・エルランが1917年にこの分野を創始しました。^{[ 74 ]}このため、マルコフ連鎖は、メッセージが限られたリソース（帯域幅など）をめぐって競合することが多い電気通信ネットワークのパフォーマンスを最適化する上で非常に重要となります。^{[ 75 ]}

数多くの待ち行列モデルは、連続時間マルコフ連鎖を使用します。例えば、M/M/1待ち行列は、非負整数上の連続時間マルコフ連鎖であり、iからi  +  1への上方遷移はポアソン過程に従ってレートλで発生し、ジョブの到着を表します。一方、 iからi - 1への遷移（ i > 1の場合）はレートμで発生し（ジョブのサービス時間は指数分布に従います）、待ち行列からの完了したサービス（出発）を表します。    

Googleが使用するウェブページのPageRankは、マルコフ連鎖によって定義されます。^{[ 76 ] [ 77 ] [ 78 ]}これは、ページが表示される確率です。${\displaystyle i}$すべての（既知の）ウェブページ上の以下のマルコフ連鎖の定常分布において。${\displaystyle N}$は既知のウェブページの数であり、ページは${\displaystyle i}$もっている${\displaystyle k_{i}}$そこから発信リンクがあると、遷移確率が${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$リンクされているすべてのページと${\displaystyle {\frac {1-\alpha }{N}}}$リンクされていないすべてのページについて。パラメーター${\displaystyle \alpha }$約0.85とみなされている。^{[ 79 ]}

マルコフモデルは、ユーザーのウェブナビゲーション行動の分析にも用いられています。特定のウェブサイトにおけるユーザーのリンク遷移は、一次または二次マルコフモデルを用いてモデル化することができ、将来のナビゲーション行動を予測したり、個々のユーザーに合わせてウェブページをパーソナライズしたりするために活用できます。

マルコフ連鎖法は、マルコフ連鎖モンテカルロ法（MCMC）と呼ばれる手法を用いて、非常に複雑な確率分布を正確に反映する乱数列を生成する上で、非常に重要な役割を果たすようになりました。近年、この手法はベイズ推論法の実現可能性を大きく向上させ、幅広い事後分布をシミュレーションし、そのパラメータを数値的に求めることが可能になりました。

マルコフ連鎖は、金融や経済学において、所得の分布、企業の規模分布、資産価格、市場暴落など、さまざまな現象をモデル化するために使用されています。DGチャンパーノウンは1953 年に所得分布のマルコフ連鎖モデルを構築しました。 ^{[ 80 ]}ハーバート A. サイモンと共著者のチャールズ ボニーニは、マルコフ連鎖モデルを使用して、企業の規模の定常ユール分布を導出しました。^{[ 81 ]}ルイ バシェリエは、株価がランダム ウォークに従うことを最初に観察しました。^{[ 82 ]}ランダム ウォークは後に効率的市場仮説を支持する証拠と見なされ、ランダム ウォーク モデルは 1960 年代の文献で人気がありました。^{[ 83 ]}景気循環のレジーム スイッチング モデルは、マルコフ連鎖を使用して高 GDP 成長期間と低 GDP 成長期間 (または、経済拡大と景気後退) の切り替えをモデル化したジェームズ D. ハミルトン(1989) によって普及しました。^{[ 84 ]}より最近の例としては、ローラン・E・カルヴェとアドレー・J・フィッシャーによるマルコフスイッチング多重フラクタルモデルがあり、これは以前のレジームスイッチングモデルの利便性を基に構築されています。^{[ 85 ] [ 86 ]}これは、任意に大きなマルコフ連鎖を使用して、資産収益の変動レベルを制御します。

動学的マクロ経済学では、マルコフ連鎖が多用される。例えば、一般均衡設定において、株式価格を外生的にモデル化するためにマルコフ連鎖が用いられる。 ^{[ 87 ]}

信用格付け機関は、異なる信用格付けの債券の移行確率の年次表を作成している。^{[ 88 ]}

マルコフ連鎖は一般的に、現在の構造的構成が将来の結果を左右する経路依存的な議論を記述する際に用いられる。例としては、カール・マルクスの『資本論』に由来する、経済発展と資本主義の台頭を結びつける考え方の再定式化が挙げられる。現在の研究では、マルコフ連鎖を用いて、ある国が特定の経済発展レベルに達すると、中間層の規模、都市部と農村部の居住比率、政治動員率などの構造的要因の構成が、権威主義体制から民主主義体制への移行確率を高めることをモデル化するのが一般的である。^{[ 89 ]}

マルコフ連鎖は、アルゴリズムによる音楽作曲、特にCsound、Max、SuperColliderなどのソフトウェアで利用されています。一次連鎖では、システムの各状態が音符またはピッチ値となり、各音符の確率ベクトルが構築され、遷移確率行列が完成します（下記参照）。遷移行列の重みに基づいて出力音符値を生成するアルゴリズムが構築され、これはMIDI音符値、周波数（Hz）、またはその他の任意の望ましい指標となる可能性があります。^{[ 90 ]}

2 番目の表に示すように、現在の状態と前の状態の両方を考慮することで、2 次マルコフ連鎖を導入できます。より高次のn次連鎖は、特定の音符をまとめて「グループ化」する傾向があり、時折他のパターンやシーケンスに「分岐」します。これらの高次連鎖は、1 次システムによって生成される「目的のない彷徨」ではなく、フレーズ構造の感覚を持つ結果を生成する傾向があります。 ^{[ 91 ]}

マルコフ連鎖は、クセナキスの『アナロジケ A』と『B』のように構造的に使用できます。^{[ 92 ]}マルコフ連鎖は、マルコフモデルを使用して音楽入力にインタラクティブに反応するシステムでも使用されます。^{[ 93 ]}

通常、音楽システムは生成する有限長のシーケンスに特定の制御制約を適用する必要がありますが、制御制約はマルコフモデルと互換性がありません。なぜなら、制御制約はマルコフの限定記憶仮説に違反する長距離依存性を引き起こすからです。この制限を克服するために、新しいアプローチが提案されています。^{[ 94 ]}

マルコフ連鎖は、多くのギャンブルゲームをモデル化するために使用できます。例えば、子供向けのゲームである「ヘビとはしご」や「ハイホー！チェリーオー」は、マルコフ連鎖によって正確に表現されます。各ターンで、プレイヤーは特定の状態（特定のマス）からスタートし、そこから特定の他の状態（マス）に移動できる確率が固定されています。

マルコフ連鎖モデルは1960年以来、高度な野球分析に用いられてきたが、その使用は依然として稀である。野球の試合の各イニングは、走者数とアウト数を考慮すると、マルコフ連鎖の状態に適合する。どの打席においても、アウト数と走者の位置の組み合わせは24通りある。マーク・パンキンは、マルコフ連鎖モデルが個々の選手とチームの両方で生み出された得点を評価するために使用できることを示している。^{[ 95 ]}また、彼はさまざまな戦略とプレー条件についても論じている。マルコフ連鎖モデルがバントや盗塁 などの試合状況の統計を分析するためにどのように使用されてきたか、また天然芝と人工芝でのプレーの違いについても論じている。^{[ 96 ]}

マルコフ過程は、サンプル文書から表面上は本物そっくりのテキストを生成するためにも使用できます。マルコフ過程は、さまざまな娯楽用「パロディ生成」ソフトウェアで使用されています（ dissociated press、Jeff Harrison、^{[ 97 ]} Mark V. Shaney、^{[ 98 ] [ 99 ]} 、およびAcademias Neutroniumを参照）。マルコフ連鎖を使用したオープンソースのテキスト生成ライブラリもいくつか存在します。