マルコフ連鎖

マルコフ過程は、マルコフ性（時には「記憶性がない」とも呼ばれる）を満たす確率過程です。簡単に言うと、現在の状態のみに基づいて将来の結果を予測できる過程であり、最も重要なのは、そのような予測は過程の完全な履歴を知っている場合と同じくらい正確であるということです。^{[ 5 ]}言い換えれば、システムの現在の状態を条件として、その将来の状態と過去の状態は独立しています。

マルコフ連鎖は、離散状態空間または離散インデックス集合（多くの場合、時間を表す）を持つマルコフ過程の一種ですが、マルコフ連鎖の正確な定義は様々です。^{[ 6 ]}例えば、マルコフ連鎖は、可算状態空間を持つ離散時間または連続時間のマルコフ過程として定義されるのが一般的です（したがって、時間の性質に関係なく）^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]}が、マルコフ連鎖は、可算状態空間または連続状態空間の離散時間を持つものとして定義されるのも一般的です（したがって、状態空間に関係なく）。^{[ 6 ]}

システムの状態空間と時間パラメータのインデックスを指定する必要があります。以下の表は、離散時間と連続時間の両方について、状態空間の一般性の異なるレベルにおけるマルコフ過程のさまざまなインスタンスの概要を示しています。

マルコフ過程の特殊なケースを示す用語の使用法については、文献で明確な合意が得られていないことに注意してください。通常、「マルコフ連鎖」という用語は、離散的な時間の集合を持つプロセス、つまり離散時間マルコフ連鎖（DTMC）^{[ 11 ]}に予約されていますが、一部の著者は、明示的な言及なしに連続時間マルコフ連鎖（CTMC）を指すために「マルコフ過程」という用語を使用しています。^{[ 12 ] [ 13 ] [ 14 ]}さらに、マルコフ過程の他の拡張もそのように呼ばれていますが、必ずしもこれら 4 つのカテゴリのいずれにも属しません（マルコフ モデルを参照）。さらに、時間インデックスは必ずしも実数値である必要はありません。状態空間と同様に、他の数学的構成要素を持つインデックス集合を通過するプロセスも考えられます。一般的な状態空間連続時間マルコフ連鎖は、非常に一般的であるため、特定の用語がないことに注意してください。

時間パラメータは通常離散的ですが、マルコフ連鎖の状態空間には一般的に合意された制約はありません。この用語は任意の状態空間上のプロセスを指す場合があります。^{[ 15 ]}ただし、マルコフ連鎖の多くのアプリケーションでは、より単純な統計分析が可能な有限または可算無限の状態空間が使用されます。時間インデックスと状態空間パラメータの他に、多くのバリエーション、拡張、および一般化があります（バリエーションを参照）。簡潔にするため、特に断りのない限り、この記事の大部分は離散時間、離散状態空間の場合に焦点を当てています。

システムの状態変化は遷移と呼ばれます。様々な状態変化に伴う確率は遷移確率と呼ばれます。プロセスは、状態空間、特定の遷移の確率を表す遷移行列、および状態空間全体にわたる初期状態（または初期分布）によって特徴付けられます。慣例として、プロセスの定義にはすべての可能な状態と遷移が含まれていると仮定するため、常に次の状態が存在し、プロセスは終了しません。

離散時間ランダムプロセスとは、各ステップで特定の状態にあるシステムであり、その状態がステップ間でランダムに変化するプロセスです。ステップはしばしば時間の瞬間として考えられますが、物理的な距離やその他の離散的な測定値を指す場合もあります。形式的には、ステップは整数または自然数であり、ランダムプロセスはこれらを状態にマッピングしたものです。マルコフ性とは、次のステップ（そして実際には将来のすべてのステップ）におけるシステムの条件付き確率分布は、システムの現在の状態のみに依存し、前のステップにおけるシステムの状態には依存しないという性質です。

システムはランダムに変化するため、マルコフ連鎖の将来のある時点における状態を確実に予測することは一般的に不可能です。しかし、システムの将来に関する統計的特性は予測可能です。多くの応用分野では、これらの統計的特性が重要となります。

25セント相当の硬貨（25セント硬貨）が5枚、10セント相当の硬貨（10セント硬貨）が5枚、5セント相当の硬貨（5セント硬貨）が5枚入った小銭入れがあるとします。小銭入れから硬貨を1枚ずつランダムに取り出し、テーブルの上に置きます。${\displaystyle X_{n}}$n回の抽選後にテーブルに置かれたコインの合計値を表し、${\displaystyle X_{0}=0}$すると、次のシーケンス${\displaystyle \{X_{n}:n\in \mathbb {N} \}}$マルコフ過程ではない。

なぜそうなるのかを理解するために、最初の6回の抽選で、5枚の5セント硬貨と1枚の25セント硬貨がすべて引き当てられたと仮定してみましょう。したがって${\displaystyle X_{6}=\$0.50}$. もし私たちがただ知っているのではなく${\displaystyle X_{6}}$しかし、以前の値も考慮すれば、どのコインが引き出されたかを判断でき、次のコインはニッケルではないことがわかっているので、${\displaystyle X_{7}\geq \$0.60}$確率1で。しかし、以前の値がわからない場合は、値のみに基づいて${\displaystyle X_{6}}$4枚の10セント硬貨と2枚の5セント硬貨を引いたと推測できますが、その場合、次にもう1枚の5セント硬貨を引くことは確かに可能です。したがって、${\displaystyle X_{7}}$以前の価値観に関する知識によって影響を受ける${\displaystyle X_{6}}$。

しかし、このシナリオをマルコフ過程としてモデル化することは可能です。定義する代わりに${\displaystyle X_{n}}$テーブル上のコインの合計価値を表すために、次のように定義できます。${\displaystyle X_{n}}$テーブル上のさまざまなコインの種類の数を表す。たとえば、${\displaystyle X_{6}=1,0,5}$は、6回の1枚ずつの抽選の後、テーブル上に25セント硬貨が1枚、10セント硬貨が0枚、5セント硬貨が5枚ある状態を表すものとして定義できる。この新しいモデルは次のように表すことができる。$6×6×6=216$考えられる状態。各状態は、テーブル上にある各種類のコインの枚数（0～5枚）を表します。（これらの状態すべてが6回の抽選で到達できるわけではありません。）

最初の抽選で状態が${\displaystyle X_{1}=0,1,0}$達成する確率${\displaystyle X_{2}}$今は${\displaystyle X_{1}}$例えば、州${\displaystyle X_{2}=1,0,1}$不可能です。2回目の抽選後、3回目の抽選はこれまでにどのコインが引かれたかに依存しますが、最初の状態のために引かれたコインだけに依存するわけではありません（確率的に重要な情報がその後シナリオに追加されたため）。このようにして、${\displaystyle X_{n}=i,j,k}$州は、${\displaystyle X_{n-1}=\ell ,m,p}$州。

離散時間マルコフ連鎖とは、マルコフ性を持つ確率変数X ₁、X ₂、X ₃、 ... のシーケンスであり、次の状態へ移行する確率は現在の状態のみに依存し、前の状態には依存しないという性質を持つ。

${\displaystyle \Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),}$両方の条件付き確率が適切に定義されている場合、つまり、${\displaystyle \Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.}$

X _iの取りうる値は、チェーンの状態空間と呼ばれる可算集合Sを形成する。

状態空間が有限の場合、遷移確率分布は遷移行列と呼ばれる行列で表すことができ、Pの ( i , j ) 番目の要素は、

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).}$

Pの各行の合計が1であり、すべての要素が非負であるため、 Pは右確率行列である。

連続時間マルコフ連鎖${\displaystyle (X_{t})_{t\geq 0}}$は、有限または可算な状態空間S、状態空間と同じ次元を持つ遷移率行列Q、および状態空間上で定義された初期確率分布によって定義されます。 i  ≠ jの場合、要素q _ijは非負であり、状態iから状態jへのプロセスの遷移率を表します。要素q _iiは、遷移率行列の各行の合計がゼロになるように選択されますが、(離散) マルコフ連鎖における確率遷移行列の行の合計はすべて 1 になります。 

このプロセスには3つの同等の定義がある。^{[ 45 ]}

無限小の定義

させて${\displaystyle X_{t}}$を時刻tにおけるプロセスの状態を表す確率変数とし、時刻tにおいてプロセスが状態iにあると仮定する。すると、${\displaystyle X_{t}=i}$、${\displaystyle X_{t+h}=j}$以前の値とは無関係である${\displaystyle \left(X_{s}:s<t\right)}$、そしてすべてのjおよびすべてのtに対してh → 0となる。 $${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),}$$ どこ${\displaystyle \delta _{ij}}$は、小文字のoを用いたクロネッカーデルタです。${\displaystyle q_{ij}}$これは、 iからjへの遷移がどれだけ速く起こるかを測定するものと見なすことができる。

The definition of Markov processes in continuous time with general state space is more technical than the above.

A continuous-time Markov process ${\displaystyle X=(X_{t})_{t\geq 0}}$ is a stochastic process adapted to a filtration${\displaystyle \mathbb {F} =({\mathcal {F}}_{t})_{t\geq 0}}$ with values in a locally compactPolish space${\displaystyle (S,{\mathcal {B}}(S))}$ (e.g., ${\displaystyle (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$). The latter essentially ensures that the conditional expectations of ${\displaystyle X_{t}}$ are regular, which, in simple terms, means that they behave "nicely". Then ${\displaystyle X}$ is called a Markov process, if it satisfies the Markov property, i.e., for all ${\displaystyle t\geq s\geq 0}$ and ${\displaystyle A\in {\mathcal {B}}(S)}$^[5]

${\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s})}$.

Moreover, ${\displaystyle X}$ is called time-homogeneous, if it satisfies the weak Markov property for all ${\displaystyle t,s\geq 0}$:

${\displaystyle P(X_{t+s}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{0}=x)|_{x=X_{s}}=:P_{t}(X_{s},A)}$.

The function ${\displaystyle (t,x,A)\mapsto P_{t}(x,A)}$ is the so-called transition function of ${\displaystyle X}$ and ${\displaystyle (P_{t})_{t\geq 0}}$ the transition semigroup of the process. Transition functions are generalizations of the transition matrices used in the setting with finite state space.

In a more abstract way, Markov processes can also be defined or constructed the other way around: Let ${\displaystyle (P_{t})_{t\geq 0}}$ be a transition semigroup, i.e.,

1. ${\displaystyle P_{t}}$ is Markov kernel for all ${\displaystyle t\geq 0}$,
2. ${\displaystyle P_{t+s}(x,A)=\int _{S}P_{t}(y,A)P_{s}(x,dy)\quad \forall t,s\geq 0,x\in \mathbb {R} ,A\in {\mathcal {B}}(S)}$ (Chapman-Kolmogorov-equation),
3. ${\displaystyle P_{0}(x,\cdot )=\delta _{x}}$,

where ${\displaystyle \delta _{x}}$ is the Dirac-measure in ${\displaystyle x}$, and ${\displaystyle X:\Omega \times [0,\infty )\to S}$. Then ${\displaystyle X}$ is a homogeneous Markov process w.r.t. the natural filtration ${\displaystyle \mathbb {F} ^{X}=(\sigma (X_{s}:0\leq s\leq t))_{t\geq 0}}$, if for all ${\displaystyle 0\leq t_{1}<...<t_{n}}$, ${\displaystyle A_{1},...,A_{n}\in {\mathcal {B}}(S)}$ the underlying probability measure ${\displaystyle P}$ satisfies

${\displaystyle P(X_{t_{1}}\in A_{1},...,X_{t_{n}}\in A_{n}\mid X_{0}=x)=\int _{A_{1}}...\int _{A_{n-1}}P_{t_{n}-t_{n-1}}(x_{n-1},A_{n})\cdots P_{t_{1}}(x,dx_{1})}$.

Or, if no probability measure ${\displaystyle P}$ has been specified, the above equation defines a measure ${\displaystyle P^{x}:=P(\cdot \mid X_{0}=x)}$ on ${\displaystyle \sigma (X_{s}:s\geq 0)}$ under which the process ${\displaystyle X}$ started in ${\displaystyle x}$ is a Markov process by construction.

In other words, Markov processes can be defined either as stochastic processes ${\displaystyle X}$ on a filtered probability space, or indirectly in terms of a transition semigroup (i.e., the transition probabilities of the process), which induces a probability space under which ${\displaystyle X}$ has the Markov property.

Since periodicity is a class property, if a Markov chain is irreducible, then all its states have the same period. In particular, if one state is aperiodic, then the whole Markov chain is aperiodic.^[50]

If a finite Markov chain is irreducible, then all states are positive recurrent, and it has a unique stationary distribution given by ${\displaystyle \pi _{i}=1/E[T_{i}]}$.

A state i is said to be ergodic if it is aperiodic and positive recurrent. In other words, a state i is ergodic if it is recurrent, has a period of 1, and has finite mean recurrence time.

If all states in an irreducible Markov chain are ergodic, then the chain is said to be ergodic. Equivalently, there exists some integer ${\displaystyle k}$ such that all entries of ${\displaystyle M^{k}}$ are positive.

有限状態既約マルコフ連鎖は、非周期状態を持つ場合、エルゴード的であることが示される。

複数の状態を持ち、各状態から出る遷移が1つだけのマルコフ連鎖は、既約でも非周期的でもないため、エルゴード的ではない。

マルコフ連鎖が定常分布を持つ場合、それは測度保存力学系に変換できる。確率空間を次のように定義する。${\displaystyle \Omega =\Sigma ^{\mathbb {N} }}$、 どこ${\displaystyle \Sigma }$はマルコフ連鎖のすべての状態の集合です。確率空間上のシグマ代数は円筒集合によって生成されるものとします。確率測度は定常分布とマルコフ連鎖遷移によって生成されるものとします。${\displaystyle T:\Omega \to \Omega }$シフトオペレーターになる：${\displaystyle T(X_{0},X_{1},\dots )=(X_{1},\dots )}$同様に、次のような動的システムを構築できます。${\displaystyle \Omega =\Sigma ^{\mathbb {Z} }}$代わりに。^{[ 57 ]}

有限状態空間を持つ既約マルコフ連鎖は一意の定常分布を持つため、上記の構成は既約マルコフ連鎖に対しては曖昧さがない。

エルゴード理論では、測度保存力学系は、任意の可測部分集合が${\displaystyle S}$そのため${\displaystyle T^{-1}(S)=S}$暗示する${\displaystyle S=\emptyset }$または${\displaystyle \Omega }$（空集合を除いて）

用語に一貫性がない。すべての状態において厳密に正である定常分布を持つマルコフ連鎖が与えられた場合、対応する測度保存力学系がエルゴード的であれば、マルコフ連鎖は既約である。^{[ 52 ]}

場合によっては、一見非マルコフ過程であっても、「現在」と「未来」の状態の概念を拡張することで、マルコフ的な表現を持つことがあります。例えば、X を非マルコフ過程とします。このとき、 Yの各状態がXの状態の時間間隔を表すような過程Yを定義します。数学的には、これは次の形式になります。

${\displaystyle Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.}$

Yがマルコフ性を持つ場合、YはXのマルコフ表現である。

マルコフ表現を持つ非マルコフ過程の例として、次数が1より大きい自己回帰時系列が挙げられる。 ^{[ 58 ]}

到達時間とは、与えられた状態群から開始して、連鎖が特定の状態または状態群に到達するまでの時間のことである。このような時間間隔の分布は位相型分布となる。最も単純な分布は、単一の指数分布遷移の分布である。

一般的なマルコフ過程の場合${\displaystyle X}$連続時間（CTMCまたは一般状態空間を持つプロセス）では、逆プロセス${\displaystyle {\overleftarrow {X}}=(X_{T-t})_{t\in [0,T]}}$一定の時間から${\displaystyle T>0}$は再びマルコフ過程です。これはマルコフ性から直接導かれます。非公式に言えば、現在が与えられた場合、未来と過去は独立しています。時間反転では、それらの役割が入れ替わるだけです。ただし、逆過程は一般に時間的に均質ではありません。あるランダムな時間に対して、${\displaystyle \tau }$（必ずしも停止時間ではない）停止したプロセス${\displaystyle X^{\tau }=(X_{t\land \tau })_{t\geq 0}}$時間的に均質なマルコフ過程である場合、逆の過程${\displaystyle {\overleftarrow {X^{\tau }}}=(X_{\tau -t\land \tau }1_{\{\tau <\infty \}})_{t\geq 0}}$再び時間的に均質である。^{[ 60 ]}

もし${\displaystyle X}$はCTMCであり、ケリーの補題により${\displaystyle {\overleftarrow {X}}}$順方向プロセスと同じ定常分布を持つ。

マルコフ連鎖は、逆方向の過程が順方向の過程（分布において）と同じである場合に可逆であると言われます。コルモゴロフの基準によれば、マルコフ連鎖が可逆であるための必要十分条件は、閉ループ内の遷移率の積が両方向で同じであることとされています。

エルゴード的な連続時間マルコフ連鎖Qの定常確率分布πを求める方法の一つは、まずその埋め込みマルコフ連鎖 (EMC) を求めることです。厳密に言えば、EMC は離散時間マルコフ連鎖であり、ジャンプ過程と呼ばれることもあります。EMC の 1 ステップ遷移確率行列Sの各要素はs _ijで表され、状態iから状態jへの遷移の条件付き確率を表します。これらの条件付き確率は次のように求めることができます。

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}}$

このことから、Sは次のように書ける。

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

ここで、Iは単位行列であり、diag( Q ) は行列Qから主対角線を選択し、他のすべての要素をゼロに設定することによって形成される対角行列です。

定常確率分布ベクトルを求めるには、次に${\displaystyle \varphi }$そのため

${\displaystyle \varphi S=\varphi ,}$

と${\displaystyle \varphi }$行ベクトルであり、すべての要素が${\displaystyle \varphi }$0より大きく、${\displaystyle \|\varphi \|_{1}}$= 1. これから、π は次のように求められます。

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

（Qが周期的でなくても、Sは周期的である可能性がある。πが求められたら、それを単位ベクトルに正規化する必要がある。）

連続時間マルコフ連鎖から派生するもう1つの離散時間プロセスは、δスケルトンです。これは、δ単位の時間間隔でX ( t )を観測することによって形成される（離散時間）マルコフ連鎖です。確率変数X (0)、X (δ)、X (2δ)、...は、δスケルトンが訪れる状態のシーケンスを表します。   

マルコフモデルは、変化するシステムをモデル化するために使用されます。マルコフ連鎖を一般化した主なモデルは4種類あり、各連続状態が観測可能かどうか、また観測に基づいてシステムを調整するかどうかによって分類されます。

A Bernoulli scheme is a special case of a Markov chain where the transition probability matrix has identical rows, which means that the next state is independent of even the current state (in addition to being independent of the past states). A Bernoulli scheme with only two possible states is known as a Bernoulli process.

Note, however, by the Ornstein isomorphism theorem, that every aperiodic and irreducible Markov chain is isomorphic to a Bernoulli scheme;^[61] thus, one might equally claim that Markov chains are a "special case" of Bernoulli schemes. The isomorphism generally requires a complicated recoding. The isomorphism theorem is even a bit stronger: it states that anystationary stochastic process is isomorphic to a Bernoulli scheme; the Markov chain is just one such example.

When the Markov matrix is replaced by the adjacency matrix of a finite graph, the resulting shift is termed a topological Markov chain or a subshift of finite type.^[61] A Markov matrix that is compatible with the adjacency matrix can then provide a measure on the subshift. Many chaotic dynamical systems are isomorphic to topological Markov chains; examples include diffeomorphisms of closed manifolds, the Prouhet–Thue–Morse system, the Chacon system, sofic systems, context-free systems and block-coding systems.^[61]

Markovian systems appear extensively in thermodynamics and statistical mechanics, whenever probabilities are used to represent unknown or unmodelled details of the system, if it can be assumed that the dynamics are time-invariant, and that no relevant history need be considered which is not already included in the state description.^[62][63] For example, a thermodynamic state operates under a probability distribution that is difficult or expensive to acquire. Therefore, Markov Chain Monte Carlo method can be used to draw samples randomly from a black-box to approximate the probability distribution of attributes over a range of objects.^[63]

Markov chains are used in lattice QCD simulations.^[64]

${\displaystyle {\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}}$

Michaelis-Menten kinetics. The enzyme (E) binds a substrate (S) and produces a product (P). Each reaction is a state transition in a Markov chain.

A reaction network is a chemical system involving multiple reactions and chemical species. The simplest stochastic models of such networks treat the system as a continuous time Markov chain with the state being the number of molecules of each species and with reactions modeled as possible transitions of the chain.^[65] Markov chains and continuous-time Markov processes are useful in chemistry when physical systems closely approximate the Markov property. For example, imagine a large number n of molecules in solution in state A, each of which can undergo a chemical reaction to state B with a certain average rate. Perhaps the molecule is an enzyme, and the states refer to how it is folded. The state of any single enzyme follows a Markov chain, and since the molecules are essentially independent of each other, the number of molecules in state A or B at a time is n times the probability a given molecule is in that state.

The classical model of enzyme activity, Michaelis–Menten kinetics, can be viewed as a Markov chain, where at each time step the reaction proceeds in some direction. While Michaelis-Menten is fairly straightforward, far more complicated reaction networks can also be modeled with Markov chains.^[66]

An algorithm based on a Markov chain was also used to focus the fragment-based growth of chemicals in silico towards a desired class of compounds such as drugs or natural products.^[67] As a molecule is grown, a fragment is selected from the nascent molecule as the "current" state. It is not aware of its past (that is, it is not aware of what is already bonded to it). It then transitions to the next state when a fragment is attached to it. The transition probabilities are trained on databases of authentic classes of compounds.^[68]

Also, the growth (and composition) of copolymers may be modeled using Markov chains. Based on the reactivity ratios of the monomers that make up the growing polymer chain, the chain's composition may be calculated (for example, whether monomers tend to add in alternating fashion or in long runs of the same monomer). Due to steric effects, second-order Markov effects may also play a role in the growth of some polymer chains.

Similarly, it has been suggested that the crystallization and growth of some epitaxial superlattice oxide materials can be accurately described by Markov chains.^[69]

Markov chains are used in various areas of biology. Notable examples include:

• Phylogenetics and bioinformatics, where most models of DNA evolution use continuous-time Markov chains to describe the nucleotide present at a given site in the genome.
• Population dynamics, where Markov chains are in particular a central tool in the theoretical study of matrix population models.
• Neurobiology, where Markov chains have been used, e.g., to simulate the mammalian neocortex.^[70]
• Systems biology, for instance with the modeling of viral infection of single cells.^[71]
• Compartmental models for disease outbreak and epidemic modeling.

Markov chains are used throughout information processing. Claude Shannon's famous 1948 paper A Mathematical Theory of Communication, which in a single step created the field of information theory, opens by introducing the concept of entropy by modeling texts in a natural language (such as English) as generated by an ergodic Markov process, where each letter may depend statistically on previous letters.^[72] Such idealized models can capture many of the statistical regularities of systems. Even without describing the full structure of the system perfectly, such signal models can make possible very effective data compression through entropy encoding techniques such as arithmetic coding. They also allow effective state estimation and pattern recognition. Markov chains also play an important role in reinforcement learning.

Markov chains are also the basis for hidden Markov models, which are an important tool in such diverse fields as telephone networks (which use the Viterbi algorithm for error correction), speech recognition and bioinformatics (such as in rearrangements detection^[73]).

The LZMA lossless data compression algorithm combines Markov chains with Lempel-Ziv compression to achieve very high compression ratios.

マルコフ連鎖は、待ち行列の解析的処理（待ち行列理論）の基礎となるものです。アグナー・クラルップ・エルランが1917年にこの分野を創始しました。^{[ 74 ]}このため、マルコフ連鎖は、メッセージが限られたリソース（帯域幅など）をめぐって競合することが多い電気通信ネットワークのパフォーマンスを最適化する上で非常に重要となります。^{[ 75 ]}

数多くの待ち行列モデルは、連続時間マルコフ連鎖を使用します。例えば、M/M/1待ち行列は、非負整数上の連続時間マルコフ連鎖であり、iからi  +  1への上方遷移はポアソン過程に従ってレートλで発生し、ジョブの到着を表します。一方、 iからi - 1への遷移（ i > 1の場合）はレートμで発生し（ジョブのサービス時間は指数分布に従います）、待ち行列からの完了したサービス（出発）を表します。    

Googleが使用するウェブページのPageRankは、マルコフ連鎖によって定義されます。^{[ 76 ] [ 77 ] [ 78 ]}これは、ページが表示される確率です。${\displaystyle i}$すべての（既知の）ウェブページ上の以下のマルコフ連鎖の定常分布において。${\displaystyle N}$は既知のウェブページの数であり、ページは${\displaystyle i}$もっている${\displaystyle k_{i}}$そこから発信リンクがあると、遷移確率が${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$リンクされているすべてのページと${\displaystyle {\frac {1-\alpha }{N}}}$リンクされていないすべてのページについて。パラメーター${\displaystyle \alpha }$約0.85とみなされている。^{[ 79 ]}

マルコフモデルは、ユーザーのウェブナビゲーション行動の分析にも用いられています。特定のウェブサイトにおけるユーザーのリンク遷移は、一次または二次マルコフモデルを用いてモデル化することができ、将来のナビゲーション行動を予測したり、個々のユーザーに合わせてウェブページをパーソナライズしたりするために活用できます。

マルコフ連鎖法は、マルコフ連鎖モンテカルロ法（MCMC）と呼ばれる手法を用いて、非常に複雑な確率分布を正確に反映する乱数列を生成する上で、非常に重要な役割を果たすようになりました。近年、この手法はベイズ推論法の実現可能性を大きく向上させ、幅広い事後分布をシミュレーションし、そのパラメータを数値的に求めることが可能になりました。

マルコフ連鎖は、金融や経済学において、所得の分布、企業の規模分布、資産価格、市場暴落など、さまざまな現象をモデル化するために使用されています。DGチャンパーノウンは1953 年に所得分布のマルコフ連鎖モデルを構築しました。 ^{[ 80 ]}ハーバート A. サイモンと共著者のチャールズ ボニーニは、マルコフ連鎖モデルを使用して、企業の規模の定常ユール分布を導出しました。^{[ 81 ]}ルイ バシェリエは、株価がランダム ウォークに従うことを最初に観察しました。^{[ 82 ]}ランダム ウォークは後に効率的市場仮説を支持する証拠と見なされ、ランダム ウォーク モデルは 1960 年代の文献で人気がありました。^{[ 83 ]}景気循環のレジーム スイッチング モデルは、マルコフ連鎖を使用して高 GDP 成長期間と低 GDP 成長期間 (または、経済拡大と景気後退) の切り替えをモデル化したジェームズ D. ハミルトン(1989) によって普及しました。^{[ 84 ]}より最近の例としては、ローラン・E・カルヴェとアドレー・J・フィッシャーによるマルコフスイッチング多重フラクタルモデルがあり、これは以前のレジームスイッチングモデルの利便性を基に構築されています。^{[ 85 ] [ 86 ]}これは、任意に大きなマルコフ連鎖を使用して、資産収益の変動レベルを制御します。

動学的マクロ経済学では、マルコフ連鎖が多用される。例えば、一般均衡設定において、株式価格を外生的にモデル化するためにマルコフ連鎖が用いられる。 ^{[ 87 ]}

信用格付け機関は、異なる信用格付けの債券の移行確率の年次表を作成している。^{[ 88 ]}

マルコフ連鎖は一般的に、現在の構造的構成が将来の結果を左右する経路依存的な議論を記述する際に用いられる。例としては、カール・マルクスの『資本論』に由来する、経済発展と資本主義の台頭を結びつける考え方の再定式化が挙げられる。現在の研究では、マルコフ連鎖を用いて、ある国が特定の経済発展レベルに達すると、中間層の規模、都市部と農村部の居住比率、政治動員率などの構造的要因の構成が、権威主義体制から民主主義体制への移行確率を高めることをモデル化するのが一般的である。^{[ 89 ]}

マルコフ連鎖は、アルゴリズムによる音楽作曲、特にCsound、Max、SuperColliderなどのソフトウェアで利用されています。一次連鎖では、システムの各状態が音符またはピッチ値となり、各音符の確率ベクトルが構築され、遷移確率行列が完成します（下記参照）。遷移行列の重みに基づいて出力音符値を生成するアルゴリズムが構築され、これはMIDI音符値、周波数（Hz）、またはその他の任意の望ましい指標となる可能性があります。^{[ 90 ]}

2 番目の表に示すように、現在の状態と前の状態の両方を考慮することで、2 次マルコフ連鎖を導入できます。より高次のn次連鎖は、特定の音符をまとめて「グループ化」する傾向があり、時折他のパターンやシーケンスに「分岐」します。これらの高次連鎖は、1 次システムによって生成される「目的のない彷徨」ではなく、フレーズ構造の感覚を持つ結果を生成する傾向があります。 ^{[ 91 ]}

マルコフ連鎖は、クセナキスの『アナロジケ A』と『B』のように構造的に使用できます。^{[ 92 ]}マルコフ連鎖は、マルコフモデルを使用して音楽入力にインタラクティブに反応するシステムでも使用されます。^{[ 93 ]}

通常、音楽システムは生成する有限長のシーケンスに特定の制御制約を適用する必要がありますが、制御制約はマルコフモデルと互換性がありません。なぜなら、制御制約はマルコフの限定記憶仮説に違反する長距離依存性を引き起こすからです。この制限を克服するために、新しいアプローチが提案されています。^{[ 94 ]}

マルコフ連鎖は、多くのギャンブルゲームをモデル化するために使用できます。例えば、子供向けのゲームである「ヘビとはしご」や「ハイホー！チェリーオー」は、マルコフ連鎖によって正確に表現されます。各ターンで、プレイヤーは特定の状態（特定のマス）からスタートし、そこから特定の他の状態（マス）へ移動する確率が固定されています。

マルコフ連鎖モデルは1960年以来、高度な野球分析に用いられてきたが、その使用は依然として稀である。野球の試合の各イニングは、走者数とアウト数を考慮すると、マルコフ連鎖の状態に適合する。どの打席においても、アウト数と走者の位置の組み合わせは24通りある。マーク・パンキンは、マルコフ連鎖モデルが個々の選手とチームの両方で生み出された得点を評価するために使用できることを示している。^{[ 95 ]}また、彼はさまざまな戦略とプレー条件についても論じている。マルコフ連鎖モデルがバントや盗塁 などの試合状況の統計を分析するためにどのように使用されてきたか、また天然芝と人工芝でのプレーの違いについても論じている。^{[ 96 ]}

マルコフ過程は、サンプル文書から表面上は本物そっくりのテキストを生成するためにも使用できます。マルコフ過程は、さまざまな娯楽用「パロディ生成」ソフトウェアで使用されています（ dissociated press、Jeff Harrison、^{[ 97 ]} Mark V. Shaney、^{[ 98 ] [ 99 ]} 、およびAcademias Neutroniumを参照）。マルコフ連鎖を使用したオープンソースのテキスト生成ライブラリもいくつか存在します。