マルコフ連鎖

確率論と統計学において、マルコフ連鎖またはマルコフ過程は、各事象の確率が前の事象で達成された状態にのみ依存する一連の起こり得る事象を記述する確率過程である。非公式には、これは「次に何が起こるかは、現在の状況にのみ依存する」と考えることができる。連鎖が離散的な時間ステップで状態を移動する可算無限シーケンスは、離散時間マルコフ連鎖(DTMC) を与える。連続時間プロセスは、連続時間マルコフ連鎖(CTMC) と呼ばれる。マルコフ過程は、ロシアの数学者アンドレイ・マルコフにちなんで名付けられている。

マルコフ連鎖は、現実世界のプロセスの統計モデルとして多くの用途があります。 ^[1]マルコフ連鎖モンテカルロとして知られる一般的な確率シミュレーション手法の基礎を提供し、複雑な確率分布からのサンプリングをシミュレートするために使用され、ベイズ統計、生物学、化学、経済学、金融、情報理論、物理学、信号処理、音声処理などの分野で応用されています。^{[1] [2] [3]}

形容詞「マルコフ的」および「マルコフ」は、マルコフ過程に関連するものを説明するために使用されます。^[4]

マルコフ過程は、マルコフ特性（「記憶がない」とも呼ばれる）を満たす確率過程である。簡単に言えば、現在の状態のみに基づいて将来の結果に関する予測を行うことができる過程であり、最も重要なことは、そのような予測は過程の全履歴を知っている場合に行うことができる予測と同じくらい正確であるということ。^[5]言い換えれば、システムの現在の状態を条件として、その将来の状態と過去の状態は独立している。

マルコフ連鎖は、離散状態空間または離散インデックスセット（多くの場合、時間を表す）のいずれかを持つマルコフ過程の一種ですが、マルコフ連鎖の正確な定義はさまざまです。^[6]たとえば、マルコフ連鎖を、離散時間または連続時間で可算状態空間を持つマルコフ過程として定義するのが一般的です（したがって、時間の性質に関係なく）^{[7] [8] [9] [10]}が、マルコフ連鎖を、離散時間が可算または連続状態空間にあるマルコフ過程として定義するのも一般的です（したがって、状態空間に関係なく）。^[6]

システムの状態空間と時間パラメータ インデックスを指定する必要があります。次の表は、状態空間の一般性のさまざまなレベルと離散時間と連続時間に対するマルコフ過程のさまざまなインスタンスの概要を示しています。

マルコフ過程の特殊なケースを示す用語の使用については、文献において明確な合意が得られていないことに注意されたい。通常、「マルコフ連鎖」という用語は、離散的な時間集合を持つ過程、すなわち離散時間マルコフ連鎖 (DTMC) [ ^11]を指すために用いられるが、数名の著者は、明示的な言及なしに「マルコフ過程」という用語を連続時間マルコフ連鎖 (CTMC)を指すために使用している。 ^{[12] [13] [14]}さらに、マルコフ過程の他の拡張も存在し、それらはそのように呼ばれているが、必ずしもこれら 4 つのカテゴリのいずれにも該当しない (マルコフモデルを参照)。さらに、時間インデックスは必ずしも実数値である必要はなく、状態空間と同様に、他の数学的構成を持つインデックス集合を移動する過程が考えられる。一般的な状態空間連続時間マルコフ連鎖は、指定された用語がないほど一般的であることに注意されたい。

時間パラメータは通常は離散的ですが、マルコフ連鎖の状態空間には一般的に同意された制約はありません。つまり、この用語は任意の状態空間上のプロセスを指す場合があります。^[15]しかし、マルコフ連鎖の多くの応用では、より簡単な統計分析を持つ有限または可算無限の状態空間が採用されています。時間インデックスと状態空間パラメータの他にも、多くのバリエーション、拡張、一般化があります（バリエーションを参照）。簡単にするために、特に明記しない限り、この記事の大部分は離散時間、離散状態空間の場合に焦点を当てています。

システムの状態の変化は遷移と呼ばれます。さまざまな状態の変化に関連する確率は遷移確率と呼ばれます。プロセスは、状態空間、特定の遷移の確率を記述する遷移行列、および状態空間全体の初期状態 (または初期分布) によって特徴付けられます。慣例により、プロセスの定義にはすべての可能な状態と遷移が含まれていると想定されるため、常に次の状態があり、プロセスは終了しません。

離散時間ランダムプロセスでは、各ステップで特定の状態にあるシステムが関与し、その状態はステップ間でランダムに変化します。ステップは多くの場合、時間の瞬間として考えられますが、物理的な距離やその他の離散的な測定値を指すこともできます。正式には、ステップは整数または自然数であり、ランダムプロセスはこれらを状態にマッピングしたものです。マルコフ特性は、次のステップ (および実際には将来のすべてのステップ) でのシステムの条件付き確率分布が、システムの現在の状態のみに依存し、前のステップでのシステムの状態には追加で依存しないことを示しています。

システムはランダムに変化するため、将来の特定の時点でのマルコフ連鎖の状態を確実に予測することは一般的に不可能です。ただし、システムの将来の統計的特性は予測できます。多くのアプリケーションでは、これらの統計的特性が重要です。

アンドレイ・マルコフは20世紀初頭にマルコフ過程を研究し、1906年にこのテーマで最初の論文を発表した。^{[16] [17] [18]連続時間におけるマルコフ過程は、彼の研究よりはるか以前に、20世紀初頭に}ポアソン過程の形で発見されていた。^{[19] [20] [21]マルコフは、独立性が}大数の弱法則の成立に必要であると主張するパベル・ネクラーソフとの意見の不一致から、独立したランダムシーケンスの拡張の研究に興味を持っていた。^[22] 1906年に発表されたマルコフ連鎖に関する最初の論文で、マルコフは、特定の条件下ではマルコフ連鎖の平均結果が固定された値のベクトルに収束することを示し、それによって、そのような数学的法則が成立するための要件であると一般に考えられていた独立性の仮定なしに大数の弱法則を証明した。^{[16] [17] [18] [18]マルコフは後にマルコフ連鎖を用いて}アレクサンドル・プーシキンの『エフゲニー・オネーギン』の母音分布を研究し、そのような連鎖の中心極限定理を証明した。^[16]

1912年、アンリ・ポアンカレはカードシャッフルの研究を目的として有限群上のマルコフ連鎖を研究した。マルコフ連鎖の初期の用途としては、 1907年にポール・エーレンフェストとタチアナ・エーレンフェストが導入した拡散モデルや、マルコフの研究に先立つ1873年にフランシス・ゴルトンとヘンリー・ウィリアム・ワトソンが導入した分岐過程などがある。 ^{[16] [17]}ゴルトンとワトソンの研究の後、彼らの分岐過程は30年ほど前にイレネ・ジュール・ビエネイメによって独立に発見され研究されていたことが後に明らかになった。^[23] 1928年以降、モーリス・フレシェはマルコフ連鎖に興味を持ち始め、最終的に1938年にマルコフ連鎖に関する詳細な研究を発表した。^{[16] [24]}

アンドレイ・コルモゴロフは、1931年の論文で、連続時間マルコフ過程の初期理論の大部分を展開した。^{[25] [26]}コルモゴロフは、1900年のルイ・バシュリエの株式市場の変動に関する研究や、ノーバート・ウィーナーのアインシュタインのブラウン運動モデルに関する研究に部分的に触発された。^{[25] [27]}彼は拡散過程として知られるマルコフ過程の特定のセットを紹介して研究し、その過程を記述する微分方程式のセットを導出した。^{[25] [28]}コルモゴロフの研究とは独立して、シドニー・チャップマンは、ブラウン運動を研究しながら、 1928年の論文で、現在チャップマン・コルモゴロフ方程式と呼ばれる方程式を、コルモゴロフほど数学的に厳密ではない方法で導出した。^[29]この微分方程式は現在、コルモゴロフ方程式^[30]またはコルモゴロフ・チャップマン方程式と呼ばれている。^[31]マルコフ過程の基礎に大きく貢献した他の数学者には、1930年代にウィリアム・フェラー、その後1950年代にユージン・ディンキンがいます。 ^[26]

• Mark V. Shaney は、 3 次マルコフ連鎖プログラムであり、マルコフ テキストジェネレータです。サンプル テキスト ( Tao Te ChingまたはUsenetグループの投稿) を取り込み、テキストに出現する 3 つの連続する単語 (トリプレット) のシーケンスの膨大なリストを作成します。次に、2 つの単語をランダムに選択し、その膨大なリスト内のトリプレットの 1 つでその 2 つの単語に続く単語を探します。2 つ以上ある場合は、ランダムに選択します (同一のトリプレットは別々にカウントされるため、2 回出現するシーケンスは、1 回しか出現しないシーケンスよりも 2 倍の確率で選択されます)。次に、その単語を生成されたテキストに追加します。次に、同様に、生成されたテキストの 2 番目と 3 番目の単語で始まるトリプレットを選択し、4 番目の単語を作成します。4 番目の単語を追加し、3 番目と 4 番目の単語を繰り返し、これを繰り返します。^[32]

• 整数に基づくランダムウォークやギャンブラーの破産問題はマルコフ過程の例である。^{[33] [34]}これらの過程のいくつかのバリエーションは、独立変数の文脈で数百年前に研究された。^{[35] [36]}マルコフ過程の2つの重要な例は、ブラウン運動過程としても知られるウィーナー過程とポアソン過程であり、^[19]これらは確率過程理論で最も重要かつ中心的な確率過程であると考えられている。^{[37] [38] [39]}これら2つの過程は連続時間におけるマルコフ過程であるが、整数上のランダムウォークやギャンブラーの破産問題は離散時間におけるマルコフ過程の例である。^{[33] [34]}
• 有名なマルコフ連鎖は、いわゆる「酔っぱらいの散歩」です。これは、各ステップで位置が +1 または -1 に等しい確率で変化する数直線上のランダム ウォークです。どの位置からも、次の整数または前の整数への 2 つの遷移が可能です。遷移確率は、現在の位置のみに依存し、位置に到達した方法には依存しません。たとえば、5 から 4 への遷移確率と 5 から 6 への遷移確率はどちらも 0.5 で、5 からのその他のすべての遷移確率は 0 です。これらの確率は、システムが以前に 4 であったか 6 であったかには関係ありません。
• 一連の独立した状態 (たとえば、一連のコイン投げ) は、マルコフ連鎖の正式な定義を満たします。ただし、この理論は通常、次の状態の確率分布が現在の状態に依存する場合にのみ適用されます。

5 枚の 25 セント硬貨 (各 25 セント相当)、5 枚の 10 セント硬貨 (各 10 セント相当)、5 枚の 5 セント硬貨 (各 5 セント相当) が入った小銭入れがあり、小銭入れから 1 枚ずつランダムに硬貨が取り出され、テーブルの上に置かれているとします。 がn 回の取り出し後にテーブルに置かれた硬貨の合計値を表し、 である場合、シーケンスはマルコフ過程ではありません。 ${\displaystyle X_{n}}$${\displaystyle X_{0}=0}$${\displaystyle \{X_{n}:n\in \mathbb {N} \}}$

なぜそうなるのかを理解するために、最初の 6 回の抽選で、5 枚の 5 セント硬貨と 25 セント硬貨が 1 枚すべて引き出されたと仮定します。したがって となります。 だけでなく、それ以前の値も知っていれば、どのコインが引き出されたかを特定でき、次のコインは 5 セント硬貨ではないことがわかります。したがって、確率 1 でそれを特定できます。しかし、以前の値がわからない場合は、 の値だけに基づいて、4 枚の 10 セント硬貨と 2 枚の 5 セント硬貨を引いたと推測する可能性があり、その場合、次に別の 5 セント硬貨を引く可能性が確実にあります。したがって、 についての推測は、より前の値に関する知識によって影響を受けます。 ${\displaystyle X_{6}=\$0.50}$${\displaystyle X_{6}}$${\displaystyle X_{7}\geq \$0.60}$${\displaystyle X_{6}}$${\displaystyle X_{7}}$${\displaystyle X_{6}}$

ただし、このシナリオをマルコフ過程としてモデル化することは可能です。テーブル上のコインの合計値を表すように定義する代わりに、テーブル上のさまざまなコイン タイプの個数を表すように定義できます。たとえば、6 回 1 枚ずつ引いた後、テーブルに 25 セント硬貨が 1 枚、10 セント硬貨が 0 枚、5 セント硬貨が 5 枚ある状態を表すように定義できます。この新しいモデルは、各状態がテーブル上にある各タイプ (0 から 5) のコインの数を表す、可能な状態によって表すことができます (6 回の引出しでこれらの状態すべてに到達できるわけではありません)。最初の引出しの結果が状態 であるとします。達成の確率は に依存します。たとえば、状態 は不可能です。2 回目の引出しの後、3 回目の引出しは、これまでにどのコインが引かれたかによって決まりますが、最初の状態で引かれたコインだけに依存するわけではありません (確率的に重要な情報がシナリオに追加されたため)。このように、状態 の可能性は状態の結果にのみ依存します。 ${\displaystyle X_{n}}$${\displaystyle X_{n}}$${\displaystyle X_{6}=1,0,5}$${\displaystyle 6\times 6\times 6=216}$${\displaystyle X_{1}=0,1,0}$${\displaystyle X_{2}}$${\displaystyle X_{1}}$${\displaystyle X_{2}=1,0,1}$${\displaystyle X_{n}=i,j,k}$${\displaystyle X_{n-1}=\ell ,m,p}$

離散時間マルコフ連鎖は、マルコフ特性、すなわち次の状態に移行する確率が現在の状態のみに依存し、前の状態には依存しないという特性を持つランダム変数のシーケンス X ₁、X ₂、X ₃、... です。

${\displaystyle \Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),}$両方の条件付き確率が明確に定義されている場合、つまり、${\displaystyle \Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.}$

X _iの可能な値は、チェーンの状態空間と呼ばれる 可算集合 Sを形成します。

• 時間均質マルコフ連鎖は、すべてのnに対してとなるプロセスです。遷移の確率はnに依存しません。$${\displaystyle \Pr(X_{n+1}=x\mid X_{n}=y)=\Pr(X_{n}=x\mid X_{n-1}=y)}$$
• 定常マルコフ連鎖は、すべてのnおよびkに対して となるプロセスです。すべての定常連鎖は、ベイズの定理によって時間的に均一であることが証明できます。$${\displaystyle \Pr(X_{0}=x_{0},X_{1}=x_{1},\ldots ,X_{k}=x_{k})=\Pr(X_{n}=x_{0},X_{n+1}=x_{1},\ldots ,X_{n+k}=x_{k})}$$
  時間的に同次なマルコフ連鎖が定常であるための必要十分条件は、分布がマルコフ連鎖の定常分布であることです。${\displaystyle X_{0}}$
• 記憶を持つマルコフ連鎖（またはm次マルコフ連鎖）（ mは有限）は、次を満たすプロセスです。言い換えれば、将来の状態は過去のm個の状態に依存します。状態空間として順序付けられたm個の組のX値を取ることによって、つまり、から「古典的な」マルコフ特性を持つ連鎖を構築することができます。$${\displaystyle {\begin{aligned}{}&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})\\=&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m}){\text{ for }}n>m\end{aligned}}}$$${\displaystyle (Y_{n})}$${\displaystyle (X_{n})}$${\displaystyle Y_{n}=\left(X_{n},X_{n-1},\ldots ,X_{n-m+1}\right)}$

連続時間マルコフ連鎖 ( X _t ) _{t  ≥ 0}は、有限または可算な状態空間S、状態空間と同じ次元を持つ遷移率行列 Q、および状態空間上に定義された初期確率分布によって定義されます。i  ≠  jの場合、要素q _{ij は}非負であり、状態iから状態jへのプロセス遷移の速度を表します。要素q _{ii は}、遷移率行列の各行の合計がゼロになるように選択されますが、（離散）マルコフ連鎖の確率遷移行列の行の合計はすべて 1 になります。

このプロセスには同等の定義が3つある。^[40]

をt の時点でのプロセスの状態を表すランダム変数とし、プロセスがt の時点で状態iにあると仮定します。すると、 が分かっている場合、は以前の値 とは独立しており、すべてのjおよびすべてのtに対してh → 0となるため、 となります。 ここで、はクロネッカーのデルタで、小文字の o 表記法を使用します。 は、iからjへの遷移がどれだけ速く起こるかを測定するものと考えることができます。 ${\displaystyle X_{t}}$${\displaystyle X_{t}=i}$${\displaystyle X_{t+h}=j}$${\displaystyle \left(X_{s}:s<t\right)}$$${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),}$$${\displaystyle \delta _{ij}}$${\displaystyle q_{ij}}$

離散時間マルコフ連鎖Y _{n を}定義してプロセスのn番目のジャンプを記述し、変数S ₁、S ₂、S ₃、...を定義して各状態での保持時間を記述します。ここで、S _{i は}速度パラメータ-q Y _{i Y iを}持つ指数分布に従います。

任意の値n = 0、1、2、3、...およびこのnの値までのインデックスされた時刻：t ₀、t ₁、t ₂、...およびこれらの時刻に記録されたすべての状態i ₀、i ₁、i ₂、i ₃、...の場合、次の式が成り立ちます。

${\displaystyle \Pr(X_{t_{n+1}}=i_{n+1}\mid X_{t_{0}}=i_{0},X_{t_{1}}=i_{1},\ldots ,X_{t_{n}}=i_{n})=p_{i_{n}i_{n+1}}(t_{n+1}-t_{n})}$

ここで、p _{ij は}順方向方程式（一次微分方程式） の解である。

${\displaystyle P'(t)=P(t)Q}$

初期条件P(0)は単位行列です。

状態空間が有限である場合、遷移確率分布は遷移行列と呼ばれる行列で表すことができ、 Pの( i , j )番目の要素は

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).}$

Pの各行の合計は 1 になり、すべての要素は非負なので、P は右確率行列です。

定常分布πは、その要素が非負で合計が1になる（行）ベクトルであり、遷移行列Pの演算によって変化しないため、次のように定義されます。

${\displaystyle \pi \mathbf {P} =\pi .}$

この定義を固有ベクトルの定義と比較すると、2つの概念が関連していることがわかり、

${\displaystyle \pi ={\frac {e}{\sum _{i}{e_{i}}}}}$

は、固有値が 1 である遷移行列Pの左固有ベクトルeの正規化された ( ) 倍数です。単位固有ベクトルが複数ある場合は、対応する定常状態の加重和も定常状態になります。ただし、マルコフ連鎖の場合、通常は、ある初期分布に対する分布のシーケンスの極限である定常状態の方が重要です。 ${\textstyle \sum _{i}\pi _{i}=1}$

定常分布の値はPの状態空間に関連付けられ、その固有ベクトルの相対的な比率は保存されます。π の成分は正であり、その合計が 1 であるという制約は のように書き直すことができるため、成分がすべて 1 であるベクトルと π のドット積は1 であり、π は単体上にあることがわかります。 ${\displaystyle \textstyle \pi _{i}}$${\textstyle \sum _{i}1\cdot \pi _{i}=1}$

マルコフ連鎖が時間的に均一である場合、遷移行列P は各ステップの後で同じであるため、kステップの遷移確率は遷移行列P ^kのk乗として計算できます。

マルコフ連鎖が既約かつ非周期的である場合、唯一の定常分布πが存在する。^[41]さらに、この場合、Pk^は各行が定常分布πであるランク1行列に収束する。

${\displaystyle \lim _{k\to \infty }\mathbf {P} ^{k}=\mathbf {1} \pi }$

ここで、1 はすべての要素が 1 に等しい列ベクトルです。これは、ペロン・フロベニウスの定理によって示されます。どのような手段であれ、が見つかった場合、問題のマルコフ連鎖の定常分布は、以下で説明するように、任意の開始分布に対して簡単に決定できます。 ${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$

いくつかの確率行列Pでは、次の例に示すように、定常分布が存在するにもかかわらず、 限界は存在しません。${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$

${\displaystyle \mathbf {P} ={\begin{pmatrix}0&1\\1&0\end{pmatrix}}\qquad \mathbf {P} ^{2k}=I\qquad \mathbf {P} ^{2k+1}=\mathbf {P} }$

${\displaystyle {\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}}$

(この例は周期的なマルコフ連鎖を示しています。)

考慮すべき特殊なケースが多数あるため、この限界が存在するかどうかを調べるプロセスは長い作業になる可能性があります。ただし、この限界を見つけるのに役立つ多くの手法があります。Pをn × n行列とし、次のように定義します。${\textstyle \mathbf {Q} =\lim _{k\to \infty }\mathbf {P} ^{k}.}$

それは常に真実である

${\displaystyle \mathbf {QP} =\mathbf {Q} .}$

両辺から Qを引いて因数分解すると、

${\displaystyle \mathbf {Q} (\mathbf {P} -\mathbf {I} _{n})=\mathbf {0} _{n,n},}$

ここで、I _nはサイズnの単位行列、0 _{n , n は}サイズn × nの零行列です。確率行列を掛け合わせると、常に別の確率行列が生成されるため、Q は確率行列でなければなりません(上記の定義を参照)。 上記の行列方程式と、Qが確率行列であるという事実を使用して、 Q を解くのに十分な場合があります。 Pの各行の合計が 1 であるという事実を含めると、 n 個の未知数を決定する方程式はn+1 個あるため、一方ではQの 1 行を選択してその各要素を 1 つに置き換え、他方ではベクトル0の対応する要素 (同じ列にある要素) を置き換え、次にこの後者のベクトルを変換された前の行列の逆行列で左掛けしてQ を求める方が計算が簡単になります。

そのための1つの方法は、まず関数f ( A )を定義して、行列Aの右端の列をすべて1に置き換えたものを返すことです。[ f ( P − I _n )] ⁻¹が存在する場合、^{[42] [41]}

${\displaystyle \mathbf {Q} =f(\mathbf {0} _{n,n})[f(\mathbf {P} -\mathbf {I} _{n})]^{-1}.}$

説明: 元の行列方程式は、 n×n 変数のn×n 線形方程式のシステムと同等です。また、Q は各行の合計が 1 になる右確率行列であるため、n 個の線形方程式がさらに存在します。したがって、n×n 変数を解くには、(n×n+n) 方程式の n×n 個の独立した線形方程式が必要です。この例では、「(P-In) の右端の列に Q を掛けた」n 個の方程式が、n 個の確率方程式に置き換えられています。

注目すべき点は、Pの主対角線上に 1 に等しい要素P _{i , i}があり、 i番目の行または列がそれ以外は 0 で埋められている場合、その行または列は後続のすべてのP ^k乗で変更されないままであるということです。したがって、Qのi番目の行または列には、 Pと同じ位置に 1 と 0 が配置されます。

前述のように、方程式（存在する場合）から、定常（または定常状態）分布πは行確率行列Pの左固有ベクトルです。次に、Pが対角化可能であるか、または同等にP がn個の線形独立な固有ベクトルを持つと仮定すると、収束速度は次のように説明されます。（対角化できない、つまり欠陥のある行列の場合は、Pのジョルダン標準形から始めて、同様の方法でもう少し複雑な議論を進めることができます。^[43]） ${\displaystyle {\boldsymbol {\pi }}={\boldsymbol {\pi }}\mathbf {P} ,}$

U を固有ベクトルの行列（各列は L2 ノルムが 1 になるように正規化されている）とし、各列はPの左固有ベクトルとし、Σ をPの左固有値の対角行列、つまりΣ = diag( λ ₁ , λ ₂ , λ ₃ ,..., λ _n ) とする。すると、固有値分解によって

${\displaystyle \mathbf {P} =\mathbf {U\Sigma U} ^{-1}.}$

固有値を次のように列挙します。

${\displaystyle 1=|\lambda _{1}|>|\lambda _{2}|\geq |\lambda _{3}|\geq \cdots \geq |\lambda _{n}|.}$

P は行確率行列なので、その最大の左固有値は 1 です。唯一の定常分布がある場合、最大の固有値とそれに対応する固有ベクトルも一意です (上記の定常分布方程式を解く他のπがないため)。 u _{i を}U行列のi番目の列、つまりu _{i が}λ _iに対応するPの左固有ベクトルであるとします。また、x を有効な確率分布を表す長さn の行ベクトルとします。固有ベクトルu _{i が}張る 範囲は${\displaystyle \mathbb {R} ^{n},}$

${\displaystyle \mathbf {x} ^{\mathsf {T}}=\sum _{i=1}^{n}a_{i}\mathbf {u} _{i},\qquad a_{i}\in \mathbb {R} .}$

右からx をPで乗じて、この操作を結果とともに続けると、最終的に定常分布πが得られます。言い換えると、π = a ₁ u ₁ ← xPP ... P = xP ^k as k → ∞ です。つまり、

${\displaystyle {\begin{aligned}{\boldsymbol {\pi }}^{(k)}&=\mathbf {x} \left(\mathbf {U\Sigma U} ^{-1}\right)\left(\mathbf {U\Sigma U} ^{-1}\right)\cdots \left(\mathbf {U\Sigma U} ^{-1}\right)\\&=\mathbf {xU\Sigma } ^{k}\mathbf {U} ^{-1}\\&=\left(a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\mathbf {u} _{n}^{\mathsf {T}}\right)\mathbf {U\Sigma } ^{k}\mathbf {U} ^{-1}\\&=a_{1}\lambda _{1}^{k}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\lambda _{2}^{k}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\lambda _{n}^{k}\mathbf {u} _{n}^{\mathsf {T}}&&u_{i}\bot u_{j}{\text{ for }}i\neq j\\&=\lambda _{1}^{k}\left\{a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\left({\frac {\lambda _{2}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{2}^{\mathsf {T}}+a_{3}\left({\frac {\lambda _{3}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{3}^{\mathsf {T}}+\cdots +a_{n}\left({\frac {\lambda _{n}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{n}^{\mathsf {T}}\right\}\end{aligned}}}$

π はu ₁（L2 ノルムで正規化）に平行でπ ^{( k )}は確率ベクトルなので、π ( ^{k )は}k → ∞のにつれてλ ₂ / λ ₁のオーダーの速度でa ₁ u ₁ = πに指数的に近づきます。これは、λ 2 / λ 1 が支配的な項であるためです。比率_が小さいほど_、収束は速くなります。^[44]状態分布πのランダムノイズも、この定常分布への収束を加速する可能性があります。^[45]${\displaystyle |\lambda _{2}|\geq \cdots \geq |\lambda _{n}|,}$

有限状態空間を持つマルコフ連鎖の結果の多くは、ハリス連鎖を通じて無数状態空間を持つ連鎖に一般化できます。

マルコフ連鎖モンテカルロ法におけるマルコフ連鎖の使用は、プロセスが連続状態空間に従うケースをカバーします。

「局所的に相互作用するマルコフ連鎖」とは、他のマルコフ連鎖の状態を考慮した進化を伴うマルコフ連鎖である。これは、状態空間が（直交）積形式を持つ状況に対応する。相互作用粒子システムと確率的セルオートマトン（確率的セルオートマトン）を参照。例えば、マルコフ過程の相互作用^[46] または^{[47]を参照。}

2 つの状態は、正の確率を持つ一連の遷移によって互いに到達可能である場合、相互に通信していると言われます。これは、通信するクラスのセットを生成する同値関係です。クラスを離れる確率がゼロの場合、そのクラスは閉じています。通信するクラスが 1 つ (状態空間) の場合、 マルコフ連鎖は既約ではありません。

状態i が周期k を持つとは、k がiから始まってiに到達できる遷移の数の最大公約数であることを意味します。つまり、

${\displaystyle k=\gcd\{n>0:\Pr(X_{n}=i\mid X_{0}=i)>0\}}$

の場合、状態は周期的です。それ以外の場合、状態は非周期的です。 ${\displaystyle k>1}$${\displaystyle k=1}$

状態i は、 iから始まって、連鎖がiに戻らない確率がゼロでない場合に、一時的であると言われる。そうでない場合は、再帰的（または持続的）と呼ばれる。^[48]再帰状態iの場合、平均到達時間は次のように定義される。

${\displaystyle M_{i}=E[T_{i}]=\sum _{n=1}^{\infty }n\cdot f_{ii}^{(n)}.}$

状態iは有限であれば正再帰的であり、そうでない場合は空再帰的である。周期性、一時性、再帰性、正再帰性、空再帰性はクラスの特性である。つまり、ある状態がその特性を持つ場合、その状態と通信するクラスのすべての状態がその特性を持つ。^[49]${\displaystyle M_{i}}$

状態i は、その状態から出力遷移がない場合には 吸収状態と呼ばれます。

周期性はクラス特性であるため、マルコフ連鎖が既約であれば、そのすべての状態は同じ周期を持ちます。特に、1つの状態が非周期的であれば、マルコフ連鎖全体が非周期的になります。^[50]

有限マルコフ連鎖が既約である場合、すべての状態は正の再帰的であり、 によって与えられる一意の定常分布を持ちます。 ${\displaystyle \pi _{i}=1/E[T_{i}]}$

状態i は、非周期的かつ正の回帰性を持つ場合、エルゴード的であると言われます。言い換えると、状態i は、回帰性を持ち、周期が 1 で、平均回帰時間が有限である場合、エルゴード的であると言えます。

既約マルコフ連鎖のすべての状態がエルゴードである場合、連鎖はエルゴード的であると言われます。同様に、のすべてのエントリが正であるような整数が存在します。 ${\displaystyle k}$${\displaystyle M^{k}}$

有限状態の既約マルコフ連鎖は、非周期状態を持つ場合、エルゴード的であることが示されます。より一般的には、マルコフ連鎖がエルゴード的であるのは、任意の状態から任意の数のステップで他の状態に到達できる数Nが存在する場合です。すべての遷移の確率がゼロではない完全に接続された遷移行列の場合、この条件は N  = 1 で満たされます。

複数の状態があり、状態ごとに出力遷移が 1 つだけであるマルコフ連鎖は、既約ではないか非周期的ではないため、エルゴードにはなれません。

一部の著者は、あらゆる既約な正の再帰マルコフ連鎖を、周期的なものも含めてエルゴード連鎖と呼んでいます。^[51]実際、単に既約なマルコフ連鎖は、エルゴード理論に従って定義されるエルゴード過程に対応します。^[52]

全ての要素が正であるような整数が存在する場合に限り、その行列をプリミティブ行列と呼ぶ著者もいる。^{[53]これを}正則行列と呼ぶ著者もいる。^[54]${\displaystyle k}$${\displaystyle M^{k}}$

正則行列の原始性指数、つまり指数は、のすべての要素が正となる最小のものです。指数は、 の各要素がゼロか正かによってのみ決まるため、純粋にグラフ理論的な特性であり、したがって、 を隣接行列とする有向グラフ上で見つけることができます。 ${\displaystyle k}$${\displaystyle M^{k}}$${\displaystyle M}$${\displaystyle \mathrm {sign} (M)}$

状態が有限個ある場合、指数に関する組み合わせ論的な結果はいくつかある。状態数を とすると、^[55]${\displaystyle n}$

• 指数は です。これが等式となる唯一のケースは、 のグラフがのようになる場合です。${\displaystyle \leq (n-1)^{2}+1}$${\displaystyle M}$${\displaystyle 1\to 2\to \dots \to n\to 1{\text{ and }}2}$
• に対角要素がある場合、その指数は です。${\displaystyle M}$${\displaystyle k\geq 1}$${\displaystyle \leq 2n-k-1}$
• が対称である場合、 には正の対角要素があり、前の命題によりその指数は であることを意味します。${\displaystyle \mathrm {sign} (M)}$${\displaystyle M^{2}}$${\displaystyle \leq 2n-2}$
• （ダルメージ・メンデルゾーンの定理）指数は であり、 はグラフの周囲長である。これは と改善することができ、 はグラフの直径である。^[56]${\displaystyle \leq n+s(n-2)}$${\displaystyle s}$${\displaystyle \leq (d+1)+s(d+1-2)}$${\displaystyle d}$

マルコフ連鎖が定常分布を持つ場合、測度保存力学系に変換できます。確率空間を とし、 はマルコフ連鎖のすべての状態の集合とします。確率空間上のシグマ代数は円筒集合によって生成されるものとします。確率測度は定常分布とマルコフ連鎖遷移によって生成されるものとします。 をシフト演算子とします。同様に、 の代わりに を使ってそのような力学系を構築できます。^[57]${\displaystyle \Omega =\Sigma ^{\mathbb {N} }}$${\displaystyle \Sigma }$${\displaystyle T:\Omega \to \Omega }$${\displaystyle T(X_{0},X_{1},\dots )=(X_{1},\dots )}$${\displaystyle \Omega =\Sigma ^{\mathbb {Z} }}$

有限状態空間を持つ既約マルコフ連鎖は固有の定常分布を持つため、上記の構成は既約マルコフ連鎖に対して明確です。

エルゴード理論では、測度保存力学系は、 となる測定可能な部分集合がまたは(空集合を除く) を意味する場合に限り、「エルゴード」と呼ばれます。${\displaystyle S}$${\displaystyle T^{-1}(S)=S}$${\displaystyle S=\emptyset }$${\displaystyle \Omega }$

用語に一貫性がない。すべての状態において厳密に正である定常分布を持つマルコフ連鎖が与えられた場合、そのマルコフ連鎖が既約であるためには、それに対応する測度保存力学系がエルゴード的である必要があります。^[52]

場合によっては、明らかに非マルコフ過程であっても、「現在」と「将来」の状態の概念を拡張することでマルコフ表現が構築されることがあります。たとえば、X を非マルコフ過程とします。次に、 Yの各状態がXの状態の時間間隔を表すような過程Yを定義します。数学的には、これは次の形式になります。

${\displaystyle Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.}$

Y がマルコフ特性を持つ場合、それはXのマルコフ表現です。

マルコフ表現を持つ非マルコフ過程の例としては、1より大きい次数の自己回帰 時系列が挙げられる。 ^[58]

ヒット時間とは、特定の状態セットから始まり、チェーンが特定の状態または状態セットに到達するまでの時間です。このような時間間隔の分布は、位相型分布になります。最も単純な分布は、単一の指数分布遷移の分布です。

状態A  ⊆  Sのサブセットに対して、ヒット回数のベクトルk ^A（要素は、状態iから始まって、チェーンがセットA内のいずれかの状態に入る期待値を表す）は、 ^[59]の最小の非負解である。${\displaystyle k_{i}^{A}}$

${\displaystyle {\begin{aligned}k_{i}^{A}=0&{\text{ for }}i\in A\\-\sum _{j\in S}q_{ij}k_{j}^{A}=1&{\text{ for }}i\notin A.\end{aligned}}}$

CTMC X _tの場合、時間反転プロセスは と定義されます。ケリーの補題により、このプロセスは順方向プロセスと同じ定常分布を持ちます。 ${\displaystyle {\hat {X}}_{t}=X_{T-t}}$

逆のプロセスが順のプロセスと同じである場合、連鎖は可逆的であると言われます。コルモゴロフの基準では、プロセスが可逆的であるための必要かつ十分な条件は、閉ループの周りの遷移速度の積が両方向で同じでなければならないとされています。

エルゴード連続時間マルコフ連鎖Qの定常確率分布πを求める方法の 1 つは、まずその埋め込みマルコフ連鎖 (EMC)を求めることです。厳密に言えば、EMC は正規の離散時間マルコフ連鎖であり、ジャンプ過程と呼ばれることもあります。EMC の 1 ステップ遷移確率行列Sの各要素はs _ijで表され、状態iから状態jに遷移する条件付き確率を表します。これらの条件付き確率は次のように求めることができます。

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}}$

このことから、Sは次のように書ける。

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

ここで、Iは単位行列であり、diag( Q )は行列Qから主対角要素を選択し、他のすべての要素をゼロに設定すること によって形成される対角行列です。

定常確率分布ベクトルを見つけるには、次に次のようなもの を見つけなければならない。${\displaystyle \varphi }$

${\displaystyle \varphi S=\varphi ,}$

は行ベクトルであり、 のすべての要素は0より大きく、= 1である。このことから、πは次のように求められる。 ${\displaystyle \varphi }$${\displaystyle \varphi }$${\displaystyle \|\varphi \|_{1}}$

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( Qが周期的でないとしても、S は周期的である可能性があります。π が見つかったら、それを単位ベクトルに正規化する必要があります。)

連続時間マルコフ連鎖から導出される別の離散時間プロセスは、δ スケルトンです。これは、X ( t ) を δ 単位の時間間隔で観測することによって形成される (離散時間) マルコフ連鎖です。ランダム変数X (0)、  X (δ)、  X (2δ)、... は、δ スケルトンが訪れる状態のシーケンスを示します。

マルコフ モデルは、変化するシステムをモデル化するために使用されます。すべての連続状態が観測可能かどうか、および観測に基づいてシステムを調整するかどうかに応じてマルコフ連鎖を一般化するモデルには、主に 4 つの種類があります。

ベルヌーイ方式は、遷移確率行列が同一の行を持つマルコフ連鎖の特殊なケースです。つまり、次の状態は現在の状態からも独立しています (過去の状態からも独立しているだけでなく)。可能な状態が 2 つだけのベルヌーイ方式は、ベルヌーイ過程として知られています。

ただし、オルンシュタインの同型定理によれば、非周期的かつ既約なマルコフ連鎖はすべてベルヌーイ方式と同型であることに注意してください。 ^[60]したがって、マルコフ連鎖はベルヌーイ方式の「特別なケース」であると主張することもできます。同型性は通常、複雑な再コーディングを必要とします。同型定理はさらに強力で、定常確率過程はすべて ベルヌーイ方式と同型であると述べており、マルコフ連鎖はその一例にすぎません。

マルコフ行列を有限グラフの隣接行列に置き換えると、結果として生じるシフトは位相マルコフ連鎖または有限型のサブシフトと呼ばれます。^[60]隣接行列と互換性のあるマルコフ行列は、サブシフトの尺度を提供できます。多くのカオス力学系は位相マルコフ連鎖と同型です。例として、閉多様体の微分同相写像、プルーエ・テュー・モース系、チャコン系、ソフィック系、文脈自由系、ブロック符号化系などがあります。^[60]

マルコフ連鎖は、自然科学や社会科学、技術応用にわたる幅広い分野で利用されてきました。

マルコフシステムは、熱力学と統計力学において、システムの未知またはモデル化されていない詳細を表すために確率が使用される場合はいつでも、ダイナミクスが時間不変であり、状態の説明にすでに含まれていない関連する履歴を考慮する必要がないと仮定できる場合に広く登場します。^{[61] [62]}たとえば、熱力学的状態は、取得が困難または高価な確率分布の下で動作します。したがって、マルコフ連鎖モンテカルロ法を使用して、ブラックボックスからランダムにサンプルを抽出し、さまざまなオブジェクトにわたる属性の確率分布を近似することができます。^[62]

マルコフ連鎖は格子QCDシミュレーションに用いられる。^[63]

反応ネットワークは、複数の反応と化学種を含む化学システムです。このようなネットワークの最も単純な確率モデルは、システムを連続時間マルコフ連鎖として扱い、状態は各種の分子の数であり、反応は連鎖の可能な遷移としてモデル化されます。^[64] マルコフ連鎖と連続時間マルコフ過程は、物理システムがマルコフ特性に非常に近似している場合に化学で役立ちます。たとえば、溶液中に状態 A の多数のn個の分子があり、それぞれの分子が特定の平均速度で状態 B への化学反応を起こすことができるとします。おそらく、その分子は酵素であり、状態はそれがどのように折り畳まれているかを示します。単一の酵素の状態はマルコフ連鎖に従い、分子は本質的に互いに独立しているため、一度に状態 A または B にある分子の数は、特定の分子がその状態にある確率の n倍です。

酵素活性の古典的なモデルであるミカエリス・メンテン反応速度論は、マルコフ連鎖として考えることができ、各時間ステップで反応はある方向に進みます。ミカエリス・メンテンは非常に単純ですが、はるかに複雑な反応ネットワークもマルコフ連鎖でモデル化できます。^[65]

マルコフ連鎖に基づくアルゴリズムは、薬剤や天然物などの望ましい化合物のクラスに向けて、化学物質のフラグメントベースの成長をシリコに集中させるためにも使用されました。 ^[66]分子が成長すると、新生分子からフラグメントが「現在の」状態として選択されます。フラグメントは過去を認識しません（つまり、すでに結合しているものを認識しません）。フラグメントが結合すると、次の状態に移行します。遷移確率は、化合物の真正なクラスのデータベースでトレーニングされます。^[67]

また、コポリマーの成長 (および構成) は、マルコフ連鎖を使用してモデル化できます。成長するポリマー鎖を構成するモノマーの反応性比に基づいて、鎖の構成を計算できます (たとえば、モノマーが交互に追加される傾向があるか、同じモノマーが長時間続く傾向があるか)。立体効果により、一部のポリマー鎖の成長では、2 次マルコフ効果も影響する場合があります。

同様に、いくつかのエピタキシャル超格子酸化物材料の結晶化と成長はマルコフ連鎖によって正確に記述できることが示唆されている。 ^[68]

マルコフ連鎖は生物学のさまざまな分野で使用されています。注目すべき例としては次のようなものがあります。

• 系統学とバイオインフォマティクスでは、DNA進化のほとんどのモデルが連続時間マルコフ連鎖を使用してゲノム内の特定の場所にあるヌクレオチドを記述します。
• 人口動態。特にマルコフ連鎖は、行列人口モデルの理論的研究における中心的なツールです。
• 神経生物学では、例えば哺乳類の大脳新皮質をシミュレートするためにマルコフ連鎖が使用されています。^[69]
• システム生物学、例えば単一細胞のウイルス感染のモデル化など。^[70]
• 病気の発生と流行のモデリングのためのコンパートメント モデル。

数人の理論家がマルコフ連鎖統計検定 (MCST) という考え方を提案している。これは、マルコフ連鎖を結合して「マルコフ ブランケット」を形成し、これらの連鎖をいくつかの再帰層 (「ウェーハ化」) に配置して、網羅的な検定の代わりにより効率的な検定セット (サンプル) を作成する手法である。^{[引用が必要]}

太陽放射照度の変動性評価は、太陽光発電の用途に有用である。時間経過に伴うあらゆる場所の太陽放射照度の変動性は、主に天空ドームを横切る太陽の軌道の決定論的変動性と雲量の変動性の結果である。地球表面のアクセス可能な太陽放射照度の変動性は、マルコフ連鎖を使用してモデル化されており、^{[71] [72] [73] [74]}晴天と曇天の2つの状態を2状態マルコフ連鎖としてモデル化することを含む。^{[75] [76]}

隠れマルコフモデルは自動音声認識システムに使用されている。 ^[77]

マルコフ連鎖は情報処理のあらゆる場面で使われている。情報理論という分野を一気に創り出したクロード・シャノンの1948年の有名な論文「コミュニケーションの数学的理論」は、自然言語（英語など）のテキストをエルゴード・マルコフ過程（各文字は前の文字に統計的に依存する）で生成されるものとしてモデル化することで、エントロピーの概念を導入することから始まる。 ^[78]このような理想化されたモデルは、システムの統計的規則性の多くを捉えることができる。システムの全構造を完全に記述しなくても、このような信号モデルは算術符号化などのエントロピー符号化技術を通じて非常に効果的なデータ圧縮を可能にする。また、効果的な状態推定やパターン認識も可能になる。マルコフ連鎖は強化学習でも重要な役割を果たしている。

マルコフ連鎖は隠れマルコフモデルの基礎でもあり、電話網（誤り訂正にビタビアルゴリズムを使用）、音声認識、バイオインフォマティクス（再配置検出など^[79]）など、さまざまな分野で重要なツールとなっています。

LZMAロスレス データ圧縮アルゴリズムは、マルコフ連鎖とLempel-Ziv 圧縮を組み合わせて、非常に高い圧縮率を実現します。

マルコフ連鎖は待ち行列の解析的処理（待ち行列理論）の基礎となる。この分野は1917年にアグナー・クラルプ・アーランによって提唱された。 ^[80]そのため、メッセージが限られたリソース（帯域幅など）をめぐって競合することが多い通信ネットワークのパフォーマンスを最適化するには、マルコフ連鎖が極めて重要となる。^[81]

多くのキューイング モデルでは、連続時間マルコフ連鎖が使用されます。たとえば、M/M/1 キューは、負でない整数の CTMC であり、iからi  + 1への上向きの遷移はポアソン過程に従ってλの速度で発生し、ジョブの到着を表します。一方、 iからi – 1 ( i  > 1 の場合)への遷移はμの速度で発生し(ジョブ サービス時間は指数分布)、キューからの完了したサービス (出発) を表します。

Googleが使用するウェブページのPageRankは、マルコフ連鎖によって定義されます。^{[82] [83] [84]}これは、すべての (既知の) ウェブページ上の次のマルコフ連鎖の定常分布でページにある確率です。 が既知のウェブページの数で、ページにリンクがある場合、そのページにはリンクされているすべてのページとリンクされていないすべてのページに対する遷移確率があります。パラメータは約 0.15 とされています。^[85]${\displaystyle i}$${\displaystyle N}$${\displaystyle i}$${\displaystyle k_{i}}$${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$${\displaystyle {\frac {1-\alpha }{N}}}$${\displaystyle \alpha }$

マルコフ モデルは、ユーザーの Web ナビゲーション動作の分析にも使用されています。特定の Web サイトにおけるユーザーの Web リンク遷移は、1 次または 2 次マルコフ モデルを使用してモデル化でき、将来のナビゲーションに関する予測を行ったり、個々のユーザー向けに Web ページをパーソナライズしたりするために使用できます。

マルコフ連鎖法は、マルコフ連鎖モンテカルロ(MCMC)と呼ばれるプロセスを介して、非常に複雑な所望の確率分布を正確に反映する乱数列を生成するためにも非常に重要になっています。近年、これによりベイズ推論法の実用性が革命的に向上し、広範囲の事後分布をシミュレートし、そのパラメータを数値的に見つけることができるようになりました。^[要出典]

マルコフ連鎖は金融や経済学で、所得の分配、企業規模の分布、資産価格、市場暴落など、さまざまな現象をモデル化するために使用されています。DG シャンパーノウンは、 1953 年に所得分配のマルコフ連鎖モデルを構築しました。 ^[86] ハーバート A. サイモンと共著者のチャールズ ボニーニは、マルコフ連鎖モデルを使用して、企業規模の定常ユール分布を導きました。^[87] ルイ バシュリエは、株価がランダム ウォークに従うことを初めて観察しました。^{[88]ランダム ウォークは後に}効率的市場仮説を支持する証拠と見なされ、ランダム ウォーク モデルは 1960 年代の文献で人気がありました。^{[89]ビジネス サイクルの体制切り替えモデルは、}ジェームズ D. ハミルトン(1989)によって普及しました。ハミルトンは、マルコフ連鎖を使用して、GDP 成長率の高低 (または、景気拡大と景気後退) の切り替えをモデル化しました。^[90]より最近の例としては、ローラン・E・カルベットとアドライ・J・フィッシャーによるマルコフスイッチングマルチフラクタルモデルがあり、これは以前のレジームスイッチングモデルの利便性を基に構築されています。 ^{[91] [92]}このモデルは、任意の大きさのマルコフ連鎖を使用して、資産収益のボラティリティのレベルを制御します。

動的マクロ経済学ではマルコフ連鎖を多用する。一例としては、マルコフ連鎖を用いて一般均衡設定における株式価格を外生的にモデル化することがあげられる。^[93]

信用格付け機関は、異なる信用格付けの債券の遷移確率の表を毎年作成している。^[94]

マルコフ連鎖は一般に、現在の構造構成が将来の結果を条件付ける経路依存の議論を説明する際に使用される。一例として、カール・マルクスの『資本論』に端を発する、経済発展と資本主義の台頭を結びつけるアイデアの再定式化が挙げられる。現在の研究では、国が特定の経済発展レベルに達すると、中産階級の規模、都市部と農村部の居住比率、政治動員率などの構造要因の構成によって、権威主義体制から民主主義体制への移行の確率が高くなることをモデル化するために、マルコフ連鎖を使用するのが一般的である。^[95]

マルコフ連鎖は、多くの運任せのゲームをモデル化するために使用できます。たとえば、子供向けのゲーム「ヘビと梯子」や「ハイホー! チェリーオー」は、マルコフ連鎖で正確に表現されます。各ターンで、プレーヤーは特定の状態 (特定のマス目) から開始し、そこから特定の他の状態 (マス目) に移動する確率が固定されています。

マルコフ連鎖はアルゴリズム音楽作曲に利用されており、特にCsound、Max、SuperColliderなどのソフトウェアで利用されています。一次連鎖では、システムの状態が音符またはピッチの値になり、各音符の確率ベクトルが構築され、遷移確率行列が完成します（下記参照）。遷移行列の重み付けに基づいて出力音符の値を生成するアルゴリズムが構築されており、重み付けはMIDI音符の値、周波数（Hz）、またはその他の望ましいメトリックにすることができます。^[96]

2 次マルコフ連鎖は、2 番目の表に示すように、現在の状態と以前の状態を考慮することによって導入できます。より高次のn次連鎖は、特定の音符を「グループ化」する傾向がありますが、時折、他のパターンやシーケンスに「分離」します。これらの高次連鎖は、 1 次システムによって生成される「目的のない放浪」ではなく、フレーズ構造の感覚を持つ結果を生成する傾向があります。^[97]

マルコフ連鎖は、クセナキスの「アナロジークAとB」のように構造的に使用することができます。^[98]マルコフ連鎖は、マルコフモデルを使用して音楽入力に対話的に反応するシステムでも使用されます。^[99]

通常、音楽システムは生成する有限長のシーケンスに特定の制御制約を適用する必要があるが、制御制約はマルコフモデルと互換性がない。なぜなら、制御制約は限られたメモリのマルコフ仮説に違反する長距離依存性を誘発するからである。この制限を克服するために、新しいアプローチが提案されている。^[100]

マルコフ連鎖モデルは 1960 年以来、高度な野球分析に使用されていますが、その使用はまだまれです。野球の試合の各ハーフイニングは、ランナーとアウトの数を考慮すると、マルコフ連鎖状態に適合します。どの打席でも、アウトの数とランナーの位置の組み合わせは 24 通りあります。マーク・パンキンは、マルコフ連鎖モデルを使用して、個々のプレーヤーとチームの両方で作成されたランを評価できることを示しています。^{[101]彼はまた、さまざまな種類の戦略とプレー条件についても説明しています。マルコフ連鎖モデルを使用して、}バントや盗塁 などのゲーム状況の統計を分析する方法や、芝生と人工芝でプレーする場合の違いについて説明しています。^[102]

マルコフ過程は、サンプル文書から表面上本物そっくりのテキストを生成するためにも使用できます。マルコフ過程は、さまざまな娯楽用の「パロディ生成器」ソフトウェアで使用されています（dissociated press、Jeff Harrison、^[103] Mark V. Shaney、^{[104] [105]}、Academias Neutroniumを参照）。マルコフ連鎖を使用したオープンソースのテキスト生成ライブラリがいくつか存在します。

マルコフ連鎖は、価格動向^[106]、風力発電^[107]、 確率的テロリズム^[108]、^[109]、太陽放射照度[ ^110]など、さまざまな分野で予測に使用されています。マルコフ連鎖予測モデルは、時系列の離散化^{[107]から、ウェーブレットと組み合わせた隠れマルコフモデル[106]}、マルコフ連鎖混合分布モデル（MCM）^[110]まで、さまざまな設定を利用します。