確率行列

数学において、確率行列はマルコフ連鎖の遷移を記述するために使用される正方行列である。その各要素は、確率を表す非負の実数である。^{[1] [2] : 10}確率行列、遷移行列、置換行列、またはマルコフ行列とも呼ばれる。確率行列は、20世紀初頭にアンドレイ・マルコフによって最初に開発され、確率論、統計学、数理ファイナンス、線型代数、さらにはコンピュータサイエンスや集団遺伝学など、さまざまな科学分野で使用されている。確率行列には、いくつかの異なる定義とタイプがある。

• 右確率行列は、各行の合計が 1 になる非負の実数の正方行列です (そのため、行確率行列とも呼ばれます)。
• 左確率行列は、各列の合計が 1 になる非負の実数の正方行列です (そのため、列確率行列とも呼ばれます)。
• 二重確率行列は、各行と各列の合計が 1 になる非負の実数の正方行列です。
• 部分確率行列は、行の合計がすべて${\displaystyle \leq 1.}$

同様に、確率ベクトルは、要素が負でない実数で合計が 1 になるベクトルとして定義できます。したがって、右確率行列の各行 (または左確率行列の列) は確率ベクトルです。右確率行列は、確率の行ベクトルに対して右からの乗算によって作用し (そのため、この名前が付けられています)、 i行目とj列目の行列要素は、状態iから状態jへの遷移の確率です。左確率行列は、確率の列ベクトルに対して左からの乗算によって作用し (そのため、この名前が付けられています)、 i行目とj列目の行列要素は、状態jから状態iへの遷移の確率です。

この記事では、右/行の確率行列規則を使用します。

確率行列は、ロシアの数学者でサンクトペテルブルク大学の教授であったアンドレイ・マルコフによってマルコフ連鎖と並行して開発され、 1906年に初めてこのテーマに関する論文を発表しました。^[3]当初の意図は言語分析やカードシャッフルなどの数学的な主題でしたが、マルコフ連鎖と行列はどちらも他の分野で急速に使用されるようになりました。^{[3] [4]}

確率行列は、アンドレイ・コルモゴロフなどの学者によってさらに発展し、連続時間マルコフ過程を考慮することでその可能性を広げました。^[5] 1950年代までには、確率行列を使用した論文が計量経済学^[6]や回路理論^[7]の分野で発表されました。1960年代には、行動科学^[8]から地質学^{[9] [10] 、}住宅計画^[11 ]まで、さらに幅広い科学論文で確率行列が登場しました。さらに、この数十年間で、確率行列やマルコフ過程の用途や機能性をより一般的に向上させるための数学的な研究も数多く行われました。

1970年代から現在に至るまで、確率行列は構造科学^[12]から医療診断^{[13]、人事管理[14]}まで、^正式な分析を必要とするほぼすべての分野で利用されてきました。さらに、確率行列は土地変化のモデリングでも広く利用されており、通常はマルコフ行列という用語で呼ばれています。^[15]

確率行列は、濃度αの有限状態空間S上のマルコフ連鎖 X _{t を}記述します。

1つの時間ステップでiからjに移動する確率がPr( j | i ) = P _{i , j}である場合、確率行列PはP _{i , j}をi行目のj列目の要素として与えます。例:

${\displaystyle P=\left[{\begin{matrix}P_{1,1}&P_{1,2}&\dots &P_{1,j}&\dots &P_{1,\alpha }\\P_{2,1}&P_{2,2}&\dots &P_{2,j}&\dots &P_{2,\alpha }\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{i,1}&P_{i,2}&\dots &P_{i,j}&\dots &P_{i,\alpha }\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\P_{\alpha ,1}&P_{\alpha ,2}&\dots &P_{\alpha ,j}&\dots &P_{\alpha ,\alpha }\\\end{matrix}}\right].}$

状態iから他のすべての状態への遷移確率の合計は1でなければならないので、

${\displaystyle \sum _{j=1}^{\alpha }P_{i,j}=1;\,}$

したがって、この行列は右確率行列です。

Pの各行iにわたる上記の要素ごとの合計は、より簡潔にP 1 = 1と記述できます。ここで、 1は​​すべて 1 のα次元列ベクトルです。これを使用すると、2 つの右確率行列P ′とP "の積も右確率的であることがわかります。P ′ P " 1 = P ′ ( P " 1 ) = P ′ 1 = 1。一般に、右確率行列Pのk乗P ^kも右確率的です。2段階でiからjに遷移する確率は、Pの平方の( i , j )番目の要素によって与えられます。

${\displaystyle \left(P^{2}\right)_{i,j}.}$

一般に、行列Pによって与えられる有限マルコフ連鎖内の任意の状態からkステップで別の状態に移行する確率遷移は、 P ^kによって与えられます。

システムが最初にどこにあり、どのような確率であるかを指定する状態の初期確率分布は、行ベクトルとして与えられます。

定常 確率ベクトル πは、遷移行列の適用下で変化しない行ベクトルとして記述される分布として定義されます。つまり、{1, …, n }集合上の確率分布として定義され、これは確率行列の行固有ベクトルでもあり、固有値1に関連付けられています。

${\displaystyle {\boldsymbol {\pi }}P={\boldsymbol {\pi }}.}$

任意の確率行列のスペクトル半径は1 であることが示されます。Gershgorin円定理により、確率行列のすべての固有値の絶対値は 1 以下になります。さらに、すべての右確率行列には、固有値 1 に関連付けられた「明らかな」列固有ベクトルがあります。これは、上で使用したベクトル1で、その座標はすべて 1 に等しくなります。正方行列の左と右の固有値は同じであるため、すべての確率行列には、少なくとも 1 つの行固有ベクトルが固有値1に関連付けられ、すべての固有値の最大絶対値も 1 になります。最後に、Brouwer 不動点定理(有限集合{1, …, n }のすべての確率分布のコンパクトな凸集合に適用) は、定常確率ベクトルでもある左固有ベクトルが存在することを意味します。

一方、ペロン・フロベニウスの定理は、すべての既約確率行列がそのような定常ベクトルを持ち、固有値の最大絶対値が常に 1 になることも保証します。ただし、このような行列は既約である必要がないため、この定理をそのような行列に直接適用することはできません。

一般に、このようなベクトルは複数存在する可能性がある。しかし、正の要素を持つ行列（または、より一般的には、既約な非周期的確率行列）の場合、このベクトルは一意であり、任意のiに対して次の極限があることを観察することで計算できる。

${\displaystyle \lim _{k\rightarrow \infty }\left(P^{k}\right)_{i,j}={\boldsymbol {\pi }}_{j},}$

ここで、π _{j は行}ベクトルπのj番目の要素です。とりわけ、これは、状態jにある長期確率が初期状態iに依存しないことを示しています。これらの計算の両方が同じ定常ベクトルを与えることは、エルゴード定理の一種であり、さまざまな散逸力学系で一般的に当てはまります。つまり、システムは時間の経過とともに定常状態へと進化します。

直感的には、確率行列はマルコフ連鎖を表し、確率行列を確率分布に適用すると、元の分布の確率質量が再分配され、その総質量は維持される。このプロセスを繰り返し適用すると、分布はマルコフ連鎖の定常分布に収束する。^{[2] : 14–17  [16] : 116}

確率行列とその積はカテゴリを形成します。これは、行列のカテゴリのサブカテゴリであり、マルコフ核のカテゴリのサブカテゴリでもあります。

タイマーがあり、5 つの隣接する箱が並んでいるとします。時間 0 では、猫が最初の箱にいて、ネズミが 5 番目の箱にいます。タイマーが進むと、猫とネズミは両方ともランダムに隣接する箱にジャンプします。たとえば、猫が 2 番目の箱にいて、ネズミが 4 番目の箱にいる場合、タイマーが進んだ後に猫が最初の箱にいてネズミが 5 番目の箱にいる確率は 4 分の 1 です。猫が最初の箱にいて、ネズミが 5 番目の箱にいる場合、タイマーが進んだ後に猫が 2 番目の箱にいてネズミが 4 番目の箱にいる確率は 1 です。両方が同じ箱に入った場合は猫がネズミを食べ、その時点でゲームは終了します。ランダム変数 Kをネズミがゲームにいる時間とします。

このゲームを表すマルコフ連鎖には、位置 (猫、ネズミ) の組み合わせによって指定される次の 5 つの状態が含まれます。単純な状態の列挙では 25 の状態がリストされますが、ネズミのインデックスが猫より低くなることはあり得ないため (つまり、ネズミが猫の箱を占領し、生き残ってそれを通り過ぎたため)、または 2 つのインデックスの合計が常に偶数パリティになるため、多くの状態は不可能であることに注意してください。さらに、ネズミの死につながる可能性のある 3 つの状態が 1 つにまとめられています。

• 状態1: (1,3)
• 状態2: (1,5)
• 状態3: (2,4)
• 状態4: (3,5)
• 状態5: ゲームオーバー: (2,2)、(3,3)、(4,4)。

このシステムの遷移確率を表すために、確率行列(下記)を使用します(この行列の行と列は、上記にリストした可能な状態によってインデックス付けされ、遷移前の状態が行、遷移後の状態が列になります)。たとえば、状態 1 (1 行目) から始めて、システムがこの状態に留まることは不可能であるため です。また、システムは状態 2 に遷移することもできません (猫は同じ箱の中に留まっていたため)。したがって であり、マウスについても同様の議論により です。状態 3 または 5 への遷移は許可されているため です。 ${\displaystyle P}$${\displaystyle P_{11}=0}$${\displaystyle P_{12}=0}$${\displaystyle P_{14}=0}$${\displaystyle P_{13},P_{15}\neq 0}$

${\displaystyle P={\begin{bmatrix}0&0&1/2&0&1/2\\0&0&1&0&0\\1/4&1/4&0&1/4&1/4\\0&0&1/2&0&1/2\\0&0&0&0&1\end{bmatrix}}.}$

初期状態が何であれ、猫は最終的にネズミを捕まえ（確率 1）、定常状態π = (0,0,0,0,1) に極限まで近づきます。確率変数の長期平均または期待値を計算するには、各状態と時間に対しての寄与があります。生存は、生存状態の場合は 、終了状態の場合は の 2 値変数として扱うことができます。状態は長期平均には寄与しません。 ${\displaystyle Y}$${\displaystyle S_{j}}$${\displaystyle t_{k}}$${\displaystyle Y_{j,k}\cdot P(S=S_{j},t=t_{k})}$${\displaystyle Y=1}$${\displaystyle Y=0}$${\displaystyle Y=0}$

状態 5 は吸収状態であるため、吸収までの時間の分布は離散位相型分布です。システムがベクトル で表される状態 2 から開始するとします。マウスが死亡した状態は生存平均に寄与しないため、状態 5 は無視できます。初期状態と遷移行列は次のように簡略化できます。 ${\displaystyle [0,1,0,0,0]}$

${\displaystyle {\boldsymbol {\tau }}=[0,1,0,0],\qquad T={\begin{bmatrix}0&0&{\frac {1}{2}}&0\\0&0&1&0\\{\frac {1}{4}}&{\frac {1}{4}}&0&{\frac {1}{4}}\\0&0&{\frac {1}{2}}&0\end{bmatrix}},}$

そして

${\displaystyle (I-T)^{-1}{\boldsymbol {1}}={\begin{bmatrix}2.75\\4.5\\3.5\\2.75\end{bmatrix}},}$

ここで、は単位行列であり、状態の合計として機能するすべての 1 の列行列を表します。 ${\displaystyle I}$${\displaystyle \mathbf {1} }$

各状態は1つの時間ステップで占有されるため、マウスの生存の期待時間は、すべての生存状態と時間ステップでの占有確率の 合計に過ぎません。

${\displaystyle E[K]={\boldsymbol {\tau }}\left(I+T+T^{2}+\cdots \right){\boldsymbol {1}}={\boldsymbol {\tau }}(I-T)^{-1}{\boldsymbol {1}}=4.5.}$

高次のモーメントは次のように表される。

${\displaystyle E[K(K-1)\dots (K-n+1)]=n!{\boldsymbol {\tau }}(I-{T})^{-n}{T}^{n-1}\mathbf {1} \,.}$

• 密度行列
• マルコフカーネル、連続状態空間上の確率行列に相当する
• 行列差分方程式
• DNA進化のモデル
• ミュアヘッドの不等式
• 確率オートマトン
• 遷移率行列は、確率行列を連続時間に一般化するために使用される。