再生理論

更新理論は、任意の保持時間に対するポアソン過程を一般化する確率論の分野です。更新プロセスでは、指数分布の保持時間の代わりに、有限の平均を持つ任意の独立かつ同一分布(IID) の保持時間を持つことができます。更新報酬プロセスでは、さらに、各保持時間で発生する報酬のランダムなシーケンスがあり、これは IID ですが、保持時間と独立している必要はありません。

更新過程は、大数の強い法則や中心極限定理に類似した漸近的性質を持っています。更新関数（到着の期待値）と報酬関数（報酬の期待値）は、更新理論において非常に重要です。更新関数は、再帰積分方程式である更新方程式を満たします。重要な更新方程式は、適切な非負関数との畳み込みの極限値を与えます。更新過程の重ね合わせは、マルコフ更新過程の特殊なケースとして研究することができます。 ${\displaystyle m(t)}$${\displaystyle g(t)}$${\displaystyle m'(t)}$

用途としては、工場の摩耗した機械を交換するための最善の戦略を計算したり、さまざまな保険契約の長期的なメリットを比較したりすることなどが挙げられます。検査パラドックスは、時刻tで更新間隔を観察すると、平均値が平均更新間隔よりも大きい間隔が得られるという事実に関連しています。

更新過程はポアソン過程の一般化です。本質的には、ポアソン過程は、次の整数に進む前に各整数で独立した指数分布の保持時間を持つ、正の整数（通常はゼロから始まる）上の連続時間マルコフ過程です。更新過程では、保持時間は指数分布を持つ必要はありません。むしろ、保持時間が独立かつ同一に分布し（ IID ）、有限の平均を持つ限り、保持時間は正の数上で任意の分布を持つことができます。 ${\displaystyle i}$${\displaystyle i+1}$

を有限の期待値を持つ正の独立同一分布の確率変数の列とする${\displaystyle (S_{i})_{i\geq 1}}$

${\displaystyle 0<\operatorname {E} [S_{i}]<\infty .}$

このランダム変数を「 - 番目の保持時間」と呼びます。 ${\displaystyle S_{i}}$${\displaystyle i}$

各n > 0に対して定義します。

${\displaystyle J_{n}=\sum _{i=1}^{n}S_{i},}$

それぞれは「 - 番目のジャンプ時間」と呼ばれ、間隔は「更新間隔」と呼ばれます。 ${\displaystyle J_{n}}$${\displaystyle n}$${\displaystyle [J_{n},J_{n+1}]}$

はランダム変数で与えられる ${\displaystyle (X_{t})_{t\geq 0}}$

${\displaystyle X_{t}=\sum _{n=1}^{\infty }\operatorname {\mathbb {I} } _{\{J_{n}\leq t\}}=\sup \left\{\,n:J_{n}\leq t\,\right\}}$

指標関数はどこにありますか${\displaystyle \operatorname {\mathbb {I} } _{\{J_{n}\leq t\}}}$

${\displaystyle \operatorname {\mathbb {I} } _{\{J_{n}\leq t\}}={\begin{cases}1,&{\text{if }}J_{n}\leq t\\0,&{\text{otherwise}}\end{cases}}}$

${\displaystyle (X_{t})_{t\geq 0}}$時刻tまでに発生したジャンプの数を表し、更新プロセスと呼ばれます。

ランダムな時間に発生するイベントを考慮する場合、保留時間を 2 つの連続するイベント間のランダムな経過時間として考えることができます。たとえば、更新プロセスがさまざまなマシンの故障数をモデル化している場合、保留時間は 1 台のマシンが故障してから別のマシンが故障するまでの時間を表します。 ${\displaystyle \{S_{i}:i\geq 1\}}$

ポアソン過程はマルコフ性を持つ唯一の更新過程であり^[1]、指数分布は記憶がないという性質を持つ唯一の連続確率変数である。

を満たすIIDランダム変数（報酬） のシーケンスがあるとします。${\displaystyle W_{1},W_{2},\ldots }$

${\displaystyle \operatorname {E} |W_{i}|<\infty .\,}$

そしてランダム変数

${\displaystyle Y_{t}=\sum _{i=1}^{X_{t}}W_{i}}$

は更新報酬プロセスと呼ばれます。 とは異なり、それぞれは正の値だけでなく負の値も取る可能性があることに注意してください。 ${\displaystyle S_{i}}$${\displaystyle W_{i}}$

ランダム変数は、保有時間と報酬の 2 つのシーケンスに依存します。これらの 2 つのシーケンスは独立している必要はありません。特に、は の関数である可能性があります。 ${\displaystyle Y_{t}}$${\displaystyle S_{1},S_{2},\ldots }$${\displaystyle W_{1},W_{2},\ldots }$${\displaystyle W_{i}}$${\displaystyle S_{i}}$

保持時間を機械の連続した故障間の時間として解釈する上記の文脈では、「報酬」（この場合はたまたまマイナスになります）は、連続した故障の結果として発生した連続した修理コストとして見ることができます。 ${\displaystyle W_{1},W_{2},\ldots }$

別の例えとして、間隔 (保持時間) が として分布する卵を産む魔法のガチョウがいるとします。ランダムな重さの金の卵を産むこともあれば、責任ある (そして費用のかかる) 処分を必要とする有毒な卵 (これもランダムな重さ) を産むこともあります。「報酬」は、連続する卵 ( i = 1、2、3、...)から生じる連続する (ランダムな) 金銭的損失/利益であり、時間tにおける合計金銭的「報酬」を記録します。 ${\displaystyle S_{i}}$${\displaystyle W_{i}}$${\displaystyle Y_{t}}$

更新関数を、ある時点までに観測されたジャンプ数の期待値として定義します。 ${\displaystyle t}$

${\displaystyle m(t)=\operatorname {E} [X_{t}].\,}$

更新関数は以下を満たす

${\displaystyle \lim _{t\to \infty }{\frac {1}{t}}m(t)={\frac {1}{\operatorname {E} [S_{1}]}}.}$

報酬関数を定義します:

${\displaystyle g(t)=\operatorname {E} [Y_{t}].\,}$

報酬関数は

${\displaystyle \lim _{t\to \infty}{\frac {1}{t}}g(t)={\frac {\operatorname {E} [W_{1}]}{\operatorname {E} [S_{1}]}}.}$

更新関数は以下を満たす

${\displaystyle m(t)=F_{S}(t)+\int _{0}^{t}m(ts)f_{S}(s)\,ds}$

ここで はの累積分布関数であり、 は対応する確率密度関数です。 ${\displaystyle F_{S}}$${\displaystyle S_{1}}$${\displaystyle f_{S}}$

X を更新関数と相互更新平均 を持つ更新プロセスとします。が次を満たす関数とします。 ${\displaystyle m(t)}$${\displaystyle \mu }$${\displaystyle g:[0,\infty )\rightarrow [0,\infty )}$

• ${\displaystyle \int _{0}^{\infty }g(t)\,dt<\infty }$
• gは単調で非増加である

鍵更新定理は次のように述べている：^[3]${\displaystyle t\rightarrow \infty }$

${\displaystyle \int _{0}^{t}g(t-x)m'(x)\,dx\rightarrow {\frac {1}{\mu }}\int _{0}^{\infty }g(x)\,dx}$

任意の について考えると、特別なケースとして更新定理が与えられる: ^[4]${\displaystyle g(x)=\mathbb {I} _{[0,h]}(x)}$${\displaystyle h>0}$

${\displaystyle m(t+h)-m(t)\rightarrow {\frac {h}{\mu }}}$として${\displaystyle t\rightarrow \infty }$

この結果は積分方程式や結合論法を使って証明できる。^[5]これは鍵更新定理の特殊なケースだが、ステップ関数とステップ関数の増加列を考慮することで完全な定理を導くことができる。^[3]

更新プロセスと更新報酬プロセスは、同じ定理から導かれる大数の強い法則に類似した特性を持っています。が更新プロセスで が更新報酬プロセスである場合、次のようになります。 ${\displaystyle (X_{t})_{t\geq 0}}$${\displaystyle (Y_{t})_{t\geq 0}}$

${\displaystyle \lim _{t\to \infty }{\frac {1}{t}}X_{t}={\frac {1}{\operatorname {E} [S_{1}]}}}$^[6]

${\displaystyle \lim _{t\to \infty }{\frac {1}{t}}Y_{t}={\frac {1}{\operatorname {E} [S_{1}]}}\operatorname {E} [W_{1}]}$

ほぼ確実です。

再生プロセスはさらに中心極限定理に類似した性質を持つ：^[6]

${\displaystyle {\frac {X_{t}-t/\mu }{\sqrt {t\sigma ^{2}/\mu ^{3}}}}\to {\mathcal {N}}(0,1)}$

更新プロセスの興味深い特徴は、あらかじめ決められた時間tを待ってから、 tを含む更新間隔がどのくらいの大きさになるかを観察すると、通常は平均サイズの更新間隔よりも大きくなることが予想されることです。

数学的には、検査パラドックスは次のように述べられています。任意の t > 0 に対して、t を含む更新間隔は最初の更新間隔よりも確率的に大きくなります。つまり、すべてのx > 0 およびすべてのt > 0 に対して、次のようになります。

${\displaystyle \operatorname {P} (S_{X_{t}+1}>x)\geq \operatorname {P} (S_{1}>x)=1-F_{S}(x)}$

ここで、F _{S は}IID 待機時間S _iの累積分布関数です。わかりやすい例として、バス待ち時間のパラドックスがあります。バス到着のランダム分布が与えられた場合、バス停の平均的な乗客は、平均的なバス運転手よりも多くの遅延に遭遇します。

このパラドックスを解決するには、時刻tにおけるサンプリングされた分布がサイズ バイアス (サンプリング バイアスを参照) を持ち、間隔が選択される可能性がそのサイズに比例する点に注意してください。ただし、平均サイズの更新間隔はサイズ バイアスを持ちません。

更新過程がポアソン過程ではない場合、2つの独立した更新過程の重ね合わせ（和）は更新過程ではない。^{[7]しかし、そのような過程は、}マルコフ更新過程と呼ばれるより大きなクラスの過程の中で記述することができる。^[8]しかし、重ね合わせ過程における最初のイベント間時間の累積分布関数は、 ^{[9]で与えられる。}

${\displaystyle R(t)=1-\sum _{k=1}^{K}{\frac {\alpha _{k}}{\sum _{l=1}^{K}\alpha _{l}}}(1-R_{k}(t))\prod _{j=1,j\neq k}^{K}\alpha _{j}\int _{t}^{\infty }(1-R_{j}(u))\,{\text{d}}u}$

ここで_Rk ( t )とαk >0_は イベント間時間とプロセスkの到着率のCDFである。^[10]

起業家のエリックはn 台のマシンを所有しており、それぞれの稼働寿命は 0 年から 2 年の間に均一に分布しています。エリックは、交換費用 2,600 ユーロで各マシンを故障するまで稼働させることができます。あるいは、マシンがまだ機能しているうちに、いつでも 200 ユーロの費用でマシンを交換することができます。

彼の最適な代替政策は何でしょうか?

• コックス、デイビッド（1970年）。『再生理論』ロンドン：メシューエン社、p.142。ISBN 0-412-20570-X。
• Doob, JL (1948). 「確率論の観点から見た更新理論」(PDF) .アメリカ数学会誌. 63 (3): 422–438. doi : 10.2307/1990567 . JSTOR  1990567.
• フェラー、ウィリアム(1971)。確率論とその応用入門。第 2 巻 (第 2 版)。Wiley。
• Grimmett, GR ; Stirzaker, DR (1992)。確率とランダムプロセス（第2版）。オックスフォード大学出版局。ISBN 0198572220。
• スミス、ウォルター L. (1958 ) 。「再生理論とその影響」。王立統計学会誌、シリーズ B。20 ( 2): 243–302。JSTOR  2983891。
• Wanli Wang、Johannes HP Schulz、Weihua Deng、Eli Barkai (2018)。「太い裾を持つ分布滞在時間の更新理論：典型的対稀」。Phys . Rev. E . 98 (4): 042139. arXiv : 1809.05856 . Bibcode :2018PhRvE..98d2139W. doi :10.1103/PhysRevE.98.042139. S2CID  54727926。{{cite journal}}: CS1 maint: multiple names: authors list (link)