継承のルール

確率論において、継承の法則は、18世紀にピエール・シモン・ラプラスが日の出問題を扱う過程で導入した公式である。^[1]この公式は現在でも使用されており、特に（有限の）サンプルデータでまったく発生が観察されていない観測やイベントがほとんどない場合に、基礎となる確率を推定するのに使用されている。

成功または失敗につながることが分かっている実験を独立してn回繰り返し、s 回の成功とn − s 回の失敗があった場合、次の繰り返しが成功する確率はどれくらいでしょうか。

より抽象的に言うと、X ₁、...、X _{n +1}がそれ​​ぞれ0または1の値をとる 条件付き独立な ランダム変数である場合、それらについてそれ以上何も知らなければ、

${\displaystyle P(X_{n+1}=1\mid X_{1}+\cdots +X_{n}=s)={s+1 \over n+2}.}$

成功と失敗の両方が起こり得る実験を検討しているという事前知識があるため、私たちの推定は、実験を開始する前から 1 つの成功と 1 つの失敗を確実に観察していたのと同じです。ある意味では、n + 2 回の観測 (疑似カウント と呼ばれる)をs  + 1 回の成功で行いました。これは最も単純で合理的な仮定のように見えますが、実際には真実でもありますが、それでも証明が必要です。確かに、可能性ごとに 1 つの疑似カウントを想定することは、2 値結果を一般化する 1 つの方法ですが、予期しない結果をもたらします。以下の「任意の数の可能性への一般化」を参照してください。

しかし、成功と失敗の両方が起こり得ることを最初から知らなかったら、私たち は

${\displaystyle P'(X_{n+1}=1\mid X_{1}+\cdots +X_{n}=s)={s \over n}.}$

しかし、その妥当性の分析については、以下の数学的詳細を参照してください。特に、、またはの場合には妥当ではありません。 ${\displaystyle s=0}$${\displaystyle s=n}$

観測数が増え、ますます類似性が増す と、直感的に明らかなように、データが増えるほど、事前情報の重要性は低くなります。${\displaystyle P}$${\displaystyle P'}$

ラプラスは、過去 5000 年間毎日太陽が昇ってきたことを前提に、継承の法則を使って明日太陽が昇る確率を計算しました。約 5000 × 365.25 という非常に大きな係数が得られ、明日太陽が昇る確率は 1,826,200 分の 1 になります。

しかし、以下の数学的詳細が示すように、継承の法則を使用するための基本的な前提は、太陽が明日昇るかどうかという質問については、どちらになるかということ以外、事前の知識がないということです。これは日の出には当てはまりません。

ラプラスはこのことをよく知っていて、日の出の例の結論にこう書いている。「しかし、この数字は、現象の全体において日と季節を規定する原理を見て、現時点ではその流れを止めるものは何もないと理解する人にとっては、はるかに大きい。」^[2]しかし、ラプラスはこの計算のために嘲笑された。彼の反対者^{[誰? ]}はその文にまったく注意を払わなかったか、その重要性を理解しなかった。^[2]

1940年代、ルドルフ・カルナップは確率に基づく帰納的推論の理論を研究し、確証の度合いを測る尺度を開発し、それをラプラスの継承則に代わるものと考えた。^{[3] [4]また、}帰納法の新しい謎#カルナップも参照。

連続則は、実験における「成功」/「失敗」の数を数えるのではなく、円上にランダムに分布する点を考慮することによって直感的に解釈できます。^[5]円上の割合pの動作を模倣するために、円を2色で塗り、「成功」色で塗られた円の割合がpに等しくなります。 pの値に関する不確実性を表現するには、円の一部を選択する必要があります。

割合は、円上の 2 つの均一ランダムな点を選択することで選択されます。最初の点Z は[0, 1] 区間のゼロに対応し、2 番目の点Pは [0, 1] 内のpに対応します。円に関して言えば、時計回りに移動するZからPまでの円の割合はpに等しくなります。n回の試行は、円上に均一に分布するn個の点として解釈できます。つまり、「成功」割合のどの点も成功であり、それ以外の場合は失敗です。これにより、成功確率pの成功/失敗実験から円上の均一ランダムな点への正確なマッピングが提供されます。図では、成功割合は円の残りの部分と区別するために青で表示され、点PとZ は赤で強調表示されています。

この円を考えると、 pの推定値は青色に着色された割合です。円をn+ 2個の点に対応する n+2 個の弧に分割し、円上のある点から次の点 (時計回りに移動) までの部分が最初の点に関連付けられた 1 つの弧になるようにします。したがって、Z は最初の青い弧を定義し、P は最初の青以外の/失敗の弧を定義します。次の点は均一にランダムな点であるため、青い弧のいずれかにあれば試行は成功し、他の弧のいずれかにあれば失敗します。したがって、成功の確率p は次のようになります。ここで、bは青い弧の数、t は弧の総数です。青い弧 ( Zの弧) は成功点より 1 つ多く、弧 ( PとZの弧) はn点より2 つ多いことに注意してください。値を成功の数に置き換えると、成功のルールが得られます。 ${\displaystyle {\frac {b}{t}}}$

注: 実際の確率は、青い弧の長さをすべての弧の長さで割った値を使用する必要があります。ただし、k 個の点が円上に均一にランダムに分布している場合、ある点から次の点までの距離は 1/k です。したがって、平均すると各弧の長さは同じになり、長さの比率はカウントの比率になります。

比率pには、その真の値に関する不確実性を表すために一様分布が割り当てられます。(この比率はランダムではなく、不確実です。pに確率分布を割り当てるのは、不確実性を表現するためであり、  pにランダム性を与えるためではありません。しかし、これは数学的には、 p をランダムであるかのように扱うことと同じことになります)。

i番目の試行で「成功」が観測された場合はX _{i を}1 とし、それ以外の場合は 0 とし、各試行で成功する確率はpとします。したがって、各X は0 または 1 であり、各X はベルヌーイ分布に従います。これらのXはp が与えられた場合、条件付きで独立していると仮定します。

ベイズの定理を使って、データX _i、i = 1、...、nが与えられた場合のpの条件付き確率分布を求めることができます。pの「事前」（つまり、周辺）確率尺度には、開区間（0、1）上の一様分布を割り当てました。

${\displaystyle f(p)={\begin{cases}0&{\text{for }}p\leq 0\\1&{\text{for }}0<p<1\\0&{\text{for }}p\geq 1\end{cases}}}$

観測下での与えられたpの尤度については、尤度関数を使用する。

${\displaystyle L(p)=P(X_{1}=x_{1},\ldots ,X_{n}=x_{n}\mid p)=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}=p^{s}(1-p)^{n-s}}$

ここで、s  =  x ₁  + ... +  x _nは「成功」の数、nは試行回数です (大文字のX はランダム変数を表し、小文字のx は実際に観測されたデータを表します)。これらをすべてまとめると、事後分布を計算できます。

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={L(p)f(p) \over \int _{0}^{1}L(r)f(r)\,dr}={p^{s}(1-p)^{n-s} \over \int _{0}^{1}r^{s}(1-r)^{n-s}\,dr}}$

正規化定数を得るには、

${\displaystyle \int _{0}^{1}r^{s}(1-r)^{n-s}\,dr={s!(n-s)! \over (n+1)!}}$

(この形式の積分の詳細については ベータ関数を参照してください)。

したがって、事後確率密度関数は

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={(n+1)! \over s!(n-s)!}p^{s}(1-p)^{n-s}.}$

これは期待値を持つベータ分布である

${\displaystyle \operatorname {E} (p\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)=\int _{0}^{1}pf(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})\,dp={s+1 \over n+2}.}$

p はあらゆる実験の成功確率を示し、各実験は条件付きで独立しているため、次の実験の成功の条件付き確率はpです。p はランダム変数として扱われるため、全確率の法則により、次の実験の成功の期待確率はpの期待値になります。p はi = 1, ..., nの観測データX _iに条件付きであるため、次の式が得られます 。

${\displaystyle P(X_{n+1}=1\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)=\operatorname {E} (p\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)={s+1 \over n+2}.}$

同じ計算は、実験が成功するか失敗するかという問題に関する無知を含め、pについての完全な無知を表す（不適切な）事前分布でも実行できます。この不適切な事前分布は、0 ≤ p ≤ 1 の場合は 1/( p (1 −  p ))   、それ以外の場合は 0 です。^[6]上記の計算をこの事前分布で繰り返すと、次のようになります 。

${\displaystyle P'(X_{n+1}=1\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)={s \over n}.}$

このように、事前分布が完全な無知を指定している場合、成功の確率は観測された成功頻度によって決まります。ただし、この結果をもたらした事後分布は Beta( s , n  −  s ) 分布であり、 s  =  nまたはs = 0の場合には適切ではありません(つまり、 s  = 0 またはs  =  n の場合には正規化定数は無限大です)。つまり、この形式の事後分布を使用して、 s  = 0 またはs  =  nの場合には次の観測が成功する確率を計算することはできません。これにより、継承のルールに含まれる情報がより明確になります。つまり、サンプリングが無期限に続けられた場合、最終的にはサンプル内で少なくとも 1 つの成功と少なくとも 1 つの失敗が観測されるという事前仮定を表現していると考えることができます。完全な無知を表現する事前分布は、この知識を前提としていません。

s  = 0 またはs  =  nの場合の「完全な無知」のケースを評価するには、まず で表される超幾何分布に戻ります。これは Jaynes (2003) で採用されたアプローチです。二項分布は、 の比率が固定されたままになるように、極限形式として導出できます。 は、サイズ の全人口における成功の数と考えることができます。 ${\displaystyle \mathrm {Hyp} (s|N,n,S)}$${\displaystyle \mathrm {Bin} (r|n,p)}$${\displaystyle N,S\rightarrow \infty }$${\displaystyle p={S \over N}}$${\displaystyle S}$${\displaystyle N}$

の事前分布と同等のものは であり、その定義域は です。 を条件付きで操作するということは、を推定することが を推定し、この推定値を で割ることと同等であることを意味します。 の事後分布は次のように表すことができます。 ${\displaystyle {1 \over p(1-p)}}$${\displaystyle {1 \over S(N-S)}}$${\displaystyle 1\leq S\leq N-1}$${\displaystyle N}$${\displaystyle p}$${\displaystyle S}$${\displaystyle N}$${\displaystyle S}$

${\displaystyle P(S|N,n,s)\propto {1 \over S(N-S)}{S \choose s}{N-S \choose n-s}\propto {S!(N-S)! \over S(N-S)(S-s)!(N-S-[n-s])!}}$

また、 s  =  nまたはs  = 0 の場合、分子の階乗の 1 つが分母の階乗の 1 つと完全に打ち消されることがわかります。s = 0の 場合、次のようになります。

${\displaystyle P(S|N,n,s=0)\propto {(N-S-1)! \over S(N-S-n)!}={\prod _{j=1}^{n-1}(N-S-j) \over S}}$

正規化定数を加えると、これは常に有限です（事後分布の範囲に特異点がなく、項の数が有限であるため）。

${\displaystyle P(S|N,n,s=0)={\prod _{j=1}^{n-1}(N-S-j) \over S\sum _{R=1}^{N-n}{\prod _{j=1}^{n-1}(N-R-j) \over R}}}$

したがって、事後期待値は次のようになります。 ${\displaystyle p={S \over N}}$

${\displaystyle E\left({S \over N}|n,s=0,N\right)={1 \over N}\sum _{S=1}^{N-n}SP(S|N,n=1,s=0)={1 \over N}{\sum _{S=1}^{N-n}\prod _{j=1}^{n-1}(N-S-j) \over \sum _{R=1}^{N-n}{\prod _{j=1}^{n-1}(N-R-j) \over R}}}$

大きなNに対する近似解析式は、まず積項を近似することによって与えられます。

${\displaystyle \prod _{j=1}^{n-1}(N-R-j)\approx (N-R)^{n-1}}$

そして分子の合計を積分に置き換えると

${\displaystyle \sum _{S=1}^{N-n}\prod _{j=1}^{n-1}(N-S-j)\approx \int _{1}^{N-n}(N-S)^{n-1}\,dS={(N-1)^{n}-n^{n} \over n}\approx {N^{n} \over n}}$

分母についても同じ手順が踏まれますが、積分を評価するのが難しいため、プロセスは少し複雑になります。

${\displaystyle {\begin{aligned}\sum _{R=1}^{N-n}{\prod _{j=1}^{n-1}(N-R-j) \over R}&\approx \int _{1}^{N-n}{(N-R)^{n-1} \over R}\,dR\\&=N\int _{1}^{N-n}{(N-R)^{n-2} \over R}\,dR-\int _{1}^{N-n}(N-R)^{n-2}\,dR\\&=N^{n-1}\left[\int _{1}^{N-n}{dR \over R}-{1 \over n-1}+O\left({1 \over N}\right)\right]\approx N^{n-1}\ln(N)\end{aligned}}}$

ここでlnは自然対数であり、これらの近似値を期待値に代入すると次のようになる。

${\displaystyle E\left({S \over N}|n,s=0,N\right)\approx {1 \over N}{{N^{n} \over n} \over N^{n-1}\ln(N)}={1 \over n[\ln(N)]}={\log _{10}(e) \over n[\log _{10}(N)]}={0.434294 \over n[\log _{10}(N)]}}$

計算を簡単にするために、最終的な答えでは10 を底とする対数が使用されています。たとえば、母集団のサイズが10 ^kの場合、次のサンプルの成功確率は次の式で与えられます。

${\displaystyle E\left({S \over N}\mid n,s=0,N=10^{k}\right)\approx {0.434294 \over nk}}$

たとえば、母集団が数百億のオーダーでk = 10 の場合、 n  = 10 の成功なしの結果を 観測すると、母集団における期待される割合は約 0.43% になります。母集団が小さく、 n  = 10、k = 5 (数万) の場合、期待される割合は約 0.86% に上昇します。同様に、観測数が小さく、 n  = 5、k = 10 の場合 、割合は再び約 0.86% に上昇します。

この確率には正の下限はなく、Nまたはk を大きくしていくと、任意に小さくすることができます。つまり、確率は、サンプリングする母集団のサイズによって異なります。無限のNの限界(より単純な分析特性の場合) まで進むと、非常に重要な情報の一部が「捨て去られる」ことになります。この無知関係は、成功がまったく観測されない場合にのみ成立することに注意してください。成功が 1 つ観測されるとすぐに、観測頻度規則に修正されます。ラベルを切り替え、確率を 1 から減算すると、 s=nの場合の対応する結果が得られます。${\displaystyle p={s \over n}}$

このセクションでは、 『確率論：科学の論理』で紹介されているものと同様のヒューリスティックな導出を示しています。^[7]

継承のルールにはさまざまな直感的な解釈があり、どの直感を使用するかによって、一般化は異なる場合があります。したがって、ここから先は非常に慎重に進め、直感的に意味のある一般化を導入するのではなく、第一原理から結果を再度導き出す必要があります。完全な導出は Jaynes の本にありますが、解決策がわかれば、より理解しやすい代替の導出が認められています。強調すべきもう 1 つの点は、継承のルールによって説明される事前の知識の状態が、各カテゴリを観察できるという追加情報とともに、可能性の列挙として与えられることです。これは、データを収集する前に各カテゴリを 1 回観察することと同等に述べることができます。これが使用される知識であることを示すために、確率の割り当ての条件の一部としてI _mが配置されます。

継承のルールは、二項尤度と一様事前分布を設定することから生まれます。したがって、単純な一般化は、これら 2 つの分布の多変量拡張です。1) 初期の m カテゴリに対して一様事前分布を設定し、2)多項分布を尤度関数として使用します (これは二項分布の多変量一般化です)。一様分布は、すべてのパラメータが 1 に等しいディリクレ分布の特殊なケースであることがわかります(バイナリの場合の一様分布が Beta(1,1) であるのと同じように)。ディリクレ分布は多項分布の共役事前分布であり、事後分布もパラメータが異なるディリクレ分布であることを意味します。カテゴリi が観測される確率をp _iで表し、カテゴリi ( i  = 1, ...,  m ) が実際に観測された回数をn _iで表します。すると、確率p ₁、 ...,  p _mの結合事後分布は次のように表されます。

${\displaystyle f(p_{1},\ldots ,p_{m}\mid n_{1},\ldots ,n_{m},I)={\begin{cases}{\displaystyle {\frac {\Gamma \left(\sum _{i=1}^{m}(n_{i}+1)\right)}{\prod _{i=1}^{m}\Gamma (n_{i}+1)}}p_{1}^{n_{1}}\cdots p_{m}^{n_{m}}},\quad &\sum _{i=1}^{m}p_{i}=1\\\\0&{\text{otherwise.}}\end{cases}}}$

一般化された継承ルールを得るには、次の観測でカテゴリi を観測する確率はp _{i を}条件としてp _iだけであることに注意し、その期待値だけが必要です。A _{i を}次の観測がカテゴリi ( i  = 1, ...,  m )にあるイベントとみなし、n  =  n ₁  + ... +  n _{m を}観測の総数とします。ディリクレ分布の特性を使用した結果は次のとおりです。

${\displaystyle P(A_{i}|n_{1},\ldots ,n_{m},I_{m})={n_{i}+1 \over n+m}.}$

この解は、観測が行われる前（つまりn = 0）に無差別原理を使用して割り当てられる確率に縮小され、元の継承ルールと一致します。また、一般化として、 m = 2 の ときの特殊なケースとして継承ルールも含まれます 。

命題またはイベントA _{i は}相互に排他的であるため、 m 個のカテゴリを 2 個にまとめることができます。成功の確率を得るには、「成功」に対応するA _{i 個の}確率を単純に合計します。これにより、 c個のカテゴリが「成功」として集計され、mc 個のカテゴリが「失敗」として集計されると仮定します。s は、「成功」と名付けられた関連するn _i個の値の合計を表します。次の試行での「成功」の確率は次のようになります。

${\displaystyle P({\text{success}}|n_{1},\ldots ,n_{m},I_{m})={s+c \over n+m},}$

これは、元の継承ルールとは異なります。ただし、元の継承ルールはI ₂に基づいているのに対し、一般化はI _mに基づいていることに注意してください。つまり、 I _mに含まれる情報は、I ₂に含まれる情報とは異なります。これは、2つ以上の結果が起こり得ることがわかっているという単なる知識が、これらのカテゴリを2つにまとめるときに関連情報になることを示しています。これは、事前情報を説明する際の微妙な点と、どの事前情報を使用しているかを指定することが重要である理由を示しています。

優れたモデルが不可欠です (つまり、正確性と実用性の間の適切な妥協点)。日の出問題についてラプラスの言葉を言い換えると、太陽が昇るサンプルは膨大にありますが、太陽が毎日一定の確率で昇ると仮定するよりも、はるかに優れた太陽モデル (たとえば、単純に半減期がある) が存在します。

優れたモデルが与えられた場合、事前の知識の予想される信頼性、観察のコスト、利用可能な時間とリソース、および必要な精度に応じて、実行可能な限り多くの観察を行うのが最善です。

継承の法則の最も難しい側面の 1 つは、数式ではなく、「継承の法則はいつ適用されるのか」という質問に答えることです。一般化のセクションでは、事前情報I _mを計算に追加することで、この点が非常に明確に説明されています。つまり、データを観察する前に、現象についてわかっていることがm 個の既知の可能な結果があることだけである場合にのみ、継承の法則が適用されます。継承の法則が、知識の事前状態を正確に説明しない問題に適用されると、直感に反する結果が生じる可能性があります。これは、継承の法則に欠陥があるからではなく、異なる事前情報に基づいて、事実上、異なる質問に答えているためです。

原則として（クロムウェルのルールを参照）、可能性の確率（または擬似カウント）をゼロに設定すべきではありません。なぜなら、物理世界では厳密に不可能であると想定すべきものは何もないからです（不可能である可能性はありますが）。たとえすべての観察と現在の理論に反するとしてもです。実際、ベイズのルールは、以前は確率がゼロであると信じられていた観察をまったく考慮しません。それは依然として不可能であると宣言されます。ただし、可能性の固定セットのみを考慮することは許容可能な方法です。結果は、考慮されているセットに条件付き（または制限される）であり、「普遍的な」セットではないことを覚えておく必要があります。実際、ラリー・ブレットホルストは、仮説空間に「何か他のもの」の可能性を含めても、他の仮説の相対的な確率には影響がなく、単にそれらを合計して 1 未満の値になるように正規化するだけであることを示しています。 ^[8]「何か他のもの」が指定されるまで、この「何か他のもの」を条件とする尤度関数は不確定です。なぜなら、どのように決定すればよいのでしょうか？したがって、「何か他のもの」の事前確率は、より正確に定義されるまで更新されません。 ${\displaystyle Pr({\text{data}}|{\text{something else}},I)}$

しかし、事前知識が相対的な確率に影響を与えるべきかどうか、あるいは実際の観察と比較した事前知識の総重みにも影響を与えるべきかどうかについては、議論の余地があります。これには明確な答えはありません。それは、検討している事前知識の種類によって異なります。実際、事前知識の別の状態は、「m個の潜在的なカテゴリを指定しましたが、データを観察する前に、そのうちの 1 つだけが可能であることは確かです。ただし、それがどの特定のカテゴリであるかはわかりません。」という形式になることがあります。この事前知識を数学的に記述する方法は、すべてのパラメータがm ⁻¹に等しいディリクレ分布です。これにより、分母にmではなく1の疑似カウントが割り当てられ、各カテゴリにm ⁻¹の疑似カウントが追加されます。これにより、のバイナリ ケースでわずかに異なる確率が割り当てられます。 ${\displaystyle {\frac {s+0.5}{n+1}}}$

事前確率は、大きな効果がありそうな場合にのみ、多大な労力をかけて推定する価値があります。事前確率は、観測数が少ない場合、特に、特定の地域での珍しい動物など、いくつかの可能性の観測がほとんど、あるいはまったくない場合に重要になることがあります。また、評判の良いカジノのルーレットホイールなど、多くの観測が反対であるにもかかわらず、期待値は事前推定に大きく重み付けされるべきであると考えられる場合、観測数が多い場合にも重要です。後者の場合、疑似カウントの少なくとも一部は非常に大きくする必要があります。疑似カウントは常に小さいとは限らず、そのため、よく想定されるように、実際の観測によってすぐに上回られます。ただし、最後の手段ではありますが、日常的な目的では、事前の知識は通常不可欠です。そのため、ほとんどの決定はある程度主観的である必要があります (分析者と使用する分析によって異なります)。

• 加法的スムージング
• クリチェフスキー・トロフィモフ推定量
• 無関心の原理