不正確なディリクレ過程

確率論と統計学において、ディリクレ過程（DP）は最も人気のあるベイズ非パラメトリックモデルの1つです。これはトーマス・ファーガソン^[1]によって確率分布の事前分布として導入されました。

ディリクレ過程は、 そのパラメータによって完全に定義されます。(基本分布または基本測度) は任意の分布であり、(集中パラメータ) は正の実数です ( と表記されることが多い)。ベイズのパラダイムによれば、これらのパラメータは、ドメインに関する利用可能な事前情報に基づいて選択する必要があります。 ${\displaystyle \mathrm {DP} \left(s,G_{0}\right)}$${\displaystyle G_{0}}$${\displaystyle s}$${\displaystyle \alpha}$

問題は、事前情報が不足している場合に、 DP の事前パラメータ、特に無限次元パラメータをどのように選択すればよいかということです。${\displaystyle \left(s,G_{0}\right)}$${\displaystyle G_{0}}$

この問題に対処するために、これまでに提案されている唯一の事前確率は、 に対して得られる極限DPであり、これはルービンによってベイジアン・ブートストラップという名前で導入されました。 ^[2]実際、ベイジアン・ブートストラップは、ブラッドリー・エフロンによって導入された頻度主義ブートストラップと漸近的に同等であることが証明されています。^[3] 極限ディリクレ過程は、さまざまな理由で批判されてきました。事前の観点からは、主な批判は、 を取ることが非情報事前確率につながるとはほど遠いというものです。^[4] さらに、事後的には、観測値を含まないセットにはゼロの確率が割り当てられます。^[2]${\displaystyle s\rightarrow 0}$${\displaystyle s\rightarrow 0}$${\displaystyle s\rightarrow 0}$

これらの問題を克服するために、不正確なディリクレ過程^[5]が提案されている。基本的な考え方は、正確な基本測度を固定し、選択しないことである。 ${\displaystyle s>0}$${\displaystyle G_{0}}$

より正確には、不正確ディリクレ過程(IDP) は次のように定義されます。

${\displaystyle ~~\mathrm {IDP} :~\left\{\mathrm {DP} \left(s,G_{0}\right):~~G_{0}\in \mathbb {P} \right\}}$

ここで、 はすべての確率測度の集合です。言い換えると、IDP は、基本測度がすべての確率測度の集合に及ぶようにすることで得られる、すべてのディリクレ過程 ( は固定) の集合です。 ${\displaystyle \mathbb {P} }$${\displaystyle s>0}$${\displaystyle G_{0}}$

（ここではボレル体を持つ標準ボレル空間）上の確率分布をとし、 と仮定する。次に上で定義される実数値の有界関数を考える。ディリクレ過程に関する の期待値は、よく知られているように、${\displaystyle P}$${\displaystyle (\mathbb {X} ,{\mathcal {B}})}$${\displaystyle \mathbb {X} }$${\displaystyle \sigma}$ ${\displaystyle {\mathcal {B}}}$${\displaystyle P\sim \mathrm {DP} (s,G_{0})}$${\displaystyle f}$${\displaystyle (\mathbb {X} ,{\mathcal {B}})}$${\displaystyle E[f]}$

${\displaystyle {\mathcal {E}}[E(f)]={\mathcal {E}}\left[\int f\,dP\right]=\int f\,d{\mathcal {E}}[P]=\int f\,dG_{0}.}$

DP事前分布の最も注目すべき特性の1つは、 の事後分布が再びDPであるということです。 をおよび からの独立かつ同一分布のサンプルとすると、 の事後分布は、観測値が与えられた場合に次のようになります。 ${\displaystyle P}$${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle P}$${\displaystyle P\sim Dp(s,G_{0})}$${\displaystyle P}$

${\displaystyle P\mid X_{1},\dots ,X_{n}\sim Dp\left(s+n,G_{n}\right),~~~{\text{with}}~~~~~~G_{n}={\frac {s}{s+n}}G_{0}+{\frac {1}{s+n}}\sum \limits _{i=1}^{n}\delta _{X_{i}},}$

ここで、 はを中心とする原子確率測度（ディラックのデルタ）です。したがって、 が成り立ちます。したがって、 を固定した場合、前の式を利用して事前期待値と事後期待値を導くことができます。 ${\displaystyle \delta _{X_{i}}}$${\displaystyle X_{i}}$${\displaystyle {\mathcal {E}}[E(f)\mid X_{1},\dots ,X_{n}]=\int f\,dG_{n}.}$${\displaystyle G_{0}}$

IDP では、すべての分布の集合を張ることができます。これは、 の任意の選択に対して、 の事前期待値と事後期待値が異なってくることを意味します。IDPの推論を特徴付ける方法は、に対するの期待値の下限と上限を計算することです。事前のこれらの境界は次のとおりです。 ${\displaystyle G_{0}}$${\displaystyle \mathbb {P} }$${\displaystyle E(f)}$${\displaystyle G_{0}}$${\displaystyle E(f)}$${\displaystyle G_{0}\in \mathbb {P} }$

${\displaystyle {\underline {\mathcal {E}}}[E(f)]=\inf \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{0}=\inf f,~~~~{\overline {\mathcal {E}}}[E(f)]=\sup \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{0}=\sup f,}$

下限（上限）界は、すべての質量を の下限（上限）上に置く確率測度、すなわち（またはそれぞれ）で得られます。上記の下限および上限の式から、 IDP の 下でのの範囲はの元の範囲と同じであることがわかります。言い換えると、IDP を指定しても、 の期待値に関する事前情報を与えていないことになります。したがって、IDP は、 の事前（ほぼ）無知のモデルです。 ${\displaystyle f}$${\displaystyle G_{0}=\delta _{X_{0}}}$${\displaystyle X_{0}=\arg \inf f}$${\displaystyle X_{0}=\arg \sup f}$${\displaystyle {\mathcal {E}}[E(f)]}$${\displaystyle f}$${\displaystyle f}$${\displaystyle E(f)}$

事後的に、IDP はデータから学習できます。 の期待値の事後下限と上限は、実際には次のように与えられます。 ${\displaystyle E(f)}$

${\displaystyle {\begin{aligned}{\underline {\mathcal {E}}}[E(f)\mid X_{1},\dots ,X_{n}]&=\inf \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{n}={\frac {s}{s+n}}\inf f+\int f(X){\frac {1}{s+n}}\sum \limits _{i=1}^{n}\delta _{X_{i}}(dX)\\&={\frac {s}{s+n}}\inf f+{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}f(X_{i})}{n}},\\[6pt]{\overline {\mathcal {E}}}[E(f)\mid X_{1},\dots ,X_{n}]&=\sup \limits _{G_{0}\in \mathbb {P} }\int f\,dG_{n}={\frac {s}{s+n}}\sup f+\int f(X){\frac {1}{s+n}}\sum \limits _{i=1}^{n}\delta _{X_{i}}(dX)\\&={\frac {s}{s+n}}\sup f+{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}f(X_{i})}{n}}.\end{aligned}}}$

事後推論は に依存しないことが観察されます 。IDP を定義するには、モデラーは(集中パラメータ) を選択するだけで済みます。これは、IDP がモデラーによるパラメータの導出を必要とするため、事前近似無知における形容詞近似の意味を説明しています。ただし、正のスカラー値を選択するだけでよいため、これはノンパラメトリック事前確率の単純な導出問題です (IDP モデルには無限のパラメータが残っていません)。 ${\displaystyle G_{0}}$${\displaystyle s}$

最後に、 に対してIDPは以下を満たすこと に注意する。${\displaystyle n\rightarrow \infty }$

${\displaystyle {\underline {\mathcal {E}}}\left[E(f)\mid X_{1},\dots ,X_{n}\right],\quad {\overline {\mathcal {E}}}\left[E(f)\mid X_{1},\dots ,X_{n}\right]\rightarrow S(f),}$

ここで、 。言い換えれば、IDP は一貫しています。 ${\displaystyle S(f)=\lim _{n\rightarrow \infty }{\tfrac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$

IDPは によって完全に指定され、これは事前モデルに残っている唯一のパラメータです。 の値は、観測数の増加に対して下方および上方事後期待値がどれだけ速く収束するかを決定するため、は特定の収束率と一致するように選択できます。^[5] パラメータは、望ましい頻度論的特性（例えば、信頼区間を頻度論的区間に較正する、仮説検定をタイプIエラーに較正するなど）を持つように選択することもできます。例：中央値検定を参照してください。 ${\displaystyle s}$${\displaystyle s}$${\displaystyle s}$${\displaystyle s}$

を累積分布関数を持つ実数ランダム変数とします。 ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle F(x)}$

（ここでは指示関数）なので、IDPを使用して についての推論を導くことができます。の下限および上限事後平均は、 ${\displaystyle F(x)=E[\mathbb {I} _{(\infty ,x]}]}$${\displaystyle \mathbb {I} _{(\infty ,x]}}$${\displaystyle F(x).}$${\displaystyle F(x)}$

${\displaystyle {\begin{aligned}&{\underline {\mathcal {E}}}\left[F(x)\mid X_{1},\dots ,X_{n}\right]={\underline {\mathcal {E}}}[E(\mathbb {I} _{(\infty ,x]})\mid X_{1},\dots ,X_{n}]\\={}&{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}\mathbb {I} _{(\infty ,x]}(X_{i})}{n}}={\frac {n}{s+n}}{\hat {F}}(x),\\[12pt]&{\overline {\mathcal {E}}}\left[F(x)\mid X_{1},\dots ,X_{n}\right]={\overline {\mathcal {E}}}\left[E(\mathbb {I} _{(\infty ,x]})\mid X_{1},\dots ,X_{n}\right]\\={}&{\frac {s}{s+n}}+{\frac {n}{s+n}}{\frac {\sum \limits _{i=1}^{n}\mathbb {I} _{(\infty ,x]}(X_{i})}{n}}={\frac {s}{s+n}}+{\frac {n}{s+n}}{\hat {F}}(x).\end{aligned}}}$

ここで、は経験分布関数です。ここで、下限値を得るために、 であり、上限値のために であるという事実を利用しました。 ${\displaystyle {\hat {F}}(x)}$${\displaystyle \inf \mathbb {I} _{(\infty ,x]}=0}$${\displaystyle \sup \mathbb {I} _{(\infty ,x]}=1}$

の正確な選択 （例えば、正規分布）については、 の事後期待値が下限と上限の間に含まれることに注意してください。 ${\displaystyle G_{0}}$${\displaystyle {\mathcal {N}}(x;0,1)}$${\displaystyle F(x)}$

IDPは仮説検定にも使用できます。たとえば、仮説 を検定する場合、つまり の中央値は0より大きい場合です。分割とディリクレ過程の性質を考慮すると、 の事後分布 は ${\displaystyle F(0)<0.5}$${\displaystyle F}$${\displaystyle (-\infty ,0],(0,\infty )}$${\displaystyle F(0)}$

${\displaystyle F(0)\sim \mathrm {Beta} (\alpha _{0}+n_{<0},\beta _{0}+n-n_{<0})}$

ここで、0未満の観測値の数、 ${\displaystyle n_{<0}}$

${\displaystyle \alpha _{0}=s\int _{-\infty }^{0}dG_{0}}$そして${\displaystyle \beta _{0}=s\int _{0}^{\infty }dG_{0}.}$

この特性を利用すると、

${\displaystyle {\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]=\int \limits _{0}^{0.5}\mathrm {Beta} (\theta ;s+n_{<0},n-n_{<0})d\theta =I_{1/2}(s+n_{<0},n-n_{<0}),}$

${\displaystyle {\overline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]=\int \limits _{0}^{0.5}\mathrm {Beta} (\theta ;n_{<0},s+n-n_{<0})d\theta =I_{1/2}(n_{<0},s+n-n_{<0}).}$

ここで、正規化された不完全ベータ関数である。したがって、仮説検定を実行することができる。 ${\displaystyle I_{x}(\alpha ,\beta )}$

${\displaystyle {\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]>1-\gamma ,~~{\overline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]>1-\gamma ,}$

（例えば）そして ${\displaystyle 1-\gamma =0.95}$

1. 両方の不等式が満たされる場合、 より大きい確率で であると宣言できます。${\displaystyle F(0)<0.5}$${\displaystyle 1-\gamma }$
2. 不等式の 1 つだけが満たされる場合 (必ず上側の不等式が満たされる)、不確定な状況、つまり決定できない状況になります。
3. 両方が満たされない場合は、 の確率 が の望ましい確率よりも低いと宣言できます。${\displaystyle F(0)<0.5}$${\displaystyle 1-\gamma }$

IDP は、決定が事前依存である場合 (つまり、 の選択に依存する場合)、不確定な決定を返します。 ${\displaystyle G_{0}}$

ベータ分布の累積分布関数と二項分布のランダム変数Zの累積分布関数の関係を利用すると、成功確率はp、サンプルサイズはnです。

${\displaystyle F(k;n,p)=\Pr(Z\leq k)=I_{1-p}(n-k,k+1)=1-I_{p}(k+1,n-k),}$

の任意の選択に対して th IDP で導出される中央値検定には、片側頻度主義符号検定が中央値の検定として含まれることが示せます。実際、 に対して符号検定の -値は に等しい ことが確認できます。したがって、 の場合、- 値は より小さくなり、したがって、2 つの検定は同じ検出力を持ちます。 ${\displaystyle s\geq 1}$${\displaystyle s=1}$${\displaystyle p}$${\displaystyle 1-{\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]}$${\displaystyle {\underline {\mathcal {P}}}[F(0)<0.5\mid X_{1},\dots ,X_{n}]>0.95}$${\displaystyle p}$${\displaystyle 0.05}$

ディリクレ過程は、ベイズ非パラメトリック統計で頻繁に使用されます。事前情報が不足しているアプリケーションでは、ディリクレ過程の代わりに不正確なディリクレ過程を使用できます (したがって、事前情報が不足している状態をモデル化することが重要です)。

この点では、不正確なディリクレ過程はノンパラメトリック仮説検定に使用されてきた。不正確なディリクレ過程統計パッケージを参照のこと。不正確なディリクレ過程に基づいて、ウィルコクソン順位和検定^{[5]とウィルコクソン符号順位検定[6]}という古典的なノンパラメトリック推定量のベイズ非パラメトリック近似無知バージョンが導出されている。

ベイジアンノンパラメトリック近似無知モデルは、仮説検定に対する従来のアプローチに比べていくつかの利点があります。

1. ベイズアプローチにより、仮説検定を意思決定問題として定式化できます。つまり、帰無仮説を棄却するだけでなく、帰無仮説を支持する証拠を検証し、期待損失を最小限に抑える決定を下すことができます。
2. ノンパラメトリックな事前確率がほぼ無知であるため、IDP ベースのテストでは、データ自体に語らせる方向に非常に弱い事前仮定で仮説検定を開始できます。
3. IDP テストは標準的なベイジアン アプローチといくつかの類似点を共有していますが、同時に、意思決定に関してはパラダイムの大きな変化を体現しています。実際、IDP ベースのテストには、意思決定が事前依存である場合に不確定な結果を生成するという利点があります。言い換えると、IDP テストでは、期待損失を最小化するオプションが、注目するディリクレ過程の基本尺度に応じて変化する場合に、判断を保留します。
4. IDP テストが不確定な場合、頻度主義テストは事実上ランダムな推測者のように動作することが経験的に検証されています。この驚くべき結果は、仮説検定において実際的な結果をもたらします。2 つの医療処置の効果を比較しようとしており (Y は X よりも優れている)、利用可能なデータを考えると IDP テストは不確定であると仮定します。このような状況では、頻度主義テストは常に確定的な応答 (たとえば、Y は X よりも優れていることがわかります) を出しますが、コインを投げているときのように、その応答は完全にランダムであることがわかります。一方、IDP テストは、これらのケースで決定を下すことが不可能であることを認めています。したがって、「わかりません」と言うことで、IDP テストは分析者に豊富な情報を提供します。分析者は、たとえばこの情報を使用して、より多くのデータを収集できます。

カテゴリ変数、つまり が有限個の要素を持つ場合、ディリクレ過程はディリクレ分布 に簡約されることが知られています。この場合、不正確なディリクレ過程は、確率の事前（ほぼ）無知のモデルとしてWalley ^[7]によって提案された不正確なディリクレモデルに簡約されます。 ${\displaystyle \mathbb {X} }$

不正確な確率

堅牢なベイズ分析

• IDP に基づく仮説検定のオープンソース実装
• IDSIA の不正確な確率グループ