ブートストラップ法による集団の推定

統計学と数学における母集団のブートストラップは、サンプルから始まる。${\displaystyle \{x_{1},\ldots ,x_{m}\}}$確率変数から観測された。

Xが固定されていないパラメータの集合を持つ特定の分布法則を持つ場合、ベクトルで表します。${\displaystyle {\boldsymbol {\theta }}}$パラメトリック推論問題とは、サンプルに基づいてこれらのパラメータの適切な値（推定値と呼ぶ）を正確に計算することである。推定値は、未知のパラメータに置き換えても次の計算に大きな支障が生じない場合に適切である。アルゴリズム推論においては、推定値の適切性は、観測されたサンプルとの互換性という観点から解釈される。

この枠組みでは、リサンプリング法は、未知のパラメータを置き換えるための候補値のセットを生成することを目的としており、それらの候補値は互換性のある複製として解釈されます。これらは、ランダムベクトルの仕様の集合を表します。 ${\displaystyle {\boldsymbol {\Theta }}}$^{[ 1 ]}観測されたサンプルと互換性があり、その値の互換性は確率分布の特性を持つ 互換性のあるランダム変数の母集団全体をブートストラップする。

複製を計算するアルゴリズム（これを集団ブートストラップ手順と呼ぶ）の根拠は、一連の統計量を特定することである。${\displaystyle \{s_{1},\ldots ,s_{k}\}}$未知のパラメータに関して、特定の特性を示し、良好な挙動を示す。統計量は観測値の関数として表される。${\displaystyle \{x_{1},\ldots ,x_{m}\}}$定義上。${\displaystyle x_{i}}$未知のパラメータと乱数シードの指定の関数として表現できる。${\displaystyle z_{i}}$サンプリングメカニズムを通じて${\displaystyle (g_{\boldsymbol {\theta }},Z)}$順に。次に、2番目の式を前の式に代入すると、${\displaystyle s_{j}}$シードとパラメータの関数としての式（マスター方程式）を逆算することで、パラメータの値を次の2つの関数として求めます。i) 統計量（その値は観測値に固定されます）。ii) シード（それぞれの分布に従ってランダムに生成されます）。したがって、シードサンプルのセットから、パラメータのレプリカのセットが得られます。

与えられた${\displaystyle {\boldsymbol {x}}=\{x_{1},\ldots ,x_{m}\}}$確率変数Xとサンプリング機構${\displaystyle (g_{\boldsymbol {\theta }},Z)}$Xの場合、実現xは次のように与えられる。${\displaystyle {\boldsymbol {x}}=\{g_{\boldsymbol {\theta }}(z_{1}),\ldots ,g_{\boldsymbol {\theta }}(z_{m})\}}$、 と ${\displaystyle {\boldsymbol {\theta }}=(\theta _{1},\ldots ,\theta _{k})}$扱いやすい統計に焦点を当て 、

パラメータに関して、マスター方程式は次のようになる。

各サンプルシードについて${\displaystyle \{z_{1},\ldots ,z_{m}\}}$パラメータのベクトル${\displaystyle {\boldsymbol {\theta }}}$上記のシステムの解から得られる${\displaystyle s_{i}}$観測値に固定します。互換性のあるベクトルの膨大なセット、例えばNを計算した後、経験的周辺分布は${\displaystyle \Theta _{j}}$取得方法：

どこ${\displaystyle {\breve {\theta }}_{j,i}}$は、(1)の一般解のj番目の成分であり、${\displaystyle I_{(-\infty ,\theta ]}({\breve {\theta }}_{j,i})}$は、​ ${\displaystyle {\breve {\theta }}_{j,i}}$間隔${\displaystyle (-\infty ,\theta ].}$Xが離散的な 場合、いくつかの不確定性が残りますが、これについては後ほど検討します。手順全体は、次のアルゴリズムの形で要約できます。ここで、インデックスは${\displaystyle {\boldsymbol {\Theta }}}$の${\displaystyle {\boldsymbol {s}}_{\boldsymbol {\Theta }}}$これは、統計ベクトルが導出される元のパラメータベクトルを表します。

十分統計表から容易にわかるように、次の場合に上記のアルゴリズムによって得られた母集団の経験分布 (2) を計算すると、左の図の曲線が得られます。i) X が指数確率変数である場合、ii)${\displaystyle s_{\Lambda }=\sum _{j=1}^{m}x_{j}}$、 そして

${\displaystyle {\text{ iii) Inv}}(s_{\Lambda },{\boldsymbol {u}}_{i})=\sum _{j=1}^{m}(-\log u_{ij})/s_{\Lambda }}$、

そして右の図の曲線は、i) Xが一様乱数である場合に${\displaystyle [0,a]}$、ii)${\displaystyle s_{A}=\max _{j=1,\ldots ,m}x_{j}}$、 そして

${\displaystyle {\text{iii) Inv}}(s_{A},{\boldsymbol {u}}_{i})=s_{A}/\max _{j=1,\ldots ,m}\{u_{ij}\}}$。

例

のために${\displaystyle {\boldsymbol {x}}}$パレート分布を表すことが期待され、その仕様にはパラメータの値が必要となる。${\displaystyle a}$そしてk、^{[ 2 ]}累積分布関数は次のようになる。

${\displaystyle F_{X}(x)=1-\left({\frac {k}{x}}\right)^{a}}$。

サンプリング機構${\displaystyle (g_{(a,k)},U)}$もっている${\displaystyle [0,1]}$一様シードUと説明関数${\displaystyle g_{(a,k)}}$説明者：

${\displaystyle x=g_{(a,k)}=(1-u)^{-{\frac {1}{a}}}k}$

関連する統計${\displaystyle {\boldsymbol {s}}_{\boldsymbol {\Theta }}}$は、次の2つの十分統計量のペアによって構成されます。 ${\displaystyle A}$それぞれ Kと${\displaystyle s_{1}=\sum _{i=1}^{m}\log x_{i},s_{2}=\min\{x_{i}\}}$マスター方程式は次のようになります。

${\displaystyle s_{1}=\sum _{i=1}^{m}-{\frac {1}{a}}\log(1-u_{i})+m\log k}$

${\displaystyle s_{2}=(1-u_{\min })^{-{\frac {1}{a}}}k}$

と${\displaystyle u_{\min }=\min\{u_{i}\}}$。

右の図は、経験累積分布関数（2）の3次元プロットを示しています。${\displaystyle (A,K)}$。

• Efron, B. & Tibshirani, R. (1993). An introduction to the Bootsrap . Freeman, New York: Chapman and Hall.
• アポローニ、B.、マルキオディ、D.、ガイト、S. (2006).機械学習におけるアルゴリズム的推論. 国際先端知能シリーズ. 第 5巻 (第2 版). アデレード: マギル. アドバンスト・ナレッジ・インターナショナル
• Apolloni, B.; Bassis, S.; Gaito. S.; Malchiodi, D. (2007). 「基礎となる機能を高い確信度で学習することによる医療処置の評価」Current Pharmaceutical Design . 13 (15): 1545– 1570. doi : 10.2174/138161207780765891 . PMID 17504150 .