ブートストラップ法（統計学）

ブートストラップの大きな利点は、その単純さです。これは、パーセンタイル点、割合、オッズ比、相関係数などの分布の複雑な推定量の標準誤差と信頼区間の推定値を導出する簡単な方法です。しかし、その単純さにもかかわらず、ブートストラップは複雑なサンプリング設計にも適用できます（たとえば、母集団が s 個の層に分割され、各層に n _{s 個の}観測値がある場合、その 1 つの例は用量反応実験であり、ブートストラップは各層に適用できます）。^{[ 15 ]}ブートストラップは、結果の安定性を制御および確認する適切な方法でもあります。ほとんどの問題では真の信頼区間を知ることは不可能ですが、ブートストラップは、標本分散と正規性の仮定を使用して得られる標準区間よりも漸近的に正確です。^{[ 16 ]}ブートストラップは、他のサンプル データ グループを取得するために実験を繰り返すコストを回避する便利な方法でもあります。

ブートストラップ法は使用する推定量に大きく依存し、単純ではあるものの、ブートストラップ法を安易に使用すると、必ずしも漸近的に有効な結果が得られるとは限らず、矛盾が生じる可能性があります。^{[ 17 ]}ブートストラップ法は（いくつかの条件下では）漸近的に一致性がありますが、一般的な有限標本保証を提供するものではありません。結果は代表標本に依存する可能性があります。一見単純そうに見えるため、ブートストラップ分析を行う際に重要な仮定（例えば、標本の独立性や十分な標本サイズ）が行われているという事実が隠されている可能性があります。これらの仮定は、他のアプローチではより正式に述べられます。また、ブートストラップ法は時間がかかる場合があり、従来の統計コンピュータパッケージを使用して自動化することが難しいため、ブートストラップ法に利用できるソフトウェアは多くありません。^{[ 15 ]}

研究者たちは、利用可能な計算能力が増加するにつれて、ブートストラップサンプルの数を増やすことを推奨してきた。結果が現実世界に重大な影響を与える可能性がある場合は、利用可能な計算能力と時間を考慮して、妥当な数のサンプルを使用すべきである。サンプルの数を増やしても、元のデータの情報量を増やすことはできない。ブートストラップ手順自体から生じる可能性のあるランダムなサンプリングエラーの影響を減らすことしかできない。さらに、100を超えるサンプル数では、標準誤差の推定にほとんど改善が見られないという証拠がある。^{[ 18 ]}実際、ブートストラップ法の元の開発者によると、サンプル数を50に設定しても、かなり良い標準誤差の推定値が得られる可能性が高い。^{[ 19 ]}

Adèr らは、以下の状況に対してブートストラップ手順を推奨しています。^{[ 20 ]}

• 関心のある統計量の理論的な分布が複雑または不明な場合、ブートストラップ法が有効です。ブートストラップ法は分布に依存しないため、標本の基礎となる分布の特性と、その分布から導出される関心のあるパラメータを間接的に評価する方法となります。

• 標本サイズが不十分で、単純な統計的推論ができない場合。基礎となる分布が既知であれば、ブートストラップ法を用いることで、母集団を完全に代表していない可能性のある特定の標本によって引き起こされる歪みを補正することができます。

• 検出力計算を行う必要があり、かつ小規模な予備サンプルが利用可能な場合。ほとんどの検出力とサンプルサイズ計算は、対象となる統計量の標準偏差に大きく依存します。使用する推定値が間違っていると、必要なサンプルサイズも間違ってしまいます。統計量のばらつきを把握する一つの方法は、小規模な予備サンプルを使用し、ブートストラップ法を実行して分散を把握することです。

しかし、Athreyaは^{[ 21 ]}、基礎となる母集団が有限の分散を持たない場合（例えば、べき乗則分布の場合）、標本平均に対して単純なブートストラップを実行すると、ブートストラップ分布は標本平均と同じ極限に収束しないことを示した。その結果、ブートストラップのモンテカルロシミュレーションに基づく信頼区間は誤解を招く可能性がある。Athreyaは、「基礎となる分布が裾の重い分布ではないと合理的に確信できない限り、単純なブートストラップの使用は控えるべきだ」と述べている。

ブートストラップは、正規性の仮定（z統計量やt統計量に必要な仮定）を使用せずに、統計量（平均、分散など）の分布を推定するのに一般的に役立ちます。特に、ブートストラップは、関心のある統計量の分布を推定するのに役立つ解析形式や漸近理論（適用可能な中心極限定理など）がない場合に役立ちます。これは、ブートストラップ法が、分散と平均の比率など、ほとんどのランダムな量に適用できるためです。ケースの再サンプリングを実行する方法は少なくとも2つあります。

1. ケースリサンプリングのためのモンテカルロアルゴリズムは非常に単純です。まず、データを復元抽出でリサンプリングし、リサンプルのサイズは元のデータセットのサイズと等しくなければなりません。次に、最初のステップで得られたリサンプルから目的の統計量を計算します。このルーチンを何度も繰り返して、統計量のブートストラップ分布のより正確な推定値を得ます。^{[ 2 ]}
2. ケースリサンプリングの「正確な」バージョンは似ていますが、データセットのすべての可能なリサンプリングを網羅的に列挙します。合計で${\displaystyle {\binom {2n-1}{n}}={\frac {(2n-1)!}{n!(n-1)!}}}$異なるリサンプルの数。ここでnはデータセットのサイズである。したがって、n  =  5、10、20、30の場合 、それぞれ126、92378、6.89 × 10 ^10、5.91 × 10 ¹⁶の 異なるリサンプルが存在する。^{[ 22 ]}      

ブートストラップ法は、初期データの重み付けを変更して新しいデータセットを作成するスキームを使用して、ベイズフレームワークで解釈できます。${\displaystyle N}$データポイント、データポイントに割り当てられた重み${\displaystyle i}$新しいデータセットでは$\displaystyle {\mathcal {D}}^{J}}$は${\displaystyle w_{i}^{J}=x_{i}^{J}-x_{i-1}^{J}}$、 どこ${\displaystyle \mathbf {x} ^{J}}$は、低い順から高い順に並べられたリストです。${\displaystyle N-1}$一様分布乱数${\displaystyle [0,1]}$0が前に付き、1が後に続く。このようなデータセットを多数考慮して推測されるパラメータの分布$\displaystyle {\mathcal {D}}^{J}}$これらは、そのパラメータに関する事後分布として解釈できる。 ^{[ 23 ]}

この方式では、各再サンプリングされた観測値に、少量の（通常は正規分布に従う）ゼロ中心のランダムノイズが加えられます。これは、データのカーネル密度推定値からサンプリングすることに相当します。Kは単位分散を持つ対称カーネル密度関数であると仮定します。標準カーネル推定器$\displaystyle {\hat {f\,}}_{h}(x)}$の${\displaystyle f(x)}$は

${\displaystyle {\hat {f\,}}_{h}(x)={1 \over nh}\sum _{i=1}^{n}K\left({x-X_{i} \over h}\right),}$ ^{[ 24 ]}

どこ${\displaystyle h}$は平滑化パラメータです。そして、対応する分布関数推定値は${\displaystyle {\hat {F\,}}_{h}(x)}$は

$\displaystyle {\hat {F\,}}_{h}(x)=\int _{-\infty }^{x}{\hat {f}}_{h}(t)\,dt.}$ ^{[ 24 ]}

元のデータセットが特定のパラメトリック型の分布からのランダムサンプルの実現値であるという仮定に基づき、この場合、パラメータθによってパラメトリックモデルが適合され（多くの場合、最尤法によって）、この適合モデルから乱数のサンプルが抽出されます。通常、抽出されたサンプルは元のデータと同じサンプルサイズになります。すると、元の関数Fの推定値は次のように表すことができます。${\displaystyle {\hat {F}}=F_{\hat {\theta }}}$このサンプリングプロセスは、他のブートストラップ法と同様に何度も繰り返されます。この場合、中心化された標本平均を考慮すると、ランダム標本の元の分布関数は次のようになります。${\displaystyle F_{\theta }}$関数を使用したブートストラップランダムサンプルに置き換えられます${\displaystyle F_{\hat {\theta }}}$、そして確率分布${\displaystyle {\bar {X_{n}}}-\mu _{\theta }}$は、${\displaystyle {\bar {X}}_{n}^{*}-\mu ^{*}}$、 どこ${\displaystyle \mu ^{*}=\mu _{\hat {\theta }}}$これは、${\displaystyle F_{\hat {\theta }}}$[ ^{25 ]ブートストラップ法のサンプリング段階でパラメトリックモデルを使用すると、同じモデルの推論に基本的な統計理論を}適用して得られる手順とは異なる手順が得られます。

回帰問題におけるブートストラップ法のもう一つのアプローチは、残差を再サンプリングすることです。この方法は次のように進みます。

1. モデルを適合させ、適合値を保持する。${\displaystyle {\widehat {y\,}}_{i}}$そして残差${\displaystyle {\widehat {\varepsilon \,}}_{i}=y_{i}-{\widehat {y\,}}_{i},(i=1,\dots ,n)}$。
2. 各ペア ( x _i , y _i ) について、ここでx _iは (多変量である可能性もある) 説明変数であり、ランダムに再サンプリングされた残差を追加します。${\displaystyle {\widehat {\varepsilon \,}}_{j}}$適合値に${\displaystyle {\widehat {y\,}}_{i}}$つまり、合成応答変数を作成する。${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{j}}$ここで、jはすべてのiに対してリスト (1, ..., n )からランダムに選択されます。
3. 架空の応答変数を使用してモデルを再適合する${\displaystyle y_{i}^{*}}$、そして関心のある量（多くの場合、パラメータ、${\displaystyle {\widehat {\mu }}_{i}^{*}}$合成データから推定${\displaystyle y_{i}^{*}}$)
4. 手順2と3を多数回繰り返してください。

この手法の利点は、説明変数に含まれる情報を保持できることです。しかし、どの残差を再サンプリングするかという問題が生じます。生の残差を用いる方法と、スチューデント化残差（線形回帰の場合）を用いる方法があります。スチューデント化残差を用いる方が望ましいという意見もありますが、実際にはほとんど違いがなく、両方の手法の結果を比較するのは容易です。

データが時間的に相関している場合、単純なブートストラップでは本来の相関が失われます。この方法は、ガウス過程回帰 (GPR) を使用して確率モデルを適合させ、そこから複製を抽出します。GPR はベイズ非線形回帰法です。ガウス過程 (GP) は、任意の有限個の確率変数が結合ガウス (正規) 分布を持つ確率変数の集合です。GP は、確率変数の各有限集合の平均ベクトルと共分散行列を指定する平均関数と共分散関数によって定義されます。^{[ 26 ]}

回帰モデル：

${\displaystyle y(x)=f(x)+\varepsilon ,\ \ \varepsilon \sim {\mathcal {N}}(0,\sigma ^{2}),}$${\displaystyle \varepsilon }$はノイズに関する用語です。

ガウス過程事前分布:

任意の有限個の変数x ₁ ,  ..., x _nに対して、関数は以下を出力する。 ${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$は平均の多変量ガウス分布に従って同時分布する${\displaystyle m=[m(x_{1}),\ldots ,m(x_{n})]^{\intercal }}$共分散行列${\displaystyle (K)_{ij}=k(x_{i},x_{j}).}$

仮定する${\displaystyle f(x)\sim {\mathcal {GP}}(m,k).}$それから${\displaystyle y(x)\sim {\mathcal {GP}}(m,l)}$、

どこ${\displaystyle l(x_{i},x_{j})=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j})}$、 そして${\displaystyle \delta (x_{i},x_{j})}$は標準的なクロネッカーデルタ関数である。^{[ 26 ]}

ガウス過程事後確率:

GP事前分布によれば、

${\displaystyle [y(x_{1}),\ldots ,y(x_{r})]\sim {\mathcal {N}}(m_{0},K_{0})}$、

どこ${\displaystyle m_{0}=[m(x_{1}),\ldots ,m(x_{r})]^{\intercal }}$そして${\displaystyle (K_{0})_{ij}=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j}).}$

x ₁ ^* ,...,x _s ^*を別の有限変数の集合とすると、

${\displaystyle [y(x_{1}),\ldots ,y(x_{r}),f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\sim {\mathcal {N}}({\binom {m_{0}}{m_{*}}}{\begin{pmatrix}K_{0}&K_{*}\\K_{*}^{\intercal }&K_{**}\end{pmatrix}})}$、

どこ${\displaystyle m_{*}=[m(x_{1}^{*}),\ldots ,m(x_{s}^{*})]^{\intercal }}$、${\displaystyle (K_{**})_{ij}=k(x_{i}^{*},x_{j}^{*})}$、${\displaystyle (K_{*})_{ij}=k(x_{i},x_{j}^{*}).}$

上記の式によれば、出力yも多変量ガウス分布に従って同時分布します。したがって、

${\displaystyle [f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\mid ([y(x)]^{\intercal }=y)\sim {\mathcal {N}}(m_{\text{post}},K_{\text{post}}),}$

どこ${\displaystyle y=[y_{1},...,y_{r}]^{\intercal }}$、${\displaystyle m_{\text{post}}=m_{*}+K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}(y-m_{0})}$、${\displaystyle K_{\text{post}}=K_{**}-K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}K_{*}}$、 そして${\displaystyle I_{r}}$は${\displaystyle r\times r}$単位行列。^{[ 26 ]}

^{Wu (1986) [ 27 ]}によって最初に提案されたワイルドブートストラップは、モデルが不均一分散性を示す場合に適しています。その考え方は、残差ブートストラップと同様に、回帰変数をサンプル値のままにしておき、残差値に基づいて応答変数を再サンプリングすることです。つまり、各複製ごとに、新しい${\displaystyle y}$に基づく

${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{i}v_{i}}$

つまり、残差はランダムな変数によってランダムに乗算される。${\displaystyle v_{i}}$平均0、分散1の分布の場合${\displaystyle v_{i}}$（ただし、マメンの方法は除く）この方法は、「真の」残差分布が対称であると仮定し、サンプルサイズが小さい場合には単純な残差サンプリングよりも利点がある。確率変数にはさまざまな形式が使用される。${\displaystyle v_{i}}$、 のような

• 標準正規分布

• Mammen (1993) が提案した分布。^{[ 28 ]}

${\displaystyle v_{i}={\begin{cases}-({\sqrt {5}}-1)/2&{\text{with probability }}({\sqrt {5}}+1)/(2{\sqrt {5}}),\\({\sqrt {5}}+1)/2&{\text{with probability }}({\sqrt {5}}-1)/(2{\sqrt {5}})\end{cases}}}$

マメンの分布は概ね以下の通りである。

${\displaystyle v_{i}={\begin{cases}-0.6180\quad {\text{(with a 0 in the units' place)}}&{\text{with probability }}0.7236,\\+1.6180\quad {\text{(with a 1 in the units' place)}}&{\text{with probability }}0.2764.\end{cases}}}$

• あるいは、ラデマッハー分布に関連する、より単純な分布：

${\displaystyle v_{i}={\begin{cases}-1&{\text{with probability }}1/2,\\+1&{\text{with probability }}1/2.\end{cases}}}$

ブロックブートストラップは、データまたはモデルのエラーが相関している場合に使用されます。この場合、単純なケースリサンプリングや残差リサンプリングでは、データの相関を再現できないため、うまくいきません。ブロックブートストラップは、データのブロック内でリサンプリングを行うことで相関を再現しようとします（「ブロッキング（統計） 」を参照）。ブロックブートストラップは、主に時間的に相関のあるデータ（時系列データ）で使用されてきましたが、空間的に相関のあるデータや、グループ間で相関のあるデータ（いわゆるクラスターデータ）にも使用できます。

ほとんどのブートストラップ法は、並列処理が容易なアルゴリズムです。つまり、各ブートストラップサンプルについて関心のある統計量は、他のブートストラップサンプルに依存しません。したがって、このような計算は別々のCPUまたは計算ノードで実行でき、最終的な分析のために各ノードの結果を集約することができます。

ノンパラメトリックブートストラップは、多項分布から抽出されたカウントを持つサイズnのリストから項目をサンプリングします。${\displaystyle W_{i}}$は、要素 i が特定のブートストラップサンプルに含まれる回数を表し、各${\displaystyle W_{i}}$は、n回の試行と平均1の二項分布に従いますが、${\displaystyle W_{i}}$独立していない${\displaystyle W_{j}}$のために${\displaystyle i\neq j}$。

ポアソンブートストラップは、すべてのサンプルを仮定してサンプルを抽出します。${\displaystyle W_{i}}$は、平均1のポアソン変数として独立かつ同一の分布に従います。その理由は、二項分布の極限がポアソン分布になるからです。

${\displaystyle \lim _{n\to \infty }\operatorname {Binomial} (n,1/n)=\operatorname {Poisson} (1)}$

ポアソンブートストラップは、RやS-Plusプログラミング言語のブートストラップパッケージがないSASやSPSSなどのソフトウェアを使用する非統計学者にとって潜在的に有用であるとHanleyとMacGibbonによって提案されました。 ^{[ 34 ]}同じ著者らは、nが十分に大きい場合、結果はノンパラメトリックブートストラップ推定値と比較的似ていると報告していますが、ポアソンブートストラップはアプリケーションでほとんど使用されていないと指摘しています。

ポアソンブートストラップのもう1つの利点は、${\displaystyle W_{i}}$これにより、ストリームとして処理する必要のある大規模なデータセットにこの方法を適用しやすくなります。^{[ 35 ]}

ポアソンブートストラップを改善する方法として、「逐次ブートストラップ」と呼ばれる手法があり、これは、一意の値の割合が元のサンプルサイズ n の ≈ 0.632 になるように最初のサンプルを取得することです。これにより、主な経験的特性が距離内に収まる分布が得られます。${\displaystyle O(n^{3/4})}$[ ^{36 ]実証的調査により、}この方法は良好な結果をもたらすことが示されている。^{[ 37 ]}これは縮小ブートストラップ法に関連している。^{[ 38 ]}

大規模なデータセットの場合、すべてのサンプルデータをメモリに保持してサンプルデータからリサンプリングすることは、計算上非常に困難になることがよくあります。Bag of Little Bootstraps (BLB) ^{[ 39 ]}は、ブートストラップの前にデータを事前集約して計算上の制約を軽減する方法を提供します。これは、データセットを分割することによって機能します。${\displaystyle b}$等しいサイズのバケットを作成し、各バケット内のデータを集約します。この事前集約されたデータセットが、復元抽出によるサンプル抽出を行うための新しいサンプルデータになります。この方法はブロックブートストラップに似ていますが、ブロックの動機と定義は大きく異なります。特定の仮定の下では、サンプル分布は完全なブートストラップシナリオに近似するはずです。制約の1つはバケットの数です。${\displaystyle b=n^{\gamma }}$どこ${\displaystyle \gamma \in [0.5,1]}$著者らは、${\displaystyle b=n^{0.7}}$一般的な解決策として。

DiCiccioとEfronによるブートストラップ信頼区間法の調査とそれに続く議論では、信頼区間に求められるいくつかの特性が挙げられているが、それらは一般的にすべて同時に満たされるわけではない。

• 変換不変性- 変換されたデータ（例えば、対数を取ることによって）からブートストラップして得られた信頼区間は、理想的には、変換されていないデータからブートストラップして得られた信頼区間を変換したものと同じである。
• 信頼区間は妥当または一貫性があるべきである。つまり、パラメータが名目上の水準の信頼区間内にある確率は${\displaystyle 1-\alpha }$等しいか、少なくとも確率的に収束するはずである${\displaystyle 1-\alpha }$後者の基準は、Hallのフレームワークを用いて洗練され、拡張されている。^{[ 41 ]}洗練の目的は、真のカバレッジ確率が公称値にどれだけ速く近づくかに基づいて方法を区別することであり、近似における誤差項が（DiCiccioとEfronの用語を用いると）一次精度である場合、その方法は一次精度である。${\displaystyle O(1/{\sqrt {n}})}$誤差項が${\displaystyle O(n^{-1})}$さらに、推定ブートストラップ臨界点が真の（未知の）点に収束する速度によって手法は区別され、この速度が次のようになると、その手法は2次精度である。${\displaystyle O_{p}(n^{-3/2})}$。
• 論文の議論の中で、グレザーは、前の箇条書きの漸近的記述の限界は、${\displaystyle O(\cdot )}$用語は、パラメータや真の分布において必ずしも均一ではない。

• バイアス：ブートストラップ分布とサンプルが系統的に一致しない場合、 バイアスが発生する可能性があります。

  推定量のブートストラップ分布が対称である場合、パーセンタイル信頼区間がよく用いられます。このような区間は、特に最小リスク（絶対損失関数に関して）の中央値不偏推定量に適しています。ブートストラップ分布に偏りがあると、信頼区間にも偏りが生じます。

  そうでなければ、ブートストラップ分布が非対称である場合、パーセンタイル信頼区間は不適切な場合が多い。

実数パラメータのブートストラップ分布から信頼区間を構築する方法はいくつかあります。

• 基本ブートストラップ^{[ 40 ]}は、逆パーセンタイル区間^{[ 42 ]}とも呼ばれる。基本ブートストラップは、信頼区間を構築するための単純な手法である。パラメータのブートストラップ分布から経験的分位数を取るだけである（Davison and Hinkley 1997、式5.6、p.194を参照 ）。

${\displaystyle (2{\widehat {\theta \,}}-\theta _{(1-\alpha /2)}^{*},2{\widehat {\theta \,}}-\theta _{(\alpha /2)}^{*})}$どこ${\displaystyle \theta _{(1-\alpha /2)}^{*}}$は${\displaystyle 1-\alpha /2}$ブートストラップ係数のパーセンタイル${\displaystyle \theta ^{*}}$。

• パーセンタイルブートストラップ。パーセンタイルブートストラップは、ブートストラップ分布のパーセンタイルを使用するという点で、基本的なブートストラップと同様の方法で実行されますが、異なる式を使用します（左分位点と右分位点の反転に注意してください）。

${\displaystyle (\theta _{(\alpha /2)}^{*},\theta _{(1-\alpha /2)}^{*})}$どこ${\displaystyle \theta _{(1-\alpha /2)}^{*}}$は${\displaystyle 1-\alpha /2}$ブートストラップ係数のパーセンタイル${\displaystyle \theta ^{*}}$。

Davison and Hinkley (1997, equ. 5.18 p.  203) および Efron and Tibshirani (1993, equ 13.5 p.  171) を参照。

この方法は、あらゆる統計量に適用できます。ブートストラップ分布が対称で、観測された統計量を中心にしている場合^{[ 43 ]}、および標本統計量が中央値不偏で、最大集中度 (または絶対値損失関数に関して最小リスク) を持つ場合にうまく機能します。サンプルサイズが小さい場合 (つまり、50 未満)、(たとえば)分散統計量の基本 / 逆パーセンタイルおよびパーセンタイル信頼区間は狭すぎます。そのため、20 ポイントのサンプルでは、​​90% 信頼区間が真の分散を含むのは 78% のときだけです。^{[ 44 ]} 基本 / 逆パーセンタイル信頼区間は数学的に正当化しやすいですが^{[ 45 ] [ 42 ]}、一般的にパーセンタイル信頼区間よりも精度が低く、一部の著者は使用を推奨していません。^{[ 42 ]}

• スチューデント化ブートストラップ。スチューデント化ブートストラップ（ブートストラップtとも呼ばれる）は、標準信頼区間と同様に計算されますが、正規分布またはスチューデント近似からの分位数を、スチューデントのt検定のブートストラップ分布からの分位数に置き換えます（Davison and Hinkley 1997、式5.7、p.194 、およびEfron and Tibshirani 1993、式12.22、p.160を ）。

${\displaystyle ({\widehat {\theta \,}}-t_{(1-\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta },{\widehat {\theta \,}}-t_{(\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta })}$どこ${\displaystyle t_{(1-\alpha /2)}^{*}}$は${\displaystyle 1-\alpha /2}$ブートストラップ法によるスチューデントのt検定のパーセンタイル${\displaystyle t^{*}=({\widehat {\theta \,}}^{*}-{\widehat {\theta \,}})/{\widehat {\text{se}}}_{{\widehat {\theta \,}}^{*}}}$、 そして${\displaystyle {\widehat {\text{se}}}_{\theta }}$これは、元のモデルにおける係数の推定標準誤差です。

スチューデント化検定は、ブートストラップされる統計量がピボットであるため（つまり、t検定は漸近的にN(0,1)分布に従うため、邪魔なパラメータに依存しない）、パーセンタイルブートストラップとは異なり、最適な特性を備えています。

• バイアス補正ブートストラップ–ブートストラップ分布におけるバイアスを調整します。
• 加速ブートストラップ– エフロン (1987) によるバイアス補正加速 (BCa) ブートストラップ^{[ 12 ]}は、ブートストラップ分布のバイアスと歪度の両方を調整します。このアプローチは、さまざまな設定で正確であり、妥当な計算要件で、妥当な狭い区間を生成します。^{[ 12 ]}

1878年、サイモン・ニューカムは光速の観測を行った。^{[ 46 ]} このデータセットには2つの外れ値が含まれており、標本平均に大きな影響を与えている。（裾の重い分布では平均が存在しない可能性があるため、標本平均は母平均の一致推定量である必要はない。）中心傾向の明確に定義された 頑健な統計量は標本中央値であり、これは母中央値に対して一致性があり、中央値不偏である。

ニューカムのデータに対するブートストラップ分布を以下に示します。各ブートストラップサンプルに少量のランダムノイズを加えることで、ブートストラップ分布の離散性を低減できます。一般的な選択肢は、標準偏差が のノイズを加えることです。${\displaystyle \sigma /{\sqrt {n}}}$サンプルサイズnの場合、このノイズは多くの場合、自由度n-1の Student-t 分布から抽出されます。 ^{[ 47 ]}これにより、サンプル平均の分散のほぼ不偏推定量が得られます。^{[ 48 ]} これは、ブートストラップ分布から抽出されたサンプルの分散が、平均して母集団全体の分散と等しくなることを意味します。

ブートストラップ分布と平滑化ブートストラップ分布のヒストグラムを以下に示します。標本中央値のブートストラップ分布は、値の数が少ないです。平滑化ブートストラップ分布は、より広いサポートを持っています。ただし、平滑化ブートストラップ手順と標準ブートストラップ手順のどちらが好ましいかはケースバイケースであり、基礎となる分布関数と推定される量の両方に依存することが示されています。^{[ 49 ]}

この例では、母集団中央値のブートストラップによる95%（パーセンタイル）信頼区間は（26、28.5）であり、平滑化ブートストラップの区間（25.98、28.46）に近い値となっています。

ブートストラップは以下と区別される。

• ジャックナイフ法は、標本統計量のバイアスを推定し、分散を推定するために使用され、
• 交差検証とは、あるサブサンプルで推定されたパラメータ（例えば、回帰係数、因子負荷量）を別のサブサンプルに適用する手法である。

ブートストラップ集約（バギング）は、複数のブートストラップサンプルで学習されたモデルから得られたモデル予測を平均化することに基づくメタアルゴリズムです。

少数のデータ項目r個のみを使用して必要な特性を測定するための明らかな統計量を考案できる状況では、サンプル全体に基づく対応する統計量を定式化できます。r サンプルの統計量が与えられた場合、ブートストラップ法（サイズrのすべてのサブサンプルにわたる統計量の平均を取る）に似た方法でnサンプルの統計量を作成できます。この手順にはいくつかの優れた特性があることが知られており、結果としてU 統計量が得られます。r = 1 およびr = 2 の場合、サンプル平均とサンプル分散は次の形式になります。    

この段落では、van der VaartとWellner ^{[ 50 ]およびKosorok [ 51 ]}による確率的収束に関するより詳細な説明を要約する。ブートストラップは、ある集合によってインデックス付けされたランダム変数の集合である確率過程を定義する。${\displaystyle T}$、 どこ${\displaystyle T}$通常は実数線（${\displaystyle \mathbb {R} }$) または関数の族。関心のあるプロセスは、有界サンプルパスを持つもの、つまりL-∞ (${\displaystyle \ell ^{\infty }(T)}$)からのすべての一様有界関数の集合${\displaystyle T}$に${\displaystyle \mathbb {R} }$均一な距離を装備した場合、${\displaystyle \ell ^{\infty }(T)}$は距離空間であり、${\displaystyle T=\mathbb {R} }$、2 つの部分空間${\displaystyle \ell ^{\infty }(T)}$特に興味深いのは、${\displaystyle C[0,1]}$、すべての連続関数の空間${\displaystyle T}$単位区間[0,1]に、${\displaystyle D[0,1]}$、すべてのcadlag関数の空間${\displaystyle T}$[0,1] に。これは、${\displaystyle C[0,1]}$すべての連続確率変数の分布関数を含み、${\displaystyle D[0,1]}$すべての確率変数の分布関数が含まれています。ブートストラップの一貫性に関する記述は、ブートストラップ過程のサンプルパスが距離空間のランダム要素として収束することに関する記述です。${\displaystyle \ell ^{\infty }(T)}$またはそれらの部分空間、特に${\displaystyle C[0,1]}$または${\displaystyle D[0,1]}$。

Horowitzは最近のレビュー^{[ 1 ]}で一貫性を次のように 定義している。ブートストラップ推定量${\displaystyle G_{n}(\cdot ,F_{n})}$統計的に一貫している${\displaystyle T_{n}}$] 各${\displaystyle F_{0}}$、${\displaystyle \sup _{\tau }|G_{n}(\tau ,F_{n})-G_{\infty }(\tau ,F_{0})|}$確率的に0に収束する${\displaystyle n\to \infty }$、 どこ${\displaystyle F_{n}}$は元のサンプルの経験的分布であり、${\displaystyle F_{0}}$統計量の真の分布は不明である。${\displaystyle G_{\infty }(\tau ,F_{0})}$は漸近分布関数である${\displaystyle T_{n}}$、 そして${\displaystyle \tau }$は分布関数のインデックス変数です。つまり、${\displaystyle P(T_{n}\leq \tau )=G_{n}(\tau ,F_{0})}$これは、より具体的にはコルモゴロフ・スミルノフ距離に対する一貫性と呼ばれることもある。^{[ 52 ]}

ホロウィッツは、ある一般的な形式の統計の一貫性の必要十分条件をより簡単に確認できるマメンの定理^{[ 53 ]の使用を推奨している。具体的には、}${\displaystyle \{X_{i}:i=1,\ldots ,n\}}$ランダムサンプルとする。${\displaystyle T_{n}={\frac {\sum _{i=1}^{n}g_{n}(X_{i})-t_{n}}{\sigma _{n}}}}$数列について${\displaystyle t_{n}}$そして${\displaystyle \sigma _{n}}$ならば、累積分布関数のブートストラップ推定値は、以下の条件を満たす場合に限り、経験的累積分布関数を推定する。${\displaystyle T_{n}}$分布は標準正規分布に収束する。

上述のように（外側）確率の収束は、弱い一貫性とも呼ばれます。少し強い仮定の下では、ブートストラップが強い一貫性を持つことも示せます。この場合、（外側）確率の収束は、（外側）ほぼ確実な収束に置き換えられます。一貫性の種類が1つだけ記述されている場合、通常は弱い一貫性です。これは、ブートストラップから導出された信頼帯が漸近的に有効であることを意味するため、ほとんどの統計的応用には十分です。^{[ 51 ]}

より単純なケースでは、中心極限定理を直接用いて、標本平均の分布を推定するためのブートストラップ法の整合性を示すことが可能です。

具体的には、${\displaystyle X_{n1},\ldots ,X_{nn}}$独立同分布の確率変数${\displaystyle \mathbb {E} [X_{n1}]=\mu }$そして${\displaystyle {\text{Var}}[X_{n1}]=\sigma ^{2}<\infty }$各${\displaystyle n\geq 1}$。 させて${\displaystyle {\bar {X}}_{n}=n^{-1}(X_{n1}+\cdots +X_{nn})}$加えて、各${\displaystyle n\geq 1}$条件付き${\displaystyle X_{n1},\ldots ,X_{nn}}$、 させて${\displaystyle X_{n1}^{*},\ldots ,X_{nn}^{*}}$は、経験分布に等しい分布を持つ独立な確率変数である。${\displaystyle X_{n1},\ldots ,X_{nn}}$これはブートストラップサンプルのシーケンスです。

すると、次のことが示される。 $${\displaystyle \sup _{\tau \in \mathbb {R} }\left|P^{*}\left({\frac {{\sqrt {n}}({\bar {X}}_{n}^{*}-{\bar {X}}_{n})}{{\hat {\sigma }}_{n}}}\leq \tau \right)-P\left({\frac {{\sqrt {n}}({\bar {X}}_{n}-\mu )}{\sigma }}\leq \tau \right)\right|\to 0{\text{ in probability as }}n\to \infty ,}$$ どこ${\displaystyle P^{*}}$条件付き確率を表す${\displaystyle X_{n1},\ldots ,X_{nn}}$、${\displaystyle n\geq 1}$、${\displaystyle {\bar {X}}_{n}^{*}=n^{-1}(X_{n1}^{*}+\cdots +X_{nn}^{*})}$、 そして${\displaystyle {\hat {\sigma }}_{n}^{2}=n^{-1}\sum _{i=1}^{n}(X_{ni}-{\bar {X}}_{n})^{2}}$。

これを確認するには、次の点に注意してください。${\displaystyle (X_{ni}^{*}-{\bar {X}}_{n})/{\sqrt {n}}{\hat {\sigma }}_{n}}$リンデベルグ条件を満たすので、中心極限定理が成立する。^{[ 54 ]}

グリベンコ・カンテリの定理は、ブートストラップ法の理論的背景を提供する。