ブートストラップ（統計）

ブートストラッピングとは、データまたはデータから推定されたモデルを再サンプリング（多くの場合は復元サンプリング）することで推定値の分布を推定する手順です。 ^[1]ブートストラッピングは、サンプル推定値に精度の尺度（バイアス、分散、信頼区間、予測誤差など）を割り当てます。^{[2] [3]}この手法により、ランダムサンプリング法を使用してほぼすべての統計量のサンプル分布を推定できます。^[1]

ブートストラップ法は、近似分布からサンプリングする際に推定値の特性（分散など）を測定することにより、推定値のプロパティを推定します。近似分布の標準的な選択肢の 1 つは、観測データの経験分布関数です。観測値のセットが独立した同一分布の母集団からのものであると想定できる場合、観測データ セット（および観測データ セットと同じサイズ）のいくつかの復元抽出サンプルを構築することでこれを実装できます 。ブートストラップ法を紹介した Efron の独創的な論文^{[4]における重要な結果は、復元}抽出を使用するブートストラップ法が、復元抽出を行わないジャックナイフ法などの従来の方法と比較して優れたパフォーマンスを示したことです。ただし、導入以来、復元抽出を行わない方法や、元のデータよりも大きいまたは小さいブートストラップ サンプルを作成する方法など、ブートストラップのさまざまなバリエーションが提案されています。

ブートストラップ法は仮説検定の構築にも用いられる。^[5]ブートストラップ法は、パラメトリックモデルの仮定に基づく統計的推論の代替法として、その仮定が疑わしい場合や、パラメトリック推論が不可能であったり、標準誤差の計算に複雑な式が必要な場合によく用いられる。

ブートストラップ^[a]は、ブラッドリー・エフロンが「ブートストラップ法：ジャックナイフのもう一つの見方」（1979年）で初めて説明しました。 ^{[4] これは、}ジャックナイフに関する以前の研究に触発されたものです。^{[6] [7] [8]}分散の改良推定値は後に開発されました。^{[9] [10]}ベイズ拡張は1981年に開発されました。 ^[11] バイアス補正および加速（）ブートストラップは1987年にエフロンによって開発され、^[12]近似ブートストラップ信頼区間（ABC、または近似）手順は1992年に開発されました。 ^[13]${\displaystyle BC_{a}}$${\displaystyle BC_{a}}$

ブートストラップの基本的な考え方は、標本データから母集団についての推論（標本→母集団）を、標本データを再サンプリングし、再サンプリングされたデータから標本についての推論（再サンプリング→標本）を行うことによってモデル化できるというものです。 ^[14]母集団が未知であるため、標本統計量とその母集団の値の真の誤差は不明です。ブートストラップ再サンプリングでは、「母集団」は実際には標本であり、これは既知です。したがって、再サンプリングされたデータ（再サンプリング→標本）からの「真の」標本の推論の質は測定可能です。

より正式には、ブートストラップは、元のデータが与えられた場合の真の確率分布 Jの推論を、再サンプリングされたデータが与えられた場合の経験分布Ĵの推論に類似したものとして扱うことによって機能します。 Ĵ がわかっているため、再サンプリングされたデータを使用したĴに関する推論の精度を評価できます。 Ĵ がJの妥当な近似値である場合、 Jに関する推論の品質を推測できます。

例として、世界中の人々の平均 (または平均値) 身長を知りたいとします。世界中の人口すべてを計測することはできないので、その代わりに、そのごく一部をサンプリングして計測します。サンプルのサイズがNであるとします。つまり、 N人の身長を計測します。その単一のサンプルからは、平均値の推定値は 1 つしか得られません。母集団について推論するには、計算した平均値の変動性についてある程度の感覚が必要です。最も単純なブートストラップ法では、身長の元データ セットを取得し、コンピューターを使用してそこからサンプリングを行い、サイズがNの新しいサンプル (「再サンプル」またはブートストラップ サンプルと呼ばれる) を作成します 。ブートストラップ標本は、元の標本から復元標本抽出法を使用して抽出されます(たとえば、[1,2,3,4,5] から 5 回「再標本抽出」して [2,5,4,4,1] を取得するなど)。したがって、Nが十分に大きいと仮定すると、実質的に元の「実際の」標本と同一になる可能性はゼロです。このプロセスは、多数回 (通常は 1,000 回または 10,000 回) 繰り返され、これらのブートストラップ標本ごとに平均が計算されます (それぞれを「ブートストラップ推定値」と呼びます)。これで、ブートストラップ平均のヒストグラムを作成できます。このヒストグラムは、標本平均の分布の形状の推定値を提供し、標本間で平均がどの程度変化するかという質問に答えることができます (ここで平均について説明した方法は、他のほぼすべての統計または推定値に適用できます)。

ブートストラップ法の大きな利点は、そのシンプルさです。これは、分布の複雑な推定量（パーセンタイル点、比率、オッズ比、相関係数など）の標準誤差と信頼区間の推定値を導き出す簡単な方法です。しかし、そのシンプルさにもかかわらず、ブートストラップ法は複雑なサンプリング設計にも適用できます（たとえば、母集団を s 層に分割し、層ごとに n _{s の}観測値がある場合、各層にブートストラップ法を適用できます）。^[15]ブートストラップ法は、結果の安定性を制御および確認するための適切な方法でもあります。ほとんどの問題では真の信頼区間を知ることは不可能ですが、ブートストラップ法は、標本分散と正規性の仮定を使用して得られる標準区間よりも漸近的に正確です。^[16]ブートストラップ法は、他の標本データ グループを取得するために実験を繰り返すコストを回避する便利な方法でもあります。

ブートストラッピングは、使用する推定量に大きく依存し、単純ではあるが、ブートストラッピングを単純に使用すると、必ずしも漸近的に有効な結果が得られるわけではなく、矛盾が生じる可能性がある。^[17]ブートストラッピングは（ある条件下では）漸近的に一貫しているが、一般的な有限サンプルの保証は提供しない。結果は代表サンプルに依存する可能性がある。一見単純そうに見えるが、ブートストラップ分析を行う際に重要な仮定（例えば、サンプルの独立性や十分に大きいサンプルサイズなど）が立てられているという事実が隠れている可能性がある。これらの仮定は、他のアプローチではより正式に述べられるはずである。また、ブートストラッピングには時間がかかり、従来の統計コンピュータパッケージを使用して自動化するのが難しいため、ブートストラッピング用のソフトウェアはあまりない。^[15]

利用可能な計算能力が増大するにつれ、学者たちはブートストラップ サンプルを増やすことを推奨してきました。結果が現実世界に重大な影響を及ぼす可能性がある場合は、利用可能な計算能力と時間を考慮して、妥当な数のサンプルを使用するべきです。サンプル数を増やしても、元のデータの情報量を増やすことはできません。ブートストラップ手順自体から生じる可能性のあるランダム サンプリング エラーの影響を減らすことしかできません。さらに、サンプル数が 100 を超えると、標準誤差の推定値にほとんど改善が見られないという証拠があります。^[18]実際、ブートストラップ法の元の開発者によると、サンプル数を 50 に設定しても、かなり良好な標準誤差の推定値が得られる可能性が高いとのことです。^[19]

アデールらは、次のような状況ではブートストラップ法を推奨している。^[20]

• 関心のある統計の理論的な分布が複雑または不明な場合。ブートストラップ手順は分布に依存しないため、サンプルの基礎となる分布の特性と、この分布から得られる関心のあるパラメータを評価する間接的な方法を提供します。

• サンプル サイズが不十分で、統計的な推論が直接的に行えないとき。基礎となる分布が既知の場合、ブートストラップにより、母集団を完全に代表していない可能性のある特定のサンプルによって生じる歪みを考慮することができます。

• 検出力計算を実行する必要があり、小規模なパイロット サンプルが利用できる場合。ほとんどの検出力とサンプル サイズの計算は、対象となる統計の標準偏差に大きく依存します。使用する推定値が正しくない場合、必要なサンプル サイズも正しくありません。統計の変動を把握する 1 つの方法は、小規模なパイロット サンプルを使用し、そのサンプルに対してブートストラップを実行して、分散を把握することです。

しかし、Athreyaは^[21]、基礎となる母集団に有限分散がない場合（たとえば、べき乗分布）に標本平均に対してナイーブブートストラップを実行すると、ブートストラップ分布は標本平均と同じ限界に収束しないことを示しました。その結果、ブートストラップのモンテカルロシミュレーションに基づく信頼区間は誤解を招く可能性があります。Athreyaは、「基礎となる分布がヘビーテールではないと合理的に確信が持てない限り、ナイーブブートストラップの使用をためらうべきである」 と述べています。

単変量問題では、サブサンプリングとは異なり、個々の観測値を置換して再サンプリングすることが通常許容されます (以下、「ケース再サンプリング」)。サブサンプリングでは、再サンプリングは置換なしで行われ、ブートストラップに比べてはるかに弱い条件下で有効です。サンプル数が少ない場合は、パラメトリック ブートストラップ アプローチが適している場合があります。その他の問題では、スムーズ ブートストラップが適している可能性があります。

回帰問題の場合、他にも様々な選択肢があります。^[2]

ブートストラップは、通常、正規性の仮定（z 統計量や t 統計量などで必要）を使用せずに統計量（平均、分散など）の分布を推定する場合に役立ちます。特に、ブートストラップは、関心のある統計量の分布を推定するのに役立つ解析形式や漸近理論（適用可能な中心極限定理など）がない場合に役立ちます。これは、ブートストラップ法が分散と平均の比など、ほとんどのランダム量に適用できるためです。ケースの再サンプリングを実行する方法は少なくとも 2 つあります。

1. ケース再サンプリングのためのモンテカルロアルゴリズムは非常に単純です。まず、データを置換して再サンプリングします。再サンプリングのサイズは元のデータセットのサイズと同じでなければなりません。次に、最初のステップの再サンプリングから対象の統計量を計算します。このルーチンを何度も繰り返して、統計量のブートストラップ分布のより正確な推定値を取得します。^[2]
2. ケース再サンプリングの「正確な」バージョンも同様ですが、データセットの可能なすべての再サンプリングを網羅的に列挙します。これは、合計で異なる再サンプリングがあるため、計算コストが高くなる可能性があります。ここで、 nはデータセットのサイズです。したがって、n  = 5、10、20、30の場合、それぞれ126、92378、6.89 × 10 10、5.91 × 10 16の異なる再サンプリングがあり^ます。^[ 22 ^]${\displaystyle {\binom {2n-1}{n}}={\frac {(2n-1)!}{n!(n-1)!}}}$

コインを投げる実験を考えてみましょう。コインを投げて表か裏かを記録します。実験から得られた 10 個の観測値をX = x ₁ , x ₂ , …, x _{10とします。i 回目の投げで表が出た場合は}x _i = 1、そうでない場合は 0 です。コイン投げの平均が正規分布するという仮定を当てはめると、t 統計量を使用して標本平均の分布を推定できます。

${\displaystyle {\bar {x}}={\frac {1}{10}}(x_{1}+x_{2}+\cdots +x_{10}).}$

このような正規性の仮定は、個々のコイン投げの分布の近似として、または多数のコイン投げの平均の分布の近似として正当化できます。コイン投げの真の分布は正規分布ではなくベルヌーイ分布であるため、前者は不十分な近似です。後者は、中心極限定理により、無限に大きなサンプルでは有効な近似です。

ただし、そのような正当化を行う準備ができていない場合は、代わりにブートストラップを使用できます。ケース再サンプリングを使用すると、の分布を導き出すことができます。_最初にデータを再サンプリングして、ブートストラップ再サンプルを取得します。最初の再サンプルの例は次のようになります。X 1 * = x ₂、x ₁、x ₁₀、x ₁₀、x ₃、x ₄、x ₆、x ₇、x ₁、x ₉ 。ブートストラップ再サンプルはデータからの復元抽出から取得されるため、いくつか重複があります。また、ブートストラップ再サンプルのデータポイントの数は、元の観測のデータポイントの数と等しくなります。次に、この再サンプルの平均を計算し、最初のブートストラップ平均μ ₁ * を取得します。このプロセスを繰り返して、2番目の再サンプルX ₂ * を取得し、2番目のブートストラップ平均μ ₂ * を計算します。これを 100 回繰り返すと、μ ₁ *、μ ₂ *、...、μ ₁₀₀ * になります。これは、サンプル平均の経験的ブートストラップ分布を表します。この経験的分布から、仮説検定の目的で ブートストラップ信頼区間を導き出すことができます。${\displaystyle {\bar {x}}}$

回帰問題におけるケース再サンプリングとは、個々のケース（多くの場合データセットの行）を再サンプリングする単純な方法を指します。回帰問題の場合、データセットがかなり大きい限り、この単純な方法は多くの場合受け入れられます。^{[引用が必要]}しかし、この方法は批判を受けやすいです^{[引用が必要]}。^[15]

回帰問題では、説明変数は固定されているか、少なくとも応答変数よりも制御されて観察されることがよくあります。また、説明変数の範囲によって、そこから得られる情報が決まります。したがって、ケースを再サンプリングすると、各ブートストラップ サンプルで一部の情報が失われます。そのため、代替のブートストラップ手順を検討する必要があります。

ブートストラップは、初期データの重み付けを変更して新しいデータセットを作成する方式を使用して、ベイジアンフレームワークで解釈できます。データポイントのセットが与えられた場合、新しいデータセットのデータポイントに割り当てられる重みはです。ここで、 は上の均一に分布する乱数の低から高の順序のリストで、先頭に 0、末尾に 1 が付きます。このようなデータセットを多数考慮して推定されるパラメータの分布は、そのパラメータの事後分布として解釈できます。 ^[23]${\displaystyle N}$${\displaystyle i}$${\displaystyle {\mathcal {D}}^{J}}$${\displaystyle w_{i}^{J}=x_{i}^{J}-x_{i-1}^{J}}$${\displaystyle \mathbf {x} ^{J}}$${\displaystyle N-1}$${\displaystyle [0,1]}$${\displaystyle {\mathcal {D}}^{J}}$

この方式では、少量の（通常は正規分布する）ゼロ中心のランダムノイズが各再サンプリングされた観測値に追加されます。これは、データのカーネル密度推定からサンプリングすることと同じです。Kは単位分散の対称カーネル密度関数であると仮定します。の標準カーネル推定量は、 ${\displaystyle {\hat {f\,}}_{h}(x)}$${\displaystyle f(x)}$

${\displaystyle {\hat {f\,}}_{h}(x)={1 \over nh}\sum _{i=1}^{n}K\left({x-X_{i} \over h}\right),}$ ^[24]

ここで、平滑化パラメータである。対応する分布関数推定値は ${\displaystyle h}$${\displaystyle {\hat {F\,}}_{h}(x)}$

${\displaystyle {\hat {F\,}}_{h}(x)=\int _{-\infty }^{x}{\hat {f}}_{h}(t)\,dt.}$ ^[24]

元のデータセットが特定のパラメトリックタイプの分布からのランダムサンプルの実現であるという仮定に基づき、この場合、パラメトリックモデルは、多くの場合最大尤度によってパラメータ θ でフィッティングされ、乱数のサンプルがこのフィッティングモデルから抽出されます。通常、抽出されたサンプルは、元のデータと同じサンプルサイズです。すると、元の関数 F の推定値は と記述できます。このサンプリングプロセスは、他のブートストラップ法の場合と同様に何度も繰り返されます。この場合の中心化サンプル平均を考慮すると、ランダムサンプルの元の分布関数は、関数 を持つブートストラップランダムサンプルに置き換えられ、の確率分布は の確率分布で近似されます。ここで、 は に対応する期待値です。^[25]ブートストラップ法のサンプリング段階でパラメトリックモデルを使用すると、同じモデルの推論に基本的な統計理論を適用することによって得られる手順とは異なる手順になります。 ${\displaystyle {\hat {F}}=F_{\hat {\theta }}}$${\displaystyle F_{\theta}}$${\displaystyle F_{\hat {\theta }}}$${\displaystyle {\bar {X_{n}}}-\mu _{\theta}}$${\displaystyle {\bar {X}}_{n}^{*}-\mu ^{*}}$${\displaystyle \mu ^{*}=\mu _{\hat {\theta }}}$${\displaystyle F_{\hat {\theta }}}$

回帰問題におけるブートストラップの別のアプローチは、残差を再サンプリングすることです。この方法は次のように進行します。

1. モデルを適合し、適合値と残差を保持します。${\displaystyle {\widehat {y\,}}_{i}}$${\displaystyle {\widehat {\varepsilon \,}}_{i}=y_{i}-{\widehat {y\,}}_{i},(i=1,\dots ,n)}$
2. 各ペア ( x _i、y _i ) について、x _{i は}(多変量の可能性がある) 説明変数であり、ランダムに再サンプリングされた残差 を適合値 に追加します。つまり、すべてのiについて、リスト (1、...、n )からjがランダムに選択される合成応答変数を作成します。${\displaystyle {\widehat {\varepsilon \,}}_{j}}$${\displaystyle {\widehat {y\,}}_{i}}$${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{j}}$
3. 架空の応答変数を使用してモデルを再適合し、関心のある数量（多くの場合、合成 から推定されたパラメータ）を保持します。${\displaystyle y_{i}^{*}}$${\displaystyle {\widehat {\mu }}_{i}^{*}}$${\displaystyle y_{i}^{*}}$
4. 手順 2 と 3 を何度も繰り返します。

この方式の利点は、説明変数の情報を保持することです。ただし、どの残差を再サンプリングするかという問題が生じます。生の残差は 1 つのオプションであり、もう 1 つはスチューデント化残差(線形回帰) です。スチューデント化残差の使用を支持する議論もありますが、実際にはほとんど違いはなく、両方の方式の結果を比較するのは簡単です。

データが時間的に相関している場合、単純なブートストラップでは、本来の相関関係が破壊されます。この方法では、ガウス過程回帰 (GPR) を使用して確率モデルを適合させ、そこから複製を抽出します。GPR はベイズ非線形回帰法です。ガウス過程 (GP) はランダム変数の集合であり、その有限数は結合ガウス (正規) 分布を持ちます。GP は平均関数と共分散関数によって定義され、ランダム変数の有限集合ごとに平均ベクトルと共分散行列を指定します。^[26]

回帰モデル:

${\displaystyle y(x)=f(x)+\varepsilon ,\ \ \varepsilon \sim {\mathcal {N}}(0,\sigma ^{2}),}$ ${\displaystyle \epsilon }$ノイズ用語です。

ガウス過程事前分布:

任意の有限変数x ₁ , ...,  x _nに対して、関数の出力は平均と共分散行列を持つ多変量ガウス分布に従って共分布する。${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$${\displaystyle m=[m(x_{1}),\ldots ,m(x_{n})]^{\intercal }}$${\displaystyle (K)_{ij}=k(x_{i},x_{j}).}$

仮定すると、 ${\displaystyle f(x)\sim {\mathcal {GP}}(m,k).}$${\displaystyle y(x)\sim {\mathcal {GP}}(m,l)}$

ここで、は標準的なクロネッカーのデルタ関数である。^[26]${\displaystyle l(x_{i},x_{j})=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j})}$${\displaystyle \delta (x_{i},x_{j})}$

ガウス過程事後分布:

GPの事前情報によれば、

${\displaystyle [y(x_{1}),\ldots ,y(x_{r})]\sim {\mathcal {N}}(m_{0},K_{0})}$、

どこでそして${\displaystyle m_{0}=[m(x_{1}),\ldots ,m(x_{r})]^{\intercal }}$${\displaystyle (K_{0})_{ij}=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j}).}$

x ₁ ^* ,...,x _s ^*を別の有限変数集合とすると、

${\displaystyle [y(x_{1}),\ldots ,y(x_{r}),f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\sim {\mathcal {N}}({\binom {m_{0}}{m_{*}}}{\begin{pmatrix}K_{0}&K_{*}\\K_{*}^{\intercal }&K_{**}\end{pmatrix}})}$、

どこ、、${\displaystyle m_{*}=[m(x_{1}^{*}),\ldots ,m(x_{s}^{*})]^{\intercal }}$${\displaystyle (K_{**})_{ij}=k(x_{i}^{*},x_{j}^{*})}$${\displaystyle (K_{*})_{ij}=k(x_{i},x_{j}^{*}).}$

上記の式によれば、出力yも多変量ガウス分布に従って共分布する。したがって、

${\displaystyle [f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\mid ([y(x)]^{\intercal }=y)\sim {\mathcal {N}}(m_{\text{post}},K_{\text{post}}),}$

ここで、、、は単位行列である。[ 26 ^]${\displaystyle y=[y_{1},...,y_{r}]^{\intercal }}$${\displaystyle m_{\text{post}}=m_{*}+K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}(y-m_{0})}$${\displaystyle K_{\text{post}}=K_{**}-K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}K_{*}}$${\displaystyle I_{r}}$${\displaystyle r\times r}$

ワイルドブートストラップは、もともとWu (1986) ^[27]によって提案されたもので、モデルが不均一分散性を示す場合に適しています。残差ブートストラップの考え方は、回帰変数をサンプル値のままにして、残差値に 基づいて応答変数を再サンプリングすることです。つまり、各反復ごとに、${\displaystyle y}$

${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{i}v_{i}}$

残差は平均0、分散1のランダム変数でランダムに乗じられる。ほとんどの分布（マメンの分布は除く）では、この方法は「真の」残差分布が対称であると仮定し、より小さなサンプルサイズでは単純な残差サンプリングよりも利点がある。ランダム変数には、次のような 異なる形式が使用される。${\displaystyle v_{i}}$${\displaystyle v_{i}}$${\displaystyle v_{i}}$

• 標準正規分布

• マメン（1993）が提案した分布。^[28]

${\displaystyle v_{i}={\begin{cases}-({\sqrt {5}}-1)/2&{\text{with probability }}({\sqrt {5}}+1)/(2{\sqrt {5}}),\\({\sqrt {5}}+1)/2&{\text{with probability }}({\sqrt {5}}-1)/(2{\sqrt {5}})\end{cases}}}$

マメンの分布はおおよそ次のようになります。

${\displaystyle v_{i}={\begin{cases}-0.6180\quad {\text{(with a 0 in the units' place)}}&{\text{with probability }}0.7236,\\+1.6180\quad {\text{(with a 1 in the units' place)}}&{\text{with probability }}0.2764.\end{cases}}}$

• あるいは、 Rademacher分布にリンクされたより単純な分布:

${\displaystyle v_{i}={\begin{cases}-1&{\text{with probability }}1/2,\\+1&{\text{with probability }}1/2.\end{cases}}}$

ブロック ブートストラップは、データまたはモデル内のエラーが相関している場合に使用されます。この場合、単純なケースまたは残差の再サンプリングは、データの相関を再現できないため失敗します。ブロック ブートストラップは、データのブロック内で再サンプリングすることで相関を再現しようとします (「ブロッキング (統計) 」を参照)。ブロック ブートストラップは、主に時間的に相関しているデータ (つまり時系列) で使用されていますが、空間的に相関しているデータやグループ間で相関しているデータ (いわゆるクラスター データ) でも使用できます。

(単純な) ブロック ブートストラップでは、対象の変数が重複しないブロックに分割されます。

Künsch (1989) によって導入された移動ブロックブートストラップでは、^{[29]データは長さ}bのn  −  b  + 1 個の重複ブロックに分割されます。観測値 1 から b はブロック 1、観測値 2 からb  + 1 はブロック 2 などになります。次に、これらのn  −  b  + 1 個のブロックから、n / b 個のブロックがランダムに抽出され、置換されます。次に、これらの n/b 個のブロックを選択された順序で並べると、ブートストラップ観測値が得られます。

このブートストラップは従属データで機能しますが、ブートストラップされた観測値は構造上、もはや定常ではありません。しかし、ブロックの長さをランダムに変化させることでこの問題を回避できることが示されています。^[30]この方法は定常ブートストラップとして知られています。移動ブロックブートストラップの他の関連する修正には、マルコフブートストラップと、標準偏差のマッチングに基づいて後続のブロックをマッチングする定常ブートストラップ法があります。

Vinod (2006) ^[31]は、平均保存と質量保存の制約を伴うエルゴード定理を満たす最大エントロピー原理を使用して時系列データをブートストラップする方法を提示しています。この方法を利用するRパッケージmeboot ^[32]があり、計量経済学とコンピュータサイエンスに応用されています。

クラスターデータとは、単位当たりの観測値が多いデータを指します。これは、多くの州にある多くの企業や、多くのクラスの生徒を観測することを意味します。このような場合、相関構造は単純化され、通常、データはグループ/クラスター内で相関しているが、グループ/クラスター間では独立しているという仮定が立てられます。ブロックブートストラップの構造は簡単に得られます (ブロックがグループに対応する場合)。通常、グループのみが再サンプリングされ、グループ内の観測値は変更されません。Cameronら(2008) は、線形回帰におけるクラスター化されたエラーについてこれを論じています。^[33]

ブートストラップは強力な手法ですが、時間とメモリの両方でかなりの計算リソースが必要になる場合があります。この負担を軽減する手法がいくつか開発されています。これらの手法は、通常、さまざまな種類のブートストラップ スキームやさまざまな統計の選択と組み合わせることができます。

ほとんどのブートストラップ法は、非常に並列なアルゴリズムです。つまり、各ブートストラップ サンプルの対象となる統計は、他のブートストラップ サンプルに依存しません。したがって、このような計算は、別々のCPUまたは計算ノードで実行でき、個別のノードからの結果は最終的に集約されて、最終的な分析に使用されます。

ノンパラメトリック ブートストラップは、多項分布から抽出されたカウントを使用して、サイズ n のリストから項目をサンプリングします。が、特定のブートストラップ サンプルに含まれる要素 i の回数を表す場合、各 はn 回の試行と平均 1 を持つ二項分布として分布しますが、についてはと独立ではありません。 ${\displaystyle W_{i}}$${\displaystyle W_{i}}$${\displaystyle W_{i}}$${\displaystyle W_{j}}$${\displaystyle i\neq j}$

ポアソン ブートストラップでは、代わりに、すべてのが平均 1 のポアソン変数として独立して同一に分布していると仮定してサンプルを抽出します。その理由は、二項分布の極限がポアソン分布であるためです。 ${\displaystyle W_{i}}$

${\displaystyle \lim _{n\to \infty }\operatorname {Binomial} (n,1/n)=\operatorname {Poisson} (1)}$

ポアソンブートストラップは、RやS-Plusプログラミング言語のブートストラップパッケージを持たないSASやSPSSなどのソフトウェアを使用する非統計学者にとって潜在的に有用であるとして、ハンリーとマクギボンによって提案されました。 ^[34]同じ著者らは、nが十分に大きい場合、結果はノンパラメトリックブートストラップ推定値と比較的類似していると報告していますが、ポアソンブートストラップはアプリケーションではほとんど使用されていないと指摘しています。

ポアソンブートストラップのもう一つの利点は、独立性があることで、ストリームとして処理する必要がある大規模なデータセットにこの方法を適用しやすくなることである。^[35]${\displaystyle W_{i}}$

ポアソンブートストラップを改良する方法は「シーケンシャルブートストラップ」と呼ばれ、最初のサンプルを採取して、一意の値の割合が元のサンプルサイズnの≈0.632になるようにします。これにより、主要な経験的特性が距離内にある分布が得られます。^[36]経験的調査により、この方法は良い結果をもたらすことが示されています。^[37]これは、縮小ブートストラップ法に関連しています。^[38]${\displaystyle O(n^{3/4})}$

大規模なデータセットの場合、サンプルデータすべてをメモリに保持してサンプルデータから再サンプリングすることは、多くの場合計算上不可能です。Bag of Little Bootstraps (BLB) ^[39]は、ブートストラップの前にデータを事前集計して計算上の制約を減らす方法を提供します。これは、データセットを同じサイズのバケットに分割し、各バケット内でデータを集計することによって機能します。この事前集計されたデータセットは、復元抽出されたサンプルの新しいサンプルデータになります。この方法はブロックブートストラップに似ていますが、ブロックの目的と定義は非常に異なります。特定の仮定の下では、サンプル分布は完全なブートストラップシナリオに近似する必要があります。1つの制約はバケットの数であり、著者は一般的な解決策として の使用を推奨しています。 ${\displaystyle b}$${\displaystyle b=n^{\gamma }}$${\displaystyle \gamma \in [0.5,1]}$${\displaystyle b=n^{0.7}}$

母集団パラメータの点推定値のブートストラップ分布は、パラメータが母集団の分布の関数として表されることができる場合に、パラメータの真の値のブートストラップ信頼区間を生成するために使用されています。

母集団パラメータは、多くの点推定量で推定されます。一般的な点推定量ファミリーには、平均不偏最小分散推定量、中央値不偏推定量、ベイズ推定量（たとえば、事後分布のモード、中央値、平均）、および最大尤度推定量があります。

漸近理論によれば、ベイズ点推定量と最大尤度推定量は、サンプルサイズが無限大の場合には良好な性能を示す。有限サンプルの実際的な問題では、他の推定量の方が適しているかもしれない。漸近理論は、ブートストラップ推定量のパフォーマンスを向上させる手法を提案している。最大尤度推定量のブートストラップは、重要な量に関連する変換を使用することで改善されることが多い。^[40]

パラメータ推定量のブートストラップ分布は、その母数パラメータの信頼区間を計算するためによく使用されます。 ^[2]信頼区間を構築するためのさまざまな方法が提案されていますが、どの方法が最適であるかについては意見の相違があります。

DiCiccio と Efron によるブートストラップ信頼区間法の調査とそれに続く議論では、信頼区間のいくつかの望ましい特性がリストされていますが、通常、これらすべてが同時に満たされることはありません。

• 変換不変- 変換されたデータのブートストラップから得られる信頼区間（たとえば、対数を取ることによって）は、理想的には、変換されていないデータのブートストラップから得られる信頼区間の変換と同じになります。
• 信頼区間は有効または一貫している必要があります。つまり、パラメータが公称レベルの信頼区間内にある確率は、 に等しいか、少なくとも確率的に に収束する必要があります。後者の基準は、ホールのフレームワークを使用して改良および拡張されています。^[41]この改良は、真の被覆確率が公称値に近づく速さに基づいて手法を区別するためのもので、近似値の誤差項が の場合、手法は（DiCiccio と Efron の用語を使用すると） 1 次正確であり、誤差項が の場合、手法は2 次正確です。さらに、推定されたブートストラップ臨界点が真の（未知の）点に収束する速度によっても手法は区別され、この速度が の場合、手法は2 次正確です。${\displaystyle 1-\alpha }$${\displaystyle 1-\alpha }$${\displaystyle O(1/{\sqrt {n}})}$${\displaystyle O(n^{-1})}$${\displaystyle O_{p}(n^{-3/2})}$
• Gleser 氏は論文の議論の中で、前の箇条書きの漸近的記述の限界は、項が必ずしもパラメータや真の分布において均一ではないことだと主張しています。${\displaystyle O(\cdot )}$

• バイアス: ブートストラップ分布とサンプルが体系的に一致しない場合、バイアス が発生する可能性があります。

  推定量のブートストラップ分布が対称である場合、パーセンタイル信頼区間がよく使用されます。このような区間は、絶対 損失関数に関して、最小リスクの中央値不偏推定量に特に適しています。ブートストラップ分布の偏りは、信頼区間の偏りにつながります。

  それ以外の場合、ブートストラップ分布が非対称であれば、パーセンタイル信頼区間は不適切になることが多いです。

実パラメータのブートストラップ分布から信頼区間を構築する方法はいくつかあります。

• 基本ブートストラップ法^[40]は逆パーセンタイル区間^[42]としても知られています。基本ブートストラップ法は信頼区間を構築するためのシンプルな手法です。パラメータのブートストラップ分布から経験的分位点を単純に取ります（Davison and Hinkley 1997、式5.6、p.194を参照）。

${\displaystyle (2{\widehat {\theta \,}}-\theta _{(1-\alpha /2)}^{*},2{\widehat {\theta \,}}-\theta _{(\alpha /2)}^{*})}$ここで、はブートストラップ係数のパーセンタイルを表します。${\displaystyle \theta _{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle \theta ^{*}}$

• パーセンタイル ブートストラップ。パーセンタイル ブートストラップは、ブートストラップ分布のパーセンタイルを使用して、基本的なブートストラップと同様の方法で実行されますが、式が異なります (左の分位数と右の分位数が反転していることに注意してください)。

${\displaystyle (\theta _{(\alpha /2)}^{*},\theta _{(1-\alpha /2)}^{*})}$ここで、はブートストラップ係数のパーセンタイルを表します。${\displaystyle \theta _{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle \theta ^{*}}$

Davison and Hinkley (1997, equ. 5.18 p. 203)およびEfron and Tibshirani (1993, equ. 13.5 p. 171)を参照。

この方法は、どんな統計量にも適用できます。ブートストラップ分布が対称で観測統計量を中心にしている場合^[43]、およびサンプル統計量が中央値不偏で最大集中度（または絶対値損失関数に対する最小リスク）である場合に有効です。サンプルサイズが小さい場合（つまり、50未満）は、（たとえば）分散統計量の基本/逆パーセンタイルおよびパーセンタイル信頼区間が狭すぎます。そのため、20ポイントのサンプルでは、​​90％信頼区間に真の分散が含まれるのは78％の時間だけです。^[44] 基本/逆パーセンタイル信頼区間は数学的に正当化しやすいですが^{[45] [42]}、一般にパーセンタイル信頼区間よりも精度が低く、一部の著者は使用を推奨していません。^[42]

• スチューデント化ブートストラップ。スチューデント化ブートストラップは、ブートストラップ tとも呼ばれ、標準信頼区間と同様に計算されますが、正規近似またはスチューデント近似からの分位数を、スチューデントの t 検定のブートストラップ分布からの分位数に置き換えます(Davison および Hinkley 1997、式 5.7、p. 194 および Efron および Tibshirani 1993、式 12.22、p. 160 を参照)。

${\displaystyle ({\widehat {\theta \,}}-t_{(1-\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta },{\widehat {\theta \,}}-t_{(\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta })}$ここで、はブートストラップされたスチューデントのt検定のパーセンタイルを表し、は元のモデルの係数の推定標準誤差です。${\displaystyle t_{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle t^{*}=({\widehat {\theta \,}}^{*}-{\widehat {\theta \,}})/{\widehat {\text{se}}}_{{\widehat {\theta \,}}^{*}}}$${\displaystyle {\widehat {\text{se}}}_{\theta }}$

スチューデント化検定は、パーセンタイル ブートストラップとは異なり、ブートストラップされる統計が極めて重要であるため (つまり、t 検定が漸近的に N(0,1) 分布に従うため、迷惑パラメータに依存しない)、最適な特性を備えています。

• バイアス補正ブートストラップ-ブートストラップ分布のバイアスを調整します。
• 加速ブートストラップ– エフロン（1987）によるバイアス補正加速（BCa）ブートストラップ^[12]は、ブートストラップ分布のバイアスと歪度の両方を調整します。このアプローチは、さまざまな設定で正確であり、計算要件が合理的で、かなり狭い間隔を生成します。^[12]

エフロンとティブシラニ^[2]は、2つの独立した標本の平均を比較するための次のアルゴリズムを提案している。分布Fから標本平均と標本分散を持つランダム標本を とする。分布Gから平均と分散を持つ別の独立したランダム標本を とする。${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle {\bar {x}}}$${\displaystyle \sigma _{x}^{2}}$${\displaystyle y_{1},\ldots ,y_{m}}$${\displaystyle {\bar {y}}}$${\displaystyle \sigma _{y}^{2}}$

1. 検定統計量を計算する${\displaystyle t={\frac {{\bar {x}}-{\bar {y}}}{\sqrt {\sigma _{x}^{2}/n+\sigma _{y}^{2}/m}}}}$
2. 値が で、結合されたサンプルの平均である 2 つの新しいデータ セットを作成します。${\displaystyle x_{i}'=x_{i}-{\bar {x}}+{\bar {z}}}$${\displaystyle y_{i}'=y_{i}-{\bar {y}}+{\bar {z}},}$${\displaystyle {\bar {z}}}$
3. からサイズのランダム サンプル ( )を復元抽出し、さらにからサイズのランダム サンプル ( )を復元抽出します。${\displaystyle x_{i}^{*}}$${\displaystyle n}$${\displaystyle x_{i}'}$${\displaystyle y_{i}^{*}}$${\displaystyle m}$${\displaystyle y_{i}'}$
4. 検定統計量を計算する${\displaystyle t^{*}={\frac {{\bar {x^{*}}}-{\bar {y^{*}}}}{\sqrt {\sigma _{x}^{*2}/n+\sigma _{y}^{*2}/m}}}}$
5. 検定統計量の値を収集するには、 3 回と 4回繰り返します (例) 。${\displaystyle B}$${\displaystyle B=1000}$${\displaystyle B}$
6. 条件が真の場合はp 値を、そうでない場合は 0 として推定します。${\displaystyle p={\frac {\sum _{i=1}^{B}I\{t_{i}^{*}\geq t\}}{B}}}$${\displaystyle I\{{\text{condition}}\}=1}$

1878年、サイモン・ニューカムは光の速度を観測しました。^[46] データ セットには 2 つの外れ値が含まれており、標本平均に大きな影響を与えます。(標本平均は、どの母集団平均に対しても一貫した推定値である必要はありません。裾の重い分布には平均が存在する必要がないためです。) 中心傾向の明確で 堅牢な統計量は標本中央値であり、これは母集団中央値に対して一貫しており、中央値に偏りがありません。

ニューカムのデータのブートストラップ分布を以下に示します。各ブートストラップ標本に少量のランダムノイズを追加することで、ブートストラップ分布の離散性を減らすことができます。従来の選択肢は、標本サイズnに対して標準偏差 のノイズを追加することです。このノイズは、自由度n-1の Student-t 分布から抽出されることが多いです。 ^[47]これにより、標本平均の分散の近似的に偏りのない推定値が得られます。^[48] これは、ブートストラップ分布から抽出された標本の分散が、平均すると全母集団の分散に等しいことを意味します。 ${\displaystyle \sigma /{\sqrt {n}}}$

ブートストラップ分布と平滑ブートストラップ分布のヒストグラムを以下に示します。標本中央値のブートストラップ分布には少数の値しかありません。平滑ブートストラップ分布にはより豊富なサポートがあります。ただし、平滑ブートストラップ手順と標準ブートストラップ手順のどちらが有利であるかはケースバイケースであり、基礎となる分布関数と推定される量の両方に依存することが示されていることに注意してください。^[49]

この例では、母集団の中央値に対するブートストラップされた 95% (パーセンタイル) 信頼区間は (26, 28.5) であり、これは平滑化されたブートストラップの区間 (25.98, 28.46) に近いです。

ブートストラップは次のものと区別されます。

• ジャックナイフ法は、標本統計の偏りを推定し、分散を推定するために使用される。
• 交差検証では、1 つのサブサンプルで推定されたパラメータ (例: 回帰重み、因子負荷量) が別のサブサンプルに適用されます。

詳細については、再サンプリングを参照してください。

ブートストラップ集約(バギング)は、複数のブートストラップ サンプルでトレーニングされたモデルから取得されたモデル予測の平均化に基づく メタアルゴリズムです。

少数のデータ項目rのみを使用して必要な特性を測定するための明らかな統計を考案できる状況では、サンプル全体に基づく対応する統計を定式化できます。rサンプルの統計が与えられた場合、ブートストラップ (サイズrのすべてのサブサンプルの統計の平均を取る) に似た方法でnサンプルの統計を作成できます。 この手順には特定の優れた特性があることが知られており、結果はU 統計です。r  = 1 およびr  = 2 の場合、サンプル平均とサンプル分散はこの形式になります。

ブートストラップは、特定の条件下では望ましい漸近特性を持ちます。最もよく説明される漸近特性は、ブートストラップ経験的プロセスのサンプルパスの弱い収束/一貫性と、ブートストラップから導出された信頼区間の妥当性です。このセクションでは、経験的ブートストラップの収束について説明します。

^{この段落では、van der Vaart と Wellner [50]}および Kosorok ^[51]による確率収束のより完全な説明を要約します。ブートストラップは、何らかの集合 によってインデックス付けされたランダム変数のコレクションである確率過程を定義します。ここで、は通常、実数直線( ) または関数の族です。興味のあるプロセスは、有界サンプルパス、つまりL 無限大( )、つまりから までのすべての一様有界関数の集合内のサンプルパスを持つプロセスです。一様距離が装備されている場合、は距離空間であり、 のとき、 の 2 つの部分空間が特に重要です。はから までのすべての連続関数の空間であり、は からまでのすべてのcadlag 関数の空間です。これは、 がすべての連続ランダム変数の分布関数を含み、 がすべてのランダム変数の分布関数を含むためです。ブートストラップの一貫性に関する記述は、ブートストラップ過程のサンプルパスが、特にまたはの、メトリック空間またはその一部の部分空間のランダム要素として収束することに関する記述です。 ${\displaystyle T}$${\displaystyle T}$${\displaystyle \mathbb {R} }$${\displaystyle \ell ^{\infty }(T)}$ ${\displaystyle T}$${\displaystyle \mathbb {R} }$${\displaystyle \ell ^{\infty }(T)}$${\displaystyle T=\mathbb {R} }$${\displaystyle \ell ^{\infty }(T)}$${\displaystyle C[0,1]}$${\displaystyle T}$${\displaystyle D[0,1]}$${\displaystyle T}$${\displaystyle C[0,1]}$${\displaystyle D[0,1]}$${\displaystyle \ell ^{\infty }(T)}$${\displaystyle C[0,1]}$${\displaystyle D[0,1]}$

ホロウィッツは最近のレビュー^[1]で、一貫性を次のように 定義しています。ブートストラップ推定量は、各 に対して、が の確率で0 に収束する場合に、[統計量 に対して] 一貫性があります。ここで、は元のサンプルにおける対象の統計量の分布、は統計量の真の未知の分布、は の漸近分布関数、 は分布関数のインデックス変数、つまり です。これは、より具体的には、コルモゴロフ-スミルノフ距離 に対する一貫性と呼ばれることがあります。^[52]${\displaystyle G_{n}(\cdot ,F_{n})}$${\displaystyle T_{n}}$${\displaystyle F_{0}}$${\displaystyle \sup _{\tau }|G_{n}(\tau ,F_{n})-G_{\infty }(\tau ,F_{0})|}$ ${\displaystyle n\to \infty }$${\displaystyle F_{n}}$${\displaystyle F_{0}}$${\displaystyle G_{\infty }(\tau ,F_{0})}$${\displaystyle T_{n}}$${\displaystyle \tau }$${\displaystyle P(T_{n}\leq \tau )=G_{n}(\tau ,F_{0})}$

ホロウィッツはさらに、ある共通形式の統計量に対する一貫性の必要十分条件をより簡単に確認できるマメン^[53]の定理の使用を推奨している。特に、ランダムサンプルを とする。数列 および に対して、累積分布関数のブートストラップ推定が経験的累積分布関数を推定するのは、 が分布において標準正規分布に収束する場合のみである。 ${\displaystyle \{X_{i}:i=1,\ldots ,n\}}$${\displaystyle T_{n}={\frac {\sum _{i=1}^{n}g_{n}(X_{i})-t_{n}}{\sigma _{n}}}}$${\displaystyle t_{n}}$${\displaystyle \sigma _{n}}$${\displaystyle T_{n}}$

上で説明した（外部）確率の収束は、弱い一貫性とも呼ばれます。また、わずかに強い仮定で、ブートストラップが強い一貫性を持つことも示せます。この場合は、（外部）確率の収束が（外部）ほぼ確実な収束に置き換えられます。1種類の一貫性だけが説明される場合、通常は弱い一貫性です。これは、ブートストラップから得られる信頼帯が漸近的に有効であることを意味するため、ほとんどの統計アプリケーションに適しています。^[51]

より単純なケースでは、中心極限定理を直接使用して、標本平均の分布を推定するためのブートストラップ手順の 一貫性を示すことが可能です。

具体的には、各 に対して、および となる独立した同一分布のランダム変数を考えます。 とします。さらに、 を条件とする各 に対して、の経験分布に等しい分布となる独立したランダム変数 とします。これがブートストラップ標本のシーケンスです。 ${\displaystyle X_{n1},\ldots ,X_{nn}}$${\displaystyle \mathbb {E} [X_{n1}]=\mu }$${\displaystyle {\text{Var}}[X_{n1}]=\sigma ^{2}<\infty }$${\displaystyle n\geq 1}$${\displaystyle {\bar {X}}_{n}=n^{-1}(X_{n1}+\cdots +X_{nn})}$${\displaystyle n\geq 1}$${\displaystyle X_{n1},\ldots ,X_{nn}}$${\displaystyle X_{n1}^{*},\ldots ,X_{nn}^{*}}$${\displaystyle X_{n1},\ldots ,X_{nn}}$

すると、、、 の条件 付き確率を表すことが示されます 。 $${\displaystyle \sup _{\tau \in \mathbb {R} }\left|P^{*}\left({\frac {{\sqrt {n}}({\bar {X}}_{n}^{*}-{\bar {X}}_{n})}{{\hat {\sigma }}_{n}}}\leq \tau \right)-P\left({\frac {{\sqrt {n}}({\bar {X}}_{n}-\mu )}{\sigma }}\leq \tau \right)\right|\to 0{\text{ in probability as }}n\to \infty ,}$$${\displaystyle P^{*}}$${\displaystyle X_{n1},\ldots ,X_{nn}}$${\displaystyle n\geq 1}$${\displaystyle {\bar {X}}_{n}^{*}=n^{-1}(X_{n1}^{*}+\cdots +X_{nn}^{*})}$${\displaystyle {\hat {\sigma }}_{n}^{2}=n^{-1}\sum _{i=1}^{n}(X_{ni}-{\bar {X}}_{n})^{2}}$

これを理解するには、がリンデバーグ条件を満たすことに注目してください。したがって、CLTが成り立ちます。^[54]${\displaystyle (X_{ni}^{*}-{\bar {X}}_{n})/{\sqrt {n}}{\hat {\sigma }}_{n}}$

グリベンコ・カンテリ定理は、ブートストラップ法の理論的背景を提供します。

• 正確さと精度
• ブートストラップ集約
• ブートストラップ
• 経験的可能性
• 帰属（統計）
• 信頼性（統計）
• 再現性
• 再サンプリング

• Diaconis P、Efron B (1983年5月)。「統計におけるコンピュータ集約型手法」(PDF)。Scientific American。248 (5): 116–130。Bibcode :1983SciAm.248e.116D。doi :10.1038/scientificamerican0583-116。 2016年3月13日時点のオリジナル(PDF)からアーカイブ。 2016年1月19日閲覧。ポピュラーサイエンス
• Efron B (1981). 「標準誤差のノンパラメトリック推定: ジャックナイフ法、ブートストラップ法、その他の方法」Biometrika . 68 (3): 589–599. doi :10.1093/biomet/68.3.589. JSTOR  2335441.
• Hesterberg T、Moore DS、Monaghan S、Clipson A、Epstein R (2005)。「ブートストラップ法と順列検定」(PDF)。David S. Moore、George McCabe (編)。統計実践入門。ソフトウェア。2006年 2 月 15 日にオリジナル(PDF)からアーカイブ。2007年 3 月 23 日に取得。
• Efron B (1979)。「ブートストラップ法: ジャックナイフの新たな見方」。統計年報。7 : 1–26。doi : 10.1214 /aos/1176344552。
• Efron B (1982)。ジャックナイフ法、ブートストラップ法、およびその他の再サンプリング計画。応用数学協会 CBMS-NSF モノグラフ。第 38 巻。フィラデルフィア、米国:応用数学協会。
• Efron B、Tibshirani RJ (1993)。ブートストラップ入門。統計と応用確率に関するモノグラフ。第 57 巻。ボカラトン、米国: Chapman & Hall。ソフトウェア。

• Davison AC 、 Hinley DV (1997)。ブートストラップ法とその応用。統計および確率数学のケンブリッジシリーズ。ケンブリッジ：ケンブリッジ大学出版局。ISBN 9780511802843. ソフトウェア。
• Mooney CZ、Duval RD (1993)。「ブートストラッピング：統計的推論へのノンパラメトリックアプローチ」。Sage University Paper Series on Quantitative Applications in the Social Sciences。第07～095巻。ニューベリーパーク、米国：Sage。
• Wright D、London K、 Field AP (2011)。「臨床心理学データに対するブートストラップ推定とプラグイン原理の使用」。実験精神病理学ジャーナル。2 (2): 252–270。doi :10.5127/jep.013611。
• Gong G (1986)。 「クロスバリデーション、ジャックナイフ、ブートストラップ：フォワードロジスティック回帰における過剰誤差推定」。アメリカ統計学会誌。81 (393): 108–113。doi :10.1080 / 01621459.1986.10478245。