再サンプリング（統計）

統計学では、リサンプリングとは、1 つの観測サンプルに基づいて新しいサンプルを作成することです。リサンプリング方法は次のとおりです。

1. 順列検定（再ランダム化検定ともいう）
2. ブートストラップ
3. クロス検証
4. ジャックナイフ

順列検定は、帰無仮説を仮定して元のデータを再サンプリングすることに依存します。再サンプリングされたデータに基づいて、元のデータが帰無仮説の下で発生する可能性がどの程度であるかを結論付けることができます。

ブートストラッピングは、元の標本から復元抽出することによって推定量の標本分布を推定する統計的手法であり、平均、中央値、割合、オッズ比、相関係数、回帰係数などの母集団パラメータの標準誤差と信頼区間の堅牢な推定値を導き出すことを目的としています。標本に基づく経験分布で同じ関数を評価することにより母集団分布の関数を推定する方法であるため、プラグイン原理^[1]と呼ばれています。

例えば、^[1]では、母 平均を推定する場合、この方法では標本平均を使用し、母平均を推定する場合は標本平均を使用し、母回帰直線を推定する場合は標本回帰直線を使用します。

また、仮説検定の構築にも使用できます。パラメトリック仮定に基づく推論の堅牢な代替手段として、それらの仮定が疑わしい場合、またはパラメトリック推論が不可能であるか標準誤差の計算に非常に複雑な式が必要な場合によく使用されます。ブートストラップ手法は、計算物理学で使用される粒子フィルタ、遺伝型アルゴリズム、および関連する再サンプル/再構成モンテカルロ法の更新選択遷移にも使用されます。^{[2] [3]このコンテキストでは、ブートストラップは、順次経験的に重み付けされた確率尺度を}経験的尺度に置き換えるために使用されます。ブートストラップを使用すると、重みの低いサンプルを重みの高いサンプルのコピーに置き換えることができます。

クロス検証は、予測モデルを検証するための統計的手法です。データのサブセットは検証セットとして使用するために保持され、モデルは残りのデータ (トレーニング セット) に適合され、検証セットの予測に使用されます。検証セット全体の予測の品質を平均化することで、予測精度の全体的な尺度が得られます。クロス検証は、決定木の構築で繰り返し使用されます。

クロスバリデーションの 1 つの形式では、一度に 1 つの観測値を除外します。これはジャックナイフに似ています。もう 1 つの形式であるK分割クロスバリデーションでは、データをK 個のサブセットに分割し、それぞれを検証セットとして順番に保持します。

これにより、「自己影響」が回避されます。比較すると、線形回帰などの回帰分析方法では、各y値が回帰線をその値自身に引き寄せ、その値の予測が実際よりも正確であるように見えます。線形回帰に適用されるクロス検証は、各観測値を使用せずに、その観測値の y値を予測します。

これは、回帰分析で使用する予測変数の数を決定するためによく使用されます。クロスバリデーションを行わない場合、予測変数を追加すると残差二乗和は常に減少します（または、変化しない可能性があります）。対照的に、クロスバリデーションされた平均二乗誤差は、価値のある予測変数が追加された場合は減少する傾向がありますが、価値のない予測変数が追加された場合は増加する傾向があります。^[4]

サブサンプリングは、推定値のサンプリング分布を近似する代替方法です。ブートストラップとの主な違いは次の 2 つです。

1. 再サンプルサイズはサンプルサイズよりも小さく、
2. 再サンプリングは置換なしで行われます。

サブサンプリングの利点は、ブートストラップに比べてはるかに弱い条件下でも有効であることです。特に、十分な条件の 1 つは、推定量の収束率が既知であり、限界分布が連続していることです。さらに、再サンプル (またはサブサンプル) サイズはサンプル サイズとともに無限大に近づく必要がありますが、その割合は小さく、その比率は 0 に収束する必要があります。サブサンプリングは、もともと独立かつ同一分布 (iid) データの場合にのみ提案されていましたが、この方法論は時系列データもカバーするように拡張されました。この場合、個々のデータ ポイントではなく、後続のデータのブロックを再サンプリングします。サブサンプリングでは有効な推論につながるのに対し、ブートストラップではそうならないという興味深い応用例が多数あります。たとえば、推定量の収束率がサンプル サイズの平方根ではない場合や、限界分布が非正規分布である場合などです。サブサンプリングとブートストラップの両方が一致している場合、通常はブートストラップの方が正確です。RANSAC はサブサンプリングを使用する一般的なアルゴリズムです。

ジャックナイフ法（ジャックナイフ交差検証）は、統計的推論において、ランダムな観測サンプルを使用して統計量の偏りと標準誤差（分散）を推定するために使用されます。歴史的には、この方法はブートストラップの発明に先行しており、1949年にクヌイユがこの方法を発明し、 1958年にテューキーがそれを拡張しました。 ^{[5] [6]この方法は、1946年にサンプルの半分をランダムに選択して対象の統計量を繰り返し推定することを提案した}マハラノビスによって予見されていました。^[7]彼はこの方法を「相互浸透サンプル」と名付けました。

Quenouille は、サンプル推定値の偏りを減らす目的でこの方法を考案しました。Tukey は、反復が同一かつ独立に分布しているとみなせる場合は、サンプル パラメータの分散の推定値を作成でき、それがn −1 の自由度 ( nはサンプル サイズ) で近似的に分散すると仮定して、この方法を拡張しました。

ジャックナイフ分散推定量の基本的な考え方は、サンプル セットから一度に 1 つ以上の観測値を除外しながら、統計推定値を体系的に再計算することです。この統計値の新しい複製セットから、バイアスの推定値と統計値の分散の推定値を計算できます。

分散を推定するためにジャックナイフを使用する代わりに、分散の対数に適用することができます。この変換により、特に分散の分布自体が正規分布でない場合に、より正確な推定値が得られる可能性があります。

多くの統計パラメータについて、分散のジャックナイフ推定値は、ほぼ確実に真の値に漸近します。専門用語では、ジャックナイフ推定値は一貫していると言います。ジャックナイフは、標本平均、標本分散、中心 t 統計量と非中心 t 統計量 (非正規母集団の可能性あり)、標本変動係数、最尤推定量、最小二乗推定量、相関係数、回帰係数について一貫しています。

標本中央値とは一致しません。単峰性変量の場合、ジャックナイフ分散と標本分散の比は、自由度2 のカイ二乗分布の 2 乗の半分として分布する傾向があります。

ジャックナイフは、オリジナルのブートストラップと同様に、データの独立性に依存します。データの依存性を考慮に入れるためのジャックナイフの拡張が提案されています。

もう 1 つの拡張は、ポアソン サンプリングに関連して使用されるグループ削除メソッドです。

ジャックナイフ法はランダム（サブサンプリング）leave-one-outクロスバリデーションと同等であり、目的が異なるだけです。^[8]

ブートストラップ法とジャックナイフ法のどちらの方法も、パラメトリック仮定からではなく、サブサンプル間の統計量の変動から統計量の変動を推定します。より一般的なジャックナイフ法である、m 個の観測値を削除したジャックナイフ法の場合、ブートストラップ法はそのランダム近似と見なすことができます。どちらも同様の数値結果を生成するため、それぞれをもう一方の近似値と見なすことができます。数学的な洞察には大きな理論的違いがありますが、統計ユーザーにとっての主な実用的な違いは、ブートストラップは同じデータで繰り返し実行した場合に異なる結果を生成するのに対し、ジャックナイフ法は毎回まったく同じ結果を生成することです。このため、ジャックナイフ法は、推定値を公表前に複数回検証する必要がある場合によく使用されます (例: 公式統計機関)。一方、この検証機能が重要ではなく、数値ではなくその分布の概要が知りたい場合は、ブートストラップ法が好まれます (例: 物理学、経済学、生物科学の研究)。

ブートストラップとジャックナイフのどちらを使用するかは、調査の統計的懸念よりも運用面によって決まる場合があります。ジャックナイフは、もともとバイアス削減に使用されていましたが、より特殊な方法で、ポイント推定量の分散のみを推定します。これは、基本的な統計的推論 (仮説検定、信頼区間など) には十分です。一方、ブートストラップは、最初に (ポイント推定量の) 分布全体を推定し、それから分散を計算します。強力で簡単ですが、これは非常に計算量が多くなる場合があります。

「ブートストラップは、分散推定と分布推定の両方の問題に適用できます。ただし、経験的結果の点では、ブートストラップ分散推定量はジャックナイフまたはバランス反復複製(BRR) 分散推定量ほど優れていません。さらに、ブートストラップ分散推定量は通常、ジャックナイフまたは BRR よりも多くの計算を必要とします。したがって、ブートストラップは主に分布推定に推奨されます。」^{[帰属が必要] [9]}

ジャックナイフ、特に削除 1 観測ジャックナイフには特別な考慮事項があります。これは、滑らかで微分可能な統計 (合計、平均、割合、比率、オッズ比、回帰係数など。中央値や分位値には使用しないでください) でのみ使用する必要があります。これは、実用的な欠点になる可能性があります。この欠点は、通常、ジャックナイフよりもブートストラッピングを支持する議論です。削除 1 よりも一般的なジャックナイフ、たとえば削除 m ジャックナイフや削除 2 以外のすべてホッジス レーマン推定量では、一貫性のある分散推定の滑らかさの要件を緩和することで、中央値と分位値に関するこの問題を克服しています。

通常、ジャックナイフ法はブートストラップ法よりも複雑なサンプリング法に適用しやすい。複雑なサンプリング法には、層別化、複数の段階（クラスタリング）、さまざまなサンプリング重み（非回答調整、較正、後層別化）、不等確率サンプリング設計が含まれる場合がある。ブートストラップ法とジャックナイフ法の理論的側面は、Shao and Tu (1995) ^[10]で説明されているが、基本的な紹介は Wolter (2007) で説明されている。^[11]線形判別関数や多重回帰などの線形モデルでは、モデル予測バイアスのブートストラップ推定はジャックナイフ推定よりも正確である。^[12]

• ブートストラップ集約（バギング）
• 遺伝的アルゴリズム
• モンテカルロ法
• ノンパラメトリック統計
• 粒子フィルター
• 擬似複製
• 非均一ランダム変量生成
• ランダム順列
• レプリケーション（統計）
• 代替データテスト

• Good, P. (2006) 「リサンプリング法」第3版、Birkhauser。
• Wolter, KM (2007).分散推定入門. 第 2 版. Springer, Inc.
• ピエール・デル・モラル( 2004)。ファインマン-カック公式。系図と相互作用粒子システムとその応用、Springer、確率と応用シリーズ。ISBN 978-0-387-20268-6 
• ピエール・デル・モラル（2013年）。デル・モラル、ピエール（2013年）。モンテカルロ積分の平均場シミュレーション。チャップマン＆ホール/CRCプレス、統計と応用確率に関するモノグラフ。ISBN 9781466504059 
• Jiang W、Simon R. マイクロアレイ分類における予測誤差を推定するためのブートストラップ法と調整ブートストラップ法の比較。Stat Med. 2007 年 12 月 20 日;26(29):5320-34。doi: 10.1002/sim.2968。PMID: 17624926。https://brb.nci.nih.gov/techreport/prederr_rev_0407.pdf

• Angelo Canty および Brian Ripley (2010)。boot: Bootstrap R (S-Plus) 関数。R パッケージ バージョン 1.2-43。AC Davison および DV Hinkley 著『 Bootstrap Methods and Their Applications』 (1997、CUP) からのブートストラップ用の関数とデータセット。
• 統計101: 再サンプリング、ブートストラップ、モンテカルロシミュレーションプログラム
• R パッケージ 'samplingVarEst': サンプリング分散推定。いくつかの点推定値のサンプリング分散を推定するための関数を実装します。
• TREC 結果の評価のためのペアランダム化/順列検定
• 情報検索実験の結果を評価するためのランダム化/順列テスト（多重比較の調整あり、なし）。
• バイオコンダクターの再サンプリングに基づく多重仮説検定とゲノミクスへの応用。
• permtest: マイクロアレイ データ セット内の 2 つのグループ内の変動とグループ間の距離を比較する R パッケージ。
• ブートストラップ再サンプリング: R でのブートストラップ再サンプリングによる仮説検定のインタラクティブなデモンストレーション。
• 順列検定: R での順列検定による仮説検定のインタラクティブなデモンストレーション。