Loading article…
統計学において、リサンプリングとは、観測された1つのサンプルに基づいて新しいサンプルを作成することである。リサンプリングの方法は以下のとおりである。
順列検定は、帰無仮説を仮定して元のデータを再サンプリングすることに基づいています。再サンプリングされたデータに基づいて、帰無仮説の下で元のデータが発生する可能性を結論付けることができます。
ブートストラップ法は、元の標本から復元抽出によって推定量の標本分布を推定する統計的手法であり、多くの場合、平均、中央値、割合、オッズ比、相関係数、回帰係数などの母集団パラメータの標準誤差と信頼区間の頑健な推定値を導出することを目的としています。これは、標本に基づく経験分布で同じ関数を評価することによって母集団分布の関数を推定する方法であるため、プラグイン原理[ 1 ]と呼ばれています。
例えば、[ 1 ]母平均を推定する場合、この方法は標本平均を使用します。母中央値を推定する場合、標本中央値を使用します。母回帰直線を推定する場合、標本回帰直線を使用します。
ブートストラップ法は、仮説検定の構築にも使用できます。これは、パラメトリックな仮定に基づく推論に疑義がある場合、またはパラメトリックな推論が不可能であるか、標準誤差の計算に非常に複雑な式が必要な場合に、パラメトリックな仮定に基づく推論の堅牢な代替手段としてよく使用されます。ブートストラップ法は、粒子フィルタの更新選択遷移、遺伝的アルゴリズム、および計算物理学で使用される関連するリサンプリング/再構成モンテカルロ法にも使用されます。[ 2 ] [ 3 ]この文脈では、ブートストラップは、経験的に重み付けされた確率尺度を経験的尺度に置き換えるために使用されます。ブートストラップにより、重みの低いサンプルを重みの高いサンプルのコピーに置き換えることができます。
交差検証は、予測モデルを検証するための統計的手法です。データの一部を検証用データセットとして保持し、残りのデータ（訓練用データセット）にモデルを適合させて検証用データセットの予測を行います。検証用データセット全体で予測精度を平均することで、予測精度の全体的な指標が得られます。交差検証は、決定木の構築において繰り返し用いられます。
交差検証の一形態として、一度に1つの観測値を除外する方法があります。これはジャックナイフ法に似ています。もう一つのK分割交差検証では、データをK個のサブセットに分割し、それぞれを順番に検証セットとして使用します。
これにより「自己影響」を回避できます。比較のために説明すると、線形回帰などの回帰分析手法では、各y値が回帰直線を自身に近づけるため、その値の予測精度が実際よりも高く見えてしまいます。線形回帰に交差検証を適用すると、各観測値を使用せずに、その観測値のy値を予測できます。
これは、回帰分析で使用する予測変数の数を決定する際によく用いられます。交差検証を行わない場合、予測変数を追加すると残差平方和は常に減少します（または変化しない場合もあります）。対照的に、交差検証された平均二乗誤差は、有用な予測変数を追加すると減少する傾向がありますが、価値のない予測変数を追加すると増加する傾向があります。[ 4 ]
サブサンプリングは、推定量の標本分布を近似するための代替手法です。ブートストラップとの主な違いは次の2点です。
サブサンプリングの利点は、ブートストラップに比べてはるかに弱い条件でも有効であることです。特に、十分条件としては、推定量の収束速度が既知であり、極限分布が連続であることなどが挙げられます。さらに、リサンプル（またはサブサンプル）のサイズは、サンプルサイズとともに無限大に近づく必要がありますが、その速度は小さく、両者の比率がゼロに収束する必要があります。サブサンプリングはもともと独立同分布（iid）データの場合のみに提案されましたが、この手法は時系列データにも拡張されています。この場合、個々のデータポイントではなく、連続するデータのブロックをリサンプリングします。サブサンプリングでは有効な推論が得られるのにブートストラップでは得られない応用上の興味深いケースが数多くあります。例えば、推定量の収束速度がサンプルサイズの平方根でない場合や、極限分布が正規分布でない場合などが挙げられます。サブサンプリングとブートストラップの両方が一致性を持つ場合、一般的にブートストラップの方が精度が高くなります。RANSACは、サブサンプリングを用いる人気の高いアルゴリズムです。
ジャックナイフ法（ジャックナイフ交差検証）は、統計的推論において、観測値のランダムサンプルを使用して統計量を計算する際に、その統計量のバイアスと標準誤差（分散）を推定するために使用されます。歴史的には、この方法はブートストラップ法の発明に先立って存在し、 1949 年にQuenouille がこの方法を発明し、 1958 年にTukey がそれを拡張しました。[ 5 ] [ 6 ]この方法は、1946 年にMahalanobisが、サンプルの半分をランダムに選択して関心のある統計量を繰り返し推定することを提案したことで予見されていました。 [ 7 ]彼はこの方法に「相互浸透サンプル」という名前を付けました。
クヌイユはこの方法を、標本推定値のバイアスを減らす目的で考案した。テューキーはこの方法を拡張し、複製が同一かつ独立に分布しているとみなせる場合、標本パラメータの分散を推定することができ、その分散はn -1自由度（nは標本サイズ）の分布に近似的に従うと仮定した。
ジャックナイフ分散推定量の基本的な考え方は、標本セットから一度に 1 つ以上の観測値を除外して、統計量の推定値を体系的に再計算することにあります。この新しい統計量の複製セットから、統計量のバイアスの推定値と分散の推定値を計算できます。ジャックナイフは、ランダム (サブサンプリング) リーブワンアウト交差検証と同等であり、目的だけが異なります。[ 8 ]
多くの統計パラメータにおいて、分散のジャックナイフ推定値は、ほぼ確実に真の値に漸近的に収束します。専門用語では、ジャックナイフ推定値は一致性を持つと言います。ジャックナイフは、標本平均、標本分散、中心t統計量および非中心t統計量（母集団が正規分布でない場合も含む）、標本変動係数、最尤推定量、最小二乗推定量、相関係数、回帰係数に対して一致性を持ちます。
標本中央値については一貫性がありません。単峰性変量の場合、ジャックナイフ分散と標本分散の比は、自由度2のカイ二乗分布の2乗の半分として分布する傾向があります。
分散を推定するためにジャックナイフ法を用いる代わりに、分散の対数にジャックナイフ法を適用することもできます。この変換により、特に分散自体の分布が正規分布に従わない場合に、より精度の高い推定値が得られる可能性があります。
ジャックナイフ法は、オリジナルのブートストラップ法と同様に、データの独立性に依存しています。データの依存性を考慮に入れるためのジャックナイフ法の拡張が提案されています。そのような拡張の一つが、ポアソンサンプリングと組み合わせて使用されるグループ削除法です。
ブートストラップ法とジャックナイフ法はどちらも、パラメトリックな仮定ではなく、サブサンプル間の統計量の変動性から統計量の変動性を推定します。より一般的なジャックナイフ法であるm個の観測値を削除するジャックナイフ法の場合、ブートストラップ法はランダム近似とみなすことができます。どちらも類似した数値結果が得られるため、互いに近似値とみなすことができます。数学的な考察には大きな理論的差異がありますが、統計学の利用者にとっての主な実用上の違いは、ブートストラップ法は同じデータで繰り返しても異なる結果を与えるのに対し、ジャックナイフ法は毎回全く同じ結果を与えるという点です。このため、推定値を公表前に複数回検証する必要がある場合（例えば、公的統計機関）には、ジャックナイフ法がよく用いられます。一方、この検証機能が重要ではなく、数値ではなく分布の概略を知りたいだけの場合（例えば、物理学、経済学、生物科学の研究）には、ブートストラップ法が好まれます。
ブートストラップ法とジャックナイフ法のどちらを使用するかは、調査の統計的な側面よりも、運用上の側面によって決まることが多い。もともとバイアス低減のために用いられていたジャックナイフ法は、より特殊な手法であり、点推定量の分散のみを推定する。これは、基本的な統計的推論（仮説検定、信頼区間など）には十分である。一方、ブートストラップ法は、まず（点推定量の）分布全体を推定し、そこから分散を計算する。強力で容易な方法ではあるが、計算負荷が非常に高くなる可能性がある。
「ブートストラップは、分散推定と分布推定の両方の問題に適用できます。ただし、ブートストラップ分散推定量は、経験的結果の観点から、ジャックナイフ法やバランス反復複製（BRR）分散推定量ほど優れていません。さらに、ブートストラップ分散推定量は通常、ジャックナイフ法やBRRよりも多くの計算を必要とします。したがって、ブートストラップは主に分布推定に推奨されます。」[ 9 ]
ジャックナイフ法、特に1つの観測値を削除するジャックナイフ法には特別な注意点があります。これは、滑らかで微分可能な統計量（合計、平均、割合、比率、奇数比、回帰係数など。中央値や分位数には使用しないでください）にのみ使用すべきです。これは実際的な欠点となる可能性があります。この欠点は、通常、ジャックナイフ法よりもブートストラップ法を推奨する理由となっています。1つの観測値を削除するジャックナイフ法よりも一般的なジャックナイフ法、例えばm個の観測値を削除するジャックナイフ法や、2つを除くすべての観測値を削除するホッジス・レーマン推定量などは、一貫性のある分散推定のための滑らかさの要件を緩和することで、中央値や分位数に関するこの問題を克服しています。
通常、複雑なサンプリング スキームには、ブートストラップよりもジャックナイフの方が適用しやすい。複雑なサンプリング スキームには、層化、多段階 (クラスタリング)、さまざまなサンプリング ウェイト (無回答調整、較正、事後層化)、および不均等確率サンプリング デザインが含まれる場合がある。ブートストラップとジャックナイフの両方の理論的側面は Shao と Tu (1995) [ 10 ]に記載されており、基本的な紹介は Wolter (2007) [ 11 ]に記載されている。モデル予測バイアスのブートストラップ推定は、線形判別関数や重回帰などの線形モデルではジャックナイフ推定よりも精度が高い。[ 12 ]
：確率とその応用
統計学および応用確率論モノグラフ