クロスバリデーション（統計）

クロスバリデーション[ ^{2] [3] [4]}は回転推定^{[5] [6] [7]}またはサンプル外テストとも呼ばれ、統計分析の結果が独立したデータセットにどのように一般化されるかを評価するためのさまざまな類似のモデル検証手法のいずれかです。クロスバリデーションには、データの異なる部分を使用して異なる反復でモデルをテストおよびトレーニングするリサンプリングとサンプル分割の方法が含まれます。これは、目標が予測であり、予測モデルが実際にどの程度正確に機能するかを推定したい場合によく使用されます。また、適合モデルの品質とそのパラメーターの安定性を評価するためにも使用できます。

予測問題では、モデルには通常、トレーニングが実行される既知のデータのデータセット（トレーニングデータセット）と、モデルがテストされる未知のデータ（または初めて確認されたデータ）のデータセット（検証データセットまたはテストセットと呼ばれる）が与えられます。^{[8] [9]}クロスバリデーションの目的は、推定に使用されなかった新しいデータを予測するモデルの能力をテストし、過剰適合や選択バイアスなどの問題にフラグを立てることと、 ^[10]モデルが独立したデータセット（つまり、実際の問題からの未知のデータセットなど）に一般化される方法についての洞察を提供することです。

クロスバリデーションの 1 ラウンドでは、データのサンプルを相補的なサブセットに分割し、一方のサブセット (トレーニング セットと呼ばれる) で分析を実行し、もう一方のサブセット (検証セットまたはテスト セットと呼ばれる)で分析を検証します。変動性を減らすために、ほとんどの方法では、異なるパーティションを使用して複数ラウンドのクロスバリデーションを実行し、検証結果をラウンド全体で組み合わせて (たとえば平均して)、モデルの予測パフォーマンスの推定値を提供します。

要約すると、クロスバリデーションは予測の適合度の尺度を組み合わせて（平均して）モデル予測性能のより正確な推定値を導き出します。^[11]

1 つ以上の未知のパラメータを持つモデルと、モデルを適合できるデータセット (トレーニングデータセット)を想定します。適合プロセスでは、モデルパラメータを最適化して、モデルがトレーニングデータにできるだけ適合するようにします。検証データの独立したサンプルをトレーニングデータと同じ母集団から取得すると、通常、モデルはトレーニングデータに適合するのと同じくらいは検証データに適合しないことがわかります。この差の大きさは、特にトレーニングデータセットのサイズが小さい場合や、モデル内のパラメータの数が多い場合に大きくなります。クロスバリデーションは、この効果の大きさを推定する方法です。^{[引用が必要]}

線形回帰では、実数 応答値 と、n 個のp次元ベクトル共変量x ₁、...、x _nが存在します。ベクトルx _iの成分は、 x _{i 1}、...、x _ipで示されます。最小二乗法を使用して、超平面ŷ = a + β ^T xの形式の関数をデータ ( x _i、 y i ) 1 ≤ i ≤ n に適合させる場合、適合度は平均二乗誤差 (MSE) を使用して評価できます。トレーニング セット ( x i 、y _i )  _{1  ≤  i  ≤} n上の指定_された_推定パラメータ _{値 a および β}のMSEは、次のように定義されます。 ${\textstyle y_{1},\ldots ,y_{n}}$

${\displaystyle {\begin{aligned}{\text{MSE}}&={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-a-{\boldsymbol {\beta }}^{T}\mathbf {x} _{i})^{2}\\&={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-a-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}\end{aligned}}}$

モデルが正しく指定されている場合、トレーニング セットの MSE の期待値は、検証セットの MSE の期待値の ( n  −  p  − 1)/( n  +  p  + 1) < 1 倍であることが、軽度の仮定の下で示されます (期待値はトレーニング セットの分布にわたって取得されます)。したがって、トレーニング セットに適合したモデルと計算された MSE は、モデルが独立したデータ セットにどれだけ適合するかについて、楽観的に偏った評価になります。この偏った推定値は適合のサンプル内推定値と呼ばれ、クロス検証推定値はサンプル外推定値です。^{[引用が必要]}

線形回帰では、モデル仕様が有効であるという仮定の下で、トレーニング MSE が検証 MSE を過小評価する係数 ( n  −  p  − 1)/( n  +  p + 1)を直接計算できるため 、交差検証を使用して、モデルが過剰適合されているかどうかを確認することができます。過剰適合されている場合、検証セットの MSE は予想値を大幅に超えます。(線形回帰のコンテキストでの交差検証は、最適に正規化された コスト関数を選択するために使用できるという点でも便利です。)

他のほとんどの回帰手順（ロジスティック回帰など）では、期待されるサンプル外適合を計算するための簡単な式はありません。したがって、クロス検証は、理論分析の代わりに数値計算を使用して、利用できないデータに対するモデルのパフォーマンスを予測するための一般的に適用可能な方法です。

クロスバリデーションには、網羅的クロスバリデーションと非網羅的クロスバリデーションの 2 種類があります。

徹底的なクロス検証法は、元のサンプルをトレーニング セットと検証セットに分割するすべての可能な方法を学習してテストするクロス検証法です。

Leave -p -out交差検証（LpO CV ）では、 p個の観測値を検証セットとして使用し、残りの観測値をトレーニングセットとして使用します。これは、 p個の観測値の検証セットとトレーニングセットで元のサンプルを切り取るすべての方法で繰り返されます。 ^[12]

LpO クロスバリデーションでは、モデルのトレーニングと検証を何回も行う必要があります。ここで、nは元のサンプルの観測数、は二項係数です。p > 1 の場合や、 nが中程度に大きい場合でも、LpO CVは計算上実行不可能になる可能性があります。たとえば、n = 100 でp = 30 の場合、${\displaystyle C_{p}^{n}}$${\displaystyle C_{p}^{n}}$${\displaystyle C_{30}^{100}\approx 3\times 10^{25}.}$

p=2のLpOクロスバリデーションの変形であるleave-pair-outクロスバリデーションは、バイナリ分類器のROC曲線下面積を推定するためのほぼ偏りのない方法として推奨されている。^[13]

Leave- one -out クロスバリデーション ( LOOCV ) は、leave- p -out クロスバリデーションのp = 1の特殊なケースです。 プロセスはジャックナイフに似ていますが、クロスバリデーションでは除外されたサンプルの統計を計算しますが、ジャックナイフ法では保持されたサンプルのみの統計を計算します。

LOOクロスバリデーションでは、パスのみで済むため、LpOクロスバリデーションよりも計算時間が短くて済みます。しかし、パスには依然としてかなりの計算時間が必要になる場合があり、その場合はk分割クロスバリデーションなどの他のアプローチの方が適している可能性があります。^[14]${\displaystyle C_{1}^{n}=n}$${\displaystyle C_{p}^{n}}$${\displaystyle n}$

疑似コードアルゴリズム:

入力：

xN、{入ってくる点の x 値を持つ 長さのベクトル}

yN、{期待される結果の y 値を持つ 長さのベクトル}

interpolate( x_in, y_in, x_out )x_out, {モデルがx_in-y_inペア でトレーニングされた後のポイントの推定値を返します}

出力：

err、{予測誤差の推定}

手順:

エラー ← 0
 i ← 1, ..., N に対して
   // クロスバリデーションサブセットを定義する
   x_in ← (x[1], ..., x[i − 1], x[i + 1], ..., x[N])
   y_in ← (y[1], ..., y[i − 1], y[i + 1], ..., y[N])
   x_out ← x[i]
   y_out ← 補間(x_in, y_in, x_out)
   エラー ← エラー + (y[i] − y_out)^2
 終了
 エラー ← エラー/N

非網羅的クロス検証法では、元のサンプルを分割するすべての方法を計算するわけではありません。これらの方法は、leave -p -out クロス検証の近似値です。

k分割交差検証では、元のサンプルがランダムにk 個の等しいサイズのサブサンプルに分割され、これらはしばしば「分割」と呼ばれます。k個のサブサンプルのうち、1 つのサブサンプルはモデルをテストするための検証データとして保持され、残りのk  − 1 個のサブサンプルはトレーニング データとして使用されます。次に、交差検証プロセスがk回繰り返され、 k 個のサブサンプルのそれぞれが検証データとして 1 回だけ使用されます。次に、 k個の結果を平均して 1 つの推定値を生成します。この方法が繰り返しランダム サブサンプリング (以下を参照) よりも優れている点は、すべての観測値がトレーニングと検証の両方に使用され、各観測値が検証に 1 回だけ使用されることです。10 分割交差検証が一般的に使用されますが、^[15]一般にk は固定されていないパラメーターのままです。

たとえば、k  =  2に設定すると、2 倍のクロス検証が行われます。2 倍のクロス検証では、データセットをd ₀とd _{1 の}2 つのセットにランダムにシャッフルして、両方のセットのサイズが同じになるようにします (これは通常、データ配列をシャッフルしてから 2 つに分割することによって実装されます)。次に、d _{0でトレーニングして}d ₁で検証し、その後d ₁でトレーニングしてd ₀で検証します 。

k  =  n（観測数）の場合、 k分割交差検証はleave-one-out交差検証と同等である。^[16]

層別 k分割クロス検証では、平均応答値がすべてのパーティションでほぼ等しくなるようにパーティションが選択されます。バイナリ分類の場合、これは各パーティションに 2 種類のクラス ラベルがほぼ同じ割合で含まれることを意味します。

反復クロスバリデーションでは、データはランダムにk個のパーティションに複数回分割されます。これにより、モデルのパフォーマンスは複数回の実行にわたって平均化されますが、これは実際にはほとんど望ましくありません。^[17]

多くの異なる統計モデルや機械学習モデルが検討されている場合、貪欲 k分割交差検証を使用して、最も有望な候補モデルを迅速に特定することができます。^[18]

ホールドアウト法では、データ ポイントを 2 つのセットd ₀とd _{1にランダムに割り当てます。通常、これらはそれぞれトレーニング セットとテスト セットと呼ばれます。各セットのサイズは任意ですが、通常、テスト セットはトレーニング セットよりも小さくなります。次に、} d ₀でトレーニング (モデルの構築) し、 d ₁でテスト (パフォーマンスの評価) します。

一般的なクロス検証では、モデルテストを複数回実行した結果が平均化されます。これに対して、ホールドアウト法は、単独では 1 回の実行で済みます。複数の実行を平均化しないと、非常に誤解を招く結果になる可能性があるため、この方法は注意して使用する必要があります。予測精度の指標 (F*) は、複数の反復によって平滑化されないため、不安定になる傾向があります (以下を参照)。同様に、さまざまな予測変数が果たす特定の役割の指標 (回帰係数の値など) も不安定になる傾向があります。

ホールドアウト法は「最も単純なクロスバリデーション」と表現できるが、^[19]多くの情報源ではホールドアウトをクロスバリデーションの単純または退化した形式ではなく、単純なバリデーションの一種として分類している。^{[6] [20]}

この方法はモンテカルロ交差検証としても知られており、 ^{[21] [22]}データセットをトレーニングデータと検証データにランダムに分割します。^[23]このような分割ごとに、モデルをトレーニングデータに適合させ、検証データを使用して予測精度を評価します。次に、結果を分割全体で平均します。この方法の利点 ( k分割交差検証と比較した場合) は、トレーニング/検証分割の割合が反復回数 (つまり、パーティションの数) に依存しないことです。この方法の欠点は、一部の観測値が検証サブサンプルで選択されない可能性がある一方で、他の観測値は複数回選択される可能性があることです。つまり、検証サブセットが重複する可能性があります。この方法はモンテカルロ変動も示し、異なるランダム分割で分析を繰り返すと結果が変化することを意味します。

ランダム分割の数が無限に近づくにつれて、ランダムサブサンプリング検証を繰り返した結果が、leave-p-out クロス検証の結果に近づく傾向があります。

このアプローチの層別化バリアントでは、ランダム サンプルは、平均応答値 (つまり、回帰の従属変数) がトレーニング セットとテスト セットで等しくなるように生成されます。これは、応答が二分され、データ内の 2 つの応答値が不均衡に表現されている場合に特に便利です。

繰り返しランダムサブサンプリングを適用する手法としてはRANSACがある。^[24]

クロスバリデーションを、最適なハイパーパラメータのセットの選択とエラー推定（および一般化能力の評価）に同時に使用する場合は、ネストされたクロスバリデーションが必要です。多くのバリエーションが存在します。少なくとも 2 つのバリエーションを区別できます。

これは、 kセットの外側ループとlセットの内側ループを含む、真にネストされたバリアントです。データ セット全体がkセットに分割されます。1 セットずつ (外側) テスト セットとして選択され、k  - 1 個の他のセットが対応する外側トレーニング セットに結合されます。これは、kセットごとに繰り返されます。外側の各トレーニング セットはさらにlセットに細分化されます。1 セットずつ、内側のテスト (検証) セットとして選択され、l  - 1 個の他のセットが対応する内側トレーニング セットに結合されます。これは、lセットごとに繰り返されます。内側のトレーニング セットはモデル パラメータを適合させるために使用され、外側のテスト セットは、モデルの適合の偏りのない評価を行うための検証セットとして使用されます。通常、これは多くの異なるハイパーパラメータ (または異なるモデル タイプ) に対して繰り返され、検証セットは、この内側のトレーニング セットに最適なハイパーパラメータ セット (およびモデル タイプ) を決定するために使用されます。その後、内側のクロス検証からの最適なハイパーパラメータ セットを使用して、新しいモデルが外側のトレーニング セット全体に適合されます。次に、このモデルのパフォーマンスを外部テスト セットを使用して評価します。

これは、 l  =  k - 1の場合の k*l 分割交差検証の一種です。 単一の k 分割交差検証が、検証セットとテスト セットの両方で使用されます。データ セット全体がkセットに分割されます。1 セットずつテスト セットとして選択されます。次に、1 セットずつ残りのセットの 1 つが検証セットとして使用され、他のk  - 2 セットがトレーニング セットとして使用され、すべての可能な組み合わせが評価されるまでこれが続けられます。k*l 分割交差検証と同様に、トレーニング セットはモデルのフィッティングに使用され、検証セットは各ハイパーパラメータ セットのモデル評価に使用されます。最後に、選択されたパラメータ セットについて、テスト セットを使用して、最適なパラメータ セットでモデルを評価します。ここでは、トレーニング セットでトレーニングされたモデルを評価するか、トレーニング セットと検証セットの組み合わせでフィッティングされた新しいモデルを評価するかの 2 つの方法が可能です。

クロスバリデーションの目的は、モデルのトレーニングに使用されたデータとは無関係なデータ セットに対するモデルの予測される適合レベルを推定することです。クロスバリデーションは、データとモデルに適した任意の定量的な適合度の尺度を推定するために使用できます。たとえば、バイナリ分類問題の場合、検証セット内の各ケースは正しく予測されるか、誤って予測されます。この状況では、誤分類エラー率を使用して適合度を要約できますが、分割表または混同行列に含まれる情報 (カウント、頻度など) から得られる他の尺度も使用できます。予測される値が連続的に分布している場合、平均二乗誤差、平均二乗平方根誤差、または中央絶対偏差を使用して誤差を要約できます。

ユーザーがクロスバリデーションを適用して適切な構成を選択する場合、クロスバリデーションされた選択と、独自の構成の推定値とのバランスを取りたいと思うかもしれません。このようにして、サンプルサイズが小さい場合にクロスバリデーションの変動性に対抗し、以前の研究からの関連情報を含めることができます。たとえば、予測の組み合わせ演習では、クロスバリデーションを適用して、各予測に割り当てられる重みを推定できます。単純な等重み予測を上回ることは難しいため、等しい重みから逸脱した場合にはペナルティを追加できます。^[25] または、クロスバリデーションを適用して観測に個別の重みを割り当てる場合、関連する可能性のある情報を無駄にしないように、等しい重みからの逸脱にペナルティを課すことができます。^[25] Hoornweg (2018) は、ユーザーがクロスバリデーションの精度と、ユーザーが定義した参照パラメーターに固執するシンプルさの間で直感的にバランスをとれるように、チューニングパラメーターを定義する方法を示しています。 ${\displaystyle \lambda }$${\displaystyle \gamma }$${\displaystyle \lambda _{R}}$

が選択される可能性のある候補構成を表す場合、最小化される 損失関数は次のように定義できます。${\displaystyle \lambda _{i}}$${\displaystyle i^{th}}$

${\displaystyle L_{\lambda _{i}}=(1-\gamma ){\mbox{ Relative Accuracy}}_{i}+\gamma {\mbox{ Relative Simplicity}}_{i}.}$

相対精度は として定量化できるため、候補の平均二乗誤差は、 ユーザーが指定した の平均二乗誤差に相対的に作成されます。相対的単純さの項は、 からの最大偏差量に対するからの偏差量を測定します。したがって、相対的単純さは として指定できます。ここで、は からの最大許容偏差を持つ値に対応します。 により、ユーザーは参照パラメータの影響が相互検証に対してどの程度高いかを決定します。 ${\displaystyle {\mbox{MSE}}(\lambda _{i})/{\mbox{MSE}}(\lambda _{R})}$${\displaystyle \lambda _{i}}$${\displaystyle \lambda _{R}}$${\displaystyle \lambda _{i}}$${\displaystyle \lambda _{R}}$${\displaystyle \lambda _{R}}$${\displaystyle {\frac {(\lambda _{i}-\lambda _{R})^{2}}{(\lambda _{\max }-\lambda _{R})^{2}}}}$${\displaystyle \lambda _{\max }}$${\displaystyle \lambda }$${\displaystyle \lambda _{R}}$${\displaystyle \gamma \in [0,1]}$

損失関数を次のように指定することで、 複数の構成に対して相対的な単純化項を追加することができる。${\displaystyle c=1,2,...,C}$

${\displaystyle L_{\lambda _{i}}={\mbox{ Relative Accuracy}}_{i}+\sum _{c=1}^{C}{\frac {\gamma _{c}}{1-\gamma _{c}}}{\mbox{ Relative Simplicity}}_{i,c}.}$

Hoornweg（2018）は、このような精度と単純さのトレードオフを伴う損失関数は、（適応型）Lassoやベイズ/リッジ回帰のような収縮推定量を直感的に定義するためにも使用できることを示しています。^[25]例については Lassoをクリックしてください。

適合度の尺度F を選択し、クロス検証を使用して、トレーニング データと同じ母集団から抽出された独立データ セットに対するモデルの期待適合度EFの推定値F ^*を生成するものとします。同じ分布に従う複数の独立トレーニング セットをサンプリングすると、結果として得られるF ^{*の値は異なります。F *}の統計的特性はこの変化から生じます。

F ^*の分散は大きくなる可能性がある。^{[26] [27]}このため、交差検証の結果に基づいて2つの統計手法を比較した場合、推定性能の優れた手法が実際には2つの手法の中で優れているとは限らない（つまり、EFの値が優れていない可能性がある）。交差検証推定値の信頼区間の構築についてはある程度の進歩が見られるが、 ^[26]これは難しい問題であると考えられている。

クロスバリデーションのほとんどの形式は、研究対象の予測方法の実装が利用可能である限り、簡単に実装できます。特に、予測方法は「ブラックボックス」にすることができます。つまり、その実装の内部にアクセスする必要がないのです。予測方法のトレーニングにコストがかかる場合は、トレーニングを繰り返し実行する必要があるため、クロスバリデーションは非常に遅くなる可能性があります。最小二乗法やカーネル回帰などの一部のケースでは、トレーニングで繰り返し必要となる特定の値を事前に計算するか、シャーマン・モリソン式などの高速な「更新ルール」を使用することで、クロスバリデーションを大幅に高速化できます。ただし、トレーニング手順から検証セットの「完全なブラインド化」を維持するように注意する必要があります。そうしないと、バイアスが発生する可能性があります。クロスバリデーションを加速する極端な例は、線形回帰で発生します。線形回帰では、クロスバリデーションの結果は、予測残差二乗和( PRESS )と呼ばれる閉じた形式の式を持ちます。

クロス検証では、検証セットとトレーニング セットが同じ母集団から抽出され、人間のバイアスが制御されている場合にのみ、意味のある結果が得られます。

予測モデリングの多くのアプリケーションでは、研究対象のシステムの構造は時間の経過とともに変化します (つまり、「非定常」です)。この 2 つの理由により、トレーニング セットと検証セットの間に体系的な違いが生じる可能性があります。たとえば、金融相場のトレンド変化を予測するモデルを特定の 5 年間のデータでトレーニングする場合、その後の 5 年間を同じ母集団から抽出したものとして扱うのは非現実的です。別の例として、今後 1 年以内に特定の病気と診断される個人のリスクを予測するモデルが開発されたとします。特定の母集団グループ (若者や男性など) のみを対象とした調査のデータを使用してモデルをトレーニングし、その後一般の母集団に適用した場合、トレーニング セットからのクロス検証結果が実際の予測パフォーマンスと大きく異なる可能性があります。

多くのアプリケーションでは、モデルが誤って指定され、モデル作成者のバイアスや恣意的な選択の関数として変化することもあります。これが発生すると、システムが外部サンプルで変化しているという錯覚が生じる可能性がありますが、その理由は、モデルが重要な予測子を見逃したか、または交絡した予測子を含めたためです。新しい証拠によると、クロスバリデーション自体は外部妥当性をあまり予測できませんが、人間のバイアスを制御するスワップサンプリングと呼ばれる実験的検証の形式は、外部妥当性をはるかに予測できます。^[28] 30,000のモデルを対象としたこの大規模なMAQC-II調査で定義されているように、スワップサンプリングには、予測が独立したトレーニングサンプルと検証サンプルでテストされるという意味でクロスバリデーションが組み込まれています。しかし、モデルはこれらの独立したサンプル間で、互いに盲検化されたモデラーによって開発されます。頻繁に発生するように、これらの交換されたトレーニングサンプルと検証サンプル間で開発されたこれらのモデルに不一致がある場合、MAQC-IIは、これが従来のクロスバリデーションよりも外部予測妥当性の低さをはるかに予測することを示しています。

スワップサンプリングが成功した理由は、モデル構築における人間のバイアスに対する組み込み制御です。モデラー間で異なる可能性のある予測に過度に信頼を置き、これらの交絡するモデラー効果により外部妥当性が低下することに加えて、クロス検証が誤用される可能性のある他の方法がいくつかあります。

• データセット全体を使用して最も有益な特徴を特定するための初期分析を実行することによって、モデリング手順で特徴選択またはモデル調整が必要な場合は、すべてのトレーニングセットでこれを繰り返す必要があります。そうしないと、予測は確実に上方偏向します。^[29] クロスバリデーションを使用してどの特徴を使用するかを決定する場合は、すべてのトレーニングセットで特徴選択を実行するための内部クロスバリデーションを実行する必要があります。 ^[30]
• データセット全体を使用して、平均中心化、再スケーリング、次元削減、外れ値の除去、またはその他のデータ依存の前処理を実行します。これは実際には非常に一般的ですが、クロスバリデーション推定にバイアスを導入することが示されています。^[31]
• 一部のトレーニング データもテスト セットに含めることができるようにすることで、データ セットの「双子化」によってこれが発生する可能性があります。これにより、まったく同一またはほぼ同一のサンプルがデータ セット内に存在することになります(擬似複製を参照)。ある程度は、双子化は常に、完全に独立したトレーニング サンプルと検証サンプルであっても発生します。これは、トレーニング サンプルの観測値の一部が、検証サンプルの観測値とほぼ同じ予測子の値を持つためです。また、これらの一部は、実際には外部妥当性の低い交絡予測子によって駆動されているにもかかわらず、トレーニングと検証の両方で偶然のレベルよりも良いレベルで同じ方向にターゲットと相関します。このようなクロス検証モデルがk分割セットから選択されると、人間の確証バイアスが働き、このようなモデルが検証済みであると判断されます。このため、従来のクロス検証には、スワップ サンプリングや前向き研究などの人間のバイアスと交絡モデルの仕様に対する制御を補完する必要があります。

データの順序が重要であるため、時系列モデルではクロスバリデーション^[指定]は問題となる可能性がある。より適切なアプローチは、ローリングクロスバリデーションを使用することであるかもしれない。^[32]

しかし、パフォーマンスが単一の要約統計量で記述される場合、ポリティスとロマーノが定常ブートストラップ^[33]として説明したアプローチが機能する可能性があります。ブートストラップの統計量は、時系列の間隔を受け入れ、その要約統計量を返す必要があります。定常ブートストラップの呼び出しでは、適切な平均間隔の長さを指定する必要があります。

クロスバリデーションは、異なる予測モデリング手順のパフォーマンスを比較するために使用できます。たとえば、光学文字認識に興味があり、手書き文字の画像から実際の文字を予測するためにサポートベクターマシン（SVM）またはk近傍法（KNN）のいずれかを使用することを検討しているとします。クロスバリデーションを使用すると、これら2つの方法をそれぞれ誤分類された文字の割合で比較した経験的推定値を取得できます。対照的に、サンプル内推定値は、関心のある量（つまり、一般化誤差）を表しません。^[34]

交差検証は変数選択にも使用できます。^[35] 20種類のタンパク質の発現レベルを使用して、がん患者が薬剤に反応するかどうかを予測するとします。実用的な目標は、20の特徴のどのサブセットを使用して最良の予測モデルを作成するかを決定することです。ほとんどのモデリング手順では、サンプル内エラー率を使用して特徴のサブセットを比較すると、20の特徴すべてを使用すると最高のパフォーマンスが得られます。ただし、交差検証では、最も適合するモデルには通常、真に有益であると見なされる特徴のサブセットのみが含まれます。

医療統計学の最近の発展は、メタ分析での使用である。これは、メタ分析の要約推定値の統計的妥当性をテストするために使用される検証統計量Vnの基礎を形成している。^[36] また、メタ分析では、メタ分析結果の予測誤差を推定するために、より一般的な意味でも使用されている。^[37]

ウィキメディア・コモンズには、クロス検証 (統計)に関連するメディアがあります。

• Bengio, Yoshua; Grandvalet, Yves (2004). 「K 分割交差検証の分散の不偏推定量は存在しない」(PDF)。機械学習研究ジャーナル。5 : 1089–1105。
• Kim, Ji-Hyun (2009 年 9 月)。「分類エラー率の推定: 反復クロス検証、反復ホールドアウト、およびブートストラップ」。計算統計とデータ分析。53 (11): 3735–3745。doi :10.1016/ j.csda.2009.04.009。
• Beleites, Claudia; Baumgartner, Richard; Bowman, Christopher; Somorjai, Ray; Steiner, Gerald; Salzer, Reiner; Sowa, Michael G. (2005 年 10 月)。「スパース データセットを使用した分類エラー推定における分散の削減」。ケモメトリクスおよびインテリジェント ラボ システム。79 (1–2): 91–100。doi :10.1016/ j.chemolab.2005.04.008。
• Trippa, Lorenzo; Waldron, Levi; Huttenhower , Curtis; Parmigiani, Giovanni (2015 年 3 月)。「ベイズ非パラメトリッククロススタディによる予測法の検証」。応用統計年報。9 ( 1)。arXiv : 1506.00474。doi : 10.1214/14- AOAS798 。