トレーニング、検証、テストデータセット

機械学習 における一般的なタスクは、データから学習し、データに基づいて予測を行うことができるアルゴリズムの研究と構築です。^{[1]このようなアルゴリズムは、入力データから}数学モデルを構築することにより、データ駆動型の予測や決定を行うことで機能します。 ^[2]モデルの構築に使用されるこれらの入力データは通常、複数のデータセットに分割されます。特に、モデル作成のさまざまな段階で、トレーニングセット、検証セット、テストセットの3つのデータセットが一般的に使用されます。

モデルは最初にトレーニングデータセット[ ^3]に適合されます。これは、モデルのパラメータ（人工ニューラルネットワークのニューロン間の接続の重みなど）を適合させるために使用される一連の例です。 ^[4]モデル（ナイーブベイズ分類器など）は、勾配降下法や確率的勾配降下法などの最適化手法などの教師あり学習手法を使用して、トレーニングデータセットでトレーニングされます。実際には、トレーニングデータセットは、入力ベクトル（またはスカラー）とそれに対応する出力ベクトル（またはスカラー）のペアで構成されることが多く、回答のキーは一般にターゲット（またはラベル）として示されます。現在のモデルはトレーニングデータセットで実行され、結果を生成し、次に、トレーニングデータセット内の各入力ベクトルについて、ターゲットと比較します。比較の結果と使用されている特定の学習アルゴリズムに基づいて、モデルのパラメータが調整されます。モデルの適合には、変数選択とパラメータ推定の両方を含めることができます。

続いて、適合モデルを使用して、検証データセットと呼ばれる2番目のデータセットの観測に対する応答を予測します。^{[3]検証データセットは、モデルの}ハイパーパラメータ^[5]（ニューラルネットワークの隠れユニットの数（層と層の幅）など）を調整しながら、トレーニングデータセットへのモデルの適合の偏りのない評価を提供します。^{[4 ] 検証データセットは、}早期停止（検証データセットのエラーが増加したときにトレーニングを停止する。これはトレーニングデータセットへの過剰適合の兆候であるため）。[ 6 ^] この単純な手順は、検証データセットのエラーがトレーニング中に変動し、複数の局所的最小値を生成する可能性があるため、実際には複雑です。 この複雑さにより、過剰適合が実際に始まったかどうかを判断するための多くのアドホックルールが作成されました。^[6]

最後に、テストデータセットは、トレーニングデータセットに対する最終的なモデルの適合性を偏りなく評価するために使用されるデータセットです。 ^[5]テストデータセットのデータがトレーニングで使用されたことがない場合（たとえば、クロスバリデーション）、テストデータセットはホールドアウトデータセットとも呼ばれます。一部の文献では、「テストセット」の代わりに「検証セット」という用語が使用されることがあります（たとえば、元のデータセットが2つのサブセットにのみ分割されている場合、テストセットは検証セットと呼ばれることがあります）。^[5]

トレーニングセット、テストセット、検証セットにおけるデータセットの分割のサイズと戦略の決定は、問題と利用可能なデータに大きく依存します。^[7]

トレーニングデータセットは学習プロセス中に使用される例のデータセットであり、例えば分類器のパラメータ（重みなど）を適合させるために使用されます。^{[9] [10]}

分類タスクでは、教師あり学習アルゴリズムがトレーニングデータセットを調べて、適切な予測モデルを生成する最適な変数の組み合わせを決定（学習）します。^[11]目標は、新しい未知のデータにうまく一般化できるトレーニング済み（適合）モデルを作成することです。^[12]適合モデルは、保持されたデータセット（検証データセットとテストデータセット）からの「新しい」例を使用して評価され、新しいデータを分類する際のモデルの精度を推定します。^[5]過剰適合などの問題のリスクを軽減するために、検証データセットとテストデータセットの例はモデルのトレーニングに使用しないでください。^[5]

経験的関係性をトレーニング データから検索するほとんどのアプローチは、データに過剰適合する傾向があります。つまり、一般的には当てはまらないトレーニング データ内の明らかな関係性を識別して利用する可能性があります。

トレーニング セットが新しいデータで継続的に拡張される場合、これは増分学習です。

検証データセットは、モデルのハイパーパラメータ（つまり、アーキテクチャ）を調整するために使用される例のデータセットです。開発セットまたは「devセット」と呼ばれることもあります。 ^[13]人工ニューラルネットワークのハイパーパラメータの例には、各層の隠れユニットの数が含まれます。^{[9] [10]}これは、テストセット（以下で説明）と同様に、トレーニングデータセットと同じ確率分布に従う必要があります。

過剰適合を避けるために、分類パラメータを調整する必要がある場合、トレーニング データ セットとテスト データ セットに加えて検証データ セットが必要です。たとえば、問題に最も適した分類器を探す場合、トレーニング データ セットを使用してさまざまな候補分類器をトレーニングし、検証データ セットを使用してそれらのパフォーマンスを比較してどれを採用するかを決定し、最後にテスト データ セットを使用して、精度、感度、特異度、F 値などのパフォーマンス特性を取得します。検証データ セットはハイブリッドとして機能します。つまり、テストに使用されるトレーニング データですが、低レベルのトレーニングの一部でも最終テストの一部でもありません。

モデル選択のための検証データセット（トレーニングデータセット、検証データセット、テストデータセットの一部として）を使用する基本的なプロセスは次のとおりです。^{[10] [14]}

私たちの目標は新しいデータで最高のパフォーマンスを発揮するネットワークを見つけることなので、異なるネットワークを比較する最も簡単な方法は、トレーニングに使用したデータとは独立したデータを使用して誤差関数を評価することです。さまざまなネットワークは、トレーニング データ セットに対して定義された適切な誤差関数を最小化することでトレーニングされます。次に、独立した検証セットを使用して誤差関数を評価することでネットワークのパフォーマンスを比較し、検証セットに対して誤差が最小のネットワークを選択します。この方法はホールド アウト法と呼ばれます。この手順自体が検証セットへのオーバーフィッティングにつながる可能性があるため、選択したネットワークのパフォーマンスは、テスト セットと呼ばれる 3 番目の独立したデータ セットでパフォーマンスを測定することで確認する必要があります。

このプロセスの応用は早期停止です。早期停止では、候補モデルは同じネットワークの連続した反復であり、検証セットのエラーが増加するとトレーニングが停止し、以前のモデル（エラーが最小のモデル）が選択されます。

テスト データ セットは、トレーニング データ セットとは独立していますが、トレーニング データ セットと同じ確率分布に従うデータ セットです。トレーニング データ セットに適合するモデルがテスト データ セットにも適合する場合、過剰適合は最小限に抑えられています (下の図を参照)。テスト データ セットと比較してトレーニング データ セットの適合度が高い場合、通常は過剰適合が見られます。

したがって、テストセットは、完全に指定された分類器のパフォーマンス（つまり一般化）を評価するためだけに使われる例のセットです。^{[9] [10]}これを行うには、最終モデルを使用してテストセット内の例の分類を予測します。これらの予測は、例の実際の分類と比較され、モデルの精度が評価されます。^[11]

検証データセットとテストデータセットの両方が使用されるシナリオでは、通常、検証プロセス中に選択された最終モデルを評価するためにテストデータセットが使用されます。元のデータセットが2つのサブセット（トレーニングデータセットとテストデータセット）に分割されている場合、テストデータセットはモデルを1回だけ評価する場合があります（例：ホールドアウト法）。^[15]一部の情報源では、このような方法は推奨されていないことに注意してください。^{[12]ただし、}クロスバリデーションなどの方法を使用する場合、モデルのトレーニングとテストを繰り返した後に結果が平均化されるため、バイアスと変動性を減らすのに役立つため、2つのパーティションで十分かつ効果的です。^{[5] [12]}

テストとは、何かについて調べるために試すこと（国際共同英語辞典によると、「証明する; 実験によって真実、真正性、または品質を証明する」）であり、検証とは、何かが有効であることを証明することです（国際共同英語辞典によると、「確認する; 有効にする」）。この観点から、テスト セットと検証セットという用語の最も一般的な使用法は、ここで説明したとおりです。ただし、業界と学術界の両方で、内部プロセスが改善のためにさまざまなモデルをテストしていること（開発セットとしてのテスト セット）と、実際の使用前に目に見えないデータで検証する必要がある最終モデル（検証セット）であると考えることで、これらは交換して使用されることがあります。「機械学習に関する文献では、「検証」セットと「テスト」セットの意味が逆転していることがよくあります。これは、人工知能研究に蔓延している用語の混乱の最も露骨な例です。」^[16]それでも、テスト セットまたは検証セットのどちらと呼ばれても、最終セットは最終実験でのみ使用する必要があるという重要な概念を維持する必要があります。

より安定した結果を得て、すべての貴重なデータをトレーニングに使用するために、データセットを複数のトレーニングデータセットと検証データセットに繰り返し分割することができます。これはクロス検証と呼ばれます。モデルのパフォーマンスを確認するには、通常、クロス検証から得られた追加のテストデータセットが使用されます。

トレーニング セットと検証セットでクロス検証を使用し、各トレーニング セット内でハイパーパラメータ調整用のテスト セットのクロス検証をさらに実行することができます。これはネストされたクロス検証と呼ばれます。

アルゴリズムのトレーニングにおける省略は、誤った出力の主な原因です。^[17]このような省略の種類には以下が含まれます。^[17]

• 特別な状況や変化は含まれません。
• 古いデータ
• あいまいな入力情報
• 新しい環境への適応能力の欠如
• 必要なときに人間や他のAIシステムに助けを求めることができない

特定の状況が省略された例としては、母親が屋内の夜間照明の下で顔を登録したために少年が携帯電話のロックを解除できたケースがあるが、この状況はシステムのトレーニングに適切に組み込まれていなかった。^{[17] [18]}

比較的無関係な入力の使用には、アルゴリズムが物体検出のために関心のある物体ではなく背景を使用する状況が含まれる可能性があり、例えば草原にいる羊の写真でトレーニングすると、草原にある別の物体が羊として解釈されるリスクにつながる。^[17]

• 統計分類
• 機械学習研究用データセット一覧
• 階層的分類