予測および予報の分野では、予測スキルまたは予報スキルとは、予測の正確さおよび/または予測対象(正式には被予測対象)の実際の値の観測または推定との関連性の度合いを示す尺度であり、スキルスコアとして定量化されることがある。[ 1 ]
気象学、特に天気予報において、スキルとは、過去の観測データに基づく単純な基準値と比較して、予報の精度がどれだけ優れているかを示す指標です。同じ予報手法を用いても、場所によって、あるいは同じ場所でも季節によって、スキルスコアが異なる場合があります(例えば、春の天候は局地的な不安定な気象条件に左右される一方、冬の寒波は観測可能な極風と相関関係にある可能性があります)。天気予報のスキルは、季節ごとの地理的な地図の形で示されることがよくあります。
単一値予測(すなわち、スカラー量の時系列)の予測スキルは、相関、二乗平均平方根誤差、平均絶対誤差、相対平均絶対誤差、バイアス、ブライアスコアなどの指標で一般的に表されます。情報理論のエントロピーの概念に関連するスコアもいくつか使用されています。[ 2 ] [ 3 ]
「予測スキル」という用語は、定性的な意味で用いられる場合もあり、その場合は、単一の指標に基づく予測性能、または複数の指標に基づく全体的な予測性能のいずれかを指す可能性がある。
確率的予測のスキルスコアには、ランク付き確率的スキルスコア(RPSS)や連続RPSS(CRPSS)などの指標が用いられる場合があります。誤報率(FAR)、検出確率(POD)、クリティカルサクセスインデックス(CSI)、公平脅威スコア(ETS)などのカテゴリ別スキル指標も、一部の予測アプリケーションでは関連性があります。スキルは、多くの場合、特定の予測結果のパフォーマンスを基準となるベンチマーク予測と比較した相対的な表現として表されますが、必ずしもそうとは限りません。この表現は「スキルスコア」と呼ばれます。
予測精度指標とスコアの計算は、統計的に信頼性を確保するために、十分な数の予測値と観測値のペアを用いて行う必要があります。単一の予測対象(例えば、ある地点の気温や単一の株価)に対する予測のサンプルには、通常、複数の異なる日付で行われた予測が含まれます。また、ある特定の日付で行われた予測について、空間的に分散した予測値と観測値のペアをサンプルにまとめることもできます。例えば、多くの場所で検証された気象現象の予測などがこれに該当します。
誤差指標「平均二乗誤差(MSE)」とそれに対応するスキル スコアを使用したスキル計算の例を以下の表に示します。この場合、完璧な予測では予測スキル指標はゼロ、スキル スコア値は 1.0 になります。参照予測と同等のスキルを持つ予測ではスキル スコアは 0.0 になり、参照予測よりもスキルが低い予測ではスキル スコアの値が負の方向に無限大になります。[ 4 ] [ 5 ]
幅広い予測指標は、出版物やオンラインのリソースで見つけることができます。良い出発点となるのは、オーストラリア気象局の長年にわたるWWRP/WGNE合同作業部会の予測検証研究に関するウェブページです。[ 6 ]
予測スキルについて論じた人気の教科書および参考書としては、『大気科学における統計的手法』がある。[ 7 ]