ブライアースコア

Brierスコアは、確率予測の精度を測定する厳密に適切なスコアリング ルールです。一次元予測の場合、これは予測確率に適用される 平均二乗誤差と厳密に同等です。

ブライアースコアは、予測が相互に排他的な離散的な結果またはクラスのセットに確率を割り当てる必要があるタスクに適用されます。可能性のある結果のセットは、本質的にバイナリまたはカテゴリのいずれかであり、この結果セットに割り当てられる確率の合計は 1 である必要があります (各個別の確率は 0 から 1 の範囲です)。これは1950 年にGlenn W. Brierによって提案されました^。[1]

Brier スコアはコスト関数として考えることができます。より正確には、N 個の予測セット内のすべての項目にわたって、Brier スコアは次の間の平均二乗差を測定します。 ${\displaystyle i\in {1...N}}$

• 項目iの可能な結果に割り当てられる予測確率
• 実際の結果${\displaystyle o_{i}}$

したがって、一連の予測に対する Brier スコアが低いほど、予測の精度は高くなります。最も一般的な定式では、Brier スコアは 0 から 1 の間の値を取ることに注意してください。これは、予測される確率 (0 から 1 の間である必要があります) と実際の結果 (0 または 1 の値のみを取ることができます) の間の最大差の 2 乗であるためです。Brier スコアの元の定式 (1950 年) では、範囲は 0 から 2 の 2 倍です。

Brier スコアは、真または偽として構造化できるバイナリおよびカテゴリの結果には適していますが、3 つ以上の値を取ることができる順序変数には適していません。

ブライアースコアの最も一般的な定式は

${\displaystyle BS={\frac {1}{N}}\sum \limits _{t=1}^{N}(f_{t}-o_{t})^{2}\,\!}$

ここで、は予測された確率、インスタンスでのイベントの実際の結果（発生しない場合と発生した場合）、は予測インスタンスの数です。実際には、これは予測の平均二乗誤差です。この定式化は、主にバイナリ イベント（「雨」または「雨なし」など）に使用されます。上記の式は、バイナリ イベントにのみ適切なスコアリング ルールです。マルチ カテゴリ予測を評価する場合は、以下の Brier による元の定義を使用する必要があります。 ${\displaystyle f_{t}}$${\displaystyle o_{t}}$${\displaystyle t}$${\displaystyle 0}$${\displaystyle 1}$${\displaystyle N}$

特定の日に雨が降る確率を予測するとします。この場合、Brier スコアは次のように計算されます。 ${\displaystyle P}$

• 予報が 100% ( = 1) で雨が降った場合、Brier スコアは 0 となり、達成可能な最高スコアとなります。${\displaystyle P}$
• 予報が 100% で雨が降らない場合は、Brier スコアは 1 となり、これは達成可能な最悪のスコアとなります。
• 予報が70%（= 0.70）で雨が降った場合、ブライアースコアは（0.70−1）²  = 0.09になります。${\displaystyle P}$

• 対照的に、予報が70%（= 0.70）で雨が降らない場合、ブライアースコアは（0.70−0）²  = 0.49になります。${\displaystyle P}$
• 同様に、予報が30%（= 0.30）で雨が降った場合、ブライアースコアは（0.30−1）²  = 0.49になります。${\displaystyle P}$
• 予報が50%（= 0.50）の場合、雨が降るかどうかに関係なく、Brierスコアは（0.50−1）²  =（0.50−0）²  = 0.25になります。${\displaystyle P}$

上記の定式化は最も広く使用されていますが、Brier ^[1]による元の定義は、適切なスコアリング ルールとして複数カテゴリの予測にも適用できますが、バイナリ形式 (上記の例で使用されている) はバイナリ イベントにのみ適しています。バイナリ予測の場合、Brier の「確率スコア」の元の定式化は、現在 Brier スコアとして知られているスコアの 2 倍の値を持ちます。

${\displaystyle BS={\frac {1}{N}}\sum \limits _{t=1}^{N}\sum \limits _{i=1}^{R}(f_{ti}-o_{ti})^{2}\,\!}$

では、 はイベントが該当する可能性のあるクラスの数、 はすべてのクラスのインスタンスの総数です。 は、インスタンスでクラスが 番目のクラスである場合は の予測確率であり、それ以外の場合は です。 雨/雨なしの場合、ですが、 寒い/平年/暖かいという予報の場合は です。 ${\displaystyle R}$${\displaystyle N}$${\displaystyle f_{ti}}$${\displaystyle i.o_{ti}}$${\displaystyle 1}$${\displaystyle i}$${\displaystyle t}$${\displaystyle 0}$${\displaystyle R=2}$${\displaystyle R=3}$

Brier スコアには、バイナリ分類子の動作に関するより深い洞察を提供する分解がいくつかあります。

ブライアスコアは、不確実性、信頼性、解像度の3つの加法要素に分解できます。（マーフィー1973）^[2]

${\displaystyle BS=REL-RES+UNC}$

これらの各コンポーネントは、イベントが該当する可能性のあるクラスの数に応じてさらに分解できます。等号の乱用:

${\displaystyle BS={\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {f_{k}} -\mathbf {\bar {o}} _{\mathbf {k} })}^{2}-{\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {{\bar {o}}_{k}} -{\bar {\mathbf {o} }})}^{2}+\mathbf {\bar {o}} \left({1-\mathbf {\bar {o}} }\right)}$

ここで、 は発行された予報の総数、は発行された固有の予報の数、 はイベントが発生する観測された気候学的基本率、は同じ確率カテゴリの予報の数、は確率 の予報を前提とした観測された頻度です。上記の式の太字表記はベクトルを示しています。これは、スコアの元の定義を示し、イベントが該当する可能性のあるクラスの数に従って分解する別の方法です。たとえば、降雨確率が 70% の場合と雨が降らない場合を それぞれ および と 表します。これらのベクトルに対する平方や乗算などの演算は、要素ごとに行われると理解されます。Brier スコアは、右側のベクトルの合計になります。 ${\displaystyle \textstyle N}$${\displaystyle \textstyle K}$${\displaystyle \mathbf {\bar {o}} ={\sum _{t=1}^{N}}\mathbf {o_{t}} /N}$${\displaystyle n_{k}}$${\displaystyle \mathbf {\overline {o}} _{\mathbf {k} }}$${\displaystyle \mathbf {f_{k}} }$${\displaystyle \mathbf {f} =(0.3,0.7)}$${\displaystyle \mathbf {o} =(1,0)}$

信頼性の用語は、予測確率が予測された実際の確率にどれだけ近いかを測定します。信頼性は、英語とは逆の方向に定義されます。信頼性が 0 の場合、予測は完全に信頼できます。たとえば、降雨確率が 80% と予測されたすべての予測インスタンスをグループ化すると、そのような予測が出された後 5 回のうち 4 回雨が降った場合にのみ、完全な信頼性が得られます。

解像度の項は、さまざまな予測によって与えられた条件付き確率が気候平均とどの程度異なるかを測定します。この項が高いほど良いです。最悪の場合、気候確率が常に予測される場合、解像度はゼロになります。最良の場合、条件付き確率がゼロと 1 の場合、解像度は不確実性に等しくなります。

不確実性項は、イベントの結果に内在する不確実性を測定します。バイナリ イベントの場合、各結果が 50% の確率で発生すると不確実性が最大になり、結果が常に発生するかまったく発生しない場合は不確実性が最小 (ゼロ) になります。

代替の（関連する）分解では、3 つの項ではなく 2 つの項が生成されます。

${\displaystyle BS=CAL+REF}$

${\displaystyle BS={\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {f_{k}} -\mathbf {\bar { o}} _{\mathbf {k} })}^{2}+{\frac {1}{N}}\sum \limits _{k=1}^{K}{n_{k}(\mathbf {{\bar {o}}_{k}} (1-\mathbf {{\bar {o}}_{k}} } ))}$

最初の用語はキャリブレーションと呼ばれ (キャリブレーションの尺度として使用できます。統計的キャリブレーションを参照)、信頼性に相当します。2 番目の用語は洗練と呼ばれ、解像度と不確実性の集合であり、 ROC曲線の下の領域に関連しています。

ブライアスコアとCAL + REF分解は、いわゆるブライア曲線^[3]を通じてグラフで表すことができ、各動作条件の予想損失が表示されます。これにより、ブライアスコアは、クラスの非対称性が均一に分布している状態での総合的なパフォーマンスの尺度になります。^[4]

特定の基礎スコアに対するスキルスコアは、基礎スコアのオフセットおよび (負に) スケールされた変形であり、スキル スコア値が 0 の場合、予測のスコアはベースラインまたは参照またはデフォルトの予測のセットと同程度であることを意味し、スキル スコア値が 1 (100%) の場合、最高のスコアを表します。スキル スコア値が 0 未満の場合、パフォーマンスはベースラインまたは参照予測よりもさらに悪いことを意味します。基礎スコアが Brier スコア (BS) の場合、Brier スキル スコア(BSS) は次のように計算されます。

${\displaystyle BSS=1-{\frac {BS}{BS_{ref}}}}$

ここで、は、改善を目指す基準予測またはベースライン予測の Brier スコアです。基準予測は、原理的には既存のモデルで与えることができますが、デフォルトでは、スコアリング対象のデータセット内の特定のクラスの全体的な割合または頻度を、データセット内の各インスタンスでそのクラスが発生する一定の予測確率として予測するナイーブ モデルを使用できます。このベースライン モデルは、改善を目指す「スキルなし」モデルを表します。スキル スコアは気象予測の文献に由来しており、ナイーブなデフォルトの基準予測は「サンプル内気候学」予測と呼ばれています。ここで、気候学は気象予測の長期または全体的な平均を意味し、サンプル内平均はスコアリング対象の現在のデータセットから計算されます。^{[5] [6]} このデフォルトのケースでは、バイナリ (2 クラス) 分類の基準 Brier スコアは、(この記事の定義セクションの先頭にある最初の式の表記を使用して) 次のように与えられます。 ${\displaystyle BS_{ref}}$

${\displaystyle BS_{ref}={\frac {1}{N}}\sum \limits _{t=1}^{N}({\bar {o}}-o_{t})^{2}\,}$

ここで、は単純に実際の結果の平均、つまりデータセット内の真のクラス 1 の全体的な割合です。 ${\displaystyle {\bar {o}}}$

${\displaystyle {\bar {o}}={\frac {1}{N}}\sum \limits _{t=1}^{N}o_{t}.}$

Brier スコアでは、スコアが低いほど良く (損失関数)、0 が最高スコアとなります。一方、Brier スキル スコアでは、スコアが高いほど良く、1 (100%) が最高スコアとなります。

Brier スキル スコアは Brier スコアよりも解釈しやすい場合があります。BSS は単に参照モデルと比較した BS の改善率であり、BSS がマイナスの場合は参照モデルよりもさらに悪い結果になることを意味しますが、これは Brier スコア自体を見ても明らかではない場合があります。ただし、BSS が 100% に近づくことは通常期待できません。これは、すべての確率予測がほぼ 0 または 1 である (そして当然正しい) ことを必要とするためです。

たとえブライアースコアが 厳密に適切なスコアリングルールであったとしても、BSSは厳密に適切ではありません。実際、基礎となるスコアリングルールが適切であっても、スキルスコアは一般的に適切ではありません。^[7]それでも、マーフィー（1973）^[8]は 、BSSが多数のサンプルで漸近的に適切であることを証明しました。

分類（確率推定）の BSS は BS に対して、回帰の決定係数（ ）は平均二乗誤差（MSE）に対してであることに気付くかもしれません。 ${\displaystyle R^{2}}$

ブライアスコアは、非常にまれな（または非常に頻繁な）イベントには不十分です。なぜなら、まれなイベントにとって重要な予測の小さな変化を十分に区別できないからです。^[9] ウィルクス（2010）は、「比較的まれなイベントの高度なスキル予測には、かなり大きなサンプルサイズ、つまりn > 1000が必要ですが、一般的なイベントの低スキル予測には非常に控えめなサンプルサイズで十分です。」と結論付けています。^[10]

• 予測スキル
• 得点ルール

• Brier, Glenn W (1950)。「確率で表現された予報の検証」。Monthly Weather Review。78 ( 1) : 1–3。Bibcode :1950MWRv...78....1B。doi :10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO ; 2。S2CID 122906757  。
• J. スコット アームストロング、「予測の原則」。
• AMS 気象用語集
• ブライアスコアの構成: ミニチュートリアル
• Chicco D.; Warrens MJ; Jurman G. (2021). 「バイナリ分類評価では、Matthews相関係数（MCC）の方がCohenのKappaスコアやBrierスコアよりも有益である」. IEEE Access . 9 : 78368 - 78381. doi : 10.1109/access.2021.3084050 . hdl : 10281/430460 . S2CID  235308708.