得点ルール

意思決定理論では、スコアリングルール^[1]は確率予測または予報の評価基準を提供します。「通常の」損失関数 (平均二乗誤差など) は予測値と観測値に適合度スコアを割り当てますが、スコアリングルールは予測確率分布と観測値に適合度スコアを割り当てます。一方、スコアリング関数^[2]は点予測の評価の要約尺度を提供します。つまり、期待値や中央値などの特性または関数 を予測します。 ${\displaystyle T(F)}$

スコアリング ルールは、「予測された確率分布は観測値と比べてどの程度優れているか」という質問に答えます。 (厳密に) 適切なスコアリング ルールは、予測された分布がターゲット変数の基になる分布と等しい場合に、最も低い期待スコアを持つことが証明されています。これは個々の観測値によって異なる場合がありますが、「正しい」分布が予測される場合、期待スコアは最小化されるはずです。

スコアリング ルールとスコアリング関数は、確率予測モデルの「コスト関数」または「損失関数」としてよく使用されます。これらは、特定のサンプルの実験的平均である「スコア」として評価されます。次に、さまざまな予測またはモデルのスコアを比較して、どのモデルが最適かを結論付けることができます。たとえば、(入力 に基づいて) 平均と標準偏差を予測するモデルを考えてみましょう。これらの変数を組み合わせると、ガウス分布が定義され、本質的にはターゲット変数 を確率分布として予測します。確率モデルの一般的な解釈は、予測の不確実性を定量化することを目的としているというものです。この例では、観測されたターゲット変数が予測分布 と比較され、スコア が割り当てられます。スコアリング ルールをトレーニングする場合、確率モデルに、不確実性が低いときと高いときを予測するように「教え」、予測の不確実性を最小限に抑えながら、調整された予測が得られるようにする必要があります。 ${\displaystyle x}$${\displaystyle \mu \in \mathbb {R} }$${\displaystyle \sigma \in \mathbb {R} _{+}}$ ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$${\displaystyle y\in \mathbb {R} }$${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$${\displaystyle {\mathcal {L}}({\mathcal {N}}(\mu ,\sigma ^{2}),y)\in \mathbb {R} }$

示されている例は、実数値のターゲット変数の確率予測に関するものですが、さまざまなターゲット変数を念頭に置いて、さまざまなスコアリング ルールが設計されています。スコアリング ルールは、バイナリおよびカテゴリの確率分類、および単変量および多変量確率回帰に対して存在します。

標本空間 、の部分集合のσ-代数、上の確率測度の凸クラスを考えます。 上で定義され、拡張された実数直線 上の値を取る関数は、に関して測定可能であり、すべての に関して準積分可能である場合、 -準積分可能です。 ${\displaystyle \オメガ}$ ${\displaystyle {\mathcal {A}}}$${\displaystyle \オメガ}$${\displaystyle {\mathcal {F}}}$${\displaystyle (\Omega ,{\mathcal {A}})}$${\displaystyle \オメガ}$${\displaystyle {\overline {\mathbb {R} }}=[-\infty ,\infty ]}$${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {A}}}$${\displaystyle F\in {\mathcal {F}}}$

確率予測とは、あらゆる確率の尺度です。つまり、それは潜在的な将来の観測値の分布です。 ${\displaystyle F\in {\mathcal {F}}}$

スコアリングルールは、すべてのに対して-準積分可能な拡張実数値関数です。は、予測が発行され、観測が実現した場合の損失またはペナルティを表します。 ${\displaystyle \mathbf {S} :{\mathcal {F}}\times \Omega \rightarrow \mathbb {R} }$${\displaystyle \mathbf {S} (F,\cdot )}$${\displaystyle {\mathcal {F}}}$${\displaystyle F\in {\mathcal {F}}}$${\displaystyle \mathbf {S} (F,y)}$${\displaystyle F\in {\mathcal {F}}}$${\displaystyle y\in \Omega }$

ポイント予測は関数、つまり潜在的にセット値のマッピングです。 ${\displaystyle F\rightarrow T(F)\subseteq \Omega }$

スコアリング関数は、ポイント予測が発行され、観測が実現した場合の損失またはペナルティを表す実数値関数です。 ${\displaystyle S:\Omega \times \Omega \rightarrow \mathbb {R} }$${\displaystyle S(x,y)}$${\displaystyle x\in \Omega }$${\displaystyle y\in \Omega }$

スコアリング ルールとスコアリング関数は、値が小さい (大きい) ほど良いことを意味する場合、負 (正) の方向になります。ここでは負の方向に従うため、「損失」と関連付けられます。 ${\displaystyle \mathbf {S} (F,y)}$${\displaystyle S(x,y)}$

分布 から観測値をサンプリングする場合、における予測の期待スコアを、予測される分布 の期待スコアと書きます。 ${\displaystyle F}$${\displaystyle Q\in {\mathcal {F}}}$${\displaystyle F\in {\mathcal {F}}}$${\displaystyle Q}$

${\displaystyle \mathbb {E} _{Y\sim Q}[S(F,Y)]=\int \mathbf {S} (F,\omega )\mathrm {d} Q(\omega )}$

多くの確率予測モデルは、サンプル平均スコアを介してトレーニングされており、予測された分布のセットが観測のセットに対して評価されます。 ${\displaystyle F_{1},\ldots ,F_{n}\in {\mathcal {F}}}$${\displaystyle y_{1},\ldots ,y_{n}\in \Omega }$

${\displaystyle {\mathcal {L}}={\frac {1}{n}}\sum _{i=1}^{n}S(F_{i},y_{i})}$

厳密に適切なスコアリングルールと厳密に一貫したスコアリング関数は、期待報酬を最大化することで正直な予測を促します。予測者に が実現した場合に報酬が与えられる場合（例： ）、真の確率分布を報告することで最高の期待報酬（最低スコア）が得られます。 ^[1]${\displaystyle -\mathbf {S} (F,y)}$${\displaystyle y}$${\displaystyle y=rain}$

スコアリング ルールは、予測分布が観測分布と一致するときに期待スコアが最小化される場合 (負の方向を想定)、 に対して適切です。${\displaystyle \mathbf {S} }$${\displaystyle {\mathcal {F}}}$

${\displaystyle \mathbb {E} _{Y\sim Q}[S(Q,Y)]\leq \mathbb {E} _{Y\sim Q}[S(F,Y)]}$すべてに対して。${\displaystyle F,Q\in {\mathcal {F}}}$

上記の式が の場合にのみ等式として成立する場合、それは厳密に適切です。 ${\displaystyle F=Q}$

スコアリング関数は、クラスに関連する関数に対して一貫性があるといえる。 ${\displaystyle S}$${\displaystyle T}$${\displaystyle {\mathcal {F}}}$

${\displaystyle \mathbb {E} _{Y\sim F}[S(t,Y)]\leq \mathbb {E} _{Y\sim F}[S(x,Y)]}$すべての人のために、すべての人のために。${\displaystyle F\in {\mathcal {F}}}$${\displaystyle t\in T(F)}$${\displaystyle x\in \Omega }$

矛盾がなく、上記の式の等式が を意味する場合、それは厳密に矛盾しません。 ${\displaystyle x\in T(F)}$

確率的予測の例としては、気象学で天気予報士が翌日の雨の確率を述べることがあります。長期間にわたって 25% の確率が引用された回数を記録し、これを雨が降った実際の割合と比較することができます。実際の割合が述べられた確率と大幅に異なる場合、予報士の校正が不十分であると言えます。校正が不十分な予報士は、ボーナス システムによって予報を改善するよう奨励される可能性があります。適切なスコア ルールに基づいて設計されたボーナス システムは、予報士が自分の個人的な信念に等しい確率を報告するよう動機付けます。^[3]

「雨」または「雨なし」に確率を割り当てるなどの単純なバイナリ決定の場合に加えて、スコアリング ルールは、「雨」、「雪」、「晴れ」などの複数のクラス、または 1 日あたりの降雨量などの連続的な応答に対しても使用できます。

右の画像は、実際に発生したイベントについて報告された確率の関数としてのスコアリング ルール (対数スコアリング ルール) の例を示しています。このルールを使用する 1 つの方法は、予測者またはアルゴリズムが割り当てた確率に基づくコストとして使用し、どのイベントが実際に発生するかを確認することです。

スコアリング ルールは無数に存在し、その中には厳密に適切なスコアリング ルールのパラメーター化されたファミリー全体も含まれます。以下に示すのは、単に一般的な例です。

相互に排他的なイベントを持つカテゴリ応答変数の場合、確率予測器またはアルゴリズムは、各結果の確率を含む確率ベクトルを返します。 ${\displaystyle m}$${\displaystyle Y\in \Omega =\{1,\ldots ,m\}}$ ${\displaystyle \mathbf {r} }$${\displaystyle m}$

対数スコアリング規則は、局所的に厳密に適切なスコアリング規則です。これは、ベイズ推論のスコアリング基準としてよく使用される驚きの否定でもあり、その目標は、予想される驚きを最小限に抑えることです。このスコアリング規則は、情報理論にしっかりと根ざしています。

${\displaystyle L(\mathbf {r} ,i)=\ln(r_{i})}$

ここで、スコアは実際の結果の確率推定値の対数として計算されます。つまり、正しく正しいと証明された 80% の予測は、ln(0.8) = −0.22のスコアを受け取ります。この同じ予測では、反対のケースに 20% の確率も割り当てられているため、予測が誤っていると証明された場合は、20% に基づいてスコアが与えられます: ln(0.2) = −1.6。予測者の目標は、スコアを最大化し、スコアを可能な限り大きくすることであり、−0.22 は確かに −1.6 よりも大きくなります。

予測の真偽をそれぞれ値 1 または 0 を持つ変数xとして扱い、表現される確率をpとすると、対数スコアリング規則はx ln( p ) + (1 − x ) ln(1 − p )と書くことができます。厳密に適切なスコアリング規則は線形変換下でも厳密に適切なままであるため、任意の対数底を使用できることに注意してください。つまり、

${\displaystyle L(\mathbf {r} ,i)=\log _{b}(r_{i})}$

は、すべての人にとって厳密に適切です。 ${\displaystyle b>1}$

二次スコアリングルールは厳密に適切なスコアリングルールである

${\displaystyle Q(\mathbf {r} ,i)=2r_{i}-\mathbf {r} \cdot \mathbf {r} =2r_{i}-\sum _{j=1}^{C}r_{j}^{2}}$

ここで、は正解に割り当てられる確率であり、はクラスの数です。 ${\displaystyle r_{i}}$${\displaystyle C}$

1950年にGlenn W. Brierによって最初に提案されたBrierスコア^[4]は、 2次スコアリング規則からの アフィン変換によって得ることができます。

${\displaystyle B(\mathbf {r} ,i)=\sum _{j=1}^{C}(y_{j}-r_{j})^{2}}$

ここで、番目のイベントが正しい場合は、そうでない場合は および はクラスの数です。 ${\displaystyle y_{j}=1}$${\displaystyle j}$${\displaystyle y_{j}=0}$${\displaystyle C}$

これら 2 つのルールの重要な違いは、予測者は二次スコアを最大化し、ブライア スコアを最小化するよう努める必要があることです。これは、それらの間の線形変換に負の符号があるためです。 ${\displaystyle Q}$${\displaystyle B}$

ヒュヴァリネンスコアリング関数（密度p）は^{[5]で定義される。}

${\displaystyle s(p)=2\Delta _{y}\log p(y)+\|\nabla _{y}\log p(y)\|_{2}^{2}}$

ここで、 はヘッセ行列を表し、 は勾配を表す。このスコアリングルールは、パラメータ推論を計算的に簡素化し、任意の曖昧な事前分布を持つベイズモデルの比較に対処するために使用できる。^{[5] [6]また、既存の}情報理論を超えた新しい情報理論的量を導入するためにも使用された。^[7]${\displaystyle \Delta }$ ${\displaystyle \nabla }$

球面スコアリングルールも厳密に適切なスコアリングルールである。

${\displaystyle S(\mathbf {r} ,i)={\frac {r_{i}}{\lVert \mathbf {r} \rVert }}={\frac {r_{i}}{\sqrt {r_{1}^{2}+\cdots +r_{C}^{2}}}}}$

順位付け確率スコア^[8]（RPS）は厳密に適切なスコアリングルールであり、次のように表現できます。

${\displaystyle RPS(\mathbf {r} ,i)=\sum _{k=1}^{C-1}\left(\sum _{j=1}^{k}r_{j}-y_{j}\right)^{2}}$

ここで、番目のイベントが正しい場合は、それ以外の場合は 、および はクラスの数です。他のスコアリング ルールとは別に、ランク付けされた確率スコアではクラス間の距離が考慮されます。つまり、クラス 1 と 2 はクラス 1 と 3 よりも近いと見なされます。スコアは、正しいクラスに近いクラスに高い確率が割り当てられる確率予測に、より良いスコアを割り当てます。たとえば、確率予測と を考えると、 両方の確率予測が正しいクラスに同じ確率を割り当てているにもかかわらず、であるのに対し であることがわかります。 ${\displaystyle y_{j}=1}$${\displaystyle j}$${\displaystyle y_{j}=0}$${\displaystyle C}$${\displaystyle \mathbf {r} _{1}=(0.5,0.5,0)}$${\displaystyle \mathbf {r} _{2}=(0.5,0,0.5)}$${\displaystyle RPS(\mathbf {r} _{1},1)=0.25}$${\displaystyle RPS(\mathbf {r} _{2},1)=0.5}$

下の左側は、バイナリ分類問題に対する対数、二次、球面スコアリング ルールのグラフ比較です。x軸は、実際に発生したイベントの報告された確率を示します。

それぞれのスコアは大きさと位置が異なることに注意することが重要です。ただし、スコアはアフィン変換下でも適切なままなので、大きさの違いは関係ありません。したがって、異なるスコアを比較するには、それらを共通のスケールに移動する必要があります。すべてのスコアがポイント (0.5,0) と (1,1) と交差する右側の図に、適切な正規化の選択が示されています。これにより、均一分布 (それぞれ 0.5 の確率が 2 つ) に対して 0 が生成されることが保証され、ベースライン分布となることが多いものを報告するコストや報酬がないことを反映しています。以下のすべての正規化スコアも、真のクラスに確率 1 が割り当てられている場合は 1 になります。

以下にリストされているスコアリング ルールは、予測分布が単変量連続確率分布である場合、つまり、予測分布が単変量ターゲット変数に対して定義され、確率密度関数を持つ場合に、確率予測を評価 することを目的としています。 ${\displaystyle X\in \mathbb {R} }$ ${\displaystyle f:\mathbb {R} \to \mathbb {R} _{+}}$

対数スコアは局所的に厳密に適切なスコアリングルールであり、次のように定義されます。

${\displaystyle L(D,y)=-\ln(f_{D}(y))}$

ここで、は予測分布の確率密度関数を表します。これは局所的かつ厳密に適切なスコアリングルールです。連続変数の対数スコアは、最大尤度推定と密接な関係があります。しかし、多くのアプリケーションでは、対数スコアは予測分布の裾の密度のわずかな偏差に大きく影響される可能性があるため、連続ランク付けされた確率スコアが対数スコアよりも好まれることがよくあります。^[9]${\displaystyle f_{D}}$${\displaystyle D}$

連続順位確率スコア（CRPS）^[10]は気象学でよく使われる厳密なスコアリングルールである。それは次のように定義される。

${\displaystyle CRPS(D,y)=\int _{\mathbb {R} }(F_{D}(x)-H(x-y))^{2}dx}$

ここで、は予測分布の累積分布関数、はヘヴィサイドステップ関数、は観測値である。有限第一モーメントを持つ分布の場合、連続順位付け確率スコアは次のように表される。^[1]${\displaystyle F_{D}}$${\displaystyle D}$${\displaystyle H}$${\displaystyle y\in \mathbb {R} }$

${\displaystyle CRPS(D,y)=\mathbb {E} _{X\sim D}[|X-y|]-{\frac {1}{2}}\mathbb {E} _{X,X'\sim D}[|X-X'|]}$

ここで、およびは分布からサンプリングされた独立した確率変数である。さらに、累積確率関数が連続である場合、連続順位付け確率スコアは次のようにも表される^[11]。${\displaystyle X}$${\displaystyle X'}$${\displaystyle D}$${\displaystyle F}$

${\displaystyle CRPS(D,y)=\mathbb {E} _{X\sim D}[|X-y|]+\mathbb {E} _{X\sim D}[X]-2\mathbb {E} _{X\sim D}[X\cdot F_{D}(X)]}$

連続ランク付け確率スコアは、ランク付け確率スコアの連続拡張と、分位回帰の両方として見ることができます。順序付けられたセットポイントの経験的分布 （つまり、すべてのポイントが発生する確率）上の連続ランク付け確率スコアは、均等に分散した分位数を持つポイントに適用される平均分位損失の2倍に等しい：^[12]${\displaystyle {\hat {D}}_{q}}$${\displaystyle q_{1}\leq \ldots \leq q_{n}}$${\displaystyle 1/n}$${\displaystyle (\tau _{1},\ldots ,\tau _{n})=(1/(2n),\ldots ,(2n-1)/(2n))}$

${\displaystyle CRPS\left({\hat {D}}_{q},y\right)={\frac {2}{n}}\sum _{i=1}^{n}\tau _{i}(y-q_{i})_{+}+(1-\tau _{i})(q_{i}-y)_{+}}$

多くの一般的な分布族について、連続ランク付け確率スコアの閉形式の表現が導出されている。連続ランク付け確率スコアは人工ニューラルネットワークの損失関数として使用され、天気予報はガウス確率分布に後処理される。^{[13] [14]}

CRPSは、打ち切りイベントをカバーするために生存解析にも適応されました。^[15]

以下にリストされているスコアリング ルールは、予測分布が単変量連続確率分布である場合、つまり、予測分布が多変量ターゲット変数に対して定義され、確率密度関数を持つ場合に、確率予測を評価 することを目的としています。 ${\displaystyle X\in \mathbb {R} ^{n}}$ ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} _{+}}$

多変量対数スコアは単変量対数スコアに似ています。

${\displaystyle L(D,y)=-\ln(f_{D}(y))}$

ここで、 は予測される多変量分布の確率密度関数を表します。これは、局所的で厳密に適切なスコアリング規則です。 ${\displaystyle f_{D}}$${\displaystyle D}$

エネルギースコアは連続順位確率スコアの多変量拡張である: ^[1]

${\displaystyle ES_{\beta }(D,Y)=\mathbb {E} _{X\sim D}[\lVert X-Y\rVert _{2}^{\beta }]-{\frac {1}{2}}\mathbb {E} _{X,X'\sim D}[\lVert X-X'\rVert _{2}^{\beta }]}$

ここで、、は次元ユークリッド距離を表し、は確率分布 から独立にサンプリングされたランダム変数です。エネルギースコアは、 が有限である分布に対して厳密に適切です。エネルギースコアは、予測された多変量分布の変数間依存構造を評価するときにあまり効果的ではないことが示唆されています。^{[16]エネルギースコアは、予測された分布と観測値の経験的分布間の}エネルギー距離の2倍に等しくなります。 ${\displaystyle \beta \in (0,2)}$${\displaystyle \lVert \rVert _{2}}$${\displaystyle n}$${\displaystyle X,X'}$${\displaystyle D}$${\displaystyle D}$${\displaystyle \mathbb {E} _{X\sim D}[\lVert X\rVert _{2}]}$

バリオグラムの順序スコアは次のように与えられる: ^[17]${\displaystyle p}$

${\displaystyle VS_{p}(D,Y)=\sum _{i,j=1}^{n}w_{ij}(|Y_{i}-Y_{j}|^{p}-\mathbb {E} _{X\sim D}[|X_{i}-X_{j}|^{p}])^{2}}$

ここで、は重みであり、多くの場合 1 に設定され、任意に選択できますが、または がよく使用されます。は、 の' 番目の周辺ランダム変数を表します。 バリオグラム スコアは、 '番目のモーメントがすべてのコンポーネントに対して有限である分布に適していますが、厳密に適しているわけではありません。 エネルギー スコアと比較すると、バリオグラム スコアは、予測される相関構造に関してより識別的であると言われています。 ${\displaystyle w_{ij}}$${\displaystyle p>0}$${\displaystyle p=0.5,1}$${\displaystyle 2}$${\displaystyle X_{i}}$${\displaystyle i}$${\displaystyle X}$${\displaystyle (2p)}$

条件付き連続順位付け確率スコア（条件付きCRPSまたはCCRPS）は、（厳密に）適切なスコアリングルールのグループです。条件付きCRPSは、予測された多変量分布の単変量条件付き確率分布の規定セットに対してCRPSを評価することで、予測された多変量分布を評価します。^[18]${\displaystyle D}$

${\displaystyle CCRPS_{\mathcal {T}}(D,Y)=\sum _{i=1}^{k}CRPS(P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i}),Y_{v_{i}})}$

ここで、はの 番目の周辺変数、は条件付き仕様を定義する組の集合（および を使用）、およびのすべての変数がそれぞれの観測値に等しいという条件付き確率分布を表します。 が適切に定義されていない場合（つまり、その条件付きイベントの尤度が 0 の場合）、この分布上の CRPS スコアは無限大として定義されます。条件付き CRPS は、条件付き仕様に連鎖律が含まれている場合、つまりすべての に対して となるの順列が存在する場合、有限 の第 1 モーメントを持つ分布に対して厳密に適切です。${\displaystyle X_{i}}$${\displaystyle i}$${\displaystyle X\sim D}$${\displaystyle {\mathcal {T}}=(v_{i},{\mathcal {C}}_{i})_{i=1}^{k}}$${\displaystyle v_{i}\in \{1,\ldots ,n\}}$${\displaystyle {\mathcal {C}}_{i}\subseteq \{1,\ldots ,n\}\setminus \{v_{i}\}}$${\displaystyle P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i})}$${\displaystyle X_{v_{i}}}$${\displaystyle X_{j}}$${\displaystyle j\in {\mathcal {C}}_{i}}$${\displaystyle P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i})}$${\displaystyle \phi _{1},\ldots ,\phi _{n}}$${\displaystyle 1,\ldots ,n}$${\displaystyle 1\leq i\leq n}$${\displaystyle (\phi _{i},\{\phi _{1},\ldots ,\phi _{i-1}\})\in {\mathcal {T}}}$

すべての適切なスコアリング ルールは、確率予測を使用する一連の単純な 2 択決定問題における損失の加重合計 (非負の重み関数による積分) に等しく、このような各決定問題には、偽陽性決定と偽陰性決定の関連コスト パラメーターの特定の組み合わせがあります。厳密に適切なスコアリング ルールは、すべての可能な決定しきい値に対して非ゼロの重み付けを持つことに対応します。任意の適切なスコアリング ルールは、決定しきい値上の特定の確率分布に関する期待損失に等しくなります。したがって、スコアリング ルールの選択は、予測確率が最終的に使用される決定問題の確率分布に関する仮定に対応します。たとえば、2 次損失 (または Brier) スコアリング ルールは、決定しきい値が 0 から 1 の間の任意の場所にある均一な確率に対応します。分類精度スコア（正しく分類された割合）は、予測された確率が0.5の適切な側にあるかどうかに応じて0または1になる単一閾値スコアリングルールであり、適切なスコアリングルールではあるが、真の確率を予測するだけでなく、真の確率と同じ0.5の側にある任意の確率を予測することによって（期待値で）最適化されるため、厳密には適切なスコアリングルールではない。^{[19] [20] [21] [22] [23] [24]}

厳密に適切なスコアリング規則は、バイナリクラスであろうとマルチクラスであろうと、アフィン変換後も厳密に適切なスコアリング規則のままです。^[3]つまり、が厳密に適切なスコアリング規則である場合、も厳密に適切なスコアリング規則ですが、の場合は、スコアリング規則の最適化の意味は最大化と最小化の間で切り替わります。 ${\displaystyle S(\mathbf {r} ,i)}$${\displaystyle a+bS(\mathbf {r} ,i)}$${\displaystyle b\neq 0}$${\displaystyle b<0}$

適切なスコアリング ルールは、特定のイベントの確率の推定がそのイベントの確率のみに依存する場合、ローカルであると言われます。この記述はほとんどの説明ではあいまいですが、ほとんどの場合、これは「特定のイベント」でのスコアリング問題の最適解が、そのイベントの確率を変えない観測分布のすべての変化に対して不変であると考えることができます。発生しなかったイベントに割り当てられた確率は決定されており、変化する柔軟性がないため、すべてのバイナリ スコアはローカルです。

対数スコアリング規則のアフィン関数は、バイナリではない有限集合上の唯一の厳密に適切なローカルスコアリング規則です。

適切なスコアリングルールの期待値は、不確実性、信頼性、解像度と呼ばれる3つの要素の合計に分解することができ、^{[25] [26]}これらは確率予測のさまざまな属性を特徴付けます。 ${\displaystyle S}$

${\displaystyle E(S)=\mathrm {UNC} +\mathrm {REL} -\mathrm {RES} .}$

スコアが適切で負の方向である場合 (Brier スコアなど)、3 つの項はすべて正定値です。不確実性コンポーネントは、平均イベント頻度を常に予測する予測の予想スコアに等しくなります。信頼性コンポーネントは、予測された確率がイベント頻度と一致しない、調整が不十分な予測にペナルティを課します。

個々の要素の式は、特定のスコアリングルールによって異なります。ブライアースコアの場合、次の式で表されます。

${\displaystyle \mathrm {UNC} ={\bar {x}}(1-{\bar {x}})}$

${\displaystyle \mathrm {REL} =E(p-\pi (p))^{2}}$

${\displaystyle \mathrm {RES} =E(\pi (p)-{\bar {x}})^{2}}$

ここで、はバイナリイベントの発生の平均確率であり、 はが与えられた場合の条件付きイベント確率、すなわち${\displaystyle {\bar {x}}}$${\displaystyle x}$${\displaystyle \pi (p)}$${\displaystyle p}$${\displaystyle \pi (p)=P(x=1\mid p)}$

• 一貫性
• 決定ルール

• 厳密に適切なスコアリング ルール、予測、および推定。Tilmann Gneiting &Adrian E Raftery、359-378 ページ、https://doi.org/10.1198/016214506000001437、pdf

• 球面、二次、対数のスコアリングルールを比較するビデオ
• ローカルの適切なスコアリングルール
• スコアリングルールと意思決定分析教育
• 厳密なスコアリングルール
• スコアリングルールと不確実性
• 分類精度およびその他の不連続な不適切な精度スコアリングルールによって生じる損害
• 連続順位確率スコアの閉形式表現