較正された確率評価

較正された確率評価は、歴史的に不確実性を表す方法で確率を評価するように訓練された個人によって割り当てられた主観的な確率です。 ^{[1] [2]}たとえば、ある人が状況を較正し、自分が行った 100 の予測のそれぞれに「80% の自信がある」と言った場合、その予測の約 80% が正しいことになります。同様に、90% 確実だと言った場合、その 90% の確率で正しいことになります。

キャリブレーショントレーニングは主観的な確率を向上させます。なぜなら、ほとんどの人は「自信過剰」か「自信不足」（通常は前者）のどちらかだからです。^[3]一連の雑学クイズで練習することで、被験者は確率を評価する能力を微調整することができます。たとえば、被験者は次のように質問されることがあります。

正しいか間違いか:「ホッケーのパックはゴルフのホールに収まる」

信頼度:この質問に正解する可能性を最もよく表す確率を選択してください...

50% 60% 70% 80% 90% 100%

全く分からない人は、50% しか自信がないと言うでしょう。自分が正しいと絶対に確信している人は、100% と答えるでしょう。しかし、ほとんどの人はその中間のどこかで答えるでしょう。校正された人がそのような質問を大量に尋ねられた場合、予想とほぼ同じくらいの正解数になります。校正されていない、体系的に自信過剰の人は、多くの質問に対して 90% の自信があると言うかもしれませんが、実際には 70% しか正解していません。一方、校正されていない、体系的に自信不足の人は、多くの質問に対して 50% の自信があると言うかもしれませんが、実際には 70% しか正解していません。

あるいは、受講者は「ナポレオンがロシアに侵攻したのは何年ですか?」のような質問に対して数値範囲を指定するよう求められ、指定される範囲は 90% の信頼区間を表すように指示されます。つまり、受験者はその範囲に正しい答えが含まれていることを 90% 確信している必要があります。

較正訓練では、一般的に、このような一連のテストを受ける。テストの合間にフィードバックが提供され、被験者は確率を洗練させる。較正訓練では、一貫した自信過剰または自信不足を補うのに役立つ他の技術を学ぶことも含まれる場合がある。被験者はお金を賭けるふりをするとオッズをうまく設定できるため、^[1]被験者は較正質問を、主観的確率を向上させることがわかっている一種の賭けゲームに変換する方法を教えられる。^[4]予測市場など、複数の個人からの主観的推定を考慮に入れることができるさまざまな共同手法が開発されている。

モンテカルロ法などの確率的モデリング法では、「主題専門家」の主観的な推定値を使用することが多い。研究によると、そのような専門家は統計的に自信過剰になる可能性が非常に高く、そのためモデルは不確実性とリスクを過小評価する傾向がある。キャリブレーション トレーニングは、確率的手法の正確な推定値を提供する能力を高めるために使用される。研究によると、ほとんどの人は時間をかければキャリブレーションでき、人のキャリブレーション、つまり正確な推定値を提供するパフォーマンスは、その人の職業分野など、キャリブレーション トレーニング以外のコンテンツに対して提供される推定値にも引き継がれることがわかった。^[5]このようなキャリブレーションでは、ある程度までしか精度を向上させることができないため、専門家のキャリブレーションに加えて修正技術の使用が推奨されている。^[6]

応用情報経済学の方法^[要説明]では、意思決定モデリング プロセスの一部として、体系的に校正トレーニングを使用します。^[要出典]

「確率の較正：1980 年までの最新技術」の調査結果の 1 つは、トレーニングによって較正をある程度しか改善できないというものでした。^[1]

• ダニング・クルーガー効果 – 自分のスキルに関する認知バイアス
• コヒーレンス（哲学的ギャンブル戦略）は、デ・フィネッティのゲームとしても知られ、ベイズ確率を正当化するための思考実験である。リダイレクト先の簡単な説明を表示するページ
• 較正（統計）  – 統計における曖昧な用語
• 自信過剰効果 – 個人の認知バイアス

• credencecalibration.com、確率評価を校正するためのオンラインゲーム