基本料金の誤り

ベースレートの誤謬は、ベースレート無視^[2]またはベースレートバイアスとも呼ばれ、人々がベースレート（一般的な普及率など）を無視して、個別化情報（特定のケースにのみ関連する情報）を優先する傾向があるという誤謬の一種です。 ^[3]たとえば、友人が非常に内気で寡黙だと聞いた場合、その人は友人が販売員よりも司書である可能性が高いと考えるかもしれません。しかし、全体としては司書よりも販売員のほうがはるかに多いため、内気で寡黙という説明に当てはまる司書の割合が多いとしても、友人が実際には販売員である可能性が高くなります。ベースレート無視は、より一般的な拡張無視の特定の形式です。

法廷手続きにおける統計的検定（DNA検定など）の結果に適用される場合は、検察官の誤謬や弁護士の誤謬とも呼ばれる。これらの用語は、1987年にウィリアム・C・トンプソンとエドワード・シューマンによって導入されたが、 ^{[4] [5]、彼らの検察官の誤謬の定義は、基準率や}ベイズの定理の誤りとして分析できない、多くの追加の無効な有罪または責任の帰属にまで及ぶと主張されてきた。^[6]

基準率の誤謬の一例は、偽陽性のパラドックス（精度のパラドックスとも呼ばれる）です。このパラドックスは、真陽性よりも偽陽性のテスト結果が多い状況（つまり、分類器の精度が低い）を説明します。たとえば、顔認識カメラが指名手配犯を 99% の精度で識別できるが、1 日に 10,000 人を分析する場合、高い精度よりもテストの数のほうが重要になります。このため、プログラムの犯罪者リストには、犯罪者（真陽性）よりも民間人（偽陽性）の方がはるかに多く含まれる可能性があります。これは、全体としては犯罪者よりも民間人のほうがはるかに多いためです。陽性のテスト結果の確率は、テストの精度だけでなく、サンプルの母集団の特性によっても決まります。^[7]根本的な問題は、真陰性の発生率がはるかに高いということは、はるかに大きな[陰性]グループのごく一部であっても、はるかに小さな[陽性]グループの大多数よりも多くの陽性反応を示すことを考えると、陽性反応を示す人々のプールが偽陽性で占められることを意味するということです。

特定の症状を持つ人の割合である有病率が検査の偽陽性率よりも低い場合、個々の症例で偽陽性となるリスクが非常に低い検査であっても、全体としては真陽性よりも偽陽性が多くなる。^[8]

特に、有病率の高い集団から得られた陽性結果を扱った後に、有病率の低い集団での検査で陽性結​​果を解釈する場合は、直感に反します。 ^[8]検査の偽陽性率が、その症状を持つ新しい集団の割合よりも高い場合、有病率の高い集団での検査の経験を持つ検査管理者は、陽性の検査結果は通常、陽性の被験者を示していると経験から結論付ける可能性がありますが、実際には偽陽性が発生している可能性の方がはるかに高いのです。

1,000 人の集団Aに対して感染症検査を実施し、そのうち 40% が感染しているとします。この検査の偽陽性率は 5% (0.05)、偽陰性率は 0 です。集団Aに対する 1,000 回の検査の予想される結果は次のようになります。

感染しており、検査で病気が判明（真陽性）

1000 × ⁠40/100⁠ = 400人が真陽性となる

感染していないが検査で病気が判明（偽陽性）

1000 × ⁠100 – 40/100⁠ × 0.05 = 30人が偽陽性となる

残りの 570 件の検査は正確に陰性でした。

したがって、集団Aでは、陽性検査を受けた人は93％以上の信頼度を持つ可能性がある（⁠400/30 + 400⁠）感染を正しく示しているかどうかを確認します。

ここで、感染者がわずか 2% の集団Bに同じテストを適用した場合を考えてみましょう。集団Bに対して 1000 回のテストを実施した場合の予想される結果は次のようになります。

感染しており、検査で病気が判明（真陽性）

1000 × ⁠2/100⁠ = 20人が真陽性となる

感染していないが検査で病気が判明（偽陽性）

1000 × ⁠100 – 2/100× 0.05 = 49人が偽陽性となる

残りの 931 件の検査は正確に陰性でした。

集団Bでは、陽性反応を示した69人のうち、実際に感染しているのは20人だけです。つまり、感染していると告げられた後に実際に感染している確率はわずか29%です（⁠20/20 + 49⁠）は、それ以外は「95% の精度」があると思われるテストです。

グループAの経験がある検査員は、グループBでは、これまでは正しく感染を示していた結果が、今では偽陽性であることがよくあることに矛盾を感じるかもしれません。感染の事後確率と偽陽性の事前確率を混同することは、健康を脅かす検査結果を受け取った後に起こる自然な誤りです。

警察官のグループが飲酒検知器を持っていて、運転手が酔っていない場合の 5% で偽の酔い状態を表示すると想像してください。しかし、飲酒検知器は、本当に酔っている人を必ず検出します。1,000 人の運転手のうち 1 人が飲酒運転をしています。警察官が運転手を無作為に呼び止め、飲酒検知器で検査するとします。その結果、運転手が酔っていることが示されます。運転手について、その他の情報はわかりません。

運転手が飲酒している確率は 95% と見積もる人が多いですが、正確な確率は約 2% です。

これに対する説明は次の通りです。平均すると、テストを受けたドライバー1,000人につき、

• 1人の運転手が飲酒しており、その運転手に対して真陽性の検査結果が出ることは100％確実であるため、真陽性の検査結果は1つである。
• 999人のドライバーは飲酒しておらず、そのうち5%に偽陽性の検査結果があるため、49.95の偽陽性検査結果がある。

したがって、1 + 49.95 = 50.95 の陽性検査結果のうちの任意のドライバーが実際に飲酒している確率は です。 ${\displaystyle 1/50.95\approx 0.019627}$

しかし、この結果の妥当性は、警察官が運転手を本当にランダムに停止させたのであって、運転が下手だったから停止させたのではないという最初の仮定の妥当性にかかっています。もし、運転手を停止させる理由がこれか他の恣意的でない理由があった場合、計算には飲酒運転者が適切な運転をし、飲酒していない運転者が適切な（不適切な）運転をする確率も含まれることになります。

より正式には、ベイズの定理を使って約0.02という同じ確率を確立することができます。目標は、アルコール検知器が飲酒運転を示している場合に、運転手が飲酒している確率を見つけることです。これは次のように表すことができます。

${\displaystyle p(\mathrm {酔った} \mid D)}$

ここでDは飲酒検知器が運転手が飲酒していることを示すことを意味します。ベイズの定理を用いると、

${\displaystyle p(\mathrm {drunk} \mid D)={\frac {p(D\mid \mathrm {drunk} )\,p(\mathrm {drunk} )}{p(D)}}.}$

このシナリオでは、次の情報がわかっています。

${\displaystyle p(\mathrm {酔っ払い} )=0.001,}$

${\displaystyle p(\mathrm {地味} )=0.999,}$

${\displaystyle p(D\mid \mathrm {酔い} )=1.00,}$そして

${\displaystyle p(D\mid \mathrm {地味} )=0.05.}$

式からわかるように、ベイズの定理にはp ( D )が必要であり、これは全確率の法則を使用して前述の値から計算できます。

${\displaystyle p(D)=p(D\mid \mathrm {飲酒} )\,p(\mathrm {飲酒} )+p(D\mid \mathrm {地味} )\,p(\mathrm {地味} )}$

これにより

${\displaystyle p(D)=(1.00\times 0.001)+(0.05\times 0.999)=0.05095.}$

これらの数字をベイズの定理に当てはめると、

${\displaystyle p(\mathrm {酔った} \mid D)={\frac {1.00\times 0.001}{0.05095}}\approx 0.019627,}$

それはテストの精度です。

人口 100 万人の都市に、テロリストが 100 人、非テロリストが 999,900 人いるとします。例を単純化するために、都市にいる人はすべて住民であると仮定します。したがって、無作為に選ばれた都市の住民がテロリストである基本確率は 0.0001 で、同じ住民が非テロリストである基本確率は 0.9999 です。テロリストを捕まえるために、市は監視カメラと自動顔認識ソフトウェアを備えた警報システムを設置します。

ソフトウェアには 1% の障害率が 2 つあります。

• 偽陰性率: カメラがテロリストをスキャンした場合、ベルは 99% の確率で鳴り、1% の確率で鳴りません。
• 誤検知率: カメラがテロリスト以外の人物をスキャンした場合、ベルは 99% の確率で鳴りませんが、1% の確率で鳴ります。

ここで、住民が警報を鳴らしたと仮定します。基準率の誤りを犯す人は、検知された人物がテロリストである確率は 99% であると推論します。この推論は理にかなっているように見えますが、実際には誤った推論であり、以下の計算により、テロリストである確率は実際には 99% 近くではなく 1% 近くであることがわかります。

この誤りは、2 つの異なる失敗率の性質を混同していることから生じています。「テロリスト 100 人あたりのベルが鳴らない数」(P(¬B | T)、つまり住民がテロリストである場合にベルが鳴らない確率) と「ベル 100 回あたりの非テロリストの数」(P(¬T | B)、つまりベルが鳴った場合に住民が非テロリストである確率) は無関係な量です。つまり、一方が他方と必ずしも等しいわけではなく、近いわけでもありません。これを示すために、テロリストがまったくいない 2 番目の都市に同一の警報システムを設置した場合どうなるかを考えてみましょう。最初の都市と同様に、非テロリストの住民 100 人のうち 1 人が検出されると警報が鳴りますが、最初の都市とは異なり、テロリストに対しては警報が鳴ることはありません。したがって、警報が鳴ったすべての機会の 100% は非テロリストによるものですが、偽陰性率を計算することすらできません。その都市の「100 回の鐘あたりの非テロリストの数」は 100 ですが、P(T | B) = 0% です。鐘が鳴ったことを考慮してテロリストが検出された可能性はゼロです。

最初の都市の全人口 100 万人がカメラの前を通過すると想像してください。100 人のテロリストのうち約 99 人が警報を鳴らします。また、999,900 人の非テロリストのうち約 9,999 人も警報を鳴らします。したがって、約 10,098 人が警報を鳴らし、そのうち約 99 人がテロリストになります。警報を鳴らす人が実際にテロリストである確率は、10,098 分の 99 程度で、これは 1% 未満であり、当初の推測である 99% をはるかに下回ります。

この例では、非テロリストの数がテロリストの数よりはるかに多く、偽陽性（非テロリストがテロリストとしてスキャンされる）の数が真陽性（テロリストがテロリストとしてスキャンされる）の数よりはるかに多いため、ベースレートの誤謬は非常に誤解を招きます。

複数の専門家は、テロのベース率が極めて低いため、データマイニングや予測アルゴリズムを使用してテロリストを特定することは、偽陽性のパラドックスのために現実的には機能しないと主張している。^{[9] [10] [11] [12]}正確な結果ごとに偽陽性の数を推定すると、1万以上^[12]から10億までさまざまである。^[10]結果的に、各リードを調査することは、コストと時間の面で法外なものとなる。^{[9] [11]}これらのモデルを実行可能にするために必要な精度レベルは、おそらく達成不可能である。何よりも、テロのベース率が低いということは、正確なアルゴリズムを作成するためのデータが不足していることも意味する。^[11]さらに、テロを検出するという文脈では、偽陰性は非常に望ましくないため、可能な限り最小限に抑えなければならないが、そのためには特異性を犠牲にして感度を高める必要があり、偽陽性が増加する。^[12]また、結果の99％以上が偽陽性であることを考えると、法執行機関によるこのようなモデルの使用が必要な立証責任を満たすかどうかも疑問である。 ^[12]

犯罪が起こりました。法医学的分析により、犯人は人口の 10% に共通する特定の血液型であることが判明しました。容疑者が逮捕され、同じ血液型であることが判明しました。

検察官は、その根拠だけで容疑者を起訴し、裁判で被告が有罪である確率は 90% であると主張する可能性があります。

しかし、この結論がほぼ正しいのは、被告人が血液検査前に発見され、血液検査とは無関係な確固たる証拠に基づいて主な容疑者として選ばれた場合のみです。そうでない場合、提示された推論は欠陥があり、被告人がランダムに選ばれた無実の人物であるという高い事前確率（つまり、血液検査前）を見落としています。たとえば、犯罪が起きた町に1000人が住んでいると仮定します。これは、犯人の血液型を持つ人が100人住んでいて、そのうち真の犯人は1人だけであることを意味します。したがって、被告人が有罪である真の確率は、彼の血液型が殺人犯のものと一致するという事実のみに基づいて、わずか1％であり、検察側が主張する90％よりもはるかに低いです。

検察官の誤謬は、ランダムな一致の事前確率が被告が無実である確率に等しいと仮定することである。これを使用する場合、専門家の証人に質問する検察官は、「この証拠が無実の人物から見つかる確率は非常に小さいので、陪審員は被告が無実である可能性を無視しても問題ありません、そうですか？」と尋ねるかもしれない。 ^[13]この主張は、証拠が無実の人物から見つかる確率は、証拠が見つかった場合にその人物が無実である確率と同じであると仮定しているが、これは真実ではない。前者は優れた法医学的証拠手順により通常は小さい（前の例では10％）が、後者（この例では99％）は直接関係しておらず、実際には被告がランダムな無実の人物である可能性が高い事前確率に依存するため、はるかに高いことが多い。

O・J・シンプソンは、1995年に元妻ニコール・ブラウン・シンプソンとその友人ロナルド・ゴールドマンの殺人罪で裁判にかけられ、無罪となった。

犯行現場の血液は、400人に1人の共通点を持つシンプソンの血液と一致した。しかし、弁護側は、サンプルに一致するロサンゼルスの人々の数はフットボールスタジアムを埋め尽くすほどであり、400人に1人という数字は役に立たないと主張した。^{[14] [15]}サンプルに一致する特定の人物が犯人である可能性が高いと推論するために「400人に1人」という数字だけに頼るのは誤りであり、検察側の誤謬の例である。

同裁判で、検察側はシンプソンが妻に対して暴力を振るっていたという証拠を提示した。弁護側は、配偶者虐待を受けた女性2500人に対して殺害された女性は1人だけであり、シンプソンが妻に対して暴力を振るっていた過去は裁判とは無関係であると主張した。しかし、弁護側の計算の根拠は誤っていた。作家のゲルト・ギゲレンツァーによると、正しい確率には追加の文脈が必要である。シンプソンの妻は、単に家庭内暴力を受けたのではなく、（シンプソンによる）家庭内暴力を受け、（誰かによって）殺害されたのである。ギゲレンツァーは、「彼女が殺害されたことを考慮すると、虐待者が実際にパートナーを殺害した可能性は約9分の8、つまり約90％である」と書いている。^[16]配偶者虐待のほとんどのケースは殺人に至らないが、配偶者虐待の過去がある殺人のほとんどのケースは配偶者によって犯されている。

英国人女性のサリー・クラークは、1998年に生後11週で最初の子供を殺害し、続いて生後8週で2番目の子供を殺害したとして告発された。検察は、教授で顧問小児科医でもある専門家証人のロイ・メドウ卿^[17]に、同じ家族で2人の子供がSIDSで死亡する確率は約7300万分の1であると証言させた。これは、歴史的データで測定された実際の率よりもはるかに低い。メドウは、単独のSIDS死亡データと、そのような死亡の確率は乳児間で相関し ないという仮定からこれを推定した。^[18]

メドウは、7300万分の1はあり得ないことではないと認めたが、そのような事故は「100年に1回」起こるものであり、2人の子供がいる家族が1500万ある国では、二重死亡はそのようなまれな事故によるものではなく、代理ミュンヒハウゼン症候群によるものである可能性の方がはるかに高いと主張した。しかし、以前の子供がすでにこのような状況で死亡している場合、家族内でのSIDSによる死亡の可能性が大幅に高くなると推測する十分な理由があり（ SIDSの遺伝的素因は、その仮定された統計的独立性を無効にする可能性が高い^[19]）、一部の家族はSIDSにかかりやすくなり、その誤りは生態学的誤謬の結果である。^[20]同じ家族で2人のSIDSによる死亡の可能性は、他の同様の家族すべてでそのような死亡が1人発生する可能性を2乗することによって確実に推定することはできない。^[21]

7,300 万分の 1 という数字は、2 件の事故が連続して発生する可能性をかなり低く見積もっていますが、たとえその評価が正確だったとしても、裁判所は 7,300 万分の 1 という数字自体には何の意味もないという事実を見落としているようです。事前確率として、それは他の選択肢の事前確率と比較検討されるべきでした。2 件の死亡事故が発生したことを考えると、次の説明のいずれかが真実であるに違いありませんが、そのすべては事前確率的に極めてありそうにありません。

1. 同じ家族で乳幼児突然死症候群（SIDS）による連続死亡が2件発生
2. 二重殺人（検察側の主張）
3. その他の可能性（殺人事件1件、乳幼児突然死症候群1件を含む）

裁判中に2番目の可能性の確率の推定値が提案されたかどうか、あるいは最初の2つの確率の比較が、無罪の主張に対する検察側の主張を評価する統計分析において行うべき重要な推定値であると理解されていたかどうかは不明である。

クラークは1999年に有罪判決を受け、王立統計協会はプレスリリースでその誤りを指摘した。^[22]

2002年、レイ・ヒル（サルフォード大学の数学教授）は、これら2つの説明の確率を正確に比較しようと試み、連続した事故は連続した殺人よりも4.5倍から9倍の確率で起こり、クラークの有罪の事前 オッズは4.5対1から9対1の間であると結論付けました。^[23]

裁判所は、両乳児を検査した法医学者が無罪を証明する証拠を隠していたと判断し、上級裁判所は2003年1月29日にクラークの有罪判決を取り消した。^[24]

実験では、人々は一般的な情報よりも個別化された情報の方が利用できる場合、それを好むことが分かっています。^{[25] [26] [27]}

いくつかの実験では、学生に架空の学生の成績平均点（GPA）を推定するよう依頼しました。GPA分布に関する関連統計が与えられた場合、学生は特定の学生に関する記述情報が与えられた場合、たとえその新しい記述情報が明らかに学校の成績とほとんどまたは全く関係がなかったとしても、それを無視する傾向がありました。 ^{[26]この発見は、面接官が基本的な統計よりも優れた合格者を選ぶことができないため、面接は}大学入学プロセスの不必要な部分であると主張するために使用されています。

心理学者のダニエル・カーネマンとエイモス・トベルスキーは、代表性と呼ばれる単純なルールまたは「ヒューリスティック」の観点からこの発見を説明しようとした。彼らは、可能性や因果関係に関する多くの判断は、あるものが他のもの、またはカテゴリをどれだけ代表しているかに基づいていると主張した。^{[26]カーネマンは、ベースレート無視を}拡張無視の特定の形式と見なしている。^[28]リチャード・ニスベットは、根本的な帰属の誤りのようないくつかの帰属バイアスは、ベースレートの誤謬の例であると主張している。つまり、人々は「コンセンサス情報」（「ベースレート」）を使用して、同様の状況で他の人がどのように行動したかではなく、より単純な傾向の帰属を好むのである。^[29]

心理学では、人々がベースレート情報を評価するか評価しないかという条件についてかなりの議論がある。^{[30] [31]}ヒューリスティックスとバイアスプログラムの研究者は、人々がベースレートを無視し、ベイズの定理などの確率的推論の特定の規範に違反する推論を行う傾向があることを示す経験的発見を強調している。この研究から導かれた結論は、人間の確率的思考は根本的に欠陥があり、間違いを起こしやすいというものである。^[32]他の研究者は、認知プロセスと情報フォーマットの関連性を強調し、そのような結論は一般的には正当化されないと主張している。^{[33] [34]}

上記の例 2 をもう一度考えてみましょう。必要な推論は、飲酒検知器のテストが陽性であった場合、(ランダムに選ばれた) ドライバーが飲酒している (事後) 確率を推定することです。正式には、この確率は、上記のようにベイズの定理を使用して計算できます。ただし、関連情報を提示する方法はいくつかあります。問題の形式的に同等な次のバリエーションを考えてみましょう。

 1000 人に 1 人が飲酒運転をしています。飲酒検知器は、本当に酔っている人を検出し損ねることはありません。飲酒していない 999 人のドライバーのうち 50 人は、飲酒検知器によって誤って酔っていると表示されます。警察官がドライバーを無作為に呼び止め、飲酒検知器による検査を強制するとします。検査の結果、ドライバーは酔っていることがわかりました。ドライバーについて、その他の情報はわかりません。ドライバーが本当に酔っている確率を推定してください。

この場合、関連する数値情報（p（酔っている）、p（D | 酔っている）、p（D | シラフ））は、特定の参照クラスに関する自然頻度で提示されます（参照クラスの問題を参照）。経験的研究によると、情報がこのように提示されると、人々の推論はベイズの定理にさらに近くなり、一般の人々^[34]と専門家^[35]のベースレート無視を克服するのに役立ちます。結果として、コクラン共同体などの組織は、健康統計を伝えるためにこの種の形式を使用することを推奨しています。^[36]人々にこれらの種類のベイズ推論問題を自然頻度形式に変換するように教えることは、単に確率（またはパーセンテージ）をベイズの定理に代入するように教えるよりも効果的です。^[37]また、自然頻度のグラフィカルな表現（アイコン配列、仮説的結果プロットなど）は、人々がより適切に推論するのに役立つことも示されています。^{[37] [38] [39] [40]}

自然頻度形式が役立つ重要な理由の 1 つは、この情報形式により必要な計算が簡素化されるため、必要な推論が容易になることです。これは、必要な確率p (drunk| D ) を計算する別の方法を使用するとわかります。

${\displaystyle p(\mathrm {酔った} \mid D)={\frac {N(\mathrm {酔った} \cap D)}{N(D)}}={\frac {1}{51}}=0.0196}$

ここで、N (drunk ∩ D ) は飲酒運転でアルコール検知器で陽性反応が出たドライバーの数、N ( D ) はアルコール検知器で陽性反応が出たケースの総数を表します。この式が上記の式と同等であることは、確率論の公理から導かれ、N (drunk ∩ D ) = N × p ( D | drunk) × p (drunk) となります。重要なのは、この式は形式的にはベイズの定理と同等ですが、心理学的には同等ではないということです。自然頻度を使用すると、必要な数学的演算を正規化された分数 (つまり確率) ではなく自然数に対して実行できるため、推論が簡単になります。また、自然頻度は「ネストされた集合構造」を示すため、自然頻度は「ネストされた集合構造」を示します。^{[41] [42]}

すべての頻度形式がベイズ推論を容易にするわけではない。^{[42] [43]}自然頻度とは、自然サンプリングから得られる頻度情報を指し、^[44]ベースレート情報（例えば、ドライバーを無作為にサンプルとして採取したときの飲酒運転者の数）を保存する。これは、ベースレートが事前に固定されている（例えば、科学的実験）体系的サンプリングとは異なる。後者の場合、飲酒して陽性反応を示したドライバーの数と、アルコール検知器で陽性反応を示した人の総数を比較しても事後確率p （飲酒|陽性反応）を推測することはできない。これは、ベースレート情報が保存されず、ベイズの定理を使用して明示的に再導入する必要があるためである。

• 精度と再現率
• データドレッジング – データ分析の誤用
• ベイズの定理の証拠
• 帰納的議論 – 論理的推論の方法リダイレクト先の簡単な説明を表示するページ
• 認知バイアスのリスト – 判断における規範や合理性からの体系的な逸脱パターン
• パラドックスのリスト – 矛盾しているように見える文のリスト
• 誤解を招く鮮明さ – 個人の証言に頼った証拠リダイレクト先の簡単な説明を表示するページ
• 予防のパラドックス – 疫学における状況
• シンプソンのパラドックス – グループによる統計的推論の誤り
• 直感的統計 - 生物がデータを使用して世界についての一般化と予測を行う認知現象Pages displaying wikidata descriptions as a fallback
• R対アダムス

• 基本金利の誤謬 誤謬ファイル