タイプIエラーとタイプIIエラー

統計的仮説検定 において、第1種の誤り、すなわち偽陽性は、帰無仮説が実際には正しいにもかかわらずそれを棄却することです。第2種の誤り、すなわち偽陰性は、帰無仮説が実際には誤っているにもかかわらずそれを棄却しないことです。^[1]

タイプ I の誤り: 無実の人が有罪判決を受ける可能性があります。タイプ II の誤り: 有罪の人が有罪判決を受けない可能性があります。

統計理論の多くは、これらのエラーの 1 つまたは両方を最小限に抑えることを中心に展開されますが、結果が既知の観察可能な因果プロセスによって決定されない場合は、どちらかのエラーを完全に排除することは不可能です。タイプ I エラーとタイプ II エラーの知識は、医学、生体測定学、コンピューター サイエンスで広く使用されています。

タイプ I のエラーは、実行エラー (つまり、誤って「誤ったケース」を含める) と考えることができます。たとえば、患者にウイルス感染の検査をする場合を考えてみましょう。患者がウイルスに感染していないのに、検査で感染していることが示された場合、これはタイプ I のエラーと見なされます。

対照的に、タイプ II エラーは省略エラーです (つまり、「真のケース」を誤って省略します)。上記の例では、患者がウイルスに感染しているが、検査では感染していないことが示された場合、それはタイプ II エラーになります。

統計的検定理論では、統計的誤差の概念は仮説検定の不可欠な部分です。検定では、で表される帰無仮説と で表される対立仮説と呼ばれる約 2 つの競合する命題を選択します。これは概念的には法廷での判決に似ています。帰無仮説は被告の立場に対応します。有罪が証明されるまでは無罪と推定されるのと同様に、帰無仮説は、データがそれに反する説得力のある証拠を提供するまでは真実であると推定されます。対立仮説は、被告に対する立場に対応します。具体的には、帰無仮説には差異がない、または関連性がないことも関係します。したがって、帰無仮説が差異または関連性があるというものであることはあり得ません。 ${\textstyle H_{0}}$${\textstyle H_{1}}$

検定の結果が現実と一致していれば、正しい決定が下されたことになります。しかし、検定の結果が現実と一致していなければ、エラーが発生しています。決定が間違っている状況は2つあります。帰無仮説が正しいのに、棄却する場合があります。一方、対立仮説が正しいのに、棄却しない場合です。エラーには、タイプIエラーとタイプIIエラーの2種類があります。^[2]${\textstyle H_{0}}$${\textstyle H_{1}}$${\textstyle H_{0}}$

最初の種類のエラーは、検定手順の結果として帰無仮説を誤って棄却することです。この種のエラーはタイプ I エラー (偽陽性) と呼ばれ、第 1 種のエラーと呼ばれることもあります。法廷の例で言えば、タイプ I エラーは無実の被告を有罪とすることに相当します。

2 つ目の種類のエラーは、検定手順の結果として帰無仮説を誤って棄却しないことです。この種のエラーはタイプ II エラー (偽陰性) と呼ばれ、第 2 種のエラーとも呼ばれます。法廷の例で言えば、タイプ II エラーは犯罪者を無罪放免にすることに対応します。^[2]

クロスオーバー エラー レート (CER) は、タイプ I エラーとタイプ II エラーが等しくなるポイントです。CER 値が低いシステムは、CER 値が高いシステムよりも精度が高くなります。

偽陽性と偽陰性に関して言えば、陽性の結果は帰無仮説を棄却することに対応し、陰性の結果は帰無仮説を棄却できないことに対応します。「偽」は導き出された結論が間違っていることを意味します。したがって、タイプ I のエラーは偽陽性に相当し、タイプ II のエラーは偽陰性に相当します。

帰無仮説の真偽と検定結果の関係を表にしたもの：^[3]

完璧なテストでは、偽陽性も偽陰性もゼロになります。しかし、統計的手法は確率的であり、統計的結論が正しいかどうかを確実に知ることはできません。不確実性があるときはいつでも、エラーが発生する可能性があります。これを考慮すると、すべての統計的仮説検定には、タイプIエラーとタイプIIエラーが発生する確率があります。^[4]

• タイプ I の誤り率は、帰無仮説が真であるにもかかわらず、それを棄却する確率です。この検定は、タイプ I の誤り率を有意水準と呼ばれる事前に指定された境界以下に抑えるように設計されており、有意水準は通常ギリシャ文字の α (アルファ) で表され、アルファ水準とも呼ばれます。通常、有意水準は 0.05 (5%) に設定され、真の帰無仮説を誤って棄却する確率が 5% であれば許容できることを意味します。^[5]
• 第2種の過誤率はギリシャ文字のβ（ベータ）で表され、検定力と関連しており、1−βに等しい。^{[引用が必要]}

これら 2 種類のエラー率は互いにトレードオフの関係にあります。つまり、特定のサンプル セットでは、一方のエラーを減らす努力は、通常、もう一方のエラーの増加につながります。^{[引用が必要]}

同じ考え方は正しい結果の割合で表現できるため、誤り率を最小限に抑え、仮説検定の質を向上させるために使用できます。タイプ I の誤りを犯す確率を減らすには、アルファ値をより厳しくするのが簡単かつ効率的です。分析の検出力と密接に関連するタイプ II の誤りを犯す確率を減らすには、テストのサンプル サイズを増やすか、アルファ レベルを緩和すると、分析の検出力を高めることができます。^{[引用が必要]}タイプ I の誤り率が制御されている場合、テスト統計量は堅牢です。

異なる閾値（カットオフ）値を変えることで、検査の特異性や感度を高め、検査の質を高めることもできます。たとえば、医療検査で、実験者が血液サンプル内の特定のタンパク質の濃度を測定するとします。実験者は閾値（図の黒い縦線）を調整し、この特定の閾値を超える数値が検出された場合、その人が病気であると診断されます。画像によると、閾値を変更すると、曲線上の動きに応じて偽陽性と偽陰性が変化します。^[要出典]

実際の実験ではタイプ I およびタイプ II のエラーをすべて回避することは不可能なので、 H _{0 を誤って棄却するか H 0 を}受け入れるためにどの程度のリスクを負う意思があるかを検討することが重要です。 この問題の解決策は、統計のp 値または有意水準α を報告することです。 たとえば、検定統計結果の p 値が 0.0596 と推定される場合、 H 0 を誤って棄却する確率は 5.96% です_。または、統計が 0.05 などの水準 α で実行される場合、 H _{0 を}誤って棄却する可能性は5% になります。 有意水準 α が 0.05 というのは比較的一般的ですが、すべてのシナリオに当てはまる一般的なルールはありません。

米国の高速道路の制限速度は時速 120 キロメートル (75 マイル) です。通過する車両の速度を測定する装置が設置されています。この装置が通過する車両の速度を 3 回測定し、ランダム サンプル X ₁、 X ₂、 X ₃として記録するとします。交通警察は平均速度に応じてドライバーに罰金を科すか、科さないかを決定します。つまり、検定統計量 ${\displaystyle {\bar {X}}}$

${\displaystyle T={\frac {X_{1}+X_{2}+X_{3}}{3}}={\bar {X}}}$

さらに、測定値X ₁、X ₂、X ₃が正規分布N(μ,2)としてモデル化されていると仮定します。すると、TはN(μ,2/ )に従い、パラメータμは通過する車両の実際の速度を表します。この実験では、帰無仮説H ₀と対立仮説H _1は次のようになります 。${\displaystyle {\sqrt {3}}}$

H ₀ : μ=120 に対して H ₁ : μ>120。

統計レベルをα=0.05で実行すると、臨界値cを計算して解く必要があります。

${\displaystyle P\left(Z\geqslant {\frac {c-120}{\frac {2}{\sqrt {3}}}}\right)=0.05}$

正規分布の単位変換規則によれば、Z表を参照すると、

${\displaystyle {\frac {c-120}{\frac {2}{\sqrt {3}}}}=1.645\Rightarrow c=121.9}$

ここが臨界領域です。つまり、車両の記録された速度が臨界値 121.9 を超える場合、ドライバーは罰金を科せられます。ただし、記録された平均速度が 121.9 を超えているにもかかわらず、実際の速度が 120 を超えていないため、ドライバーの 5% が誤って罰金を科せられます。これをタイプ I のエラーと呼びます。

タイプIIの誤りは、車両の実際の速度が時速120キロメートルを超えているにもかかわらず、運転手が罰金を科せられないケースに対応する。例えば、車両の実際の速度がμ=125の場合、運転手が罰金を科せられない確率は次のように計算できる。

${\displaystyle P=(T<121.9|\mu =125)=P\left({\frac {T-125}{\frac {2}{\sqrt {3}}}}}><{\frac {121.9-125}{\frac {2}{\sqrt {3}}}}\right)=\phi (-2.68)=0.0036}$

つまり、車両の実際の速度が 125 の場合、記録された平均速度が 121.9 より低いため、統計がレベル α = 0.05 で実行されると、ドライバーが罰金を回避する確率は 0.36% になります。実際の速度が 125 よりも 121.9 に近い場合、罰金を回避する確率も高くなります。

タイプ I の誤りとタイプ II の誤りの間のトレードオフも考慮する必要があります。つまり、この場合、交通警察が無実のドライバーに不当に罰金を科したくない場合は、レベル α を 0.01 などのより小さい値に設定できます。ただし、その場合、実際の速度が時速 120 キロメートルを超えるドライバー (125 キロメートルなど) が罰金を免れる可能性が高くなります。

1928年、著名な統計学者であるイェジ・ネイマン（1894年 - 1981年）とエゴン・ピアソン（1895年 - 1980年）は、「特定の標本が特定の母集団から無作為に抽出された可能性があるかどうかを判断する」ことに関連する問題について議論しました。 ^[6]また、フローレンス・ナイチンゲール・デイヴィッドは、「[「無作為標本」という用語の]形容詞「ランダム」は、標本自体ではなく、標本を抽出する方法に適用されることを覚えておく必要があります」と述べています。^[7]

彼らは「誤りの2つの原因」を特定しました。

1930年に彼らは、この2つの誤りの原因について詳細に述べ、次のように述べた。

仮説をテストする際には、2 つの点を考慮する必要があります。つまり、真の仮説を棄却する可能性を望みどおりに低い値まで下げることができなければなりません。また、テストは、テストされた仮説が誤っている可能性がある場合にそれを棄却するように考案されなければなりません。

1933年に彼らは、これらの「問題が、真と偽の仮説を確実に区別できるような形で提示されることはめったにない」と指摘した。また、H ₁、H ₂ ...などの「対立仮説の集合」の中から特定の仮説を棄却しないか棄却するかを決定する際に、間違いを犯しやすいことも指摘した。

これらのエラーには2種類あります。

1. H ₀ [つまり、検証すべき仮説]が真である場合はそれを棄却する。^[8]
2. 対立仮説 H _Aまたは H _{1が真である場合、H 0 を}棄却できません。(対立仮説にはさまざまな表記法があります)。

ネイマンとピアソンが共同執筆したすべての論文において、H _{0 という}表現は常に「検証される仮説」を意味します。

同論文では、これら2つのエラーの原因をそれぞれタイプIのエラーとタイプIIのエラーと呼んでいます。^[9]

統計学者が、世界（またはその住民）の観察された現象に関する「推測上の仮説」が支持されるかどうかを判断するためにテストを行うのは標準的な方法です。このようなテストの結果により、特定の結果セットが推測上の仮説と合理的に一致するか（または一致しないか）が決定されます。

統計的慣習により、推測された仮説は誤りであると常に想定され、いわゆる「帰無仮説」では、観察された現象は単に偶然に発生する（そして、その結果、推測された因子は影響を及ぼさない）と想定されます。この仮説が正しいか間違っているかは、テストによって判定されます。このため、テスト対象の仮説は帰無仮説と呼ばれることが多いです（おそらく、Fisher（1935、p. 19）による造語です）。この仮説は、テストによって無効化されるか無効化されないかのどちらかになるからです。帰無仮説が無効化されると、データは「対立仮説」（元の推測された仮説）を支持すると結論付けることができます。

統計学者が一貫して「検定する仮説」（または「無効化する仮説」）をH _{0 という}表現で表すというネイマンとピアソンの慣例を適用した結果、「帰無仮説」という用語を「無仮説」、つまり問題の結果が偶然に生じたという声明と理解する状況が生まれています。これは必ずしもそうではありません。フィッシャー (1966) によると、重要な制限は「帰無仮説は正確で、曖昧さや不明瞭さがなくなければなりません。なぜなら、帰無仮説は『分布の問題』の基礎を提供しなければならないからです。その解決法は有意性検定です。」です。^[10]この結果、実験科学では、帰無仮説は一般に、特定の処理には効果がないという声明です。観察科学では、特定の測定変数の値と実験予測の値に違いがないという声明です。^[要出典]

帰無仮説が真であると仮定した場合に得られた結果と同じくらい極端な結果が得られる確率が、事前に指定されたカットオフ確率 (たとえば 5%) よりも低い場合、その結果は統計的に有意であるとされ、帰無仮説は棄却されます。

イギリスの統計学者ロナルド・アイルマー・フィッシャー卿（1890-1962）は、帰無仮説

証明も確立もされることはありませんが、実験の過程で反証される可能性があります。すべての実験は、帰無仮説を反証する機会を事実に与えるためだけに存在していると言えます。

— フィッシャー、1935年、p.19

医療の現場では、スクリーニングと検査の適用には大きな違いがあります。

スクリーニングには、病気の臨床的兆候を示さない大規模な集団に対して実施される比較的安価な検査（例：パップスメア）が含まれます。

検査には、はるかに高価で、多くの場合侵襲的な手順が含まれ、病気の臨床的兆候が見られる人にのみ行われ、疑わしい診断を確認するために最も頻繁に適用されます。

たとえば、米国のほとんどの州では、新生児に対して、フェニルケトン尿症や甲状腺​​機能低下症などの先天性疾患の検査を義務付けています。

• 仮説: 「新生児はフ​​ェニルケトン尿症と甲状腺機能低下症を患っている」。
• 帰無仮説（H0 _）：「新生児はフ​​ェニルケトン尿症および甲状腺機能低下症を患っていない」。
• タイプ I のエラー (偽陽性): 実際には新生児にはフェニルケトン尿症や甲状腺​​機能低下症はありませんが、データに基づいてこれらの疾患があると判断されます。
• タイプ II のエラー (偽陰性): 実際には、新生児はフ​​ェニルケトン尿症と甲状腺機能低下症を患っていますが、データによるとこれらの疾患はないと判断されます。

偽陽性率が高いものの、スクリーニング検査はこれらの疾患をはるかに早い段階で検出する可能性を大幅に高めるため、価値があると考えられています。

献血者のHIVや肝炎の検査に用いられる簡単な血液検査では、偽陽性の確率がかなり高いのですが、医師は、人が実際にこれらのウイルスに感染しているかどうかを判断するために、はるかに高価ではるかに正確な検査を使用します。

おそらく、医療スクリーニングにおける偽陽性は、乳がんスクリーニング手順であるマンモグラフィーによるものです。米国のマンモグラフィー偽陽性率は最大 15% で、世界で最も高くなっています。米国における高い偽陽性率の結果の 1 つは、10 年間で、スクリーニングを受けた米国人女性の半数がマンモグラフィー偽陽性を受けるということです。マンモグラフィー偽陽性は費用がかかり、米国では追跡検査と治療に年間 1 億ドル以上が費やされています。また、女性に不要な不安を引き起こします。米国における高い偽陽性率の結果、マンモグラフィー陽性の女性の最大 90～95% は実際には病気ではありません。世界で最も低い偽陽性率はオランダの 1% です。最も低い率は一般に北欧で、マンモグラフィーのフィルムを 2 回読み取り、追加検査の閾値を高く設定しています (閾値を高くすると、検査の検出力が低下します)。

理想的な集団スクリーニング検査は、安価で、実施しやすく、できれば偽陰性がゼロであることです。このような検査では通常、偽陽性が多くなりますが、その後、より洗練された（そして高価な）検査によって選別することができます。

偽陰性と偽陽性は医療検査における重大な問題です。

• 仮説:「患者は特定の病気にかかっている」。
• 帰無仮説（H0 _）：「患者は特定の病気を患っていない」。
• 第 1 種の誤り (偽陽性): 実際のところ、患者は特定の病気にかかっていないのに、医師は検査結果に基づいて患者が病気であると判断する。
• タイプ II のエラー (偽陰性): 実際には病気が存在するのに、検査レポートでは病気が存在しないという誤った安心感を患者と医師に与えてしまうことです。

スクリーニングのように、検索対象の症状がまれな場合、偽陽性は重大かつ直感に反する問題を引き起こすこともあります。検査の偽陽性率が 1 万分の 1 であっても、真陽性は 100 万のサンプル (または人) のうち 1 つだけである場合、その検査で検出された陽性のほとんどは偽陽性になります。観察された陽性結果が偽陽性である確率は、ベイズの定理を使用して計算できます。

偽陰性は、特に検索対象の症状が一般的なものである場合に、重大かつ直感に反する問題を引き起こします。偽陰性率がわずか 10% のテストを、実際の発生率が 70% の集団のテストに使用すると、テストで検出された陰性の多くは偽になります。

これは、患者と疾患の両方に対して不適切または不十分な治療につながることがあります。よくある例としては、心臓ストレステストは進行した狭窄による冠動脈の血流の制限のみを検出することが知られているにもかかわらず、冠動脈アテローム性動脈硬化症を検出するために心臓ストレステストに頼っていることが挙げられます。

指紋認識、顔認識、虹彩認識などの生体認証マッチングは、タイプ I エラーとタイプ II エラーの影響を受けやすいです。

• 仮説: 「入力内容は、検索対象リスト内の人物を特定しません」。
• 帰無仮説: 「入力によって、検索された人物リスト内の人物が特定される」。
• タイプ I の誤り (誤った拒否率): 実際のところ、その人物は検索リスト内の人物ですが、システムはデータに基づいてその人物はリストに含まれていないと結論付けます。
• タイプ II の誤り (誤った一致率): 実際のところ、その人物は検索リスト内の人物ではありませんが、システムはデータに基づいてその人物が探している人物であると結論付けます。

タイプ I エラーの確率は「誤拒否率」(FRR) または誤不一致率 (FNMR) と呼ばれ、タイプ II エラーの確率は「誤承認率」(FAR) または誤一致率 (FMR) と呼ばれます。

システムが容疑者と一致することがほとんどないように設計されている場合、タイプ II エラーの確率は「誤報率」と呼ぶことができます。一方、システムが検証に使用されている場合 (承認が標準)、FAR はシステム セキュリティの尺度であり、FRR はユーザーの不便さのレベルを測るものです。

空港のセキュリティ検査は、最終的には目視検査システムですが、誤検知は毎日のように発生しています。設置されているセキュリティアラームは、航空機への武器の持ち込みを防ぐことを目的としていますが、非常に高感度に設定されているため、鍵、ベルトのバックル、小銭、携帯電話、靴の鋲など、小さな物に対しても 1 日に何度も警報が鳴ります。

• 仮説:「そのアイテムは武器である」。
• 帰無仮説:「このアイテムは武器ではない」。
• タイプ I のエラー (偽陽性): 実際のところ、そのアイテムは武器ではありませんが、システムは依然として警報を鳴らします。
• タイプ II エラー (偽陰性) 真の事実はアイテムが武器であるということですが、この時点ではシステムは沈黙しています。

したがって、偽陽性（無実の旅行者をテロリストと特定する）と真陽性（テロリスト予備軍を検出する）の比率は非常に高く、ほぼすべての警報が偽陽性であるため、これらのスクリーニング テストの陽性予測値は非常に低くなります。

誤った結果の相対的なコストによって、テスト作成者がこれらのイベントの発生を許容する可能性が決まります。このシナリオでは、偽陰性のコストは非常に高く (飛行機に爆弾が持ち込まれたことを検出しないと、数百人の死者が出る可能性があります)、偽陽性のコストは比較的低い (さらに検査がかなり簡単) ため、最も適切なテストは、統計的特異度は低いが統計的感度は高い (偽陰性を最小限にする代わりに偽陽性率を高くできる) テストです。

誤検知と誤検知の概念は、コンピュータ セキュリティ、スパム フィルタリング、マルウェア、光学式文字認識など、コンピュータおよびコンピュータ アプリケーションの分野で広く使用されています。

たとえば、スパムフィルタリングの場合:

• 仮説:「メッセージはスパムです」。
• 帰無仮説:「メッセージはスパムではない」。
• タイプ I エラー (偽陽性): スパム フィルタリングまたはスパム ブロック技術により、正当な電子メール メッセージが誤ってスパムとして分類され、その結果、配信が妨げられます。
• タイプ II エラー (偽陰性): スパム メールはスパムとして検出されず、非スパムとして分類されます。

ほとんどのスパム対策では、迷惑メールをかなりの割合でブロックまたはフィルタリングできますが、重大な誤検知を生じさせずにこれを実行するのは、はるかに困難な作業です。誤検知の数が少ないことは、スパム フィルタリングの効率を示す指標です。

• バイアスと交絡 – ピッツバーグ大学公衆衛生大学院のナイジェル・パネスによるプレゼンテーション