第一種過誤と第二種過誤

統計的検定理論において、統計的誤差の概念は仮説検定の不可欠な部分である。検定は、帰無仮説と呼ばれる2つの競合する命題を選択することであり、これは次のように表される。${\textstyle H_{0}}$対立仮説は、${\textstyle H_{1}}$これは、裁判における判決と概念的に類似しています。帰無仮説は被告の立場に対応します。被告が有罪が証明されるまでは無罪と推定されるのと同様に、帰無仮説も、データがそれに反する説得力のある証拠を提供するまでは真であると推定されます。対立仮説は、被告に不利な立場に対応します。具体的には、帰無仮説には差異の不在、または関連性の不在も含まれます。したがって、帰無仮説は差異または関連性があるというものにはなり得ません。

テスト結果が現実と一致していれば、正しい判断が下されたことになる。しかし、テスト結果が現実と一致しなければ、誤りが生じたことになる。判断が間違っている状況は2つある。帰無仮説が真であるにもかかわらず、帰無仮説を棄却する場合である。${\textstyle H_{0}}$一方、対立仮説は${\textstyle H_{1}}$真実かもしれないが、我々は否定しない${\textstyle H_{0}}$2種類のエラーが区別される。タイプIエラーとタイプIIエラーである。^{[ 2 ]}

第一の種類の誤りは、検定手順の結果として帰無仮説を誤って棄却してしまうことです。この種の誤りは第一種過誤（偽陽性）と呼ばれ、時には第一種の誤りとも呼ばれます。法廷の例で言えば、第一種過誤は無実の被告人を有罪にしてしまうことに相当します。

2つ目の種類の誤りは、検定手続きの結果として帰無仮説を棄却できないことです。この種の誤りは、第2種過誤（偽陰性）と呼ばれ、2種目の誤りとも呼ばれます。法廷の例で言えば、第2種過誤は犯罪者を無罪にすることに相当します。

クロスオーバーエラー率（CER）とは、第一種過誤と第二種過誤が等しくなる点のことです。CER値が低いシステムほど、CER値が高いシステムよりも精度が高くなります。他の条件がすべて同じであれば、第一種過誤と第二種過誤の発生率が等しくなる（つまりCERが等しくなる）ことで、全体のエラー率が最も低くなります。^{[ 3 ]}

偽陽性と偽陰性に関して言えば、陽性結果は帰無仮説を棄却することに対応し、陰性結果は帰無仮説を棄却できないことに対応します。「偽」とは、導き出された結論が間違っていることを意味します。したがって、第一種過誤は偽陽性に相当し、第二種過誤は偽陰性に相当します。

帰無仮説の真偽と検定結果の関係を表にまとめたもの：^{[ 4 ]}

同じ考え方は、正解率という観点からも表現でき、誤り率を最小限に抑え、仮説検定の質を向上させるために利用できます。第一種過誤を犯す確率を減らすには、α値をより厳しくすることが簡単かつ効果的です。例えば、α値を0.05ではなく0.01に設定します。分析の検出力と密接に関連する第二種過誤を犯す確率を減らすには、検定のサンプルサイズを増やすか、αレベルを緩める（例えば、αレベルを0.05ではなく0.1に設定する）ことで、分析の検出力を高めることができます。第一種過誤率が制御されている場合、検定統計量はロバストです。

閾値（カットオフ値）を変化させることで、検査の特異度や感度を高め、検査の質を向上させることもできます。例えば、血液サンプル中の特定のタンパク質の濃度を測定する医療検査を考えてみましょう。検査者は閾値（図中の黒い垂直線）を調整することができ、この閾値を超える数値が検出された場合、人々は病気であると診断されます。図によれば、閾値を変更すると、曲線上の動きに対応して、偽陽性と偽陰性が変化します。

アメリカの高速道路の制限速度は時速120キロメートル（75 マイル）です。通過する車両の速度を測定する装置が設置されています。この装置は通過する車両の速度を3回測定し、ランダムサンプルとしてX1、X2、X3を記録するとします_。交通_警察は_平均速度に応じて運転手に罰金を科すか科さないかを決定します。${\displaystyle {\bar {X}}}$つまり、検定統計量

${\displaystyle T={\frac {X_{1}+X_{2}+X_{3}}{3}}={\bar {X}}}$

さらに、測定値 X ₁、 X ₂、 X ₃は正規分布 N(μ,2) としてモデル化されると仮定します。すると、T は N(μ,2/$\displaystyle {\sqrt {3}}}$）であり、パラメータμは通過車両の真の速度を表します。この実験では、帰無仮説H₀_と対立仮説_H₁は

H₀ _: μ=120 対 H₁ _: μ>120。

統計レベルをα=0.05で実施する場合、臨界値cを計算して解決する必要があります。

${\displaystyle P\left(Z\geqslant {\frac {c-120}{\frac {2}{\sqrt {3}}}}\right)=0.05}$

正規分布の単位変換ルールによれば、Z表を参照すると、

$\displaystyle {\frac {c-120}{\frac {2}{\sqrt {3}}}}=1.645\Rightarrow c=121.9}$

ここで、重要な領域について説明します。つまり、車両の記録された速度が臨界値121.9を超えると、運転手は罰金を科せられます。しかし、記録された平均速度が121.9を超えているにもかかわらず、実際の速度が120を超えていないため、5%の運転手が誤って罰金を科せられることになります。これは、第一種過誤と呼ばれます。

タイプIIエラーは、車両の実際の速度が時速120キロメートルを超えているにもかかわらず、運転手が罰金を科されないケースに対応します。たとえば、車両の実際の速度μ=125の場合、運転手が罰金を科されない確率は次のように計算できます。

${\displaystyle P=(T<121.9|\mu =125)=P\left({\frac {T-125}{\frac {2}{\sqrt {3}}}}<{\frac {121.9-125}{\frac {2}{\sqrt {3}}}}\right)=\phi (-2.68)=0.0036}$

つまり、車両の実際の速度が125の場合、統計的に有意水準α=0.05で分析を行った場合、記録された平均速度が121.9より低いため、運転手が罰金を免れる確率は0.36%となります。実際の速度が125よりも121.9に近いほど、罰金を免れる確率は高くなります。

第一種過誤と第二種過誤のトレードオフも考慮する必要があります。つまり、この場合、交通警察が無実の運転手に誤って罰金を科したくないのであれば、有意水準αを0.01のようなより小さな値に設定することができます。しかし、その場合、実際の速度が時速120キロメートルを超えている運転手（例えば時速125キロメートル）が罰金を免れる可能性が高くなります。

統計学者が、世界（あるいはそこに住む人々）の観察された現象に関する「推測的な仮説」が支持できるかどうかを判断するために検定を行うことは、標準的な手法である。このような検定の結果は、特定の結果の集合が推測された仮説と合理的に一致するか（あるいは一致しないか）を判断する。

統計的慣例として、推測された仮説は常に誤りであると仮定され、いわゆる「帰無仮説」は、観察された現象が単に偶然に発生した（したがって、推測された要因は効果がない）という前提に 基づいています。このテストでは、この仮説が正しいか間違っているかを判断します。これが、テスト対象の仮説が帰無仮説と呼ばれることが多い理由です（おそらくフィッシャー（1935年、19ページ）によって造語された）。なぜなら、この 仮説がテストによって無効化されるか無効化されないかのどちらかになるからです。帰無仮説が無効化された場合、データは「対立仮説」（元の推測された仮説）を支持していると結論付けることができます。

統計学者がネイマンとピアソンの慣例に従って「検証される仮説」（または「無効化される仮説」）をH ₀という表現で表すという慣例を一貫して適用してきた結果、「帰無仮説」という用語が「無仮説」、 つまり問題の結果が偶然によって生じたという記述を意味すると多くの人が理解する状況が生じています。これは必ずしも正しいとは限りません。 フィッシャー（1966）によれば、重要な制約は「帰無仮説は正確でなければならない、つまり曖昧さや不明瞭さがあってはならない。なぜなら、帰無仮説は『分布の問題』の基礎を提供しなければならず、その問題に対する有意性検定はそれを解決するからである」ということです。^{[ 9 ]}この結果、実験科学では、帰無仮説は一般的に特定の処置が効果がないという記述であり、観察科学では、特定の測定変数の値と実験予測値との間に差がないという記述です。

帰無仮説が真であると仮定した場合に、得られた結果と同程度の極端な結果が得られる確率が、事前に設定された閾値確率（例えば5%）よりも低い場合、その結果は統計的に有意であるとされ、帰無仮説は棄却される。

イギリスの統計学者サー・ロナルド・アイマー・フィッシャー（1890年～1962年）は、帰無仮説を強調した。

帰無仮説は決して証明または確立されることはなく、実験の過程で反証される可能性がある。すべての実験は、事実が帰無仮説を反証する機会を与えるためだけに存在すると言えるだろう。

帰無仮説検定の問題に対処するため、アンドリュー・ゲルマン、ジョン・カーリンらは、有意な結果の検討に加え、タイプSエラーとタイプMエラーを提案している。^{[ 10 ]}

S型エラーとは、符号の誤りのことです。S型エラー率は、有意な結果が得られた場合に、その効果が真の効果とは逆の方向に推定される確率を表します。これは、検出力の低い検定設定で頻繁に発生する可能性があります。

M型誤差は、大きさに関する誤差です。これは、「誇張係数」と呼ばれる、有意な結果が得られた場合の推定値の絶対値と真の値の比率を評価することによって対処されます。有意性検定を用いてスクリーニングを行うと選択バイアスが生じ、効果量を大幅に過大評価してしまう可能性があるため、この係数は重要です。

医療現場において、スクリーニングと検査の適用範囲には大きな違いがある。

指紋認証、顔認証、虹彩認証などの生体認証照合は、第一種過誤と第二種過誤の影響を受けやすい。

• 仮説：「入力された情報は、検索対象者リストに含まれる人物を特定しない」。
• 帰無仮説：「入力された情報は、検索対象者リスト内の人物を特定するものである」。
• 第一種過誤（誤拒否率）：実際には検索対象リストに該当する人物であるにもかかわらず、システムがデータに基づいて該当人物ではないと結論付けてしまう。
• タイプIIエラー（誤検出率）：実際には検索対象リストに該当しない人物であるにもかかわらず、システムはデータに基づいてその人物を検索対象者と誤認してしまう。

第一種過誤の発生確率は「偽拒否率」（FRR）または偽非一致率（FNMR）と呼ばれ、第二種過誤の発生確率は「偽受入率」（FAR）または偽一致率（FMR）と呼ばれます。

システムが容疑者との一致を極めて稀にしか起こさないように設計されている場合、第II種過誤の発生確率は「誤報率」と呼ばれます。一方、システムが検証目的で使用される場合（そして、受け入れられることが標準である場合）、FARはシステムセキュリティの指標となり、FRRはユーザーの不便さのレベルを測る指標となります。

刑事訴訟においては、万が一誤りがあったとしても、それが第一種過誤（無実の人を罪に問うこと）ではなく第二種過誤（本来有罪であるはずの被告人を無罪放免にすること）となるよう、極めて重視される。この重視こそが、高い立証責任（合理的な疑いを超えて有罪であること）や、検察側による有罪証拠や証言の解釈に対する綿密な精査、そして証拠価値よりも偏見を招く可能性のある証拠に対する懐疑的な姿勢や排除（規則403のバランステスト）の理由なのである。

何世紀にもわたる膨大な研究は、刑事訴訟における司法の誤りが、被告人だけでなく、司法制度全体の公正さに対する認識や、犯罪行為の申し立てが真剣かつ公正に審理されるという地域社会の関係者の信頼にも深刻な影響を与えることを論じてきた。イギリスの法学者ウィリアム・ブラックストーンは、公正な制度であれば、10人の有罪被告人を釈放するよりも、1人以上の無実の人を投獄する方がましだという概念を説明するために、ブラックストーンの10対1の比率を考案した。

近年、法学研究や主流の法理学では、司法の誤りや冤罪について議論するためのより厳密な用語を得るために、第一種過誤と第二種過誤の分類法が採用されている。米国最高裁判所は、Ballew v. Georgia ^{[ 12 ]}における誤りの議論において第一種過誤と第二種過誤の分類法を使用しており、裁判官や法学教授は、以前の研究でよく使われていた「誤って有罪判決を受けた」や「誤って無罪判決を受けた」といったよりくだけた表現ではなく、この二分法的な分類法をますます使用するようになっている。

近年の学術研究や司法上の関心は、第一種過誤（無実の被告人を誤って有罪とすること）を防ぐための安全策として、陪審員の規模と全員一致に焦点を当てることが多い。

米国最高裁判所は、12人未満の小規模な陪審員は第一種過誤を起こしやすいとして批判している^{[ 13 ]。}一方、一部の裁判官は、通常の12人を超える陪審員を選任することに問題があると批判している（ウィスコンシン州控訴裁判所のアンダーソン判事は、1993年にこの問題に関して注目すべき反対意見を書いている。「被告が12人を超える陪審員による裁判に同意することを認める立法上の公共政策の宣言がない限り、12人を超える陪審員による審議を認めるのは明らかな誤りである」^{[ 14 ]}）。全員一致の評決に関して、2020年4月20日、米国最高裁判所は、重大な犯罪で被告人を有罪とするには陪審員の全員一致の評決が必要であると憲法修正第6条で判決を下し、重大な刑事事件で全員一致の評決を必要とする主な理由の1つとして、第一種過誤に関する懸念を挙げた。^{[ 15 ]}

空港の保安検査は、基本的には目視検査システムであるため、誤検知が日常的に発生している。設置されている保安警報装置は、武器の機内持ち込みを防止することを目的としているが、感度が高すぎるため、鍵、ベルトのバックル、小銭、携帯電話、靴の中の画鋲といった小さな物でも、1日に何度も警報が鳴ってしまうことが多い。

• 仮説：「その物体は武器である」。
• 帰無仮説：「その物品は武器ではない」。
• 第一種過誤（偽陽性）：実際にはその物品は武器ではないにもかかわらず、システムが警報を発する。
• 第二種過誤（偽陰性）：実際にはそのアイテムは武器であるが、システムは現時点では沈黙している。

したがって、偽陽性（無実の旅行者をテロリストと誤認すること）と真陽性（テロリスト予備軍を検出すること）の比率は非常に高く、ほとんどすべての警報が偽陽性であるため、これらのスクリーニング検査の陽性予測値は非常に低い。

誤った結果が生じる相対的なコストによって、検査作成者がこうした事態を許容する可能性が決まります。このシナリオでは、偽陰性のコストは非常に高く（飛行機に爆弾が持ち込まれるのを検知できないと数百人の死者が出る可能性がある）、一方、偽陽性のコストは比較的低い（比較的簡単な追加検査で済む）ため、最も適切な検査は、統計的特異度は低いが統計的感度が高い検査（偽陰性を最小限に抑える代わりに、偽陽性率が高くなる検査）です。

偽陽性と偽陰性の概念は、コンピュータセキュリティ、スパムフィルタリング、マルウェア、光学文字認識など、コンピュータおよびコンピュータアプリケーションの分野で広く用いられています。

例えば、スパムフィルタリングの場合：

• 仮説：「このメッセージはスパムである」。
• 帰無仮説：「このメッセージはスパムではない」。
• 第一種過誤（誤検出）：スパムフィルタリングやスパムブロックの技術が、正当な電子メールメッセージを誤ってスパムとして分類し、結果としてその配信を妨害する。
• 第II種過誤（偽陰性）：スパムメールがスパムとして検出されず、スパムではないと分類される。

ほとんどのスパム対策は、不要なメールの大部分をブロックまたはフィルタリングできますが、誤検出を大幅に減らすことははるかに困難な作業です。誤検出が少ないことは、スパムフィルタリングの効率性を示す指標となります。