ファミリーワイズエラー率

以下の表は、複数の帰無仮説を検定する際の可能な結果を​​定義しています。帰無仮説の数をmとし、 H ₁、H ₂、...、H _m   とします。統計的検定 を用いて、検定が有意であると判断された場合、帰無仮説を棄却します。検定が有意でない場合は、帰無仮説を棄却しません。すべてのH _i について各タイプの結果を合計すると、次の確率変数が得られます。

• mは検証された仮説の総数である
• ${\displaystyle m_{0}}$は真の帰無仮説の数であり、未知のパラメータである。
• ${\displaystyle m-m_{0}}$真の代替仮説の数
• Vは偽陽性（第一種過誤）（「偽発見」とも呼ばれる）の数である。
• Sは真陽性（「真の発見」とも呼ばれる）の数です。
• Tは偽陰性（第II種過誤）の数である。
• Uは真の陰性の数です
• ${\displaystyle R=V+S}$は棄却された帰無仮説の数（「発見」とも呼ばれ、真または偽のいずれか）です。

mの仮説検定では、${\displaystyle m_{0}}$は真の帰無仮説であり、Rは観測可能な確率変数であり、S、T、U、Vは観測不可能な確率変数である。

• で表す${\displaystyle p_{i}}$テストのp値${\displaystyle H_{i}}$
• 拒否する${\displaystyle H_{i}}$もし${\displaystyle p_{i}\leq {\frac {\alpha }{m}}}$

• 各仮説をレベルで検証する${\displaystyle \alpha _{SID}=1-(1-\alpha )^{\frac {1}{m}}}$これはシダックの多重検定法である。
• この方法はボンフェローニ法よりも強力だが、その効果は小さい。
• この手順では、検定が負の相関関係にある場合、FWERを制御できない可能性があります。

• テューキー法は、ペアワイズ比較にのみ適用可能です。
• これは、テスト対象となる観測値が互いに独立していること、および観測値間のばらつきが等しいこと（等分散性）を前提としている。
• この手順では、各ペアについてスチューデント化範囲統計量を計算します。${\displaystyle {\frac {Y_{A}-Y_{B}}{SE}}}$どこ${\displaystyle Y_{A}}$比較対象の2つの平均値のうち大きい方、${\displaystyle Y_{B}}$小さい方で、${\displaystyle SE}$これは、当該データの標準誤差である。
• テューキー検定は基本的にスチューデントのt検定と同じだが、ファミリーワイズエラー率を補正する点が異なる。

• まず、 p値を低い順から高い順に並べます。${\displaystyle P_{(1)}\ldots P_{(m)}}$そして関連する仮説を ${\displaystyle H_{(1)}\ldots H_{(m)}}$
• させて${\displaystyle k}$最小のインデックスとする。${\displaystyle P_{(k)}>{\frac {\alpha }{m+1-k}}}$
• 帰無仮説を棄却する${\displaystyle H_{(1)}\ldots H_{(k-1)}}$。 もし${\displaystyle k=1}$すると、どの仮説も棄却されないことになる。

この手順は、ボンフェローニ手順よりも一貫して強力です。^{[ 8 ]} この手順が、強い意味で、すべての m 個の仮説のファミリーワイズエラー率をレベル α で制御する理由は、閉じた検定手順であるためです。そのため、各交差は単純なボンフェローニ検定を使用してテストされます。

ヨセフ・ホッホベルクのステップアップ手順（1988）は、以下の手順で実行されます。^{[ 9 ]}

• まず、 p値を低い順から高い順に並べます。${\displaystyle P_{(1)}\ldots P_{(m)}}$そして関連する仮説を ${\displaystyle H_{(1)}\ldots H_{(m)}}$
• 特定の${\displaystyle \alpha }$、 させて${\displaystyle R}$最大になる${\displaystyle k}$そのため${\displaystyle P_{(k)}\leq {\frac {\alpha }{m+1-k}}}$
• 帰無仮説を棄却する${\displaystyle H_{(1)}\ldots H_{(R)}}$

Hochberg の手順は Holm の手順よりも強力です。ただし、Holm の手順は閉じた検定手順であるため (Bonferroni と同様に、検定統計量の同時分布に制限はありません)、Hochberg の手順は Simes 検定に基づいているため、非負の依存関係の場合にのみ有効です。Simes検定は独立した検定を仮定して導出されています。^{[ 10 ]}ある意味で正の依存関係にある検定に対しては保守的であり^{[ 11 ] [ 12 ]}、負の依存関係の特定の場合には非保守的です。^{[ 13 ] [ 14 ]}ただし、Hochberg 手順の修正版は一般的な負の依存関係の下でも有効であると示唆されています。^{[ 15 ]}

チャールズ・ダネット（1955年、1966年）は、 k個のグループを同一の対照群と比較する場合の、代替的なαエラー調整法を提唱した。現在ではダネット検定として知られるこの方法は、ボンフェローニ調整よりも保守的ではない。

ボンフェローニ法とホルム法は、p値（または同等に個々の検定統計量）の依存構造に関わらず、FWERを制御します。これは基本的に、「最悪のケース」の依存構造（ほとんどの実用上は独立に近い）に対応することで実現されます。しかし、依存が実際に正である場合、このようなアプローチは保守的になります。極端な例を挙げると、完全な正の依存の下では、実質的に検定は1つしかなく、したがってFWERは過大評価されません。

p値（または個々の検定統計量）の依存構造を考慮すると、より強力な手順が得られます。これは、ブートストラップ法や順列法などのリサンプリング法を適用することで実現できます。WestfallとYoung（1993）の手順では、実際には必ずしも成り立たない特定の条件（すなわち、部分集合のピボット性）が必要です。 ^{[ 16 ]} RomanoとWolf（2005a、b）の手順ではこの条件が不要となり、より一般的に有効です。^{[ 17 ] [ 18 ]}

調和平均p値（HMP）法^{[ 19 ] [ 20 ]}は、強い意味でのファミリーワイズエラー率を制御しながら仮説群の有意性を評価することで、ボンフェローニ補正の検出力を向上させる多段階検定を提供する。任意のサブセットの有意性${\textstyle {\mathcal {R}}}$の${\textstyle m}$テストは、サブセットの HMP を計算することによって評価されます。$${\displaystyle {\overset {\circ }{p}}_{\mathcal {R}}={\frac {\sum _{i\in {\mathcal {R}}}w_{i}}{\sum _{i\in {\mathcal {R}}}w_{i}/p_{i}}},}$$どこ${\textstyle w_{1},\dots ,w_{m}}$合計が 1 になる重み (つまり${\textstyle \sum _{i=1}^{m}w_{i}=1}$) 強い意味でのファミリーワイズエラー率を約 レベルで制御する近似手順${\textstyle \alpha }$サブセット内のどのp値も${\textstyle {\mathcal {R}}}$重要な場合${\textstyle {\overset {\circ }{p}}_{\mathcal {R}}\leq \alpha \,w_{\mathcal {R}}}$^{[ 21 ]}（${\textstyle w_{\mathcal {R}}=\sum _{i\in {\mathcal {R}}}w_{i}}$この近似は小さい場合には妥当である。${\textstyle \alpha }$（例えば${\textstyle \alpha <0.05}$）そして、任意に良いものになる${\textstyle \alpha }$ゼロに近づく。漸近的に正確な検定も利用可能である（メイン記事を参照）。