家族全体のエラー率

統計学において、ファミリーワイズエラー率( FWER )とは、複数の仮説検定を実行するときに1 つ以上の誤った発見、つまりタイプ I のエラーが発生する確率です。

ジョン・テューキーは1953年に、特定のグループ、つまり「ファミリー」のテストでタイプIエラーが発生する確率として、ファミリーワイズエラー率の概念を開発しました。^[1]ライアン（1959）は、関連する概念である実験ワイズエラー率を提唱しました。これは、特定の実験でタイプIエラーが発生する確率です。^[2]したがって、実験ワイズエラー率は、ファミリーに実験内で実行されるすべてのテストが含まれる場合のファミリーワイズエラー率です。

Ryan (1959, 脚注 3) が説明したように、実験には 2 つ以上の多重比較ファミリーが含まれる場合があり、それぞれが特定の統計的推論に関連し、それぞれに個別のファミリーワイズエラー率があります。^[2]したがって、ファミリーワイズエラー率は通常、理論的に有益な多重比較のコレクションに基づいています。対照的に、実験ワイズエラー率は、さまざまな範囲の個別の推論を参照する同時比較のコレクションに基づいています。このような場合、実験ワイズエラー率を制御することは有用ではないと主張する人もいます。^[3]実際、Tukey は、このような場合にはファミリーワイズコントロールが望ましいと示唆しました (Tukey、1956、私信、Ryan、1962、p. 302)。^[4]

統計的枠組みの中で、「家族」という用語にはいくつかの定義があります。

• Hochberg & Tamhane (1987)は、「ファミリー」を「何らかの複合的な誤差の尺度を考慮することが意味のある推論の集合」と定義した。^[3]
• Cox (1982) によれば、一連の推論はファミリーとみなされるべきである: ^{[引用が必要]}

1. データドレッジによる選択効果を考慮する
2. 一連の推論の同時正確性を確保し、全体的な正しい決定を保証する

要約すると、ファミリーは、直面している潜在的な選択的推論によって最もよく定義できます。ファミリーとは、分析における推論項目の最小セットであり、研究の目標に対する意味について互換性があり、そこからアクション、プレゼンテーション、または強調表示の結果を選択できます ( Yoav Benjamini )。^{[引用が必要]}

次の表は、複数の帰無仮説を検定する場合に起こり得る結果を定義しています。H ₁、  H ₂、...、  H _mで表されるm個の帰無仮説があるとします。統計的検定 を使用して、検定が有意であると宣言された場合は帰無仮説を棄却します。検定が有意でない場合は、帰無仮説を棄却しません。すべてのH _iについて各タイプの結果を合計すると  、次のランダム変数が生成されます。

• mはテストされた仮説の総数である
• ${\displaystyle m_{0}}$は真の帰無仮説の数であり、未知のパラメータである
• ${\displaystyle m-m_{0}}$真の対立仮説の数
• V は偽陽性（タイプ I の誤り）の数です（「偽発見」とも呼ばれます）。
• S は真陽性（「真の発見」とも呼ばれる）の数です。
• Tは偽陰性（タイプIIエラー）の数です。
• Uは真陰性の数である
• ${\displaystyle R=V+S}$棄却された帰無仮説（「発見」とも呼ばれ、真か偽かのいずれか）の数です。

真の帰無仮説であるm個の仮説検定において、R は観測可能なランダム変数であり、S、T、U、およびVは観測不可能なランダム変数です。 ${\displaystyle m_{0}}$

FWERは、家族内で 少なくとも1つのタイプIエラーが発生する確率です。

${\displaystyle \mathrm {FWER} =\Pr(V\geq 1),\,}$

または同等に、

${\displaystyle \mathrm {FWER} =1-\Pr(V=0).}$

したがって、 を保証することによって、ファミリー内で1 つ以上のタイプ I エラーが発生する確率はレベル に制御されます。 ${\displaystyle \mathrm {FWER} \leq \alpha \,\!\,}$${\displaystyle \alpha \,\!}$

レベルにおけるFWERの制御が、すべての帰無仮説が真であるとき（つまり、「グローバル帰無仮説」が真であるとき）のみ保証される場合、手順は弱い意味でFWERを制御します。 ^[5]${\displaystyle \alpha \,\!}$${\displaystyle m_{0}=m}$

レベルでのFWER制御が、真の帰無仮説と真でない帰無仮説のあらゆる構成に対して保証される場合、手順は強い意味でFWERを制御します（全体的な帰無仮説が真であるかどうかに関係なく）。^[6]${\displaystyle \alpha \,\!}$

強力なレベルの FWER 制御を保証するいくつかの古典的なソリューションと、いくつかの新しいソリューションが存在します。 ${\displaystyle \alpha}$

• 検定のp値で示す${\displaystyle p_{i}}$${\displaystyle H_{i}}$
• 拒否する​${\displaystyle H_{i}}$${\displaystyle p_{i}\leq {\frac {\alpha }{m}}}$

• レベルで各仮説をテストするのが、シダックの多重検定手順です。${\displaystyle \alpha _{SID}=1-(1-\alpha )^{\frac {1}{m}}}$
• この手順は Bonferroni よりも強力ですが、得られる利益は小さいです。
• この手順では、テストが負の依存関係にある場合、FWER を制御できない可能性があります。

• Tukey の手順は、ペアワイズ比較にのみ適用できます。
• これは、テストされる観測値の独立性と、観測値間の均等な変動 (等分散性) を前提としています。
• この手順では、各ペアのスチューデント化された範囲統計を計算します。ここで、は比較される 2 つの平均値のうち大きい方、は小さい方、は問題のデータの標準誤差です。^{[引用が必要]}${\displaystyle {\frac {Y_{A}-Y_{B}}{SE}}}$${\displaystyle Y_{A}}$${\displaystyle Y_{B}}$${\displaystyle SE}$
• Tukey の検定は、基本的にはStudent の t 検定ですが、ファミリーワイズ誤差率を修正する点が異なります。^{[引用が必要]}

• まずp値を（最低から最高まで）並べ、関連する仮説を次のようにします。 ${\displaystyle P_{(1)}\ldots P_{(m)}}$${\displaystyle H_{(1)}\ldots H_{(m)}}$
• を最小の指数とすると、${\displaystyle k}$${\displaystyle P_{(k)}>{\frac {\alpha }{m+1-k}}}$
• 帰無仮説を棄却します。この場合、どの仮説も棄却されません。^[要出典]${\displaystyle H_{(1)}\ldots H_{(k-1)}}$${\displaystyle k=1}$

この手順は、ボンフェローニ手順よりも一様に強力です。^[7] この手順が強い意味でレベルαですべてのm個の仮説のファミリーワイズエラー率を制御する理由は、それが閉じた検定手順であるためです。そのため、各交差点は単純なボンフェローニ検定を使用して検定されます。^{[引用が必要]}

ホッホバーグのステップアップ法（1988）は次の手順で実行される。^[8]

• まずp値を（最低から最高まで）並べ、関連する仮説を次のようにします。 ${\displaystyle P_{(1)}\ldots P_{(m)}}$${\displaystyle H_{(1)}\ldots H_{(m)}}$
• 与えられた に対して、が最大となるような値をとるものとする。${\displaystyle \alpha }$${\displaystyle R}$${\displaystyle k}$${\displaystyle P_{(k)}\leq {\frac {\alpha }{m-k+1}}}$
• 帰無仮説を棄却する${\displaystyle H_{(1)}\ldots H_{(R)}}$

ホッホバーグの手順はホルムの手順よりも強力です。しかし、ホルムの手順は閉じた検定手順である（したがって、ボンフェローニと同様に検定統計量の結合分布に制限がない）のに対し、ホッホバーグの手順はシムズ検定に基づいているため、非負の従属関係の下でのみ成立します。^[要出典]シムズ検定は独立した検定の仮定の下で導出されます。^[9]これは、ある意味で正の従属関係にある検定に対しては保守的です^{[10] [11]}が、負の従属関係の特定のケースでは反保守的です。^{[12] [13]}ただし、ホッホバーグ手順の修正版は、一般的な負の従属関係の下でも有効であることが示唆されています。^[14]

チャールズ・ダネット(1955、1966)は、 kグループを同じコントロール グループと比較する場合の代替アルファ誤差調整について説明しました。現在ダネットのテストとして知られるこの方法は、ボンフェローニ調整よりも保守的ではありません。^{[引用が必要]}

Bonferroni と Holm の手順は、p値 (または個々のテスト統計量と同等) の依存関係構造の下で FWER を制御します。基本的に、これは「最悪のケース」の依存関係構造 (ほとんどの実用的な目的のために独立に近い) に対応することで実現されます。ただし、依存関係が実際に正である場合、このようなアプローチは保守的です。極端な例を挙げると、完全な正の依存関係の下では、実質的に 1 つのテストのみが存在するため、FWER は膨らみません。

p値（または個々の検定統計量）の依存構造を考慮すると、より強力な手順が生まれます。これは、ブートストラップ法や順列法などの再サンプリング法を適用することで実現できます。WestfallとYoung（1993）の手順では、実際には必ずしも当てはまらない特定の条件（つまり、サブセットのピボタリティ）が必要です。 ^[15] RomanoとWolf（2005a、b）の手順ではこの条件が不要であるため、より一般的に有効です。^{[16] [17]}

調和平均p値（HMP）手順^{[18] [19]}は、強義のファミリーワイズエラー率を制御しながら仮説グループの有意性を評価することにより、ボンフェローニ補正の検出力を向上させるマルチレベルテストを提供します。 テストの任意のサブセットの有意性は、サブセットのHMPを計算することによって評価されます。ここで、 は合計が1になる重みです（つまり）。 レベルで強義のファミリーワイズエラー率を制御する近似手順は、^[20]（ここで）のときにサブセット内のp値がいずれも有意ではないという帰無仮説を近似的に棄却します。 この近似は が小さい場合（例）に妥当であり、 がゼロに近づくにつれて任意に良好になります。 漸近的に正確なテストも利用できます（メイン記事 を参照）。 ${\textstyle {\mathcal {R}}}$${\textstyle m}$$${\displaystyle {\overset {\circ }{p}}_{\mathcal {R}}={\frac {\sum _{i\in {\mathcal {R}}}w_{i}}{\sum _{i\in {\mathcal {R}}}w_{i}/p_{i}}},}$$${\textstyle w_{1},\dots ,w_{m}}$${\textstyle \sum _{i=1}^{m}w_{i}=1}$${\textstyle \alpha }$${\textstyle {\mathcal {R}}}$${\textstyle {\overset {\circ }{p}}_{\mathcal {R}}\leq \alpha \,w_{\mathcal {R}}}$${\textstyle w_{\mathcal {R}}=\sum _{i\in {\mathcal {R}}}w_{i}}$${\textstyle \alpha }$${\textstyle \alpha <0.05}$${\textstyle \alpha }$

FWER制御は、偽発見率（FDR）手順と比較して、偽発見に対してより厳格な制御を行います。FWER制御は少なくとも1つの偽発見の確率を制限しますが、FDR制御は（緩い意味で）偽発見の予想される割合を制限します。したがって、FDR手順は、タイプIエラー、つまり実際には正しい帰無仮説を棄却する割合の増加を犠牲にして、より大きな力を持っています。^[21]

一方、FWER制御は、ファミリーごとのエラー率制御よりも厳格ではありません。ファミリーごとのエラー率制御は、ファミリーごとのエラー数の予測値を制限するものです。FWER制御は少なくとも1つの誤検出に関係するため、ファミリーごとのエラー率制御とは異なり、複数の同時誤検出を1つの誤検出よりも悪いものとして扱いません。ボンフェローニ補正は、単にFWERを制御するものと考えられることが多いですが、実際にはファミリーごとのエラー率も制御します。^[22]

• ファミリーワイズエラー率の理解 - False Discovery Rate と比較した有用性を含むブログ投稿