事後分析

科学研究において、事後分析（ラテン語のpost hoc、「この後」に由来）は、データを見た後に指定された統計分析から成ります。 ^{[ 1 ] [ 2 ] [ 3 ]}事後分析は通常、分散分析（ANOVA）で検出された、3 つ以上の独立したグループの平均値間の特定の統計的に有意な差を調べるために使用されます。^{[ 4 ]} ANOVA ではグループを特定できないため、事後分析が必要です。^{[ 5 ]}

事後分析はそれぞれ実質的に統計的検定であるため、複数の事後比較を行うと、多重検定問題の一種であるファミリーワイズエラー率の問題が生じます。この問題は、修正しない限り偽陽性の可能性を高めます。

^{事後検定は、有意なANOVAの結果[ 6 ]}の後に行われるフォローアップ検定で、差異がどこにあるか（どの特定のグループが異なるか）を特定します。これを補うために、複数の事後検定手順が使用されることもありますが、正確に行うことは困難または不可能な場合が多いです。この問題を十分に考慮せずに実施および解釈された事後分析は、統計的関連性がしばしば偽りであるため、批判者によってデータマイニング（p値ハッキング）と呼ばれることがあります^{[ 7 ]} 。言い換えれば、データマイニングによる結果は無効または信頼できません。

事後分析は、探索的分析として透明性をもって報告されれば許容されます。言い換えれば、事後分析は本質的に非倫理的ではありません。^{[ 8 ]}倫理的に使用するための主な要件は、その結果を元の仮説として誤って提示しないことだけです。 ^{[ 8 ]}科学マニュアルの最新版ではこの点が明確化されています。たとえば、APAスタイルでは、「仮説は、事前計画された主要仮説、事前計画された二次仮説、および探索的（事後）仮説の3つのグループに分けて記述する必要があります。探索的仮説は許容され、事前計画された仮説であるかのように偽装する圧力があってはなりません。」と規定されています。^{[ 8 ]}

事後分析の種類またはカテゴリには以下が含まれます: ^{[ 9 ]}

• ペアワイズ比較：考えられるすべてのペアをテストします
• 傾向分析：順序付けられたグループ全体にわたる線形または二次傾向の検定
• 単純効果分析：要因分散分析における効果を検証する
• 相互作用の分析：要因分散分析における相互作用制約を分析する

• 限定された対比セット：より小規模な比較群のテスト

さらに、サブグループ解析^{[ 10 ]}では、サンプル内の被験者の個別のカテゴリー間で結果が異なるかどうかを調べます。このアプローチは、臨床研究や観察研究でよく用いられます。

一般的な事後検定には以下が含まれます: ^{[ 11 ] [ 12 ]}

• フィッシャーの最小有意差
• ホルム・ボンフェローニ法
• ニューマン・キュールズ
• ロジャーズメソッド
• シェッフェの方法
• テューキー検定と正直有意差（HSD）（参照：スチューデント化範囲分布）

しかし、シェッフェ法を除き、これらの検定は慣習的に「事後検定」と呼ばれていても、「事前」に指定する必要があります。例えば、平均値の差は、ホルム・ボンフェローニ法では有意となるものの、テューキー検定では有意とならない場合があり、その逆もまた然りです。データアナリストが、望ましい結果が得られたという理由だけで、これらの検定結果の報告を選択するのは、不適切な慣行と言えるでしょう。

事後分析に手を出したくなる誘惑は、時に好ましい結果を生み出したい、あるいはプロジェクトを成功とみなしたいという願望から生じる。医薬品研究の場合、治験の失敗は重大な経済的損失につながる可能性がある。

• HARKing
• データによって示唆された仮説を検証する
• ネメニテスト
• 結果の切り替え