データドレッジ

データドレッジング（データスヌーピングまたはpハッキングとも呼ばれる）^{[1] [a]は、}統計的に有意であると提示できるデータ内のパターンを見つけるためにデータ分析を悪用することであり、これにより偽陽性のリスクが大幅に増加し、過小評価されます。これは、データに対して多くの統計テストを実行し、有意な結果が返されたものだけを報告することによって行われます。 ^[2]

データ ドレッジのプロセスには、単一のデータ セットを使用して複数の仮説を徹底的に検索してテストすることが含まれます。検索の対象には、相関関係を示す可能性のある変数の組み合わせや、平均値や他の変数による内訳に違いがあるケースまたは観察のグループなどがあります。

従来の統計的有意性の検定は、偶然だけが働いた場合に特定の結果が生じる確率に基づいており、必然的にある種の誤った結論（帰無仮説の誤った棄却）のリスクをある程度受け入れる。このレベルのリスクは有意性と呼ばれる。多数の検定を実行すると、この種の誤った結果が生じることがある。そのため、偶然だけによって、ランダムに選ばれた仮説の 5% が (誤って) 5% の有意水準で統計的に有意であると報告され、1% が (誤って) 1% の有意水準で統計的に有意であると報告される、といったことが起こり得る。十分な数の仮説を検定すれば、（たとえ誤解を招くとしても）いくつかは統計的に有意であると報告されることはほぼ確実である。なぜなら、ある程度のランダム性を持つほぼすべてのデータ セットには、（たとえば）何らかの誤った相関関係が含まれている可能性が高いからである。データ マイニング技術を使用する研究者は、注意しないと、これらの結果に簡単に惑わされる可能性がある。pハッキング（ p値に関連して）という用語は、社会科学研究におけるそのような問題の発見に焦点を当てたブログData Coladaの3人の研究者によって2014年の論文で造られました。 ^{[3] [4] [5]}

データドレッジングは多重比較の問題を無視する例である。一つの形態は、検討されたサブグループ比較の合計数を読者に知らせずにサブグループを比較するものである。^[6]

頻度主義的確率を用いた従来の統計的仮説検定の手順は、「社会階級の高い人は長生きする」などの研究仮説を立て、関連データを収集することです。最後に、結果が単なる偶然によるものである可能性を調べるために統計的有意性検定が行われます (帰無仮説検定とも呼ばれます)。

適切な統計分析の重要なポイントは、仮説の構築に使用されていない証拠 (データ) を使用して仮説をテストすることです。これは、すべてのデータ セットに完全に偶然によるパターンが含まれているため重要です。同じ統計母集団からの異なるデータ セットで仮説をテストしないと、偶然だけでそのようなパターンが生成される可能性を評価することは不可能です。

たとえば、コインを5 回投げて 2 回表、3 回裏が出た場合、コインは 3/5 から 2/5 の割合で裏が出るという仮説を立てることができます。この仮説を既存のデータ セットでテストすると、確認されますが、確認は無意味です。適切な手順は、裏が出る確率について事前に仮説を立て、コインを何度か投げて、仮説が棄却されるかどうかを確認することです。3 回裏、2 回表が出た場合、裏が出る確率は 3/5 であるという別の仮説を立てることができますが、これは新しいコイン投げのセットでのみテストできます。誤った手順による統計的有意性は完全に偽物です。有意性テストでは、データのドレッジングを防ぐことはできません。

任意停止とは、停止基準に達するまでデータを収集する手法である。これは有効な手順であるが、簡単に誤用される。問題は、任意停止された統計検定の p 値が見かけよりも大きいことである。直感的には、これは p 値が、少なくとも観察されたものと同じぐらいまれなすべてのイベントの合計であるはずであるためである。任意停止では、オプション停止ルールをトリガーせず、停止する前にさらに多くのデータを収集するなど、考慮するのが難しいさらにまれなイベントがある。これらのイベントを無視すると、p 値が低くなりすぎる。実際、帰無仮説が真である場合、データ収集を継続して、目的の p 値 (常にこれだけのデータを収集することを計画していたかのように計算) が得られた時点で停止すると、任意の有意水準に到達できる。^{[7]公平なコインの検定の具体的な例については、} p値 § 任意停止 を参照。

あるいは、もっと簡潔に言えば、p値を正しく計算するには、反事実、つまり、実験者が起こり得たかもしれないデータに対してどう反応したかを考慮する必要がある。何が起こり得たかを考慮することは、正直な研究者にとっても難しい。^[7]事前登録の利点の1つは、すべての反事実を考慮し、p値を正しく計算できるようにすることである。^[8]

早期中止の問題は研究者の不正行為に限ったことではありません。データ収集のコストが高い場合、早期中止を迫られることがよくあります。動物倫理委員会の中には、研究の途中で有意な結果が得られた場合、早期中止を義務付けるところもあります。^[9]

「外れ値を除去する」などの名目で、すでに何らかのデータ分析が行われた後にデータが除去された場合、偽陽性率は上昇する。「外れ値」を置換データに置き換えると、偽陽性率はさらに上昇する。 ^[10]

データセットに複数の特徴が含まれている場合、1 つ以上の特徴をグループ化に使用して、統計的に有意な結果を生み出すことができます。たとえば、患者のデータセットに年齢と性別が記録されている場合、研究者は年齢でグループ化し、病気の回復率が年齢と相関しているかどうかを確認することができます。それがうまくいかない場合、研究者は性別と相関しているかどうかを確認する場合があります。そうでない場合は、性別などを制御した後、年齢と相関している可能性があります。可能なグループ化の数は、特徴の数とともに指数関数的に増加します。^[10]

ランダムに抽出したサンプルの調査に、8 月 7 日生まれのメアリーとジョンの 2 人が含まれているとします。データ ドレッジングに従事している人は、メアリーとジョンの間にさらなる類似点を見つけようとするかもしれません。2 人の間の数百または数千の類似点 (それぞれが真実である可能性は低い) を調べることで、通常とは異なる類似点がほぼ確実に見つかります。おそらく、ジョンとメアリーは、この調査で大学時代に副専攻を 3 回変更した唯一の 2 人です。データ ドレッジングによって偏った仮説は、「8 月 7 日に生まれた人は、大学時代に副専攻を 2 回以上変更する可能性がはるかに高い」ということになります。

文脈から切り離されたデータ自体は、その相関関係を強く裏付けるものと見なされるかもしれない。なぜなら、誕生日が異なる人の中で、大学で3回も副専攻を変えた人はいないからだ。しかし、もしこれが誤った仮説であるならば（おそらくそうなるだろうが）、この結果は再現不可能な可能性が高い。つまり、8月7日生まれの他の人が同様の割合で副専攻を変えているかどうかを調べようとすると、すぐに矛盾した結果が出る可能性が高い。

バイアスとは、分析における体系的なエラーのことである。例えば、医師は心血管リスクの高いHIV患者に特定のHIV治療薬であるアバカビルを、リスクの低い患者には他の薬を処方したため、アバカビルと他の治療薬との単純な比較が妨げられた。このバイアスを修正しない分析では、アバカビルの患者のリスクがより高かったため、心臓発作を起こした患者が多かったため、アバカビルが不当に不利な扱いを受けた。^[6]この問題は、例えば観察研究では非常に深刻になる可能性がある。^{[6] [2]}

欠落した因子、測定されていない交絡因子、追跡調査の失敗もバイアスにつながる可能性があります。^[6]有意なp値を持つ論文を選択することで、否定的な研究が選択されず、これが出版バイアスです。これはファイルドロワーバイアスとも呼ばれ、有意性の低いp値の結果はファイルドロワーに残され、決して出版されないためです。

データの知識による統計的検定の条件付けの別の側面は、システムまたは機械分析と線形回帰を使用してデータの頻度を観察するときに見ることができます。^[明確化]このプロセスの重要なステップは、1 つ以上の他の変数を説明する関係にどの共変量を含めるかを決定することです。著者が他のモデルよりもいくつかのモデルを好むように導く統計的 (ステップワイズ回帰を参照) および実質的な考慮事項があり、統計的検定が自由に使用されています。ただし、データに基づいて説明関係から 1 つ以上の変数を破棄することは、関係内の保持された変数に何も起こらなかったかのように標準的な統計手順を有効に適用できないことを意味します。ケースの性質上、保持された変数は、破棄された変数が失敗したという何らかの予備テスト (おそらく不正確な直感的なテスト) に合格する必要があります。1966 年に、Selvin と Stuart は、モデルに保持された変数を、網を通らない魚と比較しました。つまり、それらの影響は網を通ったものよりも必ず大きくなるということです。これにより、保持された説明モデルに対するその後のすべてのテストのパフォーマンスが変化するだけでなく、バ​​イアスが導入され、推定における平均二乗誤差が変化する可能性があります。 ^{[11] [12]}

気象学では、仮説は多くの場合、現在までの気象データを使用して策定され、将来の気象データに対してテストされます。これにより、たとえ無意識であっても、将来のデータが仮説の策定に影響を与えないことが保証されます。もちろん、このような分野では、定式化された理論の予測力と帰無仮説との比較を示すために、新しいデータが得られるのを待つ必要があります。このプロセスにより、今後の気象がまだ入手できないため、研究者が手持ちのデータに合わせて予測モデルを手動で調整していると非難されることがなくなります。

別の例として、ある町にがんのクラスターがあるようだと観察者が気づいたが、なぜそうなるのかについての確固たる仮説がないとします。しかし、彼らはその町とその周辺地域に関する大量の人口統計データにアクセスすることができ、そのデータには、ほとんどが相関のない数百または数千の異なる変数の測定値が含まれています。これらすべての変数ががん発症率とは無関係であったとしても、少なくとも 1 つの変数がその地域全体のがん発症率と有意に相関している可能性が非常に高くなります。これは仮説を示唆しているかもしれませんが、確認するには、同じ変数を使用して別の場所のデータでさらにテストする必要があります。p 値が 0.01 ということは、少なくともその極端な結果が偶然に得られる確率が 1% であることを示唆していることに注意してください。数百または数千の仮説 (相互に比較的相関のない独立変数を使用) をテストすると、多くの帰無仮説でp値が 0.01 未満になる可能性があります。

一例として、ジャーナリストのジョン・ボハノンが実施したチョコレートによる減量偽研究がある。彼はギズモードの記事で、この研究は社会実験として故意に不正に行われたと公に説明した。^[13]この研究は2015年頃に多くのメディアで広まり、多くの人が自分の良識に反して、毎日チョコレートを食べると体重が減るという主張を信じた。この研究は食事と健康研究所で発表された。ボハノンによると、p値を0.05未満に下げるには、テスト時に18の異なる変数を考慮することが重要だった。

データ内のパターンを探すことは正当ですが、パターンが現れるまで同じデータに統計的有意性検定や仮説検定を適用することは、乱用される傾向があります。データ ドレッジングを回避しながら仮説を構築する 1 つの方法は、ランダム化サンプル外検定を実行することです。研究者はデータ セットを収集し、それをランダムに 2 つのサブセット A と B に分割します。仮説を作成するために調べられるのは、1 つのサブセット (たとえば、サブセット A) だけです。仮説が定式化されたら、仮説の構築に使用されなかったサブセット B で仮説をテストする必要があります。B もそのような仮説をサポートする場合にのみ、仮説が有効であると考えるのが妥当です。(これは単純なタイプのクロス検証であり、トレーニング テストまたは分割半分検証と呼ばれることがよくあります。)

データドレッジングのもう 1 つの対策は、調査中に実施したすべての有意性検定の数を記録し、有意性の基準 (アルファ) をこの数で単純に割ることです。これがBonferroni 補正です。ただし、これは非常に保守的な測定基準です。ファミリー全体のアルファ 0.05 を、1,000 で割って 1,000 の有意性検定を考慮すると、非常に厳密な仮説あたりのアルファは 0.00005 になります。分散分析や、基底関数を含む回帰分析の同時信頼帯の構築に特に役立つ方法は、 Scheffé 法であり、研究者が一対比較のみを念頭に置いている場合はTukey法です。Bonferroni 補正の極端な保守性を回避するために、より洗練された選択的推論法が利用できます。^[14]最も一般的な選択的推論法は、ベンジャミニとホッホバーグの偽発見率制御手順を使用することです。これは、複数の仮説検定を制御するための一般的な方法となっている、あまり保守的ではないアプローチです。

どちらのアプローチも実用的でない場合は、確認的なデータ分析と探索的なデータ分析を明確に区別することができます。統計的推論は前者にのみ適しています。^[12]

結局のところ、テストの統計的有意性と結果の統計的信頼性は、データと、そのデータを調査するために使用される方法の共同特性です。したがって、あるイベントの確率が 20 回中 19 回 20% ± 2% であると誰かが言った場合、これは、そのイベントの確率を20% の推定値を得るために使用されたのと同じ方法で推定すると、結果は確率 0.95 で 18% から 22% の間になることを意味します。データを評価するために使用される方法を十分に考慮せずに、見るだけでは統計的有意性を主張することはできません。

学術雑誌は、データドレッジングやHARKingなどの非常に深刻な問題に対抗することを目的とした登録レポート形式への移行をますます進めています。これらの問題は、理論検証研究の信頼性を非常に低下させています。たとえば、Nature Human Behaviourは、登録レポート形式を採用しています。これは、「研究結果から、研究を導く質問とそれに答えるために使用する方法に重点を移す」ためです。^[15] European Journal of Personalityは、この形式を次のように定義しています。「登録レポートでは、著者は理論的および実証的背景、研究の質問/仮説、およびパイロットデータ（利用可能な場合）を含む研究提案を作成します。提出後、この提案はデータ収集の前にレビューされ、受け入れられた場合は、研究結果に関係なく、この査読手順から作成された論文が出版されます。」^[16]

オープンサイエンスアプローチのように、方法と結果も公開される可能性があり、データのドレッジはさらに困難になります。^[17]

• Ioannidis, John PA (2005 年 8 月 30 日)。「なぜ出版された研究結果のほとんどが間違っているのか」。PLOS Medicine。2 ( 8)。サンフランシスコ: Public Library of Science  : e124。doi : 10.1371 / journal.pmed.0020124。ISSN 1549-1277。PMC  1182327。PMID 16060722。 
• Head, Megan L.; Holman, Luke; Lanfear, Rob; Kahn, Andrew T.; Jennions, Michael D. (2015 年 3 月 13 日)。「科学における P ハッキングの範囲と結果」。PLOS Biology . 13 (3): e1002106. doi : 10.1371/journal.pbio.1002106 . PMC  4359000 . PMID  25768323。
• Insel, Thomas (2014 年 11 月 14 日)。「P-Hacking」。NIMH ディレクターのブログ。
• スミス、ゲイリー（2016）。標準偏差：誤った仮定、歪んだデータ、そして統計で嘘をつく他の方法。ジェラルド・ダックワース＆カンパニーISBN 9780715649749。

• データスヌーピングバイアスに関する参考文献
• 偽の相関関係、あり得ない相関関係の例のギャラリー
• StatQuest: YouTubeでの P 値の落とし穴と検出力の計算
• Discover Magazine のブロガー「 Neuroskeptic 」による p-ハッキングを説明するビデオ
• ステップワイズから離れて、ステップワイズ回帰を批判するビッグデータジャーナルの記事