他地域への視線誘導効果

ルック・エルスウェア効果とは、科学実験の統計分析において、一見統計的に有意に見える観測値が、実際には探索すべきパラメータ空間の巨大さゆえに偶然に生じたものである可能性がある現象である。 ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]}

分析においてルック・エルスウェアエラーの可能性が認識されれば、標準的な数学的手法を注意深く適用することでそれを補正することができる。^{[ 6 ] [ 7 ] [ 8 ]}

統計学では多重比較問題としてより一般的に知られているこの用語は、2011年に大型ハドロン衝突型加速器でのヒッグス粒子の探索に関連してメディアの注目を集めた。^{[ 9 ]}

多くの統計検定ではp値、つまり証明しようとしている仮説が実際には誤りであると仮定した場合に、ある結果が偶然に得られる確率が算出されます。「XはYに影響を与えるか？」という問いに対しては、 Xを変化させて、その結果としてYに有意な変化が生じるかどうかを確認するのが一般的です。このp値があらかじめ定められた統計的有意水準αよりも小さい場合、結果は「有意」であるとみなされます。

しかし、複数のテストを実施する場合（最初のテストが失敗した場合に「他の原因を探す」場合）、p値が1/ nとなる確率はn回のテストにつき1回と予想されます。例えば、実際の効果がない場合でも、p < 0.05となる事象は、平均して20回のテストにつき1回発生します。これを補正するために、閾値αをテスト数nで割ることで、 p < α / nの場合に有意な結果が得られます。あるいは、同等に、観測されたp値にテスト数を掛けます（ np < αの場合に有意）。  

これは単純化された例です。実際には、 nは検定における自由度、つまり実質的に独立した検定の数を表します。検定が完全に独立していない場合は、nの値は検定の数よりも少なくなる可能性があります。

他所参照効果は、失敗した検定結果が公表されないために独立した検定の数nが過小評価され、「有意性インフレーション」を引き起こす頻繁な原因である。ある論文では検討された代替仮説について言及されなかったり、結果が出なかった論文がそもそも公表されなかったりする可能性があり、その結果、統計的に外れ値ばかりの論文がジャーナルに掲載されることになる。

• 1992年にスウェーデンで行われた研究では、送電線が何らかの健康被害を引き起こすかどうかを調査しました。研究者らは、高圧送電線から300m以内に住むすべての人を対象に25年間調査を行い、800種類以上の病気の発生率に統計的に有意な増加がないか調べました。この研究では、送電線に最も近い場所に住む人々の小児白血病の発生率が平均の4倍であることが判明し、スウェーデン政府による対策要請につながりました。しかし、この結論の問題点は、他の場所の影響を考慮しなかったことです。800個のランダムサンプルを収集した場合、少なくとも1つは偶然によって期待値から3標準偏差以上高い値を示す可能性が高いのです。その後の研究では、送電線と小児白血病の間に因果関係も相関関係も認められませんでした。^{[ 10 ]}

  

• 聖書コード現象は、スペースのない文字の生のシーケンスとしてヘブライ語聖書の本文をさまざまな比率のさまざまなグリッドに配置し、そこに隠された将来の出来事を予言する非典型的な重要な単語のグループを見つけようとするものです。しかし、 Skeptical Inquirerの記事が示したように、^{[ 11 ]}これは、全文文字列を数文字から数十万文字の幅に分割し、後続の行でその幅を繰り返すことによって、パターンやグループを調べるための膨大な数のグリッドを生成することに相当します。これらの多数のグリッドのそれぞれは、パラメータ化された可能性の膨大な配列で、テキスト内の任意の x 文字 (または x+1、x+2 など) を前後にスキップすることによって、関心のある広範囲の単語をさらに検索できます。関連する関心のある単語は、任意の x+k または y+k 文字を前後にスキップした近くの文字列である可能性があり、順列のボリュームは膨大になります。したがって、確証バイアスなどの関連する問題はさておき、最初のグリッドで興味深いまたは重要なグループが見つからなかったとしても、コンピュータで次の反復を試行し、最終的に「奇跡的」または「あり得ない」グループに到達するまでこれを大量に繰り返すことができます。これは実質的に、面白くないポーカーの手札を配られた後、ストレートフラッシュ、ロイヤルフラッシュ、またはそのようなイベントが連続して多数得られるまで必要なだけ大量に配り続け、そのような結果を可能にしたデッキを神に啓示されたものだと呼ぶことに相当します。Skeptical Inquirer の著者は、神に啓示されたとされるヘブライ語版の代わりに英語のキング ジェームズ聖書のテキストに同じ検索アルゴリズムを適用し、次に 1987 年の米国最高裁判所の判決Edwards v. Aguillardの平凡で恣意的な例文に同じ効果を適用するだけで、同じ効果を達成することができました。

• ボンフェローニ補正
• データマイニング
• 真に大数の法則：サンプルサイズが十分に大きければ、どんなとんでもないことも起こりうる
• リトルウッドの法則：人は月に約1回の割合で「奇跡」が起こると期待できる。
• テキサスの狙撃手に関する誤謬
• 多重比較の問題

• XKCDの漫画で、視線を別の場所に向ける効果を描いている。