火星効果

1956年、ゴーケランはベルギーのパラ委員会に自身の研究結果の検証を依頼したが、ジャン・ダットがゴーケランが提示した統計を裏付け、ベルギー人選手を使って再現実験を試みるという提案をしたのは1962年になってからだった。この頃までにゴーケランは『男と星』（1960年）を出版し、さらなるデータを提供していた。パラ委員会は1967年に火星効果を検証し、再現に成功したが、データの大部分（535件中473件）は依然としてゴーケラン自身が収集したものであった。委員会は結果が人為的なものかもしれないと疑い、さらに8年間結果を公表せず、その後、結果に特定されていない「人口統計上の誤り」があったと主張した。未公表の内部分析はこれに反しており、委員会のメンバーの一人であるリュック・ド・マレは抗議して辞任した。 1983年、アベル、クルツ、ゼレン（下記参照）は再評価を発表し、人口統計上の誤差という考えを否定し、「ゴーケランは一般人口の出生時刻の火星セクターの予想分布を予測する際に、人口統計学的要因と天文学的要因を適切に考慮した」と述べた。^{[ 8 ]}

1975年、ポール・カーツの雑誌『ヒューマニスト』は、ゴーケランを批判する占星術に関する記事を掲載し、ゴーケランと彼の妻フランソワーズがこれに反論した。その後、統計学者であり、最近設立された超常現象の主張の科学的調査委員会（CSICOP、現在は懐疑的調査委員会（CSI）として知られる）の協力者であるマービン・ゼレン教授は、1976年に同じ雑誌に掲載された記事で、人口統計上の異常を排除するために、ゴーケランが2,088人のデータセットから100人のアスリートを無作為に選び、同じ時間と場所で生まれた赤ちゃんのサンプルの出生/惑星相関を調べて対照群を確立し、比較のための基本率（偶然）期待値を与えることを提案した（無作為に選ばれた100人のアスリートは後に303人のアスリートのサブサンプルに拡大された）。

1977年4月、CSICOPの研究者であるジョージ・O・アベルはクルツに手紙を書き、ゼレンのテストの結果がゴーケラン夫妻に有利だったと伝えた。ゴーケラン夫妻もゼレン教授が提案し実施したテストを行い、一般の人々（つまり、チャンピオンではない人々）における火星が主要セクターにある確率は約17%であり、スポーツチャンピオンで観察された22%よりもかなり低いことを発見した。しかし、ゼレン、アベル、クルツによるその後の論文では、この結果が明確に述べられておらず、むしろ元のデータに疑問が呈されていた。ゴーケラン夫妻が発表した結論に対する反論として、マービン・ゼレンは、対照群の1万7000人の非チャンピオンではなく、303人のチャンピオンの構成を分析し、この二次サブサンプル（すでに22％対17％のテストを行うには小さすぎるほどだった）を、ゴーケランに最も有利な結果をもたらした女性アスリートのサブグループを除外し、残りのアスリートを都市部／地方、パリ／パリ以外の地域に分割した。

ゼレンの研究結果が公表される前も後も、天文学者でありCSICOPの創設メンバーでもあるデニス・ローリンズ（当時CSICOP評議会で唯一の天文学者）は、その手順とCSICOPによるその後の報告に繰り返し異議を唱えた。ローリンズは、ゴーケラン夫妻の研究結果は正当であり、「ゼレンのテスト」はそれを裏付けるに過ぎず、ゼレンは対照テストの本来の目的、すなわち「キー」セクターに火星がある出生率の基準値をチェックするという目的から逸脱したと個人的に主張した。彼には、このテストはアスリートのサンプルを分割することで、アスリートと火星／キーセクターの相関関係の重要性を過小評価しており、科学的基準を遵守するはずの実験者たちが、実際には軽率なテストの結果を隠蔽するために証拠を歪曲・操作しているように見えた。

クルツ、ゼレン、アベルの分析は、主に選ばれた303人のチャンピオンのランダム性を検証するためにサンプルを分割したが、ローリンズは1975年と1977年にその非ランダム性を実証した。ゼレンの1976年の「ゴーケランへの挑戦」では、「我々は今、この問題を解決するために、明確な裏付けまたは反証のための客観的な方法を持っている」と述べていたが、この目的は現在議論の的となっている。ローリンズは手続き上の異議を唱え、「火星アスリートのサブサンプルのサイズと偏差の間に逆相関が見られる（つまり、サブサンプルが小さいほど成功が大きい） – これは、サブサンプルのサイズのブロック化にバイアスが影響していた場合に予想されることである」と述べた。^{[ 9 ]}

CSICOPは、結果を精査した結果、ゴーケラン夫妻は無作為に選んでいなかったと主張した。彼らは、農村部で生まれたチャンピオンと比較するために、同じ週、同じ村で生まれた十分な数の出生者を見つけるのに苦労し、大都市で生まれたチャンピオンのみを選んだ。ゴーケラン夫妻が当初作成した約2,088人のチャンピオンのリストには42人のパリ市民が含まれており、303人のアスリートのサブサンプルにも42人のパリ市民が含まれていた。さらに、パリは20の区に分かれており、異なる経済階級や民族グループが通常、異なる区に住んでいる。ゴーケラン夫妻は、パリ全域で生まれた42人のパリ市民チャンピオンを、たった1つの区の非チャンピオンと比較した。22%の相関が、農村部の記録方法、経済、階級、民族による出生パターンの違いなどの要因に基づく人為的なものであったとしても、この非無作為な選択によってその事実は曖昧になるだろう。

同時に、CSICOPはゼレン、アベル、ローリンズと協議の上、米国アスリートの研究を開始した。1979年に発表された結果^{[ 10 ]}は否定的な結果を示した。ゴーケリンは、KZAグループは全体的に平凡なアスリートを好み、彼の卓越性の基準を無視しており、バスケットボール選手や1950年以降に生まれた人々も含まれていると主張した^{[ 11 ]。}

1994年、フランスの超常現象研究委員会（Comité pour l'Étude des Phénomènes Paranormaux 、略称CFEPP）が行った大規模な調査の結果、アスリートの出生に「火星効果」の証拠は全く見つからなかった。 ^{[ 12 ]}この調査は1982年に提案され、委員会はゴーケランが主張したプロトコルを使用することに事前に同意していた。CFEPPの報告書はオランダの新聞Trouwに「リーク」された。

1990年、CFEPPは、1,066人のフランス人スポーツチャンピオンを用いた研究の予備報告書を発表し、1,066人全員のデータと、基準を満たしているものの出生時刻が不明な373人の名前を提示し、方法論について議論し、データ選択基準を列挙した。1996年、JW Nienhuysによる解説とGauquelinから委員会への数通の手紙を添えた報告書は、『火星効果 ― 1,000人以上のスポーツチャンピオンによるフランスでの実験』という書籍として出版された。CFEPPは、実験では効果が見られなかったと述べ、その効果はGauquelinのデータ選択における偏りによるものだと結論付け、Gauquelinが委員会にアスリートのリストの変更を提案したことを指摘した。^{[ 12 ]} CFEPPの報告書は、アメリカの研究と同様に、平凡なアスリートが多すぎること、また確率期待値が高すぎることを理由に、Suitbert Ertelから批判された。^{[ 13 ]}エルテルによれば、アスリートを卓越性の等級でグループ分けすることで、火星効果を検出できる可能性がある。

一部の研究者は、ゴーケリンが多重比較による火星効果の統計的有意性を調整しておらず、論文でもこの問題を取り上げていないと主張した。簡略化して分かりやすく説明した例を挙げると、10個の天体と、それらが存在する12のセクターがある。さらに、セクターのペアの組み合わせは132通りあり、したがって、1つの惑星と2つのセクターの組み合わせは1320通りある。ゴーケリンと同じサイズのランダムなデータセットで、ゴーケリンが得たような統計的に有意な結果をもたらすような組み合わせ（1つの惑星と2つのセクター）が少なくとも1つ見つかる確率は約25%である。^{[ 14 ]}これは、多重比較を調整した後、火星効果は0.05という控えめな有意水準でも統計的に有意ではなくなり、おそらく偽陽性であることを意味する。しかし、効果が複数の研究で現れることが証明されれば、多重比較の議論は反駁されるか弱まる。後者が当てはまると主張する人もいる。

ジェフリー・ディーンは、この効果はゴーケランの研究の問題ではなく、両親による生年月日の自己申告が原因である可能性があると示唆した。ゴーケランは1950年以降の人口では火星効果を発見できなかった。ディーンは、これは両親ではなく医師が出生時刻を報告するようになったことが原因かもしれないという考えを提示した。^{[ 15 ]}ゴーケランは当時、誤報告に関する情報を入手できなかった。ディーンは、サンプルの3%が誤報告すれば結果が説明できると述べていた。^{[ 16 ]}