Loading article…
シンプソンのパラドックスは、確率と統計における現象で、複数のデータ群ではある傾向が見られるが、それらの群を結合するとその傾向が消えたり逆転したりする現象である。この結果は、社会科学や医学の統計学でよく見られる現象であり、[ 1 ] [ 2 ] [ 3 ]特に頻度データに不当な因果関係の解釈を与えると問題となる。[ 4 ]このパラドックスは、統計モデルにおいて交絡変数と因果関係を適切に扱うことで解決できる。 [ 4 ] [ 5 ] (例えば、クラスター分析など)。[ 6 ]
シンプソンのパラドックスは、統計の誤用が生み出す誤解を招く結果の例として用いられてきた。 [ 7 ] [ 8 ]
エドワード・H・シンプソンは1951年に技術論文でこの現象を初めて記述しました[ 9 ] 。統計学者のカール・ピアソン（1899年）[ 10 ]とウドニー・ユール（1903年）[ 11 ]は、それ以前に同様の効果について言及していました。シンプソンのパラドックスという名称は、1972年にコリン・R・ブライスによって導入されました[ 12 ]。これは、シンプソンの逆転、ユール・シンプソン効果、融合のパラドックス、または逆転のパラドックスとも呼ばれます[ 13 ]。
シンプソンのパラドックスの最もよく知られた例の1つは、カリフォルニア大学バークレー校の大学院入学における性別による偏りの研究から得られたものです。1973年秋の入学統計では、応募した男性の方が女性よりも入学する可能性が高く、その差は非常に大きかったため、偶然によるものとは考えにくいものでした。[ 14 ] [ 15 ]
しかし、応募した学科に関する情報を考慮すると、異なる不合格率は学科への入学の難易度の違いを示しており、同時に、女性は資格のある応募者の中でも入学率の低い競争の激しい学科（例えば英文学科）に応募する傾向があるのに対し、男性は入学率の高い競争の少ない学科（例えば工学科）に応募する傾向があることが示された。統合および修正されたデータは、「女性に有利な、小さいが統計的に有意な偏り」を示した。 [ 15 ]
上位6部門のデータは以下のとおりです。
データ全体を見ると、85の学科のうち4学科が女性に対して著しく不利であり、6学科が男性に対して著しく不利であることが示されました（上記の「上位6学科」の表にはすべてが含まれていません）。注目すべきは、不利な学科の数が結論の根拠ではなく、各学科の全応募者に対する不合格率で重み付けした上で、すべての学科の男女別入学者数を集計した結果であるということです。[ 15 ]
別の例として、腎結石の2つの治療法の成功率を比較した実際の医学研究[ 16 ]があります。[ 17 ]下の表は、小腎結石と大腎結石の両方の成功率と治療数を示しています。治療Aには開腹手術が含まれ、治療Bには閉腹手術が含まれます。括弧内の数字は、グループ全体のサイズに対する成功例の数を示しています。
逆説的な結論として、治療Aは小さな結石にも大きな結石にも効果的である一方、治療Bは両方のサイズを同時に考慮するとより効果的であるように見える。この例では、逆説を引き起こしている「隠れた」変数（または交絡変数）は結石のサイズであり、その影響が考慮されるまで、研究者たちはその重要性を認識していなかった。
どちらの治療法が優れているかは、どちらの成功率（成功数／総数）が大きいかによって決まります。複合データを考慮すると、この2つの比率の不等式が逆転し、シンプソンのパラドックスが生じますが、これは2つの効果が同時に起こるためです。
これらの効果に基づくと、逆説的な結果が生じるのは、結石の大きさの影響が、より優れた治療法（A）の利点を上回ってしまうためである。つまり、効果の低い治療法Bは、治療しやすい小さな結石の症例に頻繁に適用されたため、より効果的であるように見えた。そのため、どちらの治療法を選択しても成功する可能性が高くなったのである。[ 17 ]
ジェインズは、治療Aは治療Bよりも明らかに優れているものの、腎結石の大きさがより重要であるという結論が正しいと主張している。[ 18 ]
シンプソンのパラドックスの一般的な例として、プロ野球選手の打率があります。ある選手が何年にもわたって毎年別の選手よりも高い打率を記録していても、それらの年全体で見ると打率が低くなることがあります。この現象は、年ごとの打席数に大きな差がある場合に発生する可能性があります。数学者のケン・ロスは、 1995年と1996年の2人の野球選手、デレク・ジーターとデビッド・ジャスティスの打率を使ってこれを実証しました。 [ 19 ] [ 20 ]
1995年と1996年の両年において、ジャスティスの打率は（太字で示されているように）ジーターよりも高かった。しかし、2つの野球シーズンを合わせると、ジーターの打率がジャスティスよりも高くなる。ロスによれば、この現象は、考えられる選手ペアの中で年に1回程度観察されるという。[ 19 ]
シンプソンのパラドックスは、2次元ベクトル空間を用いて説明することもできる。[ 21 ]成功率は（つまり、成功/試行）はベクトルで表すことができる傾斜は傾きの急なベクトルは、成功率が高いことを表します。2つの率がそして上記の例のように組み合わせると、結果はベクトルの合計で表すことができます。そして平行四辺形のルールによれば、これはベクトルである傾斜あり。
シンプソンのパラドックスによれば、ベクトルが（図中のオレンジ色で示されている）は、別のベクトルよりも傾きが小さい。（青色で）より傾斜が小さい2つのベクトルの合計2つのベクトルの合計よりも大きな傾きを持つ可能性もある例に示すように、これが起こるためには、オレンジ色のベクトルの 1 つが青色のベクトルの 1 つよりも大きな傾きを持つ必要があります (ここでは、そして)、そしてこれらは一般的に、別の添え字が付いたベクトルよりも長くなるため、全体的な比較において優位に立つことになる。
シンプソンの逆転現象は相関関係でも発生することがあり、2 つの変数が互いに正の相関関係にあるように見えるが、実際には負の相関関係にある場合、逆転現象は「隠れた」交絡因子によって引き起こされる。バーマンら[ 22 ]は経済学から例を挙げ、データセットが全体的な需要が価格と正の相関関係にある（つまり、価格が高くなると需要が増える）ことを示唆しているが、これは予想に反する。分析の結果、時間が交絡変数であることが明らかになった。価格と需要の両方を時間に対してプロットすると、さまざまな期間にわたって予想される負の相関関係が明らかになるが、需要を価格に対してプロットするだけで時間の影響を無視すると、正の相関関係に逆転する。
シンプソンのパラドックスに対する心理学的な関心は、なぜ人々が最初は符号反転を不可能だと考えるのかを説明しようとするものである。問題は、人々がこの強い直感をどこから得ているのか、そしてそれがどのように心の中に刻み込まれているのかということである。
シンプソンのパラドックスは、この直観が古典論理や確率計算だけでは導き出せないことを示しており、そのため哲学者たちは、この直観は行動とその結果について推論する際に人々を導く生来の因果論理によって支えられているのではないかと推測するに至った。[ 4 ]サベージの確実な原理[ 12 ]は、そのような論理がどのようなものであるかを示す一例である。サベージの確実な原理の限定版は、パールのdo計算[ 4 ]から実際に導き出すことができ、「各部分集団C iにおける事象Bの確率を増加させる行動Aは、部分集団の分布を変えない限り、集団全体におけるBの確率も増加させなければならない」と述べている。これは、行動と結果に関する知識が因果ベイジアンネットワークに似た形で保存されていることを示唆している。
パブリデスとパールマンの論文では、ハジコスタスによる証明として、一様分布のランダムな 2 × 2 × 2 テーブルでは、シンプソンのパラドックスがちょうど 1/60 の確率で発生することが示されています。[ 23 ]コックの研究では、2 つの予測変数と 1 つの基準変数を持つパス モデル (つまり、パス分析によって生成されたモデル) でシンプソンのパラドックスがランダムに発生する確率は約 12.8 パーセントであり、8 つのパス モデルにつき 1 回よりわずかに高いことが示唆されています。[ 24 ]
シンプソンの1951年の論文では、あまり知られていない2つ目のパラドックスについても議論されている。それは、腎臓結石の例のように、「妥当な解釈」が必ずしも分離されたデータの中にあるとは限らず、結合されたデータの中にある場合に発生する可能性がある。データの分割形式と結合形式のどちらを使用すべきかは、データを生み出すプロセスに依存するため、表を観察するだけではデータの正しい解釈を常に判断できるとは限らない。[ 25 ]
ジュデア・パールは、分割されたデータが任意の2つの変数間の正しい因果関係を表すためには、そして分割変数は「バックドア基準」と呼ばれるグラフィカル条件を満たさなければならない: [ 26 ] [ 27 ]
This criterion provides an algorithmic solution to Simpson's second paradox, and explains why the correct interpretation cannot be determined by data alone; two different graphs, both compatible with the data, may dictate two different backdoor criteria.
When the backdoor criterion is satisfied by a set Z of covariates, the adjustment formula (see confounding) gives the correct causal effect of X on Y. If no such set exists, Pearl's do-calculus can be invoked to discover other ways of estimating the causal effect.[4][28] The completeness of do-calculus [29][28] can be viewed as offering a complete resolution of the Simpson's paradox.
One criticism is that the paradox is not really a paradox at all, but rather a failure to properly account for confounding variables or to consider causal relationships between variables.[30] Focus on the paradox may distract from these more important statistical issues.[31]
Another criticism of the apparent Simpson's paradox is that it may be a result of the specific way that data are stratified or grouped. The phenomenon may disappear or even reverse if the data is stratified differently or if different confounding variables are considered. Simpson's example actually highlighted a phenomenon called noncollapsibility,[32] which occurs when subgroups with high proportions do not make simple averages when combined. This suggests that the paradox may not be a universal phenomenon, but rather a specific instance of a more general statistical issue.
Despite these criticisms, the apparent Simpson's paradox remains a popular and intriguing topic in statistics and data analysis. It continues to be studied and debated by researchers and practitioners in a wide range of fields, and it serves as a valuable reminder of the importance of careful statistical analysis and the potential pitfalls of simplistic interpretations of data.
