シンプソンのパラドックス

シンプソンのパラドックスは、確率と統計における現象であり、複数のデータグループに傾向が見られるが、グループを組み合わせると傾向が消えるか反転する。この結果は社会科学や医学の統計でよく見られる現象であり、^{[1] [2] [3]}、頻度データに過度に因果関係の解釈が与えられる場合に特に問題となる。^{[4]このパラドックスは、統計モデル化において}交絡変数と因果関係が適切に扱われると解決できる^{[4] [5]}（例えば、クラスター分析^[6]） 。

シンプソンのパラドックスは、統計の誤用がどのような誤解を招く結果を生み出すかを説明するために使われてきました。^{[7] [8]}

エドワード・H・シンプソンは1951年に技術論文でこの現象を初めて説明しましたが^[9]、統計学者のカール・ピアソン（1899年^[10]）とアデニー・ユール（1903年^{[11] ）は以前に同様の効果について言及していました。}シンプソンのパラドックスという名前は、1972年にコリン・R・ブライスによって導入されました。 ^[12]これは、シンプソンの逆転、ユール・シンプソン効果、融合のパラドックス、または逆転のパラドックスとも呼ばれます。^[13]

数学者のジョーダン・エレンバーグは、シンプソンのパラドックスは「矛盾はなく、同じデータについて2つの異なる考え方があるだけ」という誤った名前であると主張し、その教訓は「どちらの視点を取るべきかを教えるのではなく、部分と全体の両方を同時に念頭に置くことを主張することだ」と示唆している。^[14]

シンプソンのパラドックスの最もよく知られた例の1つは、カリフォルニア大学バークレー校の大学院入学における性別による偏見に関する研究である。1973年秋の入学者数によると、男性の志願者の方が女性よりも入学する確率が高く、その差は非常に大きく、偶然によるものではないことが示された。^{[15] [16]}

しかし、応募先の学部に関する情報を考慮すると、不合格率の違いは学部への入学難易度の違いを明らかにし、同時に、女性は資格のある応募者の中でも入学率の低い競争率の高い学部（英語学部など）に応募する傾向があるのに対し、男性は入学率の高い競争率の低い学部（工学部など）に応募する傾向があることが示された。統合され修正されたデータは、「女性に有利な、わずかだが統計的に有意な偏り」を示した。^[16]

最も規模の大きい 6 つの部門のデータを以下に示します。

全体のデータでは、85の学部のうち4学部が女性に対して著しく偏見を持っており、6学部が男性に対して著しく偏見を持っていることがわかった（上記の「6つの最大の学部」の表にすべて含まれているわけではない）。注目すべきは、偏見を持つ学部の数が結論の根拠ではなく、むしろすべての学部の男女入学者数を集計し、各学部の応募者全体の不合格率を加味した点である。^[16]

もう一つの例は、腎臓結石に対する2つの治療法の成功率を比較した実際の医学研究^{[17]です[18]}。下の表は、小さな腎臓結石と大きな腎臓結石の両方に対する治療の成功率（ここでの成功率という用語は、実際には成功率を意味します）と治療数を示しています。治療Aには開腹手術が含まれ、治療Bには閉腹手術が含まれます。括弧内の数字は、グループ全体に対する成功症例の数を示しています。

逆説的な結論は、治療 A は小さな結石に使用する場合も大きな結石に使用する場合もより効果的であるが、両方のサイズを同時に考慮すると治療 B の方が効果的であるように見えるというものである。この例では、逆説の原因となっている「潜在的な」変数 (または交絡変数) は結石のサイズであり、その影響が考慮されるまで研究者はそれが重要であるとは知らなかった。^{[引用が必要]}

どちらの治療が優れているかは、どちらの成功率（成功数/合計）が大きいかによって決まります。 2 つの比率の不平等が逆転し、統合されたデータを考慮すると、シンプソンのパラドックスが発生しますが、これは 2 つの効果が同時に発生するためです。^{[引用が必要]}

1. 潜在的な変数を無視して組み合わせたグループのサイズは、大きく異なります。医師は、大きな結石の症例にはより優れた治療 A を施し、小さな結石の症例には劣った治療 B を施す傾向があります。そのため、合計はグループ 3 と 2 によって支配され、はるかに小さい 2 つのグループ 1 と 4 によって支配されることはありません。
2. 潜在的な変数である結石の大きさは、比率に大きな影響を与えます。つまり、成功率は、治療法の選択よりも、症例の重症度によって大きく左右されます。したがって、治療 A を使用した大きな結石の患者グループ (グループ 3) は、小さな結石のグループが劣った治療 B を使用した場合でも、小さな結石のグループ (グループ 2) よりも結果が悪くなります。

これらの効果に基づくと、逆説的な結果が生じるのは、結石の大きさの影響が、より優れた治療法（A）の利点を圧倒するためであると考えられます。つまり、効果の低い治療法Bは、治療が容易な小さな結石の症例に頻繁に適用されたため、より効果的であるように見えました。^[18]

ジェインズは、治療Aは治療Bよりも明らかに優れているものの、腎臓結石の大きさの方が重要であるというのが正しい結論であると主張している。^[19]

シンプソンのパラドックスのよくある例としては、プロ野球選手の打率が挙げられる。ある選手が数年間、他の選手よりも毎年高い打率を記録しても、そのすべての年を通して低い打率を記録することはあり得る。この現象は、年によって打席数に大きな差がある場合に発生する可能性がある。数学者ケン・ロスは、 1995年と1996年の2人の野球選手、デレク・ジーターとデビッド・ジャスティスの打率を使ってこれを実証した。 ^{[20] [21]}

1995年と1996年の両方で、ジャスティスの打率はジーターよりも高かった（太字）。しかし、2つの野球シーズンを合わせると、ジーターの打率はジャスティスよりも高い。ロスによると、この現象は、考えられる選手の組み合わせの中では、1年に1回程度観察されるという。^[20]

シンプソンのパラドックスは、2次元ベクトル空間 を使って説明することもできます。^[22]成功率（つまり、成功/試行）は、傾きのベクトルで表すことができます。ベクトルの傾きが急であればあるほど、成功率が高いことを表します。上記の例のように、2つの率とを組み合わせると、結果はベクトル と の和で表すことができます。これは、平行四辺形の規則に従って、傾き のベクトル になります。 ${\textstyle {\frac {p}{q}}}$ ${\displaystyle {\vec {A}}=(q,p)}$${\textstyle {\frac {p}{q}}}$${\textstyle {\frac {p_{1}}{q_{1}}}}$${\textstyle {\frac {p_{2}}{q_{2}}}}$${\displaystyle (q_{1},p_{1})}$${\displaystyle (q_{2},p_{2})}$${\displaystyle (q_{1}+q_{2},p_{1}+p_{2})}$${\textstyle {\frac {p_{1}+p_{2}}{q_{1}+q_{2}}}}$

シンプソンのパラドックスは、あるベクトル(図のオレンジ色の部分) の傾きが別のベクトル(青色の部分) の傾きよりも小さく、 の傾きが よりも小さい場合でも、例に示すように、 2 つのベクトルの和の傾きが2 つのベクトルの和の傾きよりも大きくなる可能性があるというものです。これが発生するには、オレンジ色のベクトルの 1 つが青色のベクトルの 1 つ (ここではと)よりも傾きが大きくなければなりません。また、これらのベクトルは一般に、交互に下付き文字が付けられたベクトルよりも長くなるため、全体的な比較で優位になります。 ${\displaystyle {\vec {L}}_{1}}$${\displaystyle {\vec {B}}_{1}}$${\displaystyle {\vec {L}}_{2}}$${\displaystyle {\vec {B}}_{2}}$${\displaystyle {\vec {L}}_{1}+{\vec {L}}_{2}}$${\displaystyle {\vec {B}}_{1}+{\vec {B}}_{2}}$${\displaystyle {\vec {L}}_{2}}$${\displaystyle {\vec {B}}_{1}}$

シンプソンの逆転は相関関係でも発生する可能性があり、相関関係では、2 つの変数が (たとえば) 互いに正の相関関係にあるように見えるが、実際には負の相関関係にあり、逆転は「潜む」交絡因子によって引き起こされる。バーマンら^{[23] は}経済学の例を挙げ、データセットは、予想に反して、全体的な需要が価格と正の相関関係にある (つまり、価格が高ければ需要が増加する) ことを示唆している。分析により、時間が交絡変数であることが明らかになった。時間に対して価格と需要の両方をプロットすると、さまざまな期間にわたって予想された負の相関関係が明らかになり、時間の影響を無視して需要を価格に対してプロットするだけで、相関関係が逆転して正になる。

^{シンプソンのパラドックスに対する心理学的な関心は、なぜ人々 [誰? ]が}符号反転を最初は不可能だとみなすのかを説明しようとしています。 ^{[説明が必要]}問題は、人々がこの強い直感をどこから得るのか、そしてそれが心の中でどのように符号化されるのかということです。

シンプソンのパラドックスは、この直感は古典的論理や確率計算のみからは導き出せないことを示し、そのため哲学者たちは、この直感は、人々が行動とその結果を推論する際に導く生来の因果論理によって支えられているのではないかと推測するに至った。^[4]サベージの確実な原理^[12]は、このような論理が何を伴うかの一例である。サベージの確実な原理の限定版は、パールのdo計算^{[4]から実際に導き出すことができ、次のように読める。「} Cの各部分集団C _iでイベントBの確率を高める行動Aは、その行動が部分集団の分布を変えない限り、集団全体でのBの確率も高めなければならない。」これは、行動と結果に関する知識が因果ベイジアンネットワークに似た形式で保存されていることを示唆している。

パブリデスとパールマンの論文では、ハジコスタスによる証明として、一様分布のランダムな2×2×2表では、シンプソンのパラドックスが正確に1 ⁄ 60の確率で発生することが示されています。^{[24]コックの研究では、2つの予測変数と1つの基準変数を持つパスモデル（}パス分析によって生成されたモデル）でシンプソンのパラドックスがランダムに発生する確率は約12.8％で、8つのパスモデルあたり1回の発生よりもわずかに高いことが示されています。^[25]

2 つ目のあまり知られていないパラドックスも、シンプソンの 1951 年の論文で議論されました。これは、腎臓結石の例のように、分離されたデータに「合理的な解釈」が必ずしも見つかるとは限らず、結合されたデータに存在する場合に発生します。データの分割形式と結合形式のどちらを使用するかは、データを生成するプロセスによって決まります。つまり、データの正しい解釈は、表を観察するだけでは必ずしも決定できないということです。^[26]

ジュディア・パールは、分割されたデータが任意の2つの変数と間の正しい因果関係を表すためには、分割変数が「バックドア基準」と呼ばれるグラフィカル条件を満たしている必要があることを示しました。^{[27] [28]}${\displaystyle X}$${\displaystyle Y}$

1. との間におけるすべての疑似経路をブロックする必要がある。${\displaystyle X}$${\displaystyle Y}$
2. いかなる変数も影響を受けない${\displaystyle X}$

この基準は、シンプソンの 2 番目のパラドックスに対するアルゴリズム的な解決策を提供し、正しい解釈がデータだけでは決定できない理由を説明します。データと互換性のある 2 つの異なるグラフによって、2 つの異なるバックドア基準が決定される可能性があります。

バックドア基準が共変量の集合Zによって満たされる場合、調整式 (交絡を参照) はXのYに対する正しい因果効果を示します。そのような集合が存在しない場合は、パールのdo計算を呼び出して因果効果を推定する他の方法を発見することができます。^{[4] [29]} do計算の完全性^{[30] [29]}は、シンプソンのパラドックスの完全な解決策を提供すると見なすことができます。

一つの批判は、このパラドックスは実際にはパラドックスではなく、交絡変数を適切に考慮していないか、変数間の因果関係を考慮していないことが原因であるというものである。^[31]

シンプソンのパラドックスに対する別の批判は、それがデータの階層化またはグループ化の特定の方法の結果である可能性があるというものです。データの階層化方法を変えたり、異なる交絡変数を考慮したりすると、この現象は消えたり、逆転したりすることがあります。シンプソンの例は、実際には非崩壊性と呼ばれる現象を浮き彫りにしました。 ^[32]これは、高い割合のサブグループを結合したときに単純な平均にならない場合に発生します。これは、このパラドックスが普遍的な現象ではなく、より一般的な統計上の問題の特定の例である可能性があることを示唆しています。

シンプソンのパラドックスを批判する人々は、このパラドックスに焦点を当てることで、データを解釈する際に交絡変数や因果関係を慎重に考慮する必要性など、より重要な統計的問題から注意をそらす可能性があると主張している。^[33]

こうした批判にもかかわらず、シンプソンのパラドックスは統計学やデータ分析において人気があり、興味深いトピックであり続けています。このパラドックスは、幅広い分野の研究者や実務家によって研究され、議論され続けており、慎重な統計分析の重要性と、データの単純な解釈が陥りやすい落とし穴について、貴重な教訓となっています。

• エイリアシング – 信号処理効果
• アンスコムのカルテット – 同じ記述統計量を持ちながら、分布が大きく異なる 4 つのデータ セット
• バークソンのパラドックス – 条件付き確率を含む統計実験を誤って解釈する傾向
• チェリーピッキング – 不完全な証拠の誤謬
• コンドルセのパラドックス – 多数決の自己矛盾
• 生態学的誤謬 – 集団の特性を個人に適用したときに生じる論理的誤謬
• ゲリマンダー – 政治操作の一形態
• 低出生体重のパラドックス – 赤ちゃんの出生体重の統計的な奇妙さ
• 修正可能な面積単位の問題 – 統計的バイアスの原因
• 検察官の誤謬 – 基準レートを無視することによる論理エラーリダイレクト先の簡単な説明を表示するページ
• ウィル・ロジャース現象 – 統計的現象とパラドックス
• 偽相関
• 省略変数バイアス

• Leila SchnepsおよびCoralie Colmez 著、「裁判にかけられた数学。法廷で数字がどのように使用され、悪用されるか」、Basic Books、2013 年。ISBN 978-0-465-03292-1 。 (第 6 章:「数学の誤り 6: シンプソンのパラドックス。バークレーの性差別訴訟: 差別検出」)。 

ウィキメディア・コモンズには、シンプソンのパラドックスに関連するメディアがあります。

• スタンフォード哲学百科事典の「シンプソンのパラドックス」、Jan Sprenger と Naftali Weinberger 著。
• 統計が誤解を招く可能性がある理由 – マーク・リデル – TED-Ed ビデオとレッスン。
• パール、ジューディア、「シンプソンのパラドックスを理解する」(PDF)
• シンプソンのパラドックス、アレクサンダー・ボゴモルニーによるシンプソンのパラドックスのベクトル解釈に関する短い記事
• 2009 年 12 月 2 日のウォール ストリート ジャーナルのコラム「The Numbers Guy」では、ニュースで取り上げられたシンプソンのパラドックスの最近の事例を取り上げました。特に注目すべきは、2009 年の不況と 1983 年の不況の失業率の比較におけるシンプソンのパラドックスです。
• 打席で統計的パズルを解く：シンプソンのパラドックスを理解する アーサー・スミ​​ス著、2010 年 8 月 20 日
• シンプソンのパラドックス、 MinutePhysicsのヘンリー・ライヒによるビデオ