メタ分析

一般的に、メタ分析を行う際には、個々の参加者データ（IPD）と集計データ（AD）という2種類の証拠を区別することができます。^{[ 49 ]}集計データは直接的または間接的である可能性があります。

AD はより一般的に入手可能であり (文献などから)、通常はオッズ比^{[ 50 ]}や相対リスク^{[ 51 ]}などの要約推定値を表します。これは、いくつかのアプローチを使用して概念的に類似した研究間で直接統合できます。一方、間接集計データは、メタ分析でそれぞれ同様の対照群と比較された 2 つの治療法の効果を測定します。たとえば、治療法 A と治療法 B が別々のメタ分析でプラセボと直接比較された場合、これらの 2 つの統合結果を使用して、間接比較で A 対 B の効果の推定値を、プラセボに対する A の効果からプラセボに対する B の効果を引いたものとして取得できます。

IPDエビデンスは、研究センターによって収集された生データを表します。この区別により、エビデンス統合が必要な場合に異なるメタ分析方法が必要となり、1段階法と2段階法の開発につながりました。^{[ 52 ]} 1段階法では、すべての研究からのIPDが、研究内の参加者のクラスタリングを考慮しながら同時にモデル化されます。2段階法では、まず各研究からADの要約統計を計算し、次に研究統計の加重平均として全体統計を計算します。IPDをADに縮小することで、IPDが利用可能な場合にも2段階法を適用できます。これにより、メタ分析を実行する際に魅力的な選択肢となります。従来、1段階法と2段階法は同様の結果をもたらすと考えられていましたが、最近の研究では、場合によっては異なる結論につながる可能性があることが示されています。^{[ 53 ] [ 54 ]}

メタ分析の推定値は、研究間の加重平均を表しており、異質性がある場合、要約推定値が個々の研究を代表しない可能性があります。確立されたツールを使用した一次研究の定性的評価により潜在的なバイアスを明らかにすることができますが、^{[ 100 ] [ 101 ]}これらのバイアスが要約推定値に及ぼす総合的な影響を定量化することはできません。メタ分析の結果を独立した前向き一次研究と比較することはできますが、このような外部検証は多くの場合非現実的です。このため、リーブワンアウト交差検証の一種を利用する方法が開発され、内部外部交差検証（IOCV）と呼ばれることもあります。^{[ 102 ]}ここでは、含まれる k 個の研究が順番に除外され、残りの k-1 個の研究を集計して得られた要約推定値と比較されます。IOCV に基づく一般的な検証統計量 Vn が、メタ分析結果の統計的妥当性を測定するために開発されました。^{[ 103 ]}特に多変量効果がある場合のテスト精度と予測については、予測誤差を推定しようとする他のアプローチも提案されている。^{[ 104 ]}

もう 1 つの潜在的な落とし穴は、出版バイアスにより結果が誇張される可能性があることです^{[ 111 ]。}否定的な結果や有意でない結果を示す研究は出版される可能性が低いためです^{[ 112 ]} 。たとえば、製薬会社は否定的な研究を隠蔽することが知られています^{[ 113 ]。}研究者は、出版されなかった学位論文や学会抄録などの未発表の研究を見落としている可能性があります^{[ 114 ]} 。報告されていない研究がいくつあるかを知ることはできないため、これは簡単に解決できません^{[ 115 ] [ 116 ]。}

否定的または有意でない結果がキャビネットにしまい込まれるというこのファイル引き出しの問題は、効果量の分布に偏りを生じさせ、深刻なベースレートの誤謬を引き起こす可能性があります。これは、他の研究が出版のために提出されなかったか、却下されたため、発表された研究の有意性が過大評価されることを意味します。メタ分析の結果を解釈する際には、これを真剣に考慮する必要があります。^{[ 115 ] [ 117 ]}

効果量の分布は、ファンネルプロットで視覚化できます。ファンネルプロットは、（最も一般的なバージョンでは）標準誤差と効果量の散布図です。^{[ 118 ]}これは、小規模な研究（したがって標準誤差が大きい）では効果の大きさのばらつきが大きく（精度が低い）、大規模な研究ではばらつきが小さく、ファンネルの先端を形成するという事実を利用しています。多くの否定的な研究が発表されなかった場合、残りの肯定的な研究は、底辺が片側に歪んだファンネルプロット（ファンネルプロットの非対称性）を生み出します。対照的に、出版バイアスがない場合、小規模な研究の効果が片側に歪む理由はないため、対称的なファンネルプロットが得られます。これはまた、出版バイアスが存在しない場合、標準誤差と効果量の間に関係がないことを意味します。^{[ 119 ]}標準誤差と効果量の間に負または正の関係がある場合、一方向のみの効果を発見した小規模な研究が発表され、または発表のために投稿される可能性が高いことを意味します。

視覚的なファンネルプロットとは別に、出版バイアスを検出するための統計的手法も提案されている。^{[ 116 ]}これらの手法は、バイアスの検出力が低いだけでなく、状況によっては偽陽性を生じる可能性もあるため、議論の的となっている。^{[ 120 ]}例えば、小規模研究効果（バイアスのかかった小規模研究）では、小規模研究と大規模研究の間に方法論的な違いが存在し、出版バイアスに似た効果量の非対称性を引き起こす可能性がある。しかし、小規模研究効果はメタ分析の解釈において同様に問題となる可能性があり、メタ分析の著者はバイアスの潜在的な原因を調査する必要がある。^{[ 121 ]}

出版バイアスの問題は些細なことではなく、心理学分野のメタ分析の25%が出版バイアスの影響を受けている可能性があると示唆されている。^{[ 122 ]}しかし、既存のテストの検出力の低さやファンネルプロットの視覚的な外観の問題は依然として課題であり、出版バイアスの推定値は実際のものよりも低いままである可​​能性がある。

出版バイアスに関する議論のほとんどは、統計的に有意な結果の出版を優先するジャーナルの慣行に焦点を当てています。しかし、統計モデルを有意性が得られるまで再調整するなどの疑わしい研究慣行も、研究者の仮説を支持する統計的に有意な結果を優先する可能性があります。^{[ 123 ] [ 124 ]}

研究では、統計的に有意な差が認められない場合、その効果を報告しないことがよくあります。^{[ 125 ]}例えば、統計値やp値などの他の情報を報告せずに、グループ間に統計的に有意な差が見られなかったとだけ述べる場合があります。^{[ 126 ]}これらの研究を除外すると出版バイアスと同様の状況になりますが、それらを含めると（効果がないと仮定した場合）、メタ分析にもバイアスがかかります。

その他の弱点としては、結果を統合するための統計的に最も正確な方法が固定効果モデル、IVhet効果モデル、ランダム効果モデル、または品質効果モデルのどれであるかが決定されていないことが挙げられる。ただし、メタ分析で使用される新しいランダム効果は、本質的に平滑化または縮小を容易にするための形式的な装置であり、予測は不可能または不適切である可能性があるという認識から、ランダム効果モデルに対する批判が高まっている。^{[ 127 ]}ランダム効果アプローチの主な問題は、研究間の異質性が大きい場合は重みが自然重み付き推定値に近く、研究間の異質性が小さい場合は逆分散重み付き推定値に近くなる「妥協推定値」を生成するという古典的な統計的考え方を使用していることである。しかし、特定のデータセットを分析するために選択するモデルと、データが発生したメカニズムとの区別が無視されている。^{[ 128 ]}ランダム効果はこれらの役割のどちらにも存在し得るが、2つの役割は全く異なる。分析モデルとデータ生成メカニズム（モデル）が形式的に類似していると考える理由はないが、統計学の多くの分野では、理論やシミュレーションにおいて、データ生成メカニズム（モデル）が、我々が選択した（または他者に選択してもらいたい）分析モデルと同一であると仮定する習慣が発達している。メタ分析におけるランダム効果モデルは、データ生成の仮説的メカニズムとしてはばかげており、このモデルは表面的な記述であり、分析ツールとして選択したものと考える方が適切である。しかし、メタ分析におけるこの選択は、研究効果がそれぞれのメタ分析の固定された特徴であり、確率分布は単なる記述ツールであるため、うまくいかない可能性がある。^{[ 128 ]}

メタ分析における最も深刻な欠陥は、メタ分析を行う人物が法案の可決や否決といった経済的、社会的、政治的な意図を持っている場合によく発生する。^{[ 129 ]}こうした意図を持つ人物は、個人的な偏見のためにメタ分析を悪用する可能性が高い。例えば、著者の意図に有利な研究者は研究を選別される可能性が高く、不利な研究者は無視されるか「信頼できない」とレッテルを貼られる。さらに、有利な著者自身も、有利な小規模データセットを選択し、不利な大規模データセットを取り込まないなど、自身の政治的、社会的、経済的目標を支持する結果を生み出すために、偏見を持っていたり、報酬を受け取っていたりする可能性がある。メタ分析の方法論は非常に柔軟性があるため、こうした偏見がメタ分析の結果に影響を与える可能性がある。^{[ 130 ]}

2011年に実施された、医学メタアナリシスに使用された基礎研究における潜在的な利益相反を明らかにするための研究では、29件のメタアナリシスをレビューし、メタアナリシスの基礎となる研究における利益相反がほとんど開示されていないことが判明した。29件のメタアナリシスには、一般医学誌からの11件、専門医学誌からの15件、およびコクラン・システマティック・レビュー・データベースからの3件が含まれていた。29件のメタアナリシスは、合計509件のランダム化比較試験（RCT）をレビューした。これらのうち、318件のRCTが資金源を報告しており、219件（69%）が業界からの資金提供を受けていた（つまり、1人以上の著者が製薬業界と金銭的なつながりを持っていた）。509件のRCTのうち、132件が著者の利益相反の開示を報告しており、91件の研究（69%）が1人以上の著者が業界と金銭的なつながりを持っていることを開示していた。しかし、この情報はメタアナリシスにはほとんど反映されていなかった。 RCTの資金源を報告したのはわずか2件（7％）で、RCTの著者と業界との関係を報告した研究は皆無だった。著者らは「メタアナリシスに含まれるRCTからの業界資金提供や著者と業界の金銭的関係による利益相反を認めなければ、メタアナリシスからのエビデンスに対する読者の理解と評価が損なわれる可能性がある」と結論付けた。^{[ 131 ]}

例えば、1998年に米国の連邦判事は、米国環境保護庁がメタ分析プロセスを悪用し、環境タバコ煙（ETS）による非喫煙者の癌リスクを主張する研究を作成し、政策立案者に職場禁煙法を制定するよう影響を与えようとしたと判断した。^{[ 132 ] [ 133 ] [ 134 ]}

メタ分析は、特に生物科学においては、十分な検出力を持つ一次研究の代わりにはならないことが多い。^{[ 135 ]}

使用される方法の異質性は、誤った結論につながる可能性があります。^{[ 136 ]}例えば、介入の形態やコホートの違いが、軽微であると考えられたり、科学者に知られていなかったりすると、メタ分析の結果を歪めたり、データで適切に考慮されなかったりするなど、結果が大きく異なる可能性があります。逆に、メタ分析の結果は、特定の仮説や介入が実行不可能に見え、さらなる研究や承認を阻害する可能性もあります。これは、断続的な投与、個別化された基準、組み合わせ措置など、結果が大きく異なる特定の修正が、メタ分析で考慮された小規模研究で成功裏に特定され適用された場合にも当てはまります。標準化、実験の再現、オープンデータ、オープンプロトコルは、関連する要因や基準が不明であったり記録されていなかったりする可能性があるため、このような問題を軽減しないことがよくあります。

動物や人間をできるだけ少なくして試験を行うことと、確実で信頼できる結果を得る必要性との間の適切なバランスについて議論がある。信頼性の低い研究は非効率的で無駄であり、研究は遅すぎる場合だけでなく早すぎる場合も無駄であると主張されている。大規模な臨床試験では、参加者の試験に伴う費用や潜在的な害が大きい場合、計画された逐次分析が使用されることがある。^{[ 137 ]}応用行動科学では、さまざまなチームが学際的な方法で設計した多くの異なる介入の有効性を調査するために、「メガスタディ」が提案されている。^{[ 138 ]}そのような研究の1つは、フィットネスチェーンを使用して多数の参加者を募集した。行動介入は、メタ分析やレビューで比較するのが難しい場合が多いと示唆されている。これは、「異なる科学者が異なるサンプルで異なる結果を使用して異なる時間間隔で異なる介入アイデアをテストする」ため、そのような個々の調査の比較可能性が欠如し、「政策に役立つ可能性」が制限されるためである。^{[ 138 ]}

教育分野のメタ分析では、含まれる研究の方法論的質に関して十分な制約がないことが多い。例えば、サンプル数が少ない研究や研究者が作成した尺度を含む研究は、効果量の推定値を過大評価することにつながる。^{[ 139 ]}しかし、この問題は臨床試験のメタ分析にも当てはまる。異なる質評価ツール（QAT）を使用すると、異なる研究が含まれ、平均治療効果の推定値が矛盾することになる。^{[ 140 ] [ 141 ]}