再現性

再現性は、複製可能性や反復可能性と密接に関連しており、科学的方法を支える主要な原則です。研究結果が再現可能であるということは、実験や観察研究、またはデータセットの統計分析で得られた結果が、研究を複製したときに高い信頼性で再び達成されることを意味します。複製にはさまざまな種類がありますが^[1]、通常、複製研究では同じ方法論を使用するさまざまな研究者が関与します。1回または数回のそのような成功した複製の後でのみ、結果は科学的知識として認識されるべきです。

より狭い範囲では、計算科学における再現性は、計算を再度実行して同一の結果を得ることができるように、すべてのデータとコードを利用できるようにして結果を文書化する必要があるという品質を持つものとして定義されています。

近年、発表された科学的研究結果の多くが再現性のテストに合格せず、再現性危機または複製危機を引き起こしているという懸念が高まっています。

科学における再現性の重要性を最初に強調したのは、17世紀のイギリスのアイルランド系英国人の化学者ロバート・ボイルでした。ボイルの空気ポンプは、当時非常に議論の多い概念であった真空を生成して研究するために設計されました。実際、ルネ・デカルトやトーマス・ホッブズなどの著名な哲学者は、真空の存在の可能性自体を否定しました。科学史家のスティーブン・シェイピンとサイモン・シェーファーは、1985年の著書「リヴァイアサンと空気ポンプ」の中で、表面上は真空の性質をめぐるボイルとホッブズの間の論争を、根本的にはどのようにして有用な知識を得るべきかについての議論であったと述べています。実験的方法の先駆者であるボイルは、知識の基礎は実験的に生み出された事実によって構成されるべきであり、その事実は再現性によって科学界に信じられるようになると主張しました。同じ実験を何度も繰り返すことで、事実の確実性が明らかになるとボイルは主張しました。

17 世紀には複雑で高価な装置であった空気ポンプは、特定の科学的現象の再現性に関する最初の文書化された論争の 1 つにもなりました。1660 年代、オランダの科学者クリスティアーン・ホイヘンスはアムステルダムで独自の空気ポンプを製作しました。これは、ボイルと当時の助手ロバート・フックの直接管理以外で製作された最初の空気ポンプでした。ホイヘンスは、空気ポンプ内のガラス瓶の中で水が浮いているように見える (実際には気泡の上に浮いていた) という「異常浮遊」と名付けた現象を報告しましたが、ボイルとフックは独自のポンプでこの現象を再現できませんでした。シャピンとシャッファーが説明するように、「イギリスで 2 つのポンプのいずれかを使用してこの現象を再現できない限り、イギリスではホイヘンスの主張やポンプの操作能力を誰も受け入れないことが明らかになりました」。 1663年、ホイヘンスはついにイギリスに招かれ、彼の指導の下、フックは水の異常な懸濁を再現することができた。その後、ホイヘンスは王立協会の外国人会員に選出された。しかし、シャピンとシャッファーは「再現の達成は、偶発的な判断行為に依存していた。再現がいつ達成されたか、または達成されなかったかを公式に記述することはできない」とも指摘している。^[2]

科学哲学者 カール・ポパーは、 1934年の有名な著書『科学的発見の論理』で、「再現不可能な単一の出来事は科学にとって何の意味もない」と簡潔に述べている。^[3]統計学者 ロナルド・フィッシャーは、1935年の著書『実験計画法』で、現代の科学的実践である仮説検定と統計的有意性の基礎を築き、「統計的に有意な結果が得られないことがほとんどない実験の実施方法を知っている場合、現象は実験的に実証可能であると言うことができる」と書いている。^[4]このような主張は、再現性が科学的事実を確立するための必要条件（必ずしも十分ではない）であり、実際にはあらゆる知識分野における科学的権威を確立するための必要条件であるという、現代科学の一般的な教義を表現している。しかし、シェイピンとシャッファーが上で述べたように、この教義は、例えば統計的有意性のように定量的に十分に定式化されておらず、したがって、事実を何回複製すれば再現可能と見なされるかは明確に確立されていない。

複製可能性と反復可能性は、再現性と広義または緩く同義である関連用語です（たとえば、一般大衆の間では）。ただし、次のように、より正確な意味で区別すると便利です。

実験研究や観察研究の再現性に関しては、当然ながら 2 つの主要なステップが区別されます。再現性を達成するために新しいデータを取得する場合、複製可能性という用語が使用されることが多く、新しい研究は元の研究の複製または反復です。元の研究のデータ セットを同じ手順で再度分析して同じ結果が得られる場合、多くの著者は、計算研究での使用に由来する狭義の技術的な意味で 再現性という用語を使用します。再現性は、同じ研究者による同じ研究内での実験の繰り返しに関連しています。元の広い意味での再現性は、独立した研究者チームによって実行された複製が成功した場合にのみ認められます。

再現性と複製可能性という用語は、科学文献でも逆の意味で使われることがあります^{[5] [6]。}これは、異なる研究分野が同じ用語に独自の定義を定めたためです。

化学において、再現性と反復性という用語は、特定の定量的な意味で使用されます。^[7]研究室間実験では、化学物質の濃度またはその他の量を異なる研究室で繰り返し測定し、測定値の変動性を評価します。次に、同じ研究室内で得られた2つの値の差の標準偏差を繰り返し性と呼びます。異なる研究室からの2つの測定値の差の標準偏差を再現性と呼びます。^{[8]これらの尺度は、}計量学における分散成分 のより一般的な概念に関連しています。

再現可能な研究という用語は、科学的結果はその推論が完全に透明になるように文書化されるべきであるという考えを指します。そのためには、データを取得するために使用された方法の詳細な説明^{[9] [10]} と、完全なデータセットと結果を計算するコードに簡単にアクセスできるようにすることが必要です。^{[11] [12] [13] [14] [15] [16]これは}オープンサイエンス の重要な部分です。

研究プロジェクトをコンピューターで再現可能にするには、一般的に、すべてのデータとファイルを明確に分離し、ラベルを付け、文書化する必要があります。すべての操作は完全に文書化され、可能な限り自動化され、可能な場合は手動による介入は避ける必要があります。ワークフローは、1 つのステップからの中間出力が次のステップへの入力として直接供給されるように、組み合わせられた一連の小さなステップとして設計する必要があります。プロジェクトの履歴を簡単に確認でき、変更を透過的に文書化および追跡できるため、バージョン管理を使用する必要があります。

再現可能な研究の基本的なワークフローには、データ取得、データ処理、データ分析が含まれます。データ取得は主に、調査、フィールド観察、実験研究などの一次情報源から一次データを取得すること、または既存の情報源からデータを取得することから成ります。データ処理には、最初の段階で収集された生データの処理とレビューが含まれ、データ入力、データ操作、フィルタリングが含まれ、ソフトウェアを使用して行うことができます。データはデジタル化され、データ分析用に準備される必要があります。データは、統計やデータを解釈または視覚化するためのソフトウェアを使用して分析され、図や表を含む定量的結果など、研究の望ましい結果が生成されます。ソフトウェアと自動化の使用により、研究方法の再現性が向上します。^[17]

R Markdown言語^[18] やJupyterノートブック^{[19] [20] [21]}など、このようなドキュメンテーションを容易にするシステムがあります。Open Science Frameworkは、 再現可能な研究をサポートするためのプラットフォームと便利なツールを提供します。

心理学では、再現不可能な結果に関する内部的な懸念が再燃している（再現の成功率に関する実証結果については、再現可能性の危機の項目を参照）。研究者らは2006年の研究で、アメリカ心理学会（APA）の実証論文の出版物の著者141人のうち、103人（73%）が6か月間にわたってデータを提供しなかったことを明らかにした。^[22] 2015年に発表された追跡研究では、APAジャーナルの論文の著者394人に連絡を取ったところ、246人（62%）が要求に応じてデータを共有しなかったことが判明した。^[23] 2012年の論文では、研究者は研究とともにデータを公開すべきであると提案され、そのデモンストレーションとしてデータセットが同時に公開された。^{[24] 2017年に}Scientific Dataに掲載された記事では、それだけでは十分ではない可能性があり、分析のコンテキスト全体を公開する必要があると示唆した。^[25]

経済学では、出版された研究の信憑性と信頼性に関する懸念が提起されている。他の科学では、再現性は基本的なものと考えられており、研究が出版されるための前提条件となることが多いが、経済学では、それは最優先事項とは見なされていない。査読付きの経済学ジャーナルのほとんどは、出版された結果が再現可能であることを保証するための実質的な措置を講じていないが、トップクラスの経済学ジャーナルは、データとコードのアーカイブを義務付ける方向に動いている。^[26]研究者がデータを共有するインセンティブはほとんどないかまったくなく、著者はデータを再利用可能な形式にコンパイルするコストを負担しなければならない。経済研究は、データセットとプログラムコードに関する適切な開示ポリシーを持っているジャーナルがごく一部であり、たとえ持っていたとしても、著者がそれに従わないか、出版社によって強制されていないため、再現できないことが多い。 37の査読付きジャーナルに掲載された599の論文を調査したところ、いくつかのジャーナルは高い遵守率を達成している一方で、かなりの割合のジャーナルは部分的にしか遵守していないか、まったく遵守していないことが明らかになりました。論文レベルでは平均遵守率は47.5％で、ジャーナルレベルでは平均遵守率は38％で、13％から99％の範囲でした。^[27]

2018年にPLOS ONE誌に掲載された研究によると、公衆衛生統計研究者のサンプルの14.4%がデータやコード、あるいはその両方を共有していたことが判明した。^[28]

医学文献の報告を改善し、再現性を向上させる取り組みは長年にわたって行われてきました。その始まりはCONSORTイニシアチブで、現在はより広範な取り組みであるEQUATORネットワークの一部となっています。このグループは最近、より良い報告が研究、特に生物医学研究における無駄をどのように減らすことができるかに注目しています^[29]。

再現可能な研究は薬理学における新たな発見の鍵となる。フェーズIの発見の後には、薬が商業生産に向けて開発されるにつれてフェーズIIの再現が続く。ここ数十年でフェーズIIの成功率は28%から18%に低下した。2011年の調査では、医学研究の65%が再テスト時に矛盾しており、完全に再現可能だったのはわずか6%だった。^[30]

野口英世は梅毒の細菌性因子を正しく特定したことで有名になったが、その因子を自分の研究室で培養できるとも主張した。この後者の結果を出すことができたのは野口英世以外には誰もいない。^[31]

1989年3月、ユタ大学の化学者スタンレー・ポンズとマーティン・フライシュマンは、核融合プロセス（「常温核融合」）によってのみ説明できる過剰な熱の発生を報告した。この報告は、装置の単純さを考えると驚くべきものだった。それは本質的には重水と、電気分解中に生成された重水素を急速に吸収するパラジウム陰極を含む電気分解セルだった。この実験はニュースメディアで広く報道され、世界中の多くの新聞で一面記事となった（記者会見による科学を参照）。その後数か月間、他の人たちがこの実験を再現しようとしたが、成功しなかった。^[32]

ニコラ・テスラは1899年に、高周波電流を使って、電線を使わずに25マイル（40km）以上離れたところからガスランプを点灯させたと主張した。1904年に彼はロングアイランドにウォーデンクリフタワーを建設し、電線を使わずに電力を送受信する手段を実証した。この施設は完全に稼働することはなく、経済的な問題で完成しなかったため、彼の最初の成果を再現する試みは行われなかった。^[33]

反証によって当初の主張が反証された他の例:

• N線は、後に幻覚であると判明した放射線の一種であると考えられていた。
• ポリウォーターは、水の重合形態と考えられていたが、一般的な汚染物質を含む単なる水であることが判明した。
• 刺激によって引き起こされる多能性の獲得は詐欺の結果であることが判明
• GFAJ-1は、リンの代わりにヒ素をDNAに組み込むことができるとされる細菌である。
• MMRワクチン論争— MMRワクチンが自閉症を引き起こすと主張するランセット誌の研究は詐欺であることが明らかになった
• シェーン事件― 半導体の「ブレークスルー」が詐欺だったことが判明
• パワーポーズは、TEDトークで話題になった後に広まった社会心理学的現象だが、数十の研究で再現することはできなかった^[34]

• ティマー、ジョン (2006 年 10 月)。「科学者の科学: 再現性」。Ars Technica。
• Saey、Tina Hesman (2015 年 1 月)。「科学研究をやり直すことが真実を見つける最善の方法か? 再現の試みにおいて、合格点に達しない研究が多すぎる」。サイエンス ニュース。 「科学は取り返しのつかないほど壊れているわけではない、と疫学者のジョン・イオアニディスは主張する。ただ、いくらか改善する必要があるだけだ。『私はかなり憂鬱なタイトルの論文を発表したことがあるが、実は楽観主義者だ』とイオアニディスは言う。『社会にとって科学ほど良い投資はないと思う』」

無料辞書『ウィクショナリー』で「再現性」を調べてください。

• オープンサイエンスセンターによる透明性と公開性の促進ガイドライン
• 米国国立標準技術研究所のNIST測定結果の不確かさの評価と表現に関するガイドライン
• CTuning財団によるアーティファクトを含む再現可能な論文
• 再現可能なリサーチ.net