査読を恐れているのは誰だ？

ボハノンはPythonを使って「科学版マッドリブス」を作成した。^{[ 2 ] [ 8 ]}論文のテンプレートは「地衣類Y種由来の分子Xは癌細胞Zの増殖を阻害する」である。彼はX、Y、Zの代わりに分子、地衣類、癌細胞のデータベースを作成した。データと結論はどの論文でも同一だった。著者とその所属もそれぞれ異なり、偽物だった。論文はすべて地衣類から抽出された新しい抗がん剤の発見について記述していたが、データはその結論を裏付けておらず、論文には意図的に明らかな欠陥があった。^{[ 9 ] [ 10 ]}

料金を徴収するオープンアクセス出版社の包括的なリストを作成するために、ボハノンは、ベールの略奪的出版社リストとオープンアクセスジャーナルディレクトリ（DOAJ）の2つの情報源に依拠した。英語で発行され、著者に発行料を請求し、少なくとも1つの医学、生物学、または化学ジャーナルを持つオープンアクセスジャーナルに両方のリストから絞り込んだ後、ターゲットのリストには304の出版社が含まれていた。DOAJから167、ベールのリストから121、両方に掲載されている16である。調査は完全に料金を徴収するオープンアクセスジャーナルに焦点を当てた。ボハノンは、従来のジャーナルの査読の所要時間が長すぎるため、比較のために他のタイプのオープンアクセスジャーナルや購読ジャーナルを含めなかった。したがって、この研究は、さまざまな種類のジャーナルの相対的な品質について主張するものではない。^{[ 11 ]}

ボハノンが公表して実験を終了した時点で、304誌のうち157誌が論文を受理し、98誌が却下し、20誌が査読中で、29誌は返答していなかった。査読なしの却下は編集上の決定であるため、ボハノンは「明らかに何らかの査読を行った」106誌に焦点を当てた。これらのうち、論文の科学的問題点を認識した査読コメントが生成された投稿はわずか36件で、その36件のうち16件は査読が不十分だったにもかかわらず受理された。つまり、正当に査読を行った86誌が偽の論文を掲載したことになる。^{[ 2 ]}

この論文を受け入れた多くの学術誌は、エルゼビア、SAGE、ウォルターズ・クルーワー（子会社のメドノウ（Journal of Natural Pharmaceuticals）を通じて）、およびいくつかの大学など、権威ある機関や出版社によって発行されています。^{[ 2 ]}  

論文を却下したジャーナルの中には、PLOS (PLOS ONE)、MDPI (Cancer)、Hindawi (Chemotherapy Research and Practice、ISRN Oncology)が発行しているものもある。PLOS ONEによる査読は最も厳格だったと報告されており、がん細胞株の作成における動物の扱いに関する文書化の欠如など、論文の倫理的問題を指摘した唯一のジャーナルだった。 ^{[ 2 ]}

ビールのリストに掲載された出版社のうち、査読プロセスを完了した出版社の82%が論文を受け入れた。ボハノンは「この結果は、ビールが品質管理の悪い出版社を見抜くのが得意であることを示している」と述べた。リストを作成したジェフリー・ビールによれば、これは彼が「略奪的」出版社を特定しているという主張を裏付けるものである。 ^{[ 12 ]}しかし、ビールが略奪的と特定した出版社の残りの18%は偽の論文を拒否したため、科学コミュニケーターのフィル・デイビスは「つまり、ビールは5社に1社近くを誤って告発していることになる」と述べた。^{[ 13 ]}

DOAJの査読プロセスを完了した出版社のうち、45%が論文を受理した。^{[ 13 ]} DOAJのウェブサイトに掲載された声明によると、DOAJへの掲載基準が新たに導入されている。^{[ 14 ]}

報告書とともに、Science は、論文の受理または却下に応じて色分けされた出版社、編集者、およびそれらの銀行口座の場所を示す地図を公開しました。これらの場所は、電子メールの生ヘッダー内の IP アドレスのトレース、WHOIS登録、および出版料の銀行請求書から取得されました。インドは、有料オープンアクセス出版の世界最大の拠点として浮上し、致命的な欠陥のある論文を受理した出版社は 64 社、却下した出版社はわずか 15 社でした。^{[ 2 ]}次に大きい拠点は米国で、論文を受理した出版社は 29 社、却下した出版社は 26 社でした。アフリカでは、ナイジェリアが最も多く、100% が論文を受理しました。^{[ 15 ]}

この話が公表されて以来、3つのジャーナルの発行元が廃刊すると表明している。^{[ 16 ]} DOAJはリストを見直し、掲載基準をより厳しくしている。^{[ 17 ]}オープンアクセス学術出版社協会（OASPA）は、3つの会員が偽論文を受け入れた経緯を調査する委員会を設置した。^{[ 18 ]} 2013年11月11日、OASPAは偽論文を受け入れた2つの出版社（ Dove Medical PressとHikari Ltd.）の会員資格を剥奪した。同じく偽論文を受け入れたSAGE Publicationsは、6か月間「審査中」となった。^{[ 19 ]} Sageは声明で、偽論文を受け入れたジャーナルを審査しているが、廃刊にはしないと発表している。^{[ 20 ]}ジャーナルの編集プロセスの変更後、審査期間終了後にSageの会員資格が回復した。^{[ 21 ]}

Science誌に掲載された調査は、数時間以内にオープンアクセス運動の支持者の一部から激しい批判を受けた。^{[ 22 ] [ 23 ]}

最初の本格的な批判は、PLOSの共同創設者であるマイケル・アイゼンが自身のブログに投稿した。「サイエンス誌（ボハノンは除く）がしようとしているように、科学出版の問題はオープンアクセスがインターネット詐欺を可能にしていることだと言うのは、国際金融システムの問題はナイジェリアの電信送金詐欺を可能にしていることだと言うようなものだ。科学出版には深刻な問題がある。しかし、これを解決する方法はオープンアクセス出版を制限することではなく、査読を改善することだ。」^{[ 24 ]}アイゼンは、購読制のサイエンス誌が、2010年のヒ素DNA論文の出版のように、以前に査読がひどく失敗したことがあるにもかかわらず、この報告書を出版したことの皮肉を指摘した。

ハーバード・オープンアクセス・プロジェクトのディレクターであるピーター・スーバーが主催した討論会で、アイゼンとボハノンがやり取りした際、アイゼンは調査がオープンアクセス運動に悪評をもたらしたとして批判した。 ^{[ 25 ]}「あなたの研究はオープンアクセス誌のみを対象としており、意図的であったかどうかは別として、オープンアクセス誌は粗悪な査読を行う可能性が高く、したがって精査に値するということを強く示唆している。」ボハノンはこの批判は「メッセンジャーを撃つ」ようなものだと反論した。^{[ 25 ]}

また、この調査を支持する声明も多数出ており^{[ 26 ] [ 13 ]}、調査によって明らかになった出版詐欺に対する懸念の声明も多数出ている^{[ 27 ] [ 28 ] [ 29 ]} 。出版倫理委員会は 、 「この『おとり捜査』が多くの問題を提起していることは疑いないが、それらは必ずしもサイエンスが最優先事項と考えている問題ではないと私は主張したい」と回答している^{[ 30 ] 。}