研究の透明性

研究の透明性の定義については、広く合意が得られていない。

学問分野や認識文化の違いが、さまざまな受容に大きく寄与してきた。過去の研究の再現は、異議の主な原因となっている。実験環境では、再現は同じセットアップと装置に依存するが、複製は同じ方法論の使用のみを必要とする。逆に、計算分野では、再現性と再現性という用語の定義が逆転している。^{[ 1 ]}代替的な分類法では、再現性/複製性/反復性の曖昧さを完全に受け入れることが提案されている。グッドマン、ファネリ、イオアニディスは、代わりに方法の再現性（同じ実験/計算セットアップ）と結果の再現性（異なるセットアップだが全体的な原理は同じ）を区別することを推奨している。^{[ 2 ]}

主要な機関関係者の間では、重要な概念の意味や使用法について意見の相違が続いている。2019年、米国科学アカデミーは、複製と再現の実験的定義を維持したが、これは「他の主要組織による、より柔軟な使用法とは相容れない」ものである。^{[ 3 ]}計算機学会は2016年に、計算論的定義を採用し、さらに、異なる研究チームがまったく同じ測定システムと手順を使用するという、再現性という中間的な概念を追加した。^{[ 4 ]}

研究の透明性に関する議論は、さまざまな分野や学術界の間で新たな連携を生み出しました。ルーファス・バーカー・バウセルは著書『科学の問題』（2021年）の中で、社会科学を含むすべての分野が現在、医学や物理科学と同様の問題に直面していると主張しています。「再現性の危機として知られるようになったこの問題は、1つか2つの個別の分野ではなく、科学のほぼすべてに影響を与えています。」^{[ 5 ]}

研究の透明性に関する用語に一貫性がないため、科学者、政策立案者、その他の主要な利害関係者は、研究の透明性という共通の理想を損なったり阻害したりする行為や形態とは何か、という否定的な定義にますます頼るようになっている。

科学的不正行為の分類は、1980年代以降徐々に拡大してきた。疑わしい研究慣行（QRP）の概念は、研究データ管理プロセスの不備など、意図的ではない可能性のある研究の失敗に対処する方法として、1992年の科学・工学・公共政策委員会の報告書で初めて提唱された。^{[ 6 ]}疑わしい研究慣行は、研究の透明性の欠如と頻繁に関連する、問題のある慣行の大きなグレーゾーンを明らかにする。2016年の研究では、プロジェクトのすべての段階（最初の仮説、研究の設計、データの収集、分析、報告）で発生する可能性のある、34もの疑わしい研究慣行または「自由度」が特定された。^{[ 7 ]}

学問分野の実践に関する調査では、疑わしい研究手法の許容度と普及度に大きな違いがあることが示されています。データの捏造や、程度は低いもののp値などの統計指標の丸めは概ね拒否されていますが、否定的な結果の非公表や補足データの付加は大きな問題として認識されていません。^{[ 8 ] [ 9 ]}

2009年に18の調査のメタ分析で、科学者の2%未満が「少なくとも1回はデータや結果を捏造、改ざん、または変更したことを認めた」と推定されました。自己申告のため、実際の有病率は過小評価されている可能性があります。「同僚の行動」に関しては、認めた割合は14.12%でした。^{[ 10 ]}疑わしい研究慣行は、回答者の3分の1以上が1回は行ったことがあると認めているため、より広範に及んでいます。^{[ 10 ]} 2021年にオランダで行われた6,813人の回答者を対象とした大規模な調査では、回答者の4%がデータ捏造に関与し、半数以上が疑わしい研究慣行に関与しているという、かなり高い推定値が得られました。^{[ 11 ]}高い割合は、倫理規範の劣化、または「近年の研究の誠実性に対する意識の高まり」に起因する可能性があります。^{[ 12 ]}

透明性は、オープンサイエンスの重要な要素としてますます認識されるようになってきている。2010年代までは、オープンサイエンスの定義は主に技術的なアクセスと、学者と非学者間の参加と協力の強化に焦点を当てていた。2016年、リズ・ライオンは、「透明性の概念とそれに関連する用語『再現性』は、現在の学際的な研究環境においてますます重要になっている」という事実から、透明性をオープンサイエンスの「第三の次元」として特定した。^{[ 13 ]}ケビン・エリオットによれば、オープンサイエンス運動は「やや異なる形態の透明性を目的とした、さまざまなイニシアチブを包含している」。^{[ 14 ]}

2014年に初めて草案が作成されたTOPガイドラインは、オープンサイエンス運動の議題に透明性をもたらす上で大きく貢献してきた。^{[ 15 ]}これらのガイドラインは、「オープンな研究文化」を促進し、「より透明性を高めるための強力なインセンティブ」を導入することを目的としている。^{[ 16 ]}これらのガイドラインは、遵守レベルが異なる8つの基準に基づいている。基準はモジュール式であるが、「1つの基準へのコミットメントが他の基準の採用を促進する可能性がある」という点で互いに補完し合うため、科学の一貫した倫理観を明確にすることも目的としている。^{[ 15 ]}

この透明性に関するオープンサイエンスの枠組みは、研究の透明性というテーマにおいて、主要な貢献者や機関によって取り入れられてきました。2015年以降、科学史家による貢献は、過去の実験や研究デザインが著しく改善されたわけではなく、偽または部分的に偽の割合が過去数十年間ほぼ一定であったため、研究の質が著しく低下したことはないと強調しています。^{[ 17 ] [ 18 ]}その結果、研究の透明性の支持者は、オープンサイエンスの言説をより明確に受け入れるようになりました。科学的透明性の文化は、再確立すべき基本原則ではなく、達成すべき新しい理想となっています。

透明性の概念は、オープンサイエンスと、オープンデータやオープンガバメントなどのさまざまな分野における他のオープンムーブメントとの間の収束を生み出すことに貢献してきた。2015年、OECDは透明性を「オープンサイエンスとオープンデータの共通の根拠」と表現した。^{[ 19 ]}

透明性は、何世紀にもわたって実験研究の基本的な基準であった。^{[ 20 ]}再現実験の成功は、17世紀に自然科学（当時は自然哲学と呼ばれていた）の制度的言説の不可欠な部分となった。 ^{[ 21 ]}フィレンツェの初期の科学協会であるアカデミア・デル・チメントは、1657年に「実験的試行の繰り返し（公開）実施」を呼びかけるものとして、provando e riprovandoというモットーを採用した。^{[ 22 ]}アカデミアの主要メンバーである博物学者フランチェスコ・レディは、繰り返し試行することでランダム効果、実験設計の妥当性、または因果関係を検証できる手続き的実験の形式と利点について詳しく説明した。^{[ 23 ]}科学実験の再現と公開文書化は、社会における科学的知識の普及の重要な要素となった。実験が満足のいく成功率に達すると、実験は裁判所、市場、学問サロンなどのさまざまな社会的空間で実施できるようになった。^{[ 24 ]}

透明性は科学の重要な要素として早くから認識されてきたものの、一貫して定義されてはいませんでした。今日、研究の透明性に関連する概念のほとんどは、明確で広く普及した定義のない専門用語として出現しました。再現性の概念は、1902年に初めて出版された「照明法」に関する記事に登場しました。検討された方法の1つは、「再現性と一貫性」に関して限定的であると見なされました^{[ 25 ]。} 2019年、米国科学アカデミーは、複製、反復、再現の区別が分野間で依然として不明確で統一されていないことを強調しました。「あるグループが1つの言葉で意味するものを、別のグループは別の言葉で意味します。これらの用語、および再現性などの他の用語は、ある実験または研究が別の実験または研究の結果を確認するという一般的な概念に関連して長い間使用されてきました。」^{[ 26 ]}

こうした形式化の欠如に加え、研究の透明性に関する制度的・学問的言説と研究の実態との間には大きな乖離があり、それは21世紀まで続いてきた。装置の高コストとインセンティブの欠如のため、現代の研究者はほとんどの経験を再現できなかった。ロバート・ドイルのような熱心な実験主義の提唱者でさえ、一度しか実施されていない研究デザインを詳細に記述することで、仮想的な実験主義の一形態に退化せざるを得なかった^{[ 27 ]。}フリードリヒ・シュタインレにとって、透明性という想定される美徳と科学の物質的条件との間のギャップは未だ解決されていない。「実際に再現が試みられる稀なケースは、理論開発の中心となるもの（例えば、既存の理論と相容れないもの）か、主要な経済的観点から幅広い注目を集めるものかのいずれかである。再現可能性という形式的な理想にもかかわらず、我々は再現の文化の中で生きているわけではない。」^{[ 28 ]}

第二次世界大戦後の大規模科学の発展は、研究の透明性に関して前例のない課題を生み出した。統計的手法が多くの分野に普及したこと、そして研究プロジェクトの規模と複雑さが増大したことで、科学的プロセスの適切な記録の欠如に関する一連の懸念が生じた。

発表される研究成果の拡大に伴い、メタ分析またはメタサイエンスという名称で文献調査のための新しい定量的手法が開発されました。これらは、定量的結果と実験および観察フレームワークの詳細（サンプルのサイズや構成など）が健全であるという仮定に基づいています。1966年、スタンレー・ショールとアーヴィング・カーテンは、67の主要な医学雑誌における統計的手法の最初の一般的な評価の1つを発表しました。明らかに問題のある論文はほとんど見つかりませんでしたが、「読んだレポートのほぼ73%（修正が必要なものや却下されるべきもの）で、結論の根拠が無効であるにもかかわらず結論が導き出されていました」^{[ 29 ]。}

1970年代と1980年代には、科学における不正行為は次第に個人の不正行為としてではなく、科学機関やコミュニティが対処すべき集団的な問題として捉えられるようになった。1979年から1981年にかけて、いくつかの重大な科学詐欺や盗作事件が、米国の研究者や政策立案者の間でこの問題への注目度を高めた^{[ 30 ]。}広く報道された調査「科学の裏切り者」の中で、2人の科学ジャーナリストは科学詐欺を構造的な問題として描写している。「詐欺事件が次々と明るみに出るにつれ、（…）詐欺は科学界のごくありふれた小さな特徴ではないかと疑問に思った。（…）論理、再現性、査読――これらはすべて、科学詐欺師によって、しばしば長期間にわたって、うまく無視されてきた」^{[ 31 ]} 。研究倫理の成文化は、この高まる世間の監視に対する主な制度的対応であり、「分野別、国内、国際を問わず、数多くの行動規範」が制定されている^{[ 32 ] 。}

2000年代には、研究方法論の標準化に関する長年の問題が、構造的危機としてますます取り上げられるようになり、「対処しなければ、一般の人々は科学への信頼を必然的に失うだろう」とされた。^{[ 33 ]} 2010年代初頭は転換点と一般的に考えられており、「2011年から2012年頃になって初めて、科学界の意識は再現性に関する警告に晒されるようになった」。^{[ 34 ]}

この議論に初期から大きく貢献したのは、2005年のジョン・イオアニディスの物議を醸した影響力のある主張である。「発表された研究結果のほとんどは偽りである」^{[ 35 ]。}主な論拠は、実験基準が過度に緩く、多くの弱い結果が確固たる研究として提示されていることに基づいていた。「現代の生物医学研究の大部分は、研究前後の真の発見の確率が非常に低い領域で行われている」^{[ 36 ]。}

PLOS Medicineに掲載されたため、イオアニディスの研究は心理学、医学、生物学において大きな反響を呼んだ。その後数十年間、大規模なプロジェクトが実験の再現性を評価しようと試みた。2015年、再現性プロジェクト：心理学は、 3つの主要な心理学ジャーナル（Journal of Personality and Social Psychology、Journal of Experimental Psychology: Learning, Memory, and Cognition、Psychological Science）から100の研究を再現しようと試みた。ほぼすべての論文で再現可能な効果が認められたものの、再現結果のうち有意性が十分であったのはわずか36%であった（p値が一般的な閾値0.05を上回った）。^{[ 37 ]} 2021年、別の再現性プロジェクトである癌生物学は、2010年から2012年の間に発表された癌に関する53の主要な論文を分析し、効果の大きさが平均して元の研究結果よりも85%小さいことを明らかにした。^{[ 38 ]}

2010年代には、再現性の危機という概念はより幅広い分野に拡大しました。学術検索エンジンSemantic Sc​​holarに記録されたメタデータによると、John Ioannidisの画期的な論文「Why Most Published Research Findings Are False」の主要研究分野における年間引用数の割合（ 2022年6月時点で6,349件の引用）は、この枠組みが特に計算機科学に拡大していることを示しています。経済学では、 2つの主要ジャーナルで18の実験研究を再現したところ、心理学や医学と同程度の失敗率（39%）が見つかりました。^{[ 39 ]}

複数のグローバル調査で、再現性やその他の研究透明性の問題に関して、科学界の不安が高まっていることが報告されている。2016年にNature誌は、「研究者の70%以上が他の科学者の実験を再現しようとして失敗し、半数以上が自身の実験を再現できなかった」と指摘した^{[ 40 ]。}この調査ではまた、「再現性とは何であるか、あるいは何であるべきかについてのコンセンサスがない」ことも判明しており、これは分野間の違いが一因となっているため、問題となっている事柄を克服するために必要な手順を評価することがより困難になっている^{[ 40 ]}。Nature誌の調査は、代表的なサンプルではなくオンライン調査に基づいていたため、研究透明性の逆説的な欠如についても批判されている。「便宜的サンプルやその他の方法論的選択に依存しており、より広範な科学界の態度について下せる結論を制限している」^{[ 41 ]。}結果はまちまちであったものの、Nature誌の調査は広く普及し、研究透明性に関するあらゆる研究の一般的な初期データとなっている^{[ 42 ] 。}

再現性の危機や研究の透明性に関するその他の問題は、一般メディアで取り上げられる公の話題となっている。「再現性に関する議論は、科学文献と一般メディアの両方で継続的に注目を集めているという点で、他の方法論に関する議論とは異なっている」^{[ 43 ] 。}

2000 年以降、オープン サイエンス運動は、科学的成果物 (出版物、データ、ソフトウェア) へのアクセスを超えて、科学的生産の全プロセスを包含するまでに拡大しました。2018 年、ビセンテ・サエスとマルティネス・フエンテスは、ScopusとWeb of Scienceに索引付けされている英語圏の科学文献におけるオープン サイエンスの標準的な定義に共通する価値観をマッピングしようと試みました。^{[ 44 ]}アクセスはもはやオープン サイエンスの主要な側面ではなく、透明性、共同作業、社会的影響に対する最近の取り組みによって拡張されています。^{[ 45 ]}このプロセスを通じて、オープン サイエンスは、一貫した一連の倫理原則に基づいてますます構造化されています。「新しいオープン サイエンスの実践は、オープン リポジトリ、オープン フィジカル ラボ、学際的研究プラットフォームを通じて研究を実施および共有する新しい組織形態と並行して発展してきました。これらの新しい実践と組織形態は、大学における科学の精神を拡大しています。」^{[ 46 ]}

オープンサイエンス運動のグローバルな規模と、それが多様な技術ツール、標準、規制に統合されることで、研究の透明性に内在する「古典的な集団行動問題」を克服することが可能になる。つまり、科学機関の掲げる目標と、それを個人レベルで実現するためのインセンティブの欠如との間に構造的な不一致が存在する。^{[ 15 ]}

研究の透明性を確保するための潜在的な枠組みとしてオープンサイエンスを正式に確立する取り組みは、当初は機関やコミュニティのイニシアチブによって開始されました。TOPガイドラインは、透明性とオープン性促進のための委員会によって2014年に策定されました。この委員会には、「主に社会科学や行動科学の分野リーダー、ジャーナル編集者、資金提供機関の代表者、および分野の専門家」が含まれていました。^{[ 15 ]}このガイドラインは、遵守レベルが異なる8つの基準に基づいています。基準はモジュール式ですが、「1つの基準へのコミットメントが他の基準の採用を促進する可能性がある」という点で互いに補完し合うため、科学の一貫した倫理を明確にすることも目的としています。^{[ 15 ]}

2015 年以降、これらの取り組みは新しい規制や倫理規定に部分的に影響を与えています。2017 年の欧州研究倫理行動規範は、オープンサイエンスとオープンデータを中心に構成されており、「データ管理を出版とほぼ同等の注意を払っており、この点でも 4 つの倫理規定の中で最も進んでいます」^{[ 47 ]} 。2020年 7 月に初めて採択された香港の研究者評価原則は、オープンサイエンスを科学的誠実性の 5 つの柱の 1 つとして認めています。「オープンサイエンスのさまざまな形態は、研究者の評価において報われる必要があることは明らかです。なぜなら、これらの行動は透明性を大幅に高め、透明性は研究誠実性の核心的な原則だからです」^{[ 48 ] 。}

研究価値の透明性は、環境研究や社会科学など、政策決定に深く関与する学問分野の主要な焦点となってきた。2009年、ヘザー・ダグラスは、科学に関する公共の議論は、客観的な研究という規範的理想によって大きく支配されてきたと強調した。すなわち、手順が正しく適用されていれば、科学的結果は「価値中立」であるべきだという理想である。^{[ 61 ]}ダグラスによれば、この理想は、概念、プロトコル、および使用されるデータに関する選択よりも、あらかじめ定義された価値観が先行することが多いため、研究や科学的助言の効果的なプロセスとはほとんど相容れないままである。^{[ 62 ]}ダグラスは、代わりに研究者が持つ価値観の開示を主張し、「政策文書であろうと科学者の研究論文であろうと、この間接的な役割において、価値観は可能な限り明確にされるべきである」と述べた。^{[ 63 ]}

2010年代には、数名の科学哲学者がオープンサイエンスの文脈で価値の透明性を体系化しようと試みた。2017年、ケビン・エリオットは研究における価値の透明性の3つの条件を強調し、その1つ目は「（…）データ、方法、モデル、仮定について可能な限り透明性を保ち、価値の影響を精査できるようにすること」であった。^{[ 64 ]}

2010年代まで、学術出版の編集慣行は、ほとんど非公式で研究もほとんどされていませんでした。「350年にわたる学術出版にもかかわらず、（…）著者への指示（ItAs）とその進化と変化に関する研究は乏しい。」^{[ 65 ]}

編集の透明性は、研究の再現性に関する議論の自然な拡大として最近認識されています。^{[ 66 ] [ 67 ]} 2015年のTOPガイドラインに定められたいくつかの原則は、すでに明確な編集基準の存在を示唆していました。^{[ 68 ]}編集の透明性に対する前例のない注目は、オープンサイエンス出版の状況の多様化と複雑化によっても促されています。「ジャーナルの編集プロセスに対するさまざまな期待に刺激されて、ジャーナルは編集評価と査読システムを組織する新しい方法を試み始めました。（…）すでに多様な査読と編集選択の慣行にこれらの革新がもたらされたということは、著者、読者、査読者が編集評価がどのように機能するかを単に知っていると想定することはもはやできないことを意味します。」^{[ 66 ]}

データ共有は、再現性の危機や統計指標に関する確固たるガイドラインの欠如に対する主要な潜在的解決策として、早い段階から認識されてきました。2005年、ジョン・イオアニディス は、「仮説生成実験を一つ一つ登録するよりも、分野内のデータ収集や研究者の何らかの登録やネットワーク化の方が実現可能性が高いかもしれない」と仮説を立てました。^{[ 69 ]}

研究成果の共有は、TOPsガイドラインの3つの基準、すなわちデータ透明性（2）、分析/コード方法の透明性（3）、および研究資料の透明性（4）によって規定されています。関連するすべてのデータ、コード、および研究資料は「信頼できるリポジトリ」に保存され、すべての分析は公開前に独立して再現されている必要があります。^{[ 70 ]}

学術的な参考文献には引用基準が一般的に適用されるが、データ、コード、一次資料、定性的な評価など、その他の研究成果物については、形式化の度合いがはるかに低い。

2012年、アメリカ政治学会はオープンな質的研究のための新しい方針を採用した。^{[ 71 ]}この方針は透明性の3つの側面を網羅している。すなわち、データの透明性（元の情報源への正確な書誌データという意味で）、分析の透明性（引用された情報源から推論された主張に関して）、および制作の透明性（情報源の選択において行われた編集上の選択に関して）である。^{[ 72 ]} 2014年、アンドリュー・モラフチクは、元の情報源の詳細な引用と「情報源が主張をどのように裏付けているかを説明する」注釈を含む透明性付録の実装を提唱した。^{[ 73 ]}

TOPガイドラインによれば、「データと資料の適切な引用」は各出版物に提供されなければならない。^{[ 70 ]}したがって、コードやデータセットなどの科学的成果物は、引用可能な貢献として完全に認められる。「これらの資料を定期的かつ厳密に引用することで、それらを独創的な知的貢献として評価することができる。」^{[ 70 ]}

事前登録は、2 つの TOP ガイドライン、すなわち研究の事前登録(6) と分析計画の事前登録(7) によってカバーされています。どちらの場合も、最高レベルのコンプライアンスのために、ジャーナルは「要件を満たすためのリンクとバッジを記事内に提供する」必要があります。^{[ 70 ]}

事前登録は、さまざまな疑わしい研究慣行を予防的に対処することを目的としている。通常、事前登録は「検証する仮説、目標サンプルサイズを記載した、タイムスタンプ付きの編集不可能な研究計画を公開アーカイブに登録する」という形をとる。^{[ 74 ]}事前登録は、理論的には「QRPやp値操作を可能にする研究者の自由度」を制限するため、倫理契約として機能する。^{[ 74 ]}

事前登録は、疑わしい研究慣行のあらゆる範囲を解決するものではありません。結果の選択的報告は、特に事前に定義された研究計画と依然として両立します。「事前登録は、研究結果が報告されることを保証するものではないため、出版バイアスを完全に阻止するものではありません。」 ^{[ 75 ]}事前登録は、研究分野の現実に合わない人為的な制約を作り出すことで、場合によっては研究成果の質を損なう可能性があるとも主張されています。「事前登録は、研究者が不十分な分析計画を事前登録することを妨げるものが何もないため、妥当な推論を妨げる可能性があります。」^{[ 76 ]}

比較的費用のかからない解決策として提唱されている事前登録は、実際には研究者側の大きなコミットメントを必要とするため、実装が難しい場合があります。心理学ジャーナルにおけるオープンサイエンス実験の採用に関する実証研究では、「事前登録の採用は、他のオープンサイエンスの実践に比べて遅れている（…）2015年から2020年にかけて」^{[ 77 ]}と示されています。したがって、「事前登録の分野全体のメリットを認識している研究者の間でも、個人にとってのコストとメリットについては不確実性がある」^{[ 77 ] 。}

再現研究または再現性の評価は、1つまたは複数の元の研究をやり直すことを目的としています。この概念は2010年代に登場したばかりですが、再現研究自体は何十年も前から存在していましたが、そのように認識されていませんでした。^{[ 78 ]} 2019年の米国科学アカデミーの報告書には、1986年から2019年の間に発表された25件の再現研究のメタ分析が含まれています。この報告書は、再現研究の大部分が医学および社会科学（特に心理学と行動経済学）に関するものであり、現時点では標準化された評価基準がないことを指摘しています。「再現性を評価する方法は一貫性がなく、再現率の割合は使用される方法に大きく依存します。」^{[ 78 ]}したがって、少なくとも2019年時点では、再現研究を集計して再現率を外挿することはできません。それらは「科学全体における実際の非再現率を示すものではない」のです。^{[ 78 ]}

TOPsガイドラインでは、再現研究の認識と評価を高めるよう求めている。第8基準では、準拠するジャーナルは「査読付きの再現研究の投稿オプションとして登録レポートを使用する」べきであると述べている。^{[ 70 ]}

2018年7月、複数の出版社、図書館員、ジャーナル編集者、研究者が、透明性のある編集方針に関するライデン宣言を起草した。^{[ 79 ]}この宣言は、ジャーナルには「査読者の選定、査読基準、ブラインド化、テキスト類似性スキャナーなどのデジタルツールの使用、訂正や撤回に関する方針についての情報が含まれていないことが多い」ことと、この透明性の欠如を強調した。^{[ 79 ]}この宣言は、より詳細に文書化されるべき4つの主要な出版および査読段階を特定している。

• 投稿時：ジャーナルの運営、対象範囲、編集委員会、または却下率に関する詳細。^{[ 79 ]}
• レビュー中: 選択基準、レビューのタイミング、ピアレビューのモデル (ダブルバインド、シングルバインド、オープン)。^{[ 79 ]}
• 公表: 「審査プロセスにおける役割」の開示。^{[ 79 ]}
• 出版後：「訂正、懸念表明、撤回に関する基準と手順」およびその他の変更。^{[ 79 ]}

2020年、ライデン宣言は責任ある編集方針のためのプラットフォーム（PREP）によって拡張および補完されました。^{[ 80 ]}このイニシアチブは、編集方針と査読慣行に関するデータと実証的情報の構造的不足を解決することも目的としています。^{[ 66 ] [ 81 ]} 2022年現在、このデータベースには、当初353誌だった490誌の編集手順に関するクラウドソーシングによる情報が部分的に含まれています。^{[ 82 ] [ 83 ]}評価された手順には特に、「著者と査読者に与えられる匿名性のレベル、盗用スキャナーなどのデジタルツールの使用、研究および出版プロセスにおける査読のタイミング」が含まれます。^{[ 84 ]}このような進展にもかかわらず、編集研究に関する研究では、「著者やその他の利害関係者が（…）要件や推奨事項に基づいてジャーナルを比較できる包括的なデータベース」の必要性が依然として強調されています。^{[ 85 ]}