査読

一流ジャーナルは投稿された論文の90%以上を却下する。^{[ 22 ]}

医学的ピアレビューは、4つの分類に分けられる可能性がある。^{[ 23 ]}

1. 臨床ピアレビューは、患者のケア体験への関与を評価する手順です。これは、進歩的な専門的実践評価と集中的な専門的実践評価の一部であり、提供者の資格認定と特権付与の重要な支援者です。^{[ 24 ]}
2. 医師と看護師の両方に対する臨床教育スキルのピア評価。^{[ 25 ] [ 26 ]}
3. 学術論文の科学的な査読。
4. 医学雑誌に同時掲載された論文の臨床的価値に関する二次査読。^{[ 27 ]}

さらに、「医学ピアレビュー」は、米国医師会によって、医療機関における質と安全性の向上プロセスだけでなく、臨床行動の評価や専門学会会員基準への準拠のプロセスを指すためにも使用されています。 ^{[ 28 ] [ 29 ]}臨床ネットワークは、分散型研究の信頼性と、推奨する臨床薬が個人にとって安全かつ有効であることを保証するための最も理想的な方法であると考えています。したがって、この用語は、特にデータベース検索用語としては、標準化と特異性が低いです。^{[ 30 ]}

エンジニアリングにおいて、技術ピアレビューはエンジニアリングレビューの一種です。技術ピアレビューは、役割を割り当てられたピアのチームによって実施される、欠陥の発見と修正のための明確に定義されたレビュープロセスです。技術ピアレビューは、レビュー対象の資料によって影響を受けるライフサイクルの領域を代表するピアによって実施されます（通常は6人以下に限定されます）。技術ピアレビューは、開発フェーズ内、マイルストーンレビューの間、完成した製品または製品の完成した部分に対して実施されます。^{[ 31 ]}

欧州連合は、 1999年以来、積極的労働市場政策の分野における政策の「オープンな調整方法」においてピアレビューを利用している。^{[ 32 ]} 2004年には、社会的包摂の分野でピアレビューのプログラムが開始された。^{[ 33 ]}各プログラムは、毎年約8回のピアレビュー会議を主催し、その中で「ホスト国」が特定の政策またはイニシアチブを他の6カ国と関連する欧州レベルのNGOによる検討に公開する。これらの会議は通常2日間開催され、政策が実際に運用されている現地の現場への訪問も含まれる。会議に先立ち、参加する「ピア国」がコメントを提出する専門家レポートがまとめられる。結果はウェブ上で公開される。

国連欧州経済委員会（UNECE）は、UNECE環境パフォーマンスレビューを通じて、「ピアラーニング」と呼ばれるピアレビューを活用し、加盟国が環境政策を改善する上で達成した進捗状況を評価している。

カリフォルニア州は、科学的査読を義務付けている米国唯一の州です。1997年、カリフォルニア州知事は、1997年制定法第295章、上院法案1320号（シャー）を法律として署名し、CalEPAの委員会、部局、または事務所が規則制定の最終版を採択する前に、提案された規則の根拠となる科学的知見、結論、および仮定を独立した外部の科学的査読に提出することを義務付けました。この要件は、カリフォルニア州保健安全法第57004条に組み込まれています。^{[ 34 ]}

ピアレビューにおける特に懸念される点は、「役割の二重性」であり、人々は評価者と評価される者という二つの役割を並行して担うことになる。^{[ 35 ]}研究によると、両方の役割を並行して担うことで、人々は評価者としての役割において偏りが生じ、自分自身が肯定的に評価される可能性を高めるための戦略的な行動をとるようになる。^{[ 35 ]}

編集上の査読プロセスは、無効結果の研究に対して強い偏りがあることがわかっています。「効果のないものを読みたい人なんていますか？」とリチャード・スミスは王立医学会誌で問いかけています。「つまらないでしょう」。この出版バイアスは、科学と医学の情報基盤に偏りをもたらします。^{[ 36 ]}

査読は査読者間の対立を引き起こす可能性がある。^{[ 37 ]}

Nature誌の調査におけるインタビューで、査読プロセスを支援または実行するために人工知能が（おそらく公表されていない）使用されていることが確認されている。 ^{[ 38 ]}自動査読プロセスの場合に肯定的なレビューを有利にするために、プレプリントに人間には見えないヒントを挿入した研究者の事例がいくつか記録されている。^{[ 39 ]}

査読に代わるさまざまな方法が提案されており、科学資金の文脈では、抽選による資金提供などがある。^{[ 40 ]}登録レポート^{[ 41 ]}やピア複製は、複製危機を緩和することができる。^{[ 42 ]}敵対システムは、イデオロギー的偏見を減らすことができる。^{[ 43 ]}

ピアセミナーは、スピーカーが聴衆にアイデアを発表すると同時に「コンテスト」としても機能する手法です。^{[ 55 ]}さらに詳しく説明すると、複数のスピーカーが一人ずつ指名され、調査したトピックを発表する時間が与えられます。各スピーカーが同じトピックについて話す場合もあれば、話さない場合もありますが、各スピーカーは何かを得たり失ったりする可能性があり、競争的な雰囲気が生まれます。^{[ 55 ]}このアプローチにより、スピーカーは聴衆にアピールしながらトピックを説明しつつ、より個人的なトーンで発表することができます。

ピアセミナーは、カンファレンスの講演者が行うことと多少似ているかもしれないが、発表する時間がより多く、聴衆が講演者に質問したり、トピックや講演者の発表の出来についてフィードバックを提供したりするために講演者を中断することができる。^{[ 55 ]}

専門家によるピアレビューは、品質の向上、基準の維持、または認証の提供を目的として、専門家のパフォーマンスに焦点を当てています。執筆におけるピアレビューは、さまざまなピアレビューメカニズムの中で重要な構成要素であり、多くの場合、教育者が主導し、特に学術的な環境では学生が参加します。これは、学術的および専門的な執筆における基本的なプロセスを構成し、学術的研究の質、有効性、および信頼性を保証する体系的な手段として機能します。しかし、広く使用されているにもかかわらず、執筆指導に関連する最も散在的で一貫性がなく、曖昧な実践の 1 つです。^{[ 56 ]}多くの学者は、その有効性と具体的な方法論に疑問を呈しています。教室でのピアレビューの批判者は、学生が建設的な批判を与える練習をしていないこと、または執筆技術全般に関する専門知識が限られていることが原因で、その有効性が低いことを懸念しています。

マグダ・ティグチェラーは、学生を自己評価、ピアレビュー、レビューなしの3つのグループに分けた実験を通して、ピアレビューと自己評価を比較した。4つのライティングプロジェクトを通して、各グループの変化を観察したが、驚くべきことに、自己評価グループでのみ著しい改善が見られた。著者の分析によると、自己評価では、著者が自分の文章を最もよく知っているため、各段階での修正目標を明確に理解できる。したがって、自己チェックは、修正に対する体系的かつ計画的なアプローチに自然と従う。対照的に、ピアレビューの効果は、構造化されたフィードバックの欠如により制限されることが多く、散在した意味のない要約や評価によって特徴付けられ、著者が自分の作品を修正する期待を満たさない。^{[ 57 ]}一部の教育者は、学校関連の課題では、成績のために学生に他の学生の作品をピアレビューさせるのではなく、指導補助者がピアレビューを行う方が良いと推奨している。指導補助者は執筆経験が豊富である傾向があり、論文のアイデアについて話し合う十分な時間も与えられるため、草稿のより妥当なレビューが可能になり、偏りの程度に関してばらつきが少なくなるだろう。^{[ 58 ]}

ステファニー・コナーとジェニファー・グレイは、ピアレビューにおける学生からのフィードバックの価値を強調している。彼女たちは、多くのピアレビューセッションが学生の期待に応えられていないと主張している。なぜなら、学生自身もレビュー担当者として、自分の文章に対する自信のなさから建設的なフィードバックを提供することに不安を感じているからである。著者らは、数多くの改善策を提案している。例えば、ピアレビューのプロセスをグループに分け、学生がレビュー対象の論文を発表し、他のグループメンバーがメモを取り分析するという方法がある。その後、レビューの範囲をクラス全体に拡大することができる。これにより、レビューのソースが広がり、プロ意識のレベルがさらに高まる。^{[ 59 ]}

査読でよく見られる誤解を避けるために、学生は、例えば、査読者に論文に関する3つの具体的な質問をすることができます。3つの質問をすることで、論文に関連した内容となり、学生は自分の原稿に対する不安を軽減し、お互いの信頼関係を築くことができます。^{[ 56 ]}

技術の進化に伴い、ピアレビューも進化していくことが期待されています。新しいツールは、ピアレビューのプロセスを変革する可能性を秘めています。ミミ・リーは、大学1年生のライティングクラスで使用されているオンラインピアレビューソフトウェアの有効性とフィードバックについて論じています。教室で一般的に使用されている従来のピアレビュー方法とは異なり、オンラインピアレビューソフトウェアは、記事を編集するための多くのツールと包括的なガイダンスを提供します。たとえば、ピアレビュアーが尋ねることができる多数の質問がリストされており、選択したテキストにさまざまなコメントを追加できます。1学期にわたる観察に基づくと、学生はオンラインピアレビューソフトウェアを使用した後に、ライティングスキルと成績にさまざまな程度で改善を示しました。さらに、彼らはオンラインピアレビューのテクノロジーを高く評価しました。^{[ 60 ]}

教室でのピアレビューの批判者は、学生が建設的な批判をする練習をしていない、あるいは文章作成技術全般に関する専門知識が不足しているため、ピアレビューは効果がない可能性があると述べている。^{[ 61 ]}ピアレビューは、特に学生が自分の文章をクラスの他の学生より劣っていると考えている場合、提案をしたり他のライターに助けを求めたりすることをためらう可能性があるため、成長途上のライターにとって問題となる可能性がある。^{[ 62 ]}ピアレビューは、学生が作成した作品に個人的なつながりを感じることがあるため、学生の自己評価や他者評価にも影響を与える可能性があり、批判を受けたり与えたりすることに抵抗を感じるようになることもある。^{[ 46 ]}フィードバックの質は、このプロセスが効果的であるために必要な要件である。^{[ 63 ]}

教師がピアレビューを課題として使用すると、仲間によるフィードバックが急いで行われ、不適切な賞賛や批判が用いられるため、書き手や編集者がその活動から多くを得ることができない可能性があります。^{[ 12 ]}これらの懸念に対応するため、教師は例を示したり、クラスでピアレビューをモデル化したり、ピアレビューのプロセス中にフィードバックの特定の領域に焦点を当てたりすることがあります。^{[ 64 ]}また、教師は、授業中のピアレビューと宿題としてのピアレビュー、またはオンラインの学習管理システムによって提供されるテクノロジーを使用したピアレビューを試すこともできます。ピアレビューのプロセスが時折ではなく、教室で一貫したツールとして実施されると、学生のスキルが向上します。^{[ 65 ]}教授法がタスクの完了からライティングの成長へと傾くと、能力が強化されます。^{[ 66 ]}年長の学生は仲間により良いフィードバックを与えることができ、ピアレビューからより多くのものを得ることができますが、ピアレビューは依然として、年齢に関係なく学生が修正方法を学ぶのに役立つ教室で使用される方法です。^{[ 2 ]}進化し変化するテクノロジーとともに、ピアレビューも発展していくでしょう。新しいツールは査読プロセスを変えるのに役立つ可能性がある。^{[ 67 ]}人工知能の使用は、文章に対するフィードバックや編集を提供するのに提案されているが、人間の努力を完全に代替できるわけではない。^{[ 68 ]}

教師たちも授業中にピアレビューを軽蔑しており、多くの教師はピアレビューは授業時間の無駄であり、学生が課題で何が得られるか既に知っている場合は重要ではないと主張している。^{[ 69 ]}これらの批判により、学生はピアレビューは無意味だと考えるようになる。これは特に大学の教室で顕著であり、学生時代にライティングのフィードバックの最も一般的な情報源は教師であり、教師のコメントはしばしば高く評価される。教師の権威が高い立場のため、学生は教授の見解に沿った研究を提供するよう影響を受ける可能性がある。フィードバックの有効性は、主にその高い権威から生じる。ベンジャミン・キーティングは、論文「良い発達の要素：学部生のライティングにおけるピアレビューと権威の縦断的分析」で、学生の権威に対する認識を探るために、2つの学生グループ（ライティングを専攻しているグループとそうでないグループ）を比較する縦断的研究を実施した。学生のテキストを広範囲に分析したこの研究は、ライティング以外の分野を専攻する学生は、授業での必須のピアレビューを過小評価する傾向がある一方、ライティングを専攻する学生はクラスメートのコメントをより重視するという結論に至った。これは、ピアレビューのフィードバックには一定の閾値があり、効果的なピアレビューには一定レベルの専門知識が必要であることを反映している。プロのライターでない場合、ピアレビューのフィードバックは見落とされ、その結果、その有効性に影響する可能性がある。^{[ 70 ]}ピアレビューシステムのさらなる批判は、Wikipediaのような公共知識プラットフォームの編集構造の脆弱性を強調している。あるアーカイブされた記述は、Wikipediaの編集プロセス内の体系的な拒否と検証不可能なゲートキーピングが、学術ピアレビューで批判されているのと同じ主観性と排除を反映していることを示している。^{[ 71 ]} Elizabeth Ellis Miller、Cameron Mozafari、Justin Lohr、Jessica Enochは、「ピアレビューはライティング教室の不可欠な部分であるが、学生はそれに効果的に参加するのに苦労することが多い」と述べている。著者らは、大学の教室で行われたピアレビューセッション中に実施された研究に基づき、ピアレビューの非効率性の理由をいくつか示している。

1. 研修不足：学生や一部の教員でさえ、建設的なフィードバックを提供するための十分な研修を受けていない可能性があります。何に注目すべきか、どのように有益なコメントを提供すればよいかについての適切な指導がなければ、査読者は有意義な意見を提供することが難しいと感じるかもしれません。
2. 参加意欲の低さ：学生はピアレビューセッションにほとんど熱意や関心を示さず、貴重な学習機会ではなく義務的な作業と捉えてしまうことがあります。このような無関心は、文章の根本的な問題点に対処できない表面的なフィードバックにつながる可能性があります。
3. 時間的制約：講師は授業中にピアレビュー活動に割ける時間が限られていることが多く、そのため学生同士の作品を徹底的にレビューするには不十分な場合があります。結果として、フィードバックが慌ただしく表面的なものになり、有意義な改善に必要な深みが欠けてしまう可能性があります。

この研究は、専門知識に関連する問題に加えて、多くの客観的要因が学生のピアレビューセッションでの成績不振に寄与し、その結果、ピアレビュー担当者からのフィードバックが著者に効果的に役立たない可能性があることを示している。さらに、この研究はピアレビューセッションにおける感情の影響を強調しており、ピアレビュー担当者と著者の両方がフィードバックを提供および受け取る際に感情を完全に排除することはできないことを示唆している。これにより、ピアレビュー担当者と著者はテキストに対して肯定的または否定的な態度でフィードバックに臨むことになり、選択的または偏ったフィードバックとレビューにつながり、さらに記事を客観的に評価する能力に影響を与える可能性がある。これは、主観的な感情がピアレビューフィードバックの有効性にも影響を与える可能性があることを示唆している。^{[ 72 ]}

パメラ・ベドーレとブライアン・オサリバンも、ほとんどの執筆場面におけるピアレビューに懐疑的な見方をしている。著者らは、2つの大学で体系的なトレーニングを受けた後のさまざまな形式のピアレビューを比較した結果、「ピアレビューの本質は、単に文章を改善することではなく、著者が執筆のビジョンを実現するのを支援することにある」と結論付けている。ピアレビューのセッション中に非専門家のライターから得られるフィードバックは、単純な文法の訂正や質問など、表面的なものになりがちである。これはまさに、結論で示唆されているように、焦点が執筆スキルの向上のみにあることを反映している。有意義なピアレビューとは、著者の執筆意図を理解し、価値のある質問や視点を提示し、著者が執筆目標を達成できるよう導くことである。^{[ 73 ]}