Loading article…
Statcheck は、査読済みの心理学論文[1]の統計エラーを検出するために設計されたR パッケージです。統計結果の論文を検索し、各論文に記載されている計算をやり直し、2 つの値を比較して一致するかどうかを確認します。[2]心理学研究論文は、米国心理学会(APA)が発行したガイドラインに従って結果を報告する傾向があるという事実を利用しています。 [3]これにより、いくつかの欠点が生じます。APA のガイドラインに完全かつ厳密に従って報告された結果しか検出できず、[4]論文の表にのみ含まれている統計を検出できません。[5]もう 1 つの制限は、Statcheck がGreenhouse–Geisser補正や Bonferroni 補正などのテスト統計に対する統計補正を処理できないことです。これらの補正は、実際にはテストをより保守的にします。 [6]一部のジャーナルは、査読プロセスの一環として Statcheck の試験運用を開始しています。 Statcheck は、GNU GPL v3に基づいて公開されているフリー ソフトウェアです。 [7]
有効
2017年、Statcheckの開発者はプレプリント論文を発表し、同プログラムは95%以上の確率で統計エラーを正確に特定したと結論付けた。[8]この妥当性研究は1,000件以上の手作業でチェックされたテストで構成され、そのうち5.00%に矛盾があることが判明した。[9]この研究では、Statcheckが全統計テストの60%を認識したことが判明した。これらのデータを再分析したところ、プログラムがテストに矛盾があるとフラグを立てた場合、60.4%のケースで正しかったことがわかった。逆に、テストが本当に矛盾していた場合、Statcheckは推定51.8%のケースでフラグを立てた（この推定には検出されなかったテストが含まれており、検出されたテストと同じ矛盾率があると想定）。全体として、Statcheckの精度は95.9%で、すべてのテストを額面通りに受け止めた場合に予想される偶然レベル95.4%よりも0.5パーセントポイント高かった。 Statcheckは、フラグ付けテストに対して保守的に偏っていました（約1標準偏差）。[10]
最近の研究では、カナダの心理学雑誌に掲載された論文にStatcheckを使用し、30年間の論文サンプルに基づく統計報告エラーの率が元の著者と同程度であることがわかりました。同じ研究では、比較的古い論文のオンライン版に多くの誤植があり、これを修正することで誤って報告されたテストの推定割合が減少することもわかりました。[11]
歴史
Statcheckは、2015年にティルブルフ大学のミシェル・ヌイテンとアムステルダム大学のサッシャ・エプスカンプによって初めて開発されました。[12] [8]その年の後半、ヌイテンと彼女の同僚は、3万本以上の心理学論文にStatcheckを使用した論文を発表し、「出版された心理学論文の半分[...]に、そのテストと一致しないp値が少なくとも1つ含まれていた」と報告しました。[13]その後、この研究はネイチャー誌に好意的に掲載されました。[14] [15] 2016年、ヌイテンとエプスカンプは、 Statcheckの作成により、バークレー社会科学透明性イニシアチブからオープン社会科学のためのリーマー・ローゼンタール賞を受賞しました。[16]
2016年、ティルブルフ大学の研究者クリス・ハートゲリンクはStatcheckを使用して5万件以上の心理学論文をスキャンし、その結果をPubPeerに投稿しました。その後、彼らはこれらの論文から抽出したデータをData誌の記事で発表しました。 [ 14] [17]ハートゲリンクはマザーボードに「私たちは科学によって提示されている実際の科学がどれだけ信頼できるかを確認しています」と述べました。[18]彼らはまた、Voxに対して、Statcheckを使用してスペルチェッカーソフトウェアプログラムに似た機能を実行するつもりであると述べました。[12]ハートゲリンクの行動は、フラグが付けられた論文を執筆または共著者としたすべての研究者に電子メールアラートを送信することでもありました。これらのフラグ付けと公開フォーラムへの投稿は物議を醸し、ドイツ心理学会がStatcheckのこの使用を非難する声明を発表するに至りました。[14]心理学者ドロシー・VM・ビショップは、自身の論文2本がStatcheckによってフラグ付けされたが、統計的な誤りが見つかっていないにもかかわらず、多くの論文（自身の論文1本を含む）が公にフラグ付けされたとして同プログラムを批判した。 [19]他の批評家は、Statcheckが特定の論文の統計を正しく読み取れなかったために、実際には誤りのない論文に誤りがあると報告したと主張した。[20]
査読プロセスの一環としてStatcheckの使用を試験的に開始したジャーナルには、Psychological Science [21]、Canadian Journal of Human Sexuality [22]、Journal of Experimental Social Psychology [23]などがあります。オープンアクセス出版社のPsychOpenも、2017年以降、ジャーナルに掲載が承認されたすべての論文にStatcheckを使用しています。 [24]
参照
参考文献
- ^ Nuijten、Michele B. (2017-02-28)。 「ベイズメッドと統計チェック」。アプスオブザーバー。30 (3) ．2018年10月18日に取得。
- ^ Baker, Monya (2016-11-25). 「統計チェックソフトウェアが心理学を刺激する」. Nature . 540 (7631): 151–152. Bibcode :2016Natur.540..151B. doi : 10.1038/540151a . ISSN 0028-0836. PMID 27905454.
- ^ Wren, Jonathan D. (2018-06-15). 「統計エラーやその他の問題の検出をアルゴリズム的にアウトソーシングする」. The EMBO Journal . 37 (12): e99651. doi :10.15252/embj.201899651. ISSN 0261-4189. PMC 6003655. PMID 29794111 .
- ^ Colombo, Matteo; Duev, Georgi; Nuijten, Michèle B.; Sprenger, Jan (2018-04-12). 「実験哲学における統計報告の不一致」. PLOS ONE . 13 (4): e0194360. Bibcode :2018PLoSO..1394360C. doi : 10.1371/journal.pone.0194360 . ISSN 1932-6203. PMC 5896892. PMID 29649220 .
- ^ van der Zee, Tim; Anaya, Jordan; Brown, Nicholas JL (2017-07-10). 「統計的胸焼け：コーネル大学食品ブランド研究所のピザに関する4つの出版物を要約する試み」BMC Nutrition . 3 (1): 54. doi : 10.1186/s40795-017-0167-x . ISSN 2055-0928. PMC 7050813 . PMID 32153834.
- ^ Schmidt, Thomas (2016). 「Statcheckアルゴリズムにおける偽陽性と偽陰性の原因」. arXiv : 1610.01010 [q-bio.QM].
- ^ 「Statcheck/DESCRIPTION at master · MicheleNuijten/Statcheck」。GitHub。
- ^ ab Chawla, Dalmeet Singh (2017-11-28). 「物議を醸しているソフトウェアは、心理学論文の誤りを見つけるのに驚くほど正確であることが証明されている」。サイエンス。 2018年10月18日閲覧。
- ^ Nuijten, Michèle B. 「統計報告の不一致を発見するためのツール「Statcheck」の有効性」PsyArXiv。
- ^ Schmidt, Thomas. 「Statcheck は機能しない: すべての数字」. PsyArXiv .
- ^ Green, Christopher D.; Abbas, Sahir; Belliveau, Arlie; Beribisky, Nataly; Davidson, Ian J.; DiGiovanni, Julian; Heidari, Crystal; Martin, Shane M.; Oosenbrug, Eric (2018年8月)。「カナダのStatcheck: CPAジャーナル記事の何パーセントにp値の報告に誤りがあるか?」Canadian Psychology . 59 (3): 203–210. doi :10.1037/cap0000139. ISSN 1878-7304. S2CID 149813772.
- ^ ab Resnick, Brian (2016-09-30). 「ボットが何千もの研究をクロールし、単純な数学の誤りを探しました。結果は懸念すべきものです」。Vox 。2018年10月18日閲覧。
- ^ Nuijten、ミシェル B.;ハルトゲリンク、クリス・HJ。ファン・アッセン、マルセル・ALM。エプスカンプ、サシャ。 Wicherts、Jelte M. (2015-10-23)。 「心理学における統計報告の誤りの蔓延（1985年から2013年）」。行動調査方法。48 (4): 1205–1226。土井：10.3758/s13428-015-0664-2。ISSN 1554-3528。PMC 5101263。PMID 26497820。
- ^ abc Buranyi, Stephen (2017-02-01). 「科学詐欺に対するハイテク戦争」. The Guardian . 2018年10月18日閲覧。
- ^ Baker, Monya (2015-10-28). 「スマートソフトウェアが心理学論文の統計エラーを発見」. Nature . doi :10.1038/nature.2015.18657. ISSN 1476-4687. S2CID 187878096. 2018-10-19閲覧。
- ^ 「Michèle Nuijten」。Berkeley Initiative for Transparency in the Social Sciences。2016年12月16日。 2018年10月19日閲覧。
- ^ Hartgerink, Chris (2016-09-23). 「688,112の統計結果：統計テスト結果のための心理学記事のコンテンツマイニング」。データ. 1 (3): 14. doi : 10.3390/data1030014。
- ^ Buranyi, Stephen (2016-09-05). 「科学者は『アルゴリズムによる査読』を懸念している」.マザーボード. 2018年10月18日閲覧。
- ^ 「50,000件以上の心理学研究がPubPeerに登録される理由」Retraction Watch 2016年9月2日2018年10月18日閲覧。
- ^ Stokstad, Erik (2018-09-21). 「真実の部隊」. Science . 361 (6408): 1189–1191. Bibcode :2018Sci...361.1189S. doi :10.1126/science.361.6408.1189. ISSN 0036-8075. PMID 30237339. S2CID 52309610.
- ^ Freedman, Leonard P.; Venugopalan, Gautham; Wisman, Rosann (2017-05-02). 「Reproducibility2020: Progress and priorities」. F1000Research . 6 : 604. doi : 10.12688/f1000research.11334.1 . ISSN 2046-1402. PMC 5461896. PMID 28620458 .
- ^ Sakaluk, John K.; Graham, Cynthia A. (2017-11-17). 「The Journal of Sex Researchにおける利益相反と統計分析の透明性のある報告の促進」The Journal of Sex Research . 55 (1): 1–6. doi : 10.1080/00224499.2017.1395387 . ISSN 0022-4499. PMID 29148841.
- ^ JESP が statcheck の使用を試験的に実施。2018年 10 月 19 日閲覧。
{{cite book}}:|website=無視されました (ヘルプ) - ^ 「PsychOpen は品質チェックに Statcheck ツールを使用」PsychOpen 2017-04-10 2018-10-23閲覧。
外部リンク
- 公式サイト
- 統計チェック