GRIMテスト

粒度に関連した平均値の不一致 (GRIM) テストは、データセットの分析における不一致を識別するために使用される単純な統計テストです。このテストは、 N 個の整数値を含むデータセットが与えられた場合、算術平均(一般に単に平均と呼ばれる) がいくつかの可能な値に制限されるという事実に基づいています。算術平均は常に、分子が整数で分母がN である分数として表現できる必要があります。報告された平均値がこの説明に当てはまらない場合は、どこかにエラーがあるはずです。このようなエラーは「不一致」という用語が推奨されており、最初に発見されたときにはその原因が通常は不明であることを強調しています。GRIM の不一致は、不注意なデータ入力やタイプミス、または科学的詐欺によって発生する可能性があります。GRIM テストは、研究者が通常小グループを使用し、測定値が整数であることが多い心理学などの分野で最も役立ちます。GRIM テストは、一部の科学分野での再現性危機に対する認識の高まりを受けて、2016 年に Nick Brown と James Heathers によって提案されました。 ^[1]

手順

GRIM テストは簡単に実行できます。論文で報告されている平均値ごとに、サンプルサイズ( N ) が求められ、分母がNであるすべての分数が計算されます。次に、平均値をこのリストと照合します (値が一貫して丸められない場合があることに注意してください。コンテキストによっては、平均値 1.125 が 1.12 または 1.13 として報告されることがあります)。平均値がこのリストにない場合は、数学的に不可能であると強調表示されます。^[2]^[3]

例

公平なサイコロを 20 回振る実験を考えてみましょう。各サイコロは 1 から 6 までの 1 つの整数を生成し、仮定された平均値は 3.5 です。次に、サイコロを振った結果を平均すると、平均値は 3.48 と報告されます。これは期待値に近く、仮説を裏付けるように見えます。しかし、GRIM テストにより、報告された平均値は数学的に不可能であることが明らかになりました。任意の整数を 20 で割った結果は、小数点 2 桁で表記すると、X.X0 または X.X5 の形式になります。任意の整数を 20 で割って、小数点 2 桁目が「8」になる結果を生成することは不可能です。^[4]

解釈と限界

データが GRIM テストに不合格になったとしても、それが自動的に操作の兆候となるわけではありません。平均値の誤差は、テスター側のミス、タイプミス、計算やプログラミングのミス、サンプルサイズの不適切な報告などの結果として、無意識のうちに発生することがあります。^{[2]しかし、一部のデータが不適切に除外されたか、}結果をより重要に見せるために平均値が不当に改ざんされたことを示している可能性があります。不合格の場所は、根本的な原因を示している可能性があります。孤立した不可能な平均値はエラーが原因である可能性があり、表の同じ行に複数の不可能な値がある場合は回答率が低いことを示し、同じ列に複数の不可能な値がある場合は、指定されたサンプルサイズが間違っていることを示します。表全体に複数のエラーが散在している場合は、より深刻な問題の兆候である可能性があり、他の統計テストを使用して疑わしいデータを分析できます。^[5]

GRIM テストは、サンプルサイズが比較的小さく、複合測定のサブコンポーネントの数も少なく、平均値が複数の小数点以下桁数で報告されるデータセットで最も効果的に機能します。^{[2]場合によっては、入力データが期待どおりに}離散化されていない場合、有効な平均値がテストに失敗することがあります。たとえば、ビュッフェでピザを何枚食べたかと尋ねられた場合、一部の人は、期待どおりに整数ではなく、「3 枚半」などの分数で答える場合があります。^[5]

アプリケーション

ブラウンとヘザーズは、Psychological Science、Journal of Experimental Psychology: General、Journal of Personality and Social Psychologyに掲載された260件の論文にこのテストを適用した。これらの論文のうち71件はGRIMテスト分析に適しており、そのうち36件には少なくとも1つの不可能値が含まれ、16件には複数の不可能値が含まれていた。^[3]

GRIMテストは、ブライアン・ワンシンク率いるコーネル大学の食品・ブランド研究所の出版物の誤りを発見する上でも重要な役割を果たした。GRIMテストにより、食べ放題のピザビュッフェでの価格が消費に与える影響に関する一連の記事には、あり得ない平均値が多数含まれていることが明らかになった。生のデータを詳細に分析すると、多くの場合、サンプルサイズが誤って記載され、値が誤って計算されていることが明らかになった。^[1]^[5]

参考文献

^ ab Bartlett, Tom (2017年3月17日). 「Spoiled Science」. The Chronicle of Higher Education . 2017年10月19日閲覧。
^ abc Heathers, James (2016年5月23日). 「GRIMテスト—公開された研究を評価する方法」. Medium . 2017年10月19日閲覧。
^ ab Brown, Nicholas JL; Heathers, James AJ (2016年10月18日). 「GRIMテスト：心理学における結果報告における多数の異常を検出するシンプルな手法」（PDF）。社会心理学および人格科学。8 （4）：363–369。doi ：10.1177/1948550616673876。S2CID 35828029。 2021年12月30日時点のオリジナル（PDF）からアーカイブ。 2019年9月18日閲覧。
^ Omnes Res. 「GRIMプロット（平均：3.48、サイズ：20）」。PrePubMed 。 2017年10月19日閲覧。
^ abc アナヤ、ジョーダン; ファン・デル・ジー、ティム; ブラウン、ニック (2017 年 6 月 14 日)。「統計的梗塞: コーネル大学食品・ブランド研究所のピザ出版物の事後分析」。PeerJプレプリント。doi : 10.7287/peerj.preprints.3025v1。2017年10月 19 日閲覧。

外部リンク

オンラインGRIMテスト計算機
軽量オンラインGRIMテスト計算機

[Chron-1] Bartlett, Tom (2017年3月17日). 「Spoiled Science」. The Chronicle of Higher Education . 2017年10月19日閲覧。

[Medium-2] Heathers, James (2016年5月23日). 「GRIMテスト—公開された研究を評価する方法」. Medium . 2017年10月19日閲覧。

[GRIMPaper-3] Brown, Nicholas JL; Heathers, James AJ (2016年10月18日). 「GRIMテスト：心理学における結果報告における多数の異常を検出するシンプルな手法」（PDF）。社会心理学および人格科学。8 （4）：363–369。doi ：10.1177/1948550616673876。S2CID 35828029。 2021年12月30日時点のオリジナル（PDF）からアーカイブ。 2019年9月18日閲覧。

[4] Omnes Res. 「GRIMプロット（平均：3.48、サイズ：20）」。PrePubMed 。 2017年10月19日閲覧。

[Infarction-5] アナヤ、ジョーダン; ファン・デル・ジー、ティム; ブラウン、ニック (2017 年 6 月 14 日)。「統計的梗塞: コーネル大学食品・ブランド研究所のピザ出版物の事後分析」。PeerJプレプリント。doi : 10.7287/peerj.preprints.3025v1。2017年10月 19 日閲覧。