ウェブベースの実験

ウェブベース実験またはインターネットベース実験とは、インターネット上で実施される実験のこと です。このような実験では、インターネットは「管理および財務コストを削減しながら、より大規模で多様なサンプルを対象とする媒体」であるか、「それ自体が社会科学研究の分野」であるかのいずれかです。 ^{[ 1 ]}心理学とインターネット研究はおそらくこれらの実験を最も広く利用してきた分野ですが、政治学や経済学を含む他のさまざまな分野でもウェブベース実験が使用されています。心理学では、ほとんどのウェブベース実験は認知心理学と社会心理学の分野で行われています。^{[ 2 ] [ 3 ]}この形式の実験設定は、研究者がより広範囲の場所や人々から大量のデータを安価に収集できるため、ますます人気が高まっています。ウェブベース実験は、オンライン研究方法の一種です。研究者が実験室ベースの実験を実施できなくなったため、COVID-19パンデミック以降、ウェブベース実験は大幅に普及しました。^{[ 4 ]}

実験は研究に不可欠な要素ですが、インターネットとの統合は徐々に進んできました。実験には主に3つのカテゴリーがあります。

• 実験室で行われる対照実験では、すべての変数を制御した上で、単一の効果を検証します。
• 自然実験とは、制御することが極めて困難または不可能な大規模な出来事の後に行われる実験であり、可能な限り多くの変数を収集し、それらの相関関係を導き出すものである。
• 自然な環境で行われる野外実験は、制御をあまり適用できないため、外的妥当性が高いという利点がある。

それぞれの実験手法をオンラインに適用するには、いくつかの課題がある。

ウェブベースの実験は費用が大幅に削減できるため、研究者は以下のようなことが可能になります。

• より多様なサンプル、および希少または特定のサブポピュレーションに到達する^{[ 5 ]}
• 実験をより迅速に実行する^{[ 5 ]}
• 統計的検出力を高めるために、より多くの被験者を集める^{[ 6 ] [ 7 ]}
• 異文化間の社会実験をリアルタイムで実施する^{[ 8 ]}

これらの利点は、研究の外的妥当性と一般化可能性を高める可能性を秘めている。例えば、ウェブベースの実験では、社会科学分野でデフォルトの研究対象としてよく用いられる西洋の学部生集団から収集されたデータへの依存度が低くなる。 ^{[ 9 ]}参加者は実験に参加している間、自宅やオフィスにとどまるため、研究者たちは、このような実験は生態学的妥当性が高いとも主張している。^{[ 5 ]}

ウェブベースの実験は、実験室ベースの実験に比べて実験統制が弱く、信頼性と内的妥当性を確保する手順を考案するのがより困難になる可能性がある。^{[ 10 ]}オンラインの自然実験やフィールド実験では、実施されたオンライン環境を超えて結果を一般化することにも課題が生じる可能性がある。ウェブベースの実験が直面する可能性のある困難には、以下のようなものがある。

• 実験に参加する被験者の身元確認が困難である。
• 実験手順が無視されたり、不注意に読まれたりしたため、データの質が低下した^{[ 11 ]。}
• オンライン参加者の意思決定時間が短いと、認知的および合理的なプロセスではなく、本能的および感情的な推論プロセスが引き起こされ、平均して被験者がより親社会的な決定を下す可能性がある^{[ 1 ] [ 12 ]。}
• 実験中に研究者の知らないところで重大な妨害行為が発生していた。
• 被験者が実験から選択的に脱落する場合、特に脱落が独立変数と相関している場合は問題となる。
• ネットワーク接続速度と信頼性、ブラウザとコンピュータの種類、画面サイズと解像度などによるデータのばらつき^{[ 5 ]}
• 実験をあまり真剣に受け止めず、リスク回避の度合いが低い被験者^{[ 13 ]}
• 被験者は、自分が実際の人間のパートナーと交流していると信じていない。
• 実験終了時の報酬や支払い処理の匿名性に関する被験者の懸念^{[ 14 ]}
• 参加しているコンピューターユーザーのほとんどは英語を話す人たちであり、代表性に欠ける^{[ 5 ]}

これらの批判に対し、一部の研究者は、実店舗での実験もこれらの問題の影響を同様に、あるいはそれ以上に受けていると主張している。^{[ 15 ] [ 16 ] [ 17 ]}

ウェブベースの実験の内的妥当性を検証する研究が行われており、実験条件（オンラインとオフライン）間で比較し、結果を再現することに成功している。たとえば、Schoeffler ら（2013）は、聴覚実験の実験室とウェブベースの結果（被験者 62 名と 1,168 名）を比較し、有意な差は見られなかった。^{[ 18 ]} 行動経済学のペア実験をオンライン環境と従来の実験室環境に分けたところ、実質的に同様の結果が得られた。^{[ 1 ]} LabintheWildの無報酬で監督なしの被験者は、同等のデータ品質で以前の実験室研究の結果を再現できることが示されている。^{[ 19 ]}

ウェブベースの実験に伴う困難を防止または制御するための実験プロトコルが提案されている。被験者の逐次マッチング、バックグラウンドタイミングとマウス使用の追跡、PayPal を介した即時報酬などの方法は、ウェブベースの実験の内部妥当性に関する多くの懸念に対処する可能性がある。^{[ 1 ]}これらの方法は、反応時間の違いを制御し、選択的脱落、集中、および注意散漫の問題に対処し、報酬に対する被験者の懸念を最小限に抑え、実験に実際の人間のパートナーがいるという被験者の信頼を高め、被験者が実験の指示と意思決定問題を適切に理解していることを保証する。^{[ 1 ]}

研究者たちは、脱落を減らす、あるいは脱落を考慮するための手法も考案しており、これには、高いハードルを設定する手法（動機付けに不利な情報を研究の開始時にまとめて提示する）、真剣度チェック（参加者に研究を完了する確率を推定してもらう）、ウォームアップ段階（研究開始前に同意書やその他の事前資料を最初に提示してサンプルを絞り込む）などがある。^{[ 5 ]}

• ウェブ実験リスト、ウルフ＝ディートリッヒ・レイプス、ラルフ・レングラーがそれぞれの経験について語り合う。
• 音声ウェブ実験を通じた市民参加に関するチュートリアル。