社会的調査の設計

社会調査の設計：質的研究における科学的推論（ KKV）は、ゲイリー・キング、ロバート・ケオヘイン、シドニー・バーバによって1994年に執筆され、質的研究を実施するためのガイドラインを示した影響力のある本です。 ^[1]この本の中心となる論点は、質的研究と定量的研究は同じ「推論の論理」を共有しているというものです。 ^[2]この本は主に回帰分析の教訓を質的研究に適用し、因果推論の同じ論理が両方のタイプの研究で使用できると主張しています。 ^{[3] [1]}

このテキストは社会科学の分野ではしばしばKKVと呼ばれています。この本は社会科学者の間で激しい議論の対象となっています。^{[4] [5] [6] 2004年に}ヘンリー・E・ブレイディとデイビッド・コリアーが編集したRethinking Social Inquiryという本は、KKVに対する反応をまとめた影響力のある本です。^[5]

ロバート・ケオヘインはKKVの起源について次のように述べている。^[7]

「社会探究の設計」は、世界政治の謎から生まれたものではありません。むしろ、偶然の産物でした。シド・バーバと私は友人で、1985 年にハーバード大学政府学部に加わったとき、彼は一緒にコースを教えようと言いました。私はこの発言を、シドの優雅さと温かさに典型的な、歓迎の挨拶だと受け止めました。3 年後、私は学部長になり、学部長としての 1 年目に 24 の就職説明会を聞かされました。これらの説明会のほとんどは、講演者が研究設計で根本的な間違いを犯していたため、最初から意味がありませんでした。私はシドやゲイリー・キングを含む同僚に不満を訴えました。ゲイリーは、私たち 3 人で研究設計のコースを一緒に教えようと言いました... 私は同意し、翌年そのコースを教えました... 学期が終わると、ゲイリーは言いました。「もう一度そのコースを教えましょう。そして今度は、このテーマに関する本を書きましょう。」翌年、私たちは定期的にランチバッグを持って集まり、コースのテーマだけでなく、私たちの一人（ほとんどの場合ゲイリー、そのため本では彼の名前が最初に登場します）が作成した草稿についても話し合いました。

この本の目的は、社会科学研究において有効な因果推論を導き出す研究者を導くことです。 ^[8]この本は主に回帰分析から学んだことを質的研究に適用し、因果推論の同じ論理がどちらのタイプの研究にも使えると主張しています。^{[3] [1]}著者らは、「多くの現象を研究するか、少数の現象を研究するかに関わらず、理論の観察可能な含意に関するデータを可能な限り多く収集すれば、研究は改善されるだろう」と主張しています。^[8]著者らは、ケーススタディは必ずしも N=1 または少数の N である必要はないと指摘しています。ケーススタディには、ケース内に多くの観察 (多くの期間にわたる多くの個人や団体) を含めることができます。^[9] KKV は、ハリー H. エックスシュタインの「重要なケーススタディ」という概念を批判し、単一の観察では複数の因果効果を推定することが難しくなり、測定誤差が発生する可能性が高くなり、単一のケースのイベントがランダムエラーによって引き起こされるリスクがあると警告しています。^[10]

著者によると、強力な研究設計には、定性的研究と定量的研究の両方、この特定の主題に関する知識の基盤に貢献する重要かつ現実的な問題を提起する研究課題、そして仮説 (理論主導) を引き出す包括的な文献レビューが必要です。収集されたデータは、他の研究者が研究を再現して同様の結果を達成できるように、操作化する必要があります。同じ理由で、分析の背後にある推論プロセスは明確である必要があります。データを収集する際、研究者は理論の観察可能な意味合いを考慮し、可能な限り多くのデータを説明できるようにする必要があります。これは、1 つの変数を別の変数に結び付ける因果メカニズムの調査に加えて行われます。

定性的調査法では、定量的調査法とは異なり、結論に関する不確実性を正確に測定することはできないが、定性的調査を行う研究者は推論の不確実性について示唆を与えるべきである。KKVは、「政治科学における定性的調査の最も深刻な問題は、調査者の推論の不確実性について合理的な推定値を提供できないことが蔓延していることである」と主張している。^[11]

KKV によれば、優れた因果理論のルールは次のようになります。

• 偽造可能である
• 内部の一貫性がある（互いに矛盾しない仮説を生成する）
• 変動がある（説明変数は外生的であり、従属変数は内生的であるべきである）
• 「具体的な」概念を持つ（概念は観察可能であるべきである）
• 「てこ作用」を持つ（理論は少しずつ多くのことを説明するはずである）。^[12]

KKV は、プロセス トレーシングと質的研究は「強い因果推論を導き出せない」と見なしています。これは、質的研究者が、多くの介在変数のうちどれが独立変数と従属変数を本当に結び付けているかを判断するのに苦労するからです。主な問題は、質的研究では、独立変数の影響を適切に推定するのに十分な数の観察が不足していることです。観察の数はさまざまな方法で増やすことができますが、同時に別の問題、つまり変数の数が増えて自由度が減るという問題も生じると KKV は述べています。^[1]

ケース選択に関して、KKV は「従属変数の選択」に対して警告しています。たとえば、研究者は戦争が実際に起こった事例だけを見ても、戦争の勃発について有効な因果推論を行うことはできません (研究者は戦争が起こらなかった事例も見る必要があります)。ただし、説明変数の選択には方法論的な問題があります。KKV は多重共線性(互いに完全に相関する 2 つ以上の説明変数を選択すること) については警告しています。KKV は、ケースのランダム選択は大規模 N の研究では有効なケース選択戦略であると主張していますが、小規模 N の研究では警告しています。

KKV は「準実験」という概念を拒否し、すべての主要な因果変数を制御できる (実験) か、制御できない (非実験) かのいずれかであると主張します。

2010 年のレビューで、ジェームズ・マホーニーは社会科学の方法論の分野は「KKV から恩恵を受けながらも、それを超えて進歩してきた」と書いている。^[1] KKV の批評家は、この本の主張を「社会調査を設計するためのガイドとしては、しばしば単純で誤解を招きやすく、不適切である」と評している。^[1]ヘンリー・E・ブレイディ、ラリー・M・バーテルズ、デイビッド・A・フリードマンなどの定量的研究者は、KKV は定量的研究の長所を定性的研究と比較して誇張していると主張している。 ^[1]ヘンリー・ブレイディとデイビッド・コリアーは、 KKV は定量的研究の不確実性を特定する能力を誇張していると主張している。^[5]彼らはまた、KKV は帰納的研究を実施し、事後的に仮説を立てることのリスクを誇張していると主張している。^[5]

多くの学者は、質的研究は量的研究の基準を統合すべきだという KKV の主張に反対している。^{[5] [6] [13]}質的研究の実施方法と、質的研究者がデータで求め、できることには、さまざまな論理がある。^[13] Brady と Collier は、KKV はこれらの相反する論理や、異なる方法論的目標間の本質的なトレードオフに十分な注意を払っていないと主張している。^[5] Gary Goertz と James Mahoney は、質的研究と量的研究の主な違いは N のサイズであるという意見に異論を唱えている。むしろ、主な違いは、質的研究者はケース内分析を行う傾向があるのに対し、量的研究者はほぼ定義上、ケース間分析を行うということである。^[13]

マホニーは、因果推論を評価するという点では、KKV は集合論と論理を無視していると書いている。回帰指向の分析は特定の結果の平均的な効果を推定しようとするが、質的研究は、なぜ事例が特定の結果をもたらすのかを説明しようとする。^[1]したがって、因果推論は N のサイズを拡大することで強化されるのではなく、むしろ、そのテストによって理論が強化または弱められる事例を慎重に選択することで強化される。^[1]マホニーとゲイリー・ゴーツは、殺人事件との類似性を示している。決定的な証拠が 1 つあれば、ある人物が殺人を犯したかどうかが決定的にわかる。^[13]

マホニーはまた、KKVは概念形成に十分な注意を払っていないと書いている。概念形成は理論構築と測定の重要な側面であり、質的研究が重要な役割を果たすことができる重要な方法の1つである。^[1]

ロナルド・ロゴウスキーは、 KKV が質的社会科学研究を扱う方法を批判している。ロゴウスキーは、仮説検定に重点を置きすぎており、単一の観察の使用に対して慎重すぎると主張している。ロゴウスキーは、KKV は仮説検定に重点を置きすぎた質的社会科学を推進しており、これが学者の疑問、事例、野心を制限していると主張している。^{[14] [15]} ジョン・J・ミアシャイマーとスティーブン・M・ウォルトは、国際関係学の研究は、政治学の大学院プログラムにおける KKV の影響もあって、国際関係理論の作成と洗練から「単純な仮説検定」へと移行したと主張している。^[16]

アレクサンダー・ジョージとアンドリュー・ベネットは、KKVには「同意できる点がたくさんある」と述べているが、定性的研究に関する指針にはいくつかの欠陥があると主張している。^[6]

• 因果メカニズム： KKVは因果説明において「因果メカニズム」は「因果効果」ほど重要ではないと示唆しているが、ジョージとベネットはそれらは同等に重要であると主張している。
• 仮説検定： KKVは理論構築における仮説検定の役割を過度に強調している。ジョージとベネットは、新しい仮説の形成と新しい質問の選択も理論構築の重要な側面であると主張している。
• 因果の複雑性: KKV は、等終局性、多重相互作用効果、フィードバックループ、経路依存性、転換点、選択効果、期待効果、連続相互作用などの因果の複雑性の問題を考慮していない。ジョージとベネットは、ケーススタディ、プロセス追跡、類型論によって因果の複雑性の状況における因果関係を明らかにできると主張している。
• N の増加: KKV は、学者は常に事例の数を増やすよう努めるべきだと主張しています。一方、George と Bennett は、KKV は事例の数を増やすことによるコスト (概念の拡張や、異なる事例の意図しない比較など) を考慮していないと主張しています。George と Bennett は、単一事例研究から多くの価値を引き出せると指摘しています。
• プロセス トレーシング: KKV はプロセス トレーシングを、観察可能な影響の数を増やす方法として特徴づけています。ジョージとベネットは、プロセス トレーシングのロジックはまったく異なると主張しています。プロセス トレーシングを使用する背後にあるロジックは、ケース内のシーケンスとタイミングに焦点を当てることであり、ケース間でデータを相関させることではありません。したがって、シーケンス内の 1 つの証拠が理論上の期待と一致しない場合、理論に欠陥があることが示されます。
• 「自由度」の問題: KKV は、自由度から生じる問題のため、単一のケースでは競合する説明を評価できないと主張しています。ジョージとベネットは、この統計ロジックを定性研究に適用するのは誤りであると主張しています。ジョージとベネットは、定量的研究者は変数を集約して変数の数を減らし、自由度を増やそうとするのに対し、定性研究者は意図的に変数に多くの異なる属性と複雑さを持たせたいと述べています。

• アメリカ政治学評論第89巻第2号、1995年6月号のレビューシンポジウム
• ゲイリー・ゴーツとジェームズ・マホニーは、2012 年に出版した著書『 A Tale of Two Cultures: Qualitative and Quantitative Research in the Social Sciences』の中で、KKV の内容を箇条書きで要約しています。