合意に基づく評価

合意に基づく評価は、合意に基づく意思決定の一般的な実践と、専門知識は多数の初心者や熟練者によってほぼ近似できるという理論的観察を拡張したものです。感情的知性、政治、宗教、価値観、一般的な文化など、非常に曖昧な知識領域の測定基準を決定する方法を生み出します。この観点から、文化的合意を形成する共有知識は、専門知識や一般的な知性とほぼ同じ方法で評価できます。

合意に基づく評価は、単純な発見に基づいています。つまり、異なる能力を持つ個人のサンプル (専門家と見習いなど) が、リッカート尺度を使用して、同様の平均評価で関連するシナリオを評価します。したがって、CBA フレームワークの観点からは、評価対象の母集団から、キーの採点に関する文化的基準を導き出すことができます。過去数十年にわたって共同作業してきた Peter Legree と Joseph Psotka は、判断を必要とする調査のような尺度を通じて、心理測定学的g を目立たないように測定できると提案しました。これには、グループまたは専門家の平均からの個人の偏差スコア、または各人の判断とグループの平均とのピアソン相関を使用できます。2 つの手法は完全に相関しています。その後、Legree と Psotka は、単語の頻度を推定すること、良好な継続の 2 値確率を判断すること、知識の意味を特定すること、および雇用分布を概算することを要求する尺度を作成しました。項目は客観的な指示対象を避けるように慎重に特定されたため、尺度では、広く開発された合意された基準に対して採点された判断を回答者に提供することが求められました。この判断バッテリーのパフォーマンスは、従来の心理測定gの測定値と約 0.80 の相関がありました。回答キーは合意に基づいて導き出されました。数学や物理学の質問とは異なり、心理測定g を評価するための項目、シナリオ、オプションの選択は、複雑な判断を重視する理論によって大まかに導かれましたが、明確なキーは評価が行われるまで不明でした。キーは、偏差スコア、相関、または因子スコアを使用して、全員の回答の平均によって決定されました。

専門知識とコンセンサスの関係を理解する 1 つの方法は、多くのパフォーマンス領域において、専門知識は主に経験から得た知識を反映していると考えることです。初心者は経験が少ない傾向があるため、意見はさまざまな方向に矛盾します。しかし、経験を積むにつれて、熟練者から専門家までの意見はより一貫性のあるものになります。この見方によれば、エラーはランダムです。したがって、さまざまな専門知識を持つ回答者の大規模なサンプルから収集された評価データを使用して、多くの専門家が利用可能であった場合にかなりの数の専門家が提供する平均評価を概算できます。観察数が非常に大きくなると平均の標準偏差が 0 に近づくため、さまざまな能力のグループに基づく推定値は、最適なパフォーマンス基準の収束推定値を提供します。これらのグループの回答の平均を使用して、効果的な採点基準、つまりパフォーマンスを評価するための測定基準を作成できます。このアプローチは、リッカート応答スケールを使用して尺度化された主観的な知識領域の採点に特に関連しており、専門家が不足しているいくつかのドメインの採点基準の開発に適用されています。

実際には、分析により、専門家基準と CBA 基準の間には高いレベルの収束が実証されており、これらの基準を定量化する値は高い相関関係にあり (ピアソンRは .72 ～ .95 の範囲)、これらの基準に基づくスコアも高い相関関係にあります ( Rは .88 ～ .99 の範囲) (Legree、Psotka、Tremble、Bourne、2005)。CBA と専門家参照スコアのこの収束と関連する妥当性データは、評価データが専門家と初心者または熟練者の大規模なサンプルを使用して収集される限り、CBA と専門家ベースのスコアリングを互換的に使用できることを示しています。

CBA は、多くの場合、一連の項目にわたる各人のリッカート尺度による判断と、同じ項目に対する全員の判断の平均とのピアソンR相関を使用して計算されます。相関は、その人がコンセンサスにどれだけ近いかの尺度となります。また、グループのコンセンサス平均からの標準化偏差スコアとして計算されることもあります。これら 2 つの手順は数学的に同型です。文化が共有知識であると考えられ、特定の知識領域に関するグループの評価の平均がその領域における文化的コンセンサスの尺度であると考えられる場合、両方の手順で CBA が個人の文化的理解の尺度として評価されます。

しかし、あるトピックに関するすべての従属項目にコンセンサスが均等に分散されているわけではないかもしれません。項目の知識内容は、コンセンサスが異なる領域に分散されている可能性があります。たとえば、自由意志主義の保守派は、法と秩序に強い感情を持つ保守派とはプライバシーの侵害について異なる感情を抱いている可能性があります。実際、標準的な因子分析では、この問題が前面に出されます。

重心分析または主成分分析(PCA) のいずれの場合も、最初の因子スコアは、各評価に因子の相関 (通常は各人のすべての標準化された評価の平均) を各項目の評価に対して乗算することによって作成されます。この乗算により、各項目は各項目の個人差のパターンの相関 (コンポーネント スコア) によって重み付けされます。これらの項目間でコンセンサスが不均等に分散されている場合、一部の項目は共通因子の全体的な問題に重点が置かれている可能性があります。項目が全体的な個人差のパターンと高い相関関係にある場合、その項目は全体の因子スコアでより強く重み付けされます。この重み付けは暗黙的に CBA スコアにも重み付けされます。これは、因子分析でより重み付けされるのは、共通の CBA コンセンサス パターンを共有する項目であるためです。

心理学者ウィリアム・スティーブンソンが考案した転置因子分析またはQ 法 による因子分析は、この関係を明示的に示しています。CBA スコアは、Q 因子分析の PCA のコンポーネント スコアと統計的に同型です。これは、各人の回答をすべての人の回答の平均にロードしたものです。したがって、Q 因子分析は、ドメインの従属属性ディメンション (政治ドメインにおけるリベラリズムなど) を最もよく表す項目よりも、支配的なディメンションを表す人を選択するために最初に使用できる場合、より優れた CBA 測定を提供できます。因子分析は、その後、ドメインの特定の軸に沿って個人の CBA を提供できます。

実際には、信頼性の高い尺度を提供するために項目を簡単に作成および配置できない場合、元の因子分析でも共通のコンセンサスがある項目を選択すべきであるため、Q 因子分析は必要ありません。したがって、たとえば、政治的態度に関する項目の尺度では、大きな政府、法と秩序、経済問題、労働問題、または自由主義の問題に対する態度を尋ねる項目が考えられます。これらの項目のうち、調査対象グループの政治的態度に最も強く関係するものを事前に判断することは難しい場合があります。ただし、因子分析は項目と人のマトリックスに対する対称的な計算であるため、項目の元の因子分析 (これらがリッカート尺度の場合) では、同様のドメインにある項目だけでなく、より一般的には同様のコンセンサスがある項目が選択されます。この因子分析手法のもう 1 つの利点は、項目が因子に沿って自動的に配置されるため、最高のリッカート評価が最高の CBA 標準スコアでもあることです。選択されると、その因子によって CBA (コンポーネント) スコアが決まります。

CBA 基準に対する最も一般的な批判は、平均がどのようにして最大基準になり得るのかという疑問です。この批判は、CBA は心理的特性、特に知能の最大パフォーマンス テストには適していないと主張しています。それでも、CBA 技術は非伝統的な知能 (実用的、感情的、社会的など) のさまざまな測定に日常的に使用されています。詳細な批判は、Gottfredson (2003) および MacCann、Roberts、Matthews、Zeidner (2004) のほか、科学文献にも記載されています。

• 集合知
• 合意に基づく意思決定
• 合意に基づく民主主義
• 真実のコンセンサス理論
• 感情的知性
• 知能
• 参加（意思決定）
• 干拓地モデル
• 社会的表現
• 全会一致
• 自由主義社会主義

• ゴットフレドソン、LS（2003）「実践的インテリジェンス理論の分析：その主張と証拠」インテリジェンス、31（4）、343-397。
• Legree, PJ, Psotka J., Tremble, TR & Bourne, D. (2005)。コンセンサスに基づく測定法を用いた感情知能の評価。R. Schulze および R. Roberts (編)、『感情知能の国際ハンドブック』(pp 99–123)。ベルリン、ドイツ: Hogrefe & Huber。
• MacCann, C., Roberts, RD, Matthews, G., & Zeidner, M. (2004). パフォーマンスベースの感情知能 (EI) テストのコンセンサススコアリングと経験的オプション重み付け。Personality and Individual Differences、36、645–662。

• 情報とコラボレーション技術（第5章参照）：集合知の管理、新たなコーポレートガバナンスに向けて
• スマートモブ
• 群衆の知恵