評価者間の信頼性

統計学において、評価者間信頼性（評価者間合意、評価者間一致、観察者間信頼性、コード化者間信頼性など、さまざまな類似の名前でも呼ばれる）は、同じ現象を評価、コード化、または評価する独立した観察者間の一致の度合いです。

評価に依存する評価ツールは、良好な評価者間信頼性を示す必要があり、そうでなければ有効なテストとは言えません。

評価者間信頼性の判定に使用できる統計は多数あります。測定の種類によって適切な統計は異なります。オプションには、Cohen の kappa、Scott の pi、Fleiss の kappaなどの一致の結合確率、または評価者間相関、一致相関係数、クラス内相関、Krippendorff の alpha などがあります。

「評価者間信頼性」にはいくつかの運用上の定義があり、評価者間の信頼できる合意とは何かについての異なる視点を反映しています。^[1]合意には3つの運用上の定義があります。

1. 信頼できる評価者は、パフォーマンスの「公式」評価に同意します。
2. 信頼できる評価者は、付与される正確な評価について互いに同意しています。
3. 信頼できる評価者は、どのパフォーマンスが優れていて、どのパフォーマンスが悪いかについて意見が一致しています。

これらは、行動に関する 2 つの操作上の定義と組み合わされます。

合同一致確率は、最も単純で、最も堅牢性の低い尺度です。名目評価またはカテゴリ評価システムで評価者が一致する時間の割合として推定されます。一致が偶然のみに基づいて発生する可能性があるという事実は考慮されません。偶然の一致を「修正」する必要があるかどうかについては疑問があります。いずれにせよ、そのような調整は、偶然とエラーが評価者の決定にどのように影響するかを示す明確なモデルに基づくべきだと主張する人もいます。^[3]

使用されるカテゴリの数が少ない場合 (例: 2 または 3)、2 人の評価者がまったくの偶然で同意する可能性が劇的に増加します。これは、両方の評価者が利用可能なオプションの数に制限を課す必要があるため、全体的な同意率に影響し、必ずしも「本質的な」同意の傾向には影響しないからです (偶然によるものでない場合は、同意は「本質的」であると見なされます)。

したがって、評価者間の「内在的」な合意がない場合でも、合意の共同確率は高いままである。有用な評価者間信頼性係数は、(a)「内在的」な合意がない場合には 0 に近くなり、(b)「内在的」な合意率が向上するにつれて増加すると予想される。ほとんどの偶然補正合意係数は最初の目的を達成している。しかし、2 番目の目的は、多くの既知の偶然補正尺度では達成されていない。^[4]

カッパは、評価が偶然に一致する頻度を補正して、一致または信頼性を測定する方法です。2人の評価者に対して機能するCohen のカッパ^{[5]と、固定された評価者数に対して機能する適応型である Fleiss のカッパ[6]}は、偶然に発生すると予想される一致の量を考慮に入れるという点で、結合確率を改良したものです。元のバージョンには、データを名目値として扱い、評価に自然な順序がないと仮定するという点で、結合確率と同じ問題がありました。データに実際に順位 (測定の順序レベル) がある場合、その情報は測定で十分に考慮されません。

このアプローチのその後の拡張には、「部分評価」と順序尺度を扱えるバージョンが含まれていました。^[7]これらの拡張はクラス内相関 (ICC) のファミリーに収束するため、名目 (カッパ) から順序 (順序カッパまたは ICC - 仮定を拡大)、間隔 (ICC、または順序カッパ - 間隔尺度を順序として扱う)、および比率 (ICC) まで、各測定レベルの信頼性を推定する概念的に関連する方法があります。また、一連の項目にわたる評価者の一致 (例: 2 人の面接官が、1 つのケースの同じ半構造化面接のすべての項目のうつ病スコアについて同意しているか) や、評価者 x ケース (例: 2 人以上の評価者が、30 のケースがうつ病と診断されているかどうかについて、はい/いいえでどの程度同意しているか - 名目変数) を調べることができるバリエーションもあります。

カッパは相関係数に似ており、+1.0 を超えることも -1.0 を下回ることもない。これは一致の尺度として使用されるので、ほとんどの状況では正の値のみが期待され、負の値は体系的な不一致を示す。カッパは、一致が良好で、目標条件の率が 50% に近い場合にのみ非常に高い値を達成できる (結合確率の計算に基本率が含まれるため)。いくつかの権威者が一致レベルを解釈するための「経験則」を提示しており、その多くは言葉は一致していなくても要点は一致している。^{[8] [9] [10] [11]}

ピアソンの、 ケンドールの τ、またはスピアマンの のいずれかを 使用して、順序付けられた尺度を使用して評価者間のペアワイズ相関を測定できます。ピアソンは評価尺度が連続的であると想定し、ケンドールとスピアマンの統計はそれが順序的であるとのみ想定します。2 名を超える評価者が観察される場合、グループの平均一致レベルは、考えられる各評価者ペアの、τ、または値の平均として計算できます。 ${\displaystyle r}$${\displaystyle \rho}$${\displaystyle r}$${\displaystyle \rho}$

信頼性テストを実行する別の方法は、クラス内相関係数(ICC)を使用することです。^[12]これにはいくつかの種類があり、その 1 つは「真のスコアにおける被験者間の変動による観測値の分散の割合」と定義されています。^[13] ICC の範囲は 0.0 から 1.0 の間です (ICC の初期の定義では -1 から +1 の間でした)。ICC は、評価者が各項目に付けたスコアにほとんどばらつきがない場合、つまりすべての評価者が各項目に同じまたは同様のスコアを付けた場合に高くなります。ICC は、ピアソンやスピアマンのICC よりも改良されており、評価者間の相関とともに、個々のセグメントの評価の違いを考慮に入れています。 ${\displaystyle r}$${\displaystyle \rho}$

合意を判定するもう 1 つの方法 (評価者が 2 人だけでスケールが連続している場合に便利) は、2 人の評価者の観察結果の各ペア間の差を計算することです。これらの差の平均はバイアスと呼ばれ、基準範囲 (平均 ± 1.96 × 標準偏差) は合意の限界と呼ばれます。合意の限界は、ランダムな変動が評価にどの程度影響を及ぼしているかについての洞察を提供します。

評価者が同意する傾向がある場合、評価者の観察間の差はほぼゼロになります。一方の評価者が他方の評価者よりも一貫して高いか低い場合、バイアスはゼロと異なります。評価者が同意しない傾向があるが、一方の評価が他方の評価よりも高いという一貫したパターンがない場合は、平均はほぼゼロになります。バイアスと各同意の限界の両方に対して信頼限界 (通常は 95%) を計算できます。

一致限界を計算するために使用できる公式はいくつかある。前の段落で示した、60以上のサンプルサイズに適した簡単な公式^[14]は 、

${\displaystyle {\bar {x}}\pm 1.96s}$

より小さなサンプルサイズの場合、もう一つの一般的な単純化法^[15]は

${\displaystyle {\bar {x}}\pm 2s}$

しかし、最も正確な式（すべてのサンプルサイズに適用可能）^[14]は、

${\displaystyle {\bar {x}}\pm t_{0.05,n-1}s{\sqrt {1+{\frac {1}{n}}}}}$

ブランドとアルトマン^[15]は、この考えを拡張して、各点の差、平均差、合意の限界を垂直方向に、2つの評価の平均を水平方向にグラフ化しました。結果として得られるブランド-アルトマンプロットは、全体的な合意の度合いだけでなく、合意が項目の根本的な価値に関連しているかどうかも示します。たとえば、2人の評価者は、小さな項目のサイズの推定ではほぼ一致しますが、大きな項目については意見が一致しない場合があります。

2 つの測定方法を比較する場合、 2 つの方法間のバイアスと一致の限界(評価者間一致) の両方を推定するだけでなく、各方法自体のこれらの特性を評価することも重要です。2 つの方法間の一致が悪いのは、単に一方の方法の一致限界が広く、もう一方の方法の一致限界が狭いためである可能性は十分にあります。この場合、一致限界が狭い方法は統計的観点から優れていることになりますが、実際的またはその他の考慮事項によってこの評価が変わる可能性があります。一致限界が狭いか広いか、またはバイアスが大きいか小さいかは、それぞれのケースで実際的な評価の問題です。

クリッペンドルフのアルファ^{[16] [17]}は、変数の値に関して特定のオブジェクトセットを分類、評価、または測定する観察者間で達成された合意を評価する汎用的な統計です。任意の数の観察者を受け入れ、名目、順序、間隔、および比率レベルの測定に適用でき、欠損データを処理でき、小さなサンプルサイズを補正できるため、いくつかの特殊な合意係数を一般化します。

アルファは、訓練を受けたコーダーによってテキスト単位が分類されるコンテンツ分析で登場し、専門家が自由形式のインタビューデータを分析可能な用語にコード化するカウンセリングや調査研究、個人の属性が複数の方法でテストされる心理測定学、構造化されていない出来事がその後の分析のために記録される観察研究、およびテキストにさまざまな構文および意味的品質の注釈が付けられる計算言語学で使用されています。

複数の評価者が役に立つタスクでは、評価者間で観察対象についての意見が一致しないことが予想されます。対照的に、単純な計数タスク (店舗に入​​る潜在的顧客の数など) などの明確な測定を伴う状況では、多くの場合、複数の人が測定を実行する必要はありません。

評価対象における関心特性の曖昧さを伴う測定は、通常、複数の訓練を受けた評価者によって改善されます。このような測定タスクには、品質の主観的な判断が含まれることがよくあります。例としては、医師の「患者対応」の評価、陪審員による証人の信頼性の評価、講演者のプレゼンテーション スキルなどがあります。

評価手順における評価者間のばらつきと、測定結果の解釈のばらつきは、評価測定における誤差のばらつきの原因の 2 つの例です。あいまいな測定シナリオや困難な測定シナリオで信頼性を確保するには、評価を行うためのガイドラインを明確に示すことが必要です。

採点ガイドラインがないと、評価は実験者のバイアス、つまり評価値が評価者の予想に近づ​​く傾向にますます左右されるようになります。繰り返し測定を行うプロセスでは、評価者がガイドラインと測定目標を理解していることを確認するために、定期的な再トレーニングを行うことで、評価者の偏りを修正できます。

• クロンバックのアルファ
• 評価（製薬業界）

• Gwet, Kilem L. (2014).相互評価者信頼性ハンドブック(第 4 版). ゲイザースバーグ: Advanced Analytics. ISBN 978-0970806284. OCLC  891732741.
• Gwet, KL (2008). 「高い一致がある場合の評価者間信頼性とその分散の計算」(PDF) . British Journal of Mathematical and Statistical Psychology . 61 (Pt 1): 29–48. doi :10.1348/000711006X126600. PMID  18482474. S2CID 13915043. 2016-03-03 に オリジナル(PDF)からアーカイブ。2010-06-16に取得。
• Johnson, R.; Penny, J.; Gordon, B. (2009).パフォーマンスの評価: パフォーマンスタスクの開発、採点、検証。ギルフォード。ISBN 978-1-59385-988-6。
• Shoukri, MM (2010)。観察者間の一致と信頼性の尺度（第2版）。CRC Press。ISBN 978-1-4398-1080-4. OCLC  815928115.

ウィキメディア・コモンズには、評価者間信頼性に関連するメディアがあります。

• AgreeStat 360: クラウドベースの評価者間信頼性分析、Cohen のカッパ、Gwet の AC1/AC2、Krippendorff のアルファ、Brennan-Prediger、Fleiss の一般化カッパ、クラス内相関係数
• ジョン・ユーバーサックス著「評価者合意のための統計的手法」
• Medical Education Online による評価者間信頼性計算機
• オンライン（マルチレーター）カッパ計算機 2009-02-28 にWayback Machineでアーカイブ
• 評価者間合意のオンライン計算機 2016-04-10 にWayback Machineでアーカイブされました