フライスのカッパ

フライスのカッパ（ジョセフ・L・フライスにちなんで名付けられた）は、多数の項目にカテゴリ評価を割り当てるとき、または項目を分類するときに、固定数の評価者間の一致の信頼性を評価するための統計的尺度です。これは、2人以下の評価者間の一致または評価者内信頼性（1人の評価者と評価者自身との比較）を評価する場合にのみ機能するコーエンのカッパなどの他のカッパとは対照的です。この尺度は、偶然に予想されるものに対する分類の一致の度合いを計算します。

Fleiss の kappa は、バイナリまたは名義尺度で使用できます。また、順序データ(ランク付けされたデータ) にも適用できます。MiniTab のオンライン ドキュメント^[1]に例が示されています。ただし、このドキュメントには、「1～5 のスケールでの欠陥の重大度評価などの順序評価がある場合、順序を考慮したKendall の係数 は、通常、kappa のみよりも関連性を判断するのに適した統計です」と記載されています。ただし、Kendall の順位係数は順位データにのみ適していることに注意してください。

フライスのカッパは、スコットのπ統計量^{[2]、つまり}評価者間信頼性の統計的尺度を一般化したものである。^{[3]また、コーエンのカッパ統計量や}ユーデンのJ統計量とも関連があり、場合によっては後者の方が適切である可能性がある。^[4]スコットのπとコーエンのカッパは2人の評価者に対してのみ機能するのに対し、フライスのカッパは、各項目について評価者がランダムにサンプリングされるという条件で、固定数の項目に対してカテゴリ評価を行う評価者数に制限なく機能する。これは、すべての評価者が完全にランダムに評価した場合に予想される評価者間の一致の程度を、観察された一致の程度がどの程度超えるかを表すものとして解釈することができる。コーエンのカッパでは同じ2人の評価者が1セットの項目を評価したと想定しているのに対し、フライスのカッパでは、評価者の数は固定（たとえば3人）だが、異なる項目が異なる個人によって評価される可能性があることを明確に認めていることに注意することが重要である。^[3]つまり、項目1は評価者A、B、Cによって評価されますが、項目2は評価者D、E、Fによって評価される可能性があります。評価者間のランダムサンプリングの条件により、Fleissのカッパは、すべての評価者がすべての患者を評価する場合には適していません。^[5]

合意は次のように考えることができます。一定数の人々がいくつかの項目に数値評価を割り当てた場合、カッパは評価の一貫性の尺度となります。カッパは次のように定義できます。 ${\displaystyle \kappa \,}$

（１） $${\displaystyle \kappa ={\frac {{\bar {P}}-{\bar {P_{e}}}}{1-{\bar {P_{e}}}}}$$

係数は偶然を超えて達成可能な一致の度合いを示し、 は偶然を超えて実際に達成された一致の度合いを示します。評価者が完全に一致している場合は です。評価者間で一致がない場合は (偶然に予想される場合を除く) です。 ${\displaystyle 1-{\bar {P_{e}}}}$${\displaystyle {\bar {P}}-{\bar {P_{e}}}}$${\displaystyle \kappa =1~}$${\displaystyle \kappa \leq 0}$

フライスのカッパを使用する例としては、数人の精神科医が 10 人の患者を診察するよう依頼されたとします。各患者に対して、14 人の精神科医が 5 つの診断のうち 1 つを下します。これらはマトリックスにまとめられ、このマトリックスからフライスのカッパを計算して(以下の例を参照)、偶然に予想される一致レベルを超える精神科医間の一致度を示すことができます。

N を要素の総数、n を要素あたりの評価数、k を割り当てが行われるカテゴリの数とします。要素はi = 1, ..., Nでインデックス付けされ、カテゴリはj = 1, ..., kでインデックス付けされます。n _{ij は}、 i番目の要素をj番目のカテゴリに割り当てた評価者の数を表します。

まず、j番目のカテゴリに割り当てられるすべての割り当ての割合p _{j を}計算します。

（２） $${\displaystyle p_{j}={\frac {1}{Nn}}\sum _{i=1}^{N}n_{ij},\quad \quad 1=\sum _{j=1}^{k}p_{j}}$$

ここで、 i番目の要素について評価者が同意する程度を計算します（つまり、すべての可能な評価者同士のペアの数に対して、同意する評価者同士のペアの数を計算します）。 ${\displaystyle P_{i}\,}$

（３）

${\displaystyle {\begin{aligned}P_{i}&={\frac {1}{n(n-1)}}\sum _{j=1}^{k}n_{ij}(n_{ij }-1)\\&={\frac {1}{n(n-1)}}\sum _{j=1}^{k}(n_{ij}^{2}-n_{ij})\\&={\frac {1}{n(n-1)}}{\biggl [}\ sum _{j=1}^{k}{\bigl (}n_{ij}^{2}{\bigr )}-n{\biggr ]}\end{aligned}}}$

は、評価がすべてのカテゴリに均等に割り当てられる場合は0、すべての評価が 1 つのカテゴリに割り当てられる場合は 1 の範囲であることに注意してください。${\displaystyle P_{i}}$

ここで、 の平均とを計算します。これらは の式に代入されます。 ${\displaystyle {\bar {P}}}$${\displaystyle P_{i}}$${\displaystyle {\bar {P_{e}}}}$${\displaystyle \kappa}$

（4） $${\displaystyle {\begin{aligned}{\bar {P}}&={\frac {1}{N}}\sum _{i=1}^{N}P_{i}\\&={\ frac {1}{Nn(n-1)}}{\biggl [}\sum _{i=1}^{N}\sum _{j=1}^{k}{\bigl (}n_{ij}^{2}{\bigr )}-Nn{\biggr ]}\end{aligned}}}$$

（５） $${\displaystyle {\bar {P_{e}}}=\sum _{j=1}^{k}p_{j}^{2}}$$

次の例では、10 人の「被験者」（ ）それぞれに対して、より大きなグループから抽出された 14 人の評価者（ ）が合計 5 つのカテゴリ（）を割り当てます。カテゴリは列に示され、被験者は行に示されます。各セルには、指定された（行）被験者を指定された（列）カテゴリに割り当てた評価者の数がリストされます。 ${\displaystyle N}$${\displaystyle n}$${\displaystyle k}$

次の表では、、、および と仮定します。値は、 番目のカテゴリに行われたすべての割り当ての割合です。たとえば、最初の列 と 2 番目の行を取ると、 ${\displaystyle N=10}$${\displaystyle n=14}$${\displaystyle k=5}$${\displaystyle p_{j}}$${\displaystyle j}$$${\displaystyle p_{1}={\frac {0+0+0+0+2+7+3+2+6+0}{140}}=0.143,}$$$${\displaystyle P_{2}={\frac {1}{14(14-1)}}\left(0^{2}+2^{2}+6^{2}+4^{2}+2^{2}-14\right)=0.253.}$$

を計算するには、 の合計を知る必要があります。 ${\displaystyle {\bar {P}}}$${\displaystyle P_{i}}$$${\displaystyle \sum _{i=1}^{N}P_{i}=1.000+0.253+\cdots +0.286+0.286=3.780.}$$

シート全体に、

${\displaystyle {\begin{aligned}{\bar {P}}&={\frac {1}{(10)}}(3.780)=0.378\\{\bar {P}}_{e}&=0.143^{2}+0.200^{2}+0.279^{2}+0.150^{2}+0.229^{2}=0.213\\\kappa &={\frac {0.378-0.213}{1-0.213}}=0.210\end{aligned}}}$

Landis & Koch (1977) は、 2 つの注釈者と 2 つのクラスの例の値を解釈するための次の表を示しました。^[6]ただし、この表は普遍的に受け入れられているわけではありません。彼らはそれを裏付ける証拠を提示しておらず、個人的な意見に基づいています。これらのガイドラインは役立つよりも有害である可能性があることが指摘されています。 ^[7]カテゴリとサブジェクトの数が値の大きさに影響を与えるためです。たとえば、カテゴリの数が少ないほど、カッパは高くなります。^[8]${\displaystyle \kappa }$

統計パッケージは、 Cohen のカッパまたは Fleiss のカッパの標準スコア(Z スコア)を計算し、それをP 値に変換できます。ただし、P 値が統計的有意性のしきい値 (通常は 0.05 未満) に達した場合でも、それは評価者間の一致が偶然に予想されるよりも大幅に優れていることを示しているだけです。p 値だけでは、一致が高い予測値を持つほど十分であるかどうかはわかりません。

• ピアソン積率相関係数
• マシューズ相関係数
• クリッペンドルフのアルファ

• Fleiss, JL; Cohen, J. (1973)、「信頼性の尺度としての加重カッパ係数とクラス内相関係数の同等性」、教育および心理測定、33 (3): 613–619、doi :10.1177/001316447303300309、S2CID  145183399。
• フライス、JL（1981）、率と割合の統計的方法（第2版）、ニューヨーク：ジョン・ワイリー＆サンズ、pp.38-46。
• Gwet, KL (2008)、「高い一致がある場合の相互評価者信頼性とその変動の計算」(PDF)、British Journal of Mathematical and Statistical Psychology、61 (Pt 1): 29–48、doi :10.1348/000711006X126600、PMID  18482474、S2CID 13915043、2016-03-03に オリジナル(PDF)からアーカイブ、2010-06-16 に取得。

ウィキブックアルゴリズムの実装には、次のトピックに関するページがあります:フライスのカッパ

• クラウドベースの評価者間信頼性分析、コーエンのカッパ、グウェトの AC1/AC2、クリッペンドルフのアルファ、ブレナン・プレディガー、フライスの一般化カッパ、クラス内相関係数
• カッパ：長所と短所 – 係数に関する記事の優れた参考文献が含まれています
• オンライン カッパ計算機 2009-02-28 にWayback Machineでアーカイブ– フライスのカッパのバリエーションを計算します