クリッペンドルフのアルファ

クリッペンドルフのアルファ係数^{[ 1 ]}は、学者クラウス・クリッペンドルフにちなんで名付けられたもので、分析単位のセットをコーディングする際に達成される一致度を統計的に測定するものです。1970年代以降、アルファは、テキスト単位を訓練された読者が分類する内容分析、専門家が自由回答形式のインタビューデータを分析可能な用語にコーディングするカウンセリングや調査研究、同じ現象の代替テストを比較する必要がある心理テスト、または構造化されていない出来事を記録して後で分析する観察研究などで使用されています。

クリッペンドルフのアルファは、コーダー間の一致度、評価者間の信頼性、与えられた単位セットのコーディングの信頼性（単位化とは区別される）の尺度と呼ばれる、いくつかの既知の統計を一般化したものですが、信頼性係数と呼ばれるものの、その後の分析のために生成されたコーディングデータの詳細には適さない統計とも区別されます。

クリッペンドルフのアルファは、コーダーの人数に関係なく、各コーダーが分析単位ごとに1つの値を割り当て、不完全な（欠損）データ、変数をコーディングするために利用可能な値の任意の数、バイナリ、名義、順序、間隔、比率、極座標、および円形の尺度（これは数学的な意味での尺度ではなく、多くの場合、数学的尺度の2乗であることに注意してください。測定レベルを参照してください）に適用でき、信頼性データのサンプルサイズが小さい場合にも自動的に調整されます。このような変動を伴う単一の係数の利点は、計算された信頼性が、コーダーの数、値、異なる尺度、および不均等なサンプルサイズに関係なく比較可能であることです。

クリッペンドルフのアルファを計算するためのソフトウェアが利用可能です。^{[ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ]}

信頼性データは、m ≥ 2 名のコーダーが共同で指示を受け（例えば、コードブックによって）、かつ独立して作業を行い、共通のN個の分析単位に値 1,..., Vのいずれかを割り当てる状況で生成されます。標準的な形式では、信頼性データは、コーダーc _{i が}単位u _jに割り当てたN個の値v _ijを含むm × N行列に表形式で表されます。m _{j を}、すべてのコーダーcを通じて単位jに割り当てられた値の数と定義します。データが不完全な場合、 m _{j は}mより小さくなることがあります。信頼性データでは、値がペア可能、つまりm _j ≥ 2 である必要があります。ペア可能な値の総数は${\displaystyle \sum _{j=1}^{N}m_{j}=}$n ≤ mN。

分かりやすくするために、標準的な形式を抽象的に表すと次のようになります。

を と表記する${\displaystyle R}$観察者が与えることができるすべての可能な応答の集合。たとえば、すべての観察者の応答はユニットと呼ばれます（多重集合を形成します）。これらのユニットを持つ多重集合を項目として表します。${\displaystyle U}$。

アルファは次のように表されます。

${\displaystyle \alpha =1-{\frac {D_{o}}{D_{e}}}}$

どこ${\displaystyle D_{o}}$意見の相違が観察され、${\displaystyle D_{e}}$その意見の相違は偶然に予想されるものだろうか。

${\displaystyle D_{o}={\frac {1}{n}}\sum _{c\in R}\sum _{k\in R}\delta (c,k)\sum _{u\in U}m_{u}{\frac {n_{cku}}{P(m_{u},2)}}}$

どこ${\displaystyle \delta }$これはメトリック関数です（ただし、これは数学的な意味でのメトリックではなく、多くの場合、数学的なメトリックの二乗です。下記を参照してください）。${\displaystyle n}$はペアリング可能な要素の総数です。${\displaystyle m_{u}}$は単位内のアイテム数です。${\displaystyle n_{cku}}$数${\displaystyle (c,k)}$単位内のペア${\displaystyle u}$、 そして${\displaystyle P}$は順列関数です。項を並べ替えると、この和は概念的に、ユニット j に割り当てられたコーダーの数で重み付けされた、個々のユニットの不一致の加重平均として解釈できます。

${\displaystyle D_{o}={\frac {1}{n}}\sum _{j=1}^{N}m_{j}\,\mathbb {E} (\delta _{j})}$

どこ${\displaystyle \mathbb {E} (\delta _{j})}$は、${\displaystyle m_{j} \choose 2}$ 数字${\displaystyle \delta (v_{ij},v_{i'j})}$（ここ${\displaystyle i>i'}$そして、ペアリング可能な要素を定義します。${\displaystyle m_{j}=m}$すべての人々のために${\displaystyle j}$、${\displaystyle D_{o}}$すべての数字の平均です${\displaystyle \delta (v_{ij},v_{i'j})}$と${\displaystyle i>i'}$また、次のような解釈もあります。${\displaystyle D_{o}}$対角線からの（加重）平均観測距離として。

$${\displaystyle D_{e}={\frac {1}{P(n,2)}}\sum _{c\in R}\sum _{k\in R}\delta (c,k)P_{ck}}$$

どこ${\displaystyle P_{ck}}$ペアが${\displaystyle (c,k)}$これは、すべての観測値の多重集合から導き出せるすべての応答ペアの対角線からの平均距離として考えることができます。

${\displaystyle P_{ck}={\begin{cases}c\neq k&n_{c}n_{k}\\c=k&n_{c}(n_{c}-1)\end{cases}}}$

上記は通常の形式に相当します${\displaystyle \alpha }$代数的に簡略化されると。^{[ 10 ]}

クリッペンドルフのアルファ の解釈の一つは以下の通りである。 ${\displaystyle \alpha =1-{\frac {D_{{\text{単位内}}={\text{誤差}}}}{D_{{\text{単位内および単位間}}={\text{合計}}}}}}$

${\displaystyle \alpha =1}$完全な信頼性を示す

${\displaystyle \alpha =0}$これは信頼性が全くないことを示しています。単位とそれに割り当てられた値は統計的に無関係です。

${\displaystyle \alpha <0}$意見の相違が体系的であり、偶然によって予想される範囲を超えている場合。

この一般的な形式では、不一致D _oとD _{e は}概念的には分かりやすいものの、計算効率が悪い。これらは代数的に簡略化することができ、特に信頼性データの視覚的に分かりやすい一致行列表現で表すと簡略化が進む。

一致行列は、信頼性データの標準形式からn 個のペア可能な値をv × vの正方行列にクロス集計します。ここで、vは変数で使用可能な値の数です。関連性や相関統計でおなじみの分割表は値のペアを集計しますが (クロス集計)、一致行列はすべてのペア可能な値を集計します。一致行列はコーダーへの参照を省略し、対角線に関して対称です。対角線には、すべての単位uにわたる2 人のコーダーiとi'の完全な一致v _iu = v _i'uが含まれます。観測された一致の行列には、次の頻度が含まれます。

${\displaystyle {\begin{aligned}o_{vv'}&=\sum _{u=1}^{N}{\frac {\sum _{i\neq i'}^{m}I(v_{iu}=v)\cdot I(v_{i'u}=v')}{m_{u}-1}}=o_{v'v},\\[5pt]n_{v}&=\sum _{\ell =1}^{V}o_{v\ell }=\sum _{v_{ij}}^{m,N}I(v_{ij}=v){\text{ および }}n=\sum _{\ell =1,p=1}^{V}o_{\ell p},\end{aligned}}}$

ペアになっていない値は省略する。ここで、I (∘) = 1 は∘が真の場合に、それ以外の場合は 0 とする。

一致行列はすべてのペアリング可能な値を表にまとめ、その内容の合計は合計nになるため、4 人以上のコーダーが関与する場合、o _{ck は}分数になる可能性があります。

期待される一致のマトリックスには、以下の頻度が含まれます。

${\displaystyle \ e_{vv'}={\frac {\sum _{i\neq i'}^{m}I(v_{iu}=v)\cdot I(v_{i'u}=v')}{n-1}}={\frac {1}{n-1}}\cdot \left.{\begin{cases}n_{v}(n_{v}-1)&{\text{if }}v=v'\\n_{v}n_{v'}&{\text{if }}v\neq v'\end{cases}}\right\}=e_{kc},}$

これらは合計すると、 o _ckと 同じn _c、n _k、nになります。これらの一致に関して、クリッペンドルフのアルファは次のようになります。

${\displaystyle \alpha =1-{\frac {D_{o}}{D_{e}}}=1-{\frac {\sum _{v=1,v'=1}^{V}o_{vv'}\delta (v,v')}{\sum _{v=1,v'=1}^{V}e_{vv'}\delta (v,v')}}.}$

差分関数${\displaystyle \delta (v,v')}$^{[ 11 ]}値vとv'、変数の計量特性 (測定レベル

一般的に：

${\displaystyle {\begin{aligned}\delta (v,v')&\geq 0\\[4pt]\delta (v,v)&=0\\[4pt]\delta (v,v')&=\delta (v',v)\end{aligned}}}$

特に：

名義データの場合${\displaystyle \delta _{\text{nominal}}(v,v')={\begin{cases}0&{\text{if }}v=v'\\1&{\text{if }}v\neq v'\end{cases}}}$ここで、vとv'は名前として機能します。

順序データの場合${\displaystyle \delta _{\text{ordinal}}(v,v')=\left(\left[\sum _{g=v}^{g=v'}n_{g}\right]-{\frac {n_{v}+n_{v'}}{2}}\right)^{2}}$ここで、vとv ′はランクとして解釈されるコード化された値であり、n _g、n _v、n _{v ′ は}それぞれのランクの頻度です。

区間データの場合${\displaystyle \delta _{\text{interval}}(v,v')=(v-v')^{2}}$ここで、vとv ′は間隔尺度の値である。

比率データの場合${\displaystyle \delta _{\text{ratio}}(v,v')=\left({\frac {v-v'}{v+v'}}\right)^{2}}$ここで、vとv ′は絶対値である。

極座標データの場合${\displaystyle \delta _{\text{polar}}(v,v')={\frac {(v-v')^{2}}{(v+v'-2v_{\min })(2v_{\max }-v-v')}}}$ここで、v _minとv _{max は}極座標スケールの端点を定義する。

循環データの場合${\displaystyle \delta _{\text{circular}}(v,v')=\left(\sin \left[180{\frac {v-v'}{U}}\right]\right)^{2}}$ここで、正弦関数は度数で表され、Uは円周、つまり円またはループ内の値が繰り返される前の範囲です。等間隔の円形メトリックの場合、このメトリックの最小整数値と最大整数値は隣接しており、U  = v_最大– v_最小+ 1 となります。     

アルファの統計分布の数学的記述は常に近似値にすぎないため、ブートストラップ法によってアルファの分布を取得することが望ましい。^{[ 12 ] [ 13 ]}アルファの分布は2つの指標を生み出す。

• 様々な統計的有意水準における計算されたアルファの信頼区間
• データが十分に信頼できるとみなされるために必要な、アルファ値が選択された最小値に達しない確率（片側検定）。この指標は、帰無仮説（偶然の一致）が関連するアルファ係数の範囲から大きく離れているため、その棄却は与えられたデータの信頼性に関してほとんど意味を持たないことを認識している。信頼できると判断されるには、データは完全な一致から大きく逸脱してはならない。

許容される最小アルファ係数は、不完全なデータから導き出される結論の重要性に応じて選択する必要があります。誤った結論のコストが高い場合は、最小アルファも高く設定する必要があります。信頼性の低いデータから誤った結論を導き出すリスクについての知識がない場合、社会科学者は一般的に信頼性α  ≥  0.800 のデータに頼り、0.800  > α ≥ 0.667 のデータは暫定的な結論を導き出すためにのみ考慮し、一致度 α < 0.667 のデータは破棄します。^{[ 14 ]}   

信頼性データの標準形式を、3人のコーダーと15人の評価者からなる45個のセルを持つ単位行列とする。

「*」が「コード化できない」、「回答なし」、「観測値がない」などのデフォルトカテゴリを示すとします。この場合、「*」は重要な4つの値のデータの信頼性に関する情報を提供しません。ユニット2と14には情報が含まれておらず、ユニット1には1つの値しか含まれておらず、その値はユニット内でペアリングできないことに注意してください。したがって、これらの信頼性データは、 mN  =  45ではなくn  =  26のペアリング可能な値で構成され、N  =  15ではなく12の多重コード化されたユニットで構成されています。

これらのデータの一致行列は、次のように構築されます。

o ₁₁ = {in u =4}:${\textstyle {\frac {2}{2-1}}+}${ u = 10の場合}:${\textstyle {\frac {2}{2-1}}+}${ u = 11の場合}:${\textstyle {\frac {2}{2-1}}=6}$

o ₁₃ = {in u =8}:${\textstyle {\frac {1}{2-1}}=1=}$o ₃₁

o ₂₂ = {in u =3}:${\textstyle {\frac {2}{2-1}}+}${ u =9の場合}:${\textstyle {\frac {2}{2-1}}=4}$

o ₃₃ = {in u =5}:${\textstyle {\frac {2}{2-1}}+}${ u = 6の場合}:${\textstyle {\frac {2}{3-1}}+}${ u = 12の場合}: ${\textstyle {\frac {2}{2-1}}+}$ { u = 13}の場合：${\textstyle {\frac {2}{2-1}}=7}$

o ₃₄ = {in u =6}:${\textstyle {\frac {2}{3-1}}+}${ u = 15の場合}:${\textstyle {\frac {1}{2-1}}=2=}$43_​

o ₄₄ = {in u =7}:${\textstyle {\frac {6}{3-1}}=3}$

この一致行列のエントリに関して、クリッペンドルフのアルファは次のように計算できます。

${\displaystyle \alpha _{\text{metric}}=1-{\frac {D_{o}}{D_{e}}}=1-{\frac {\sum _{v=1,v'=1}^{V}o_{vv'}\delta _{\text{metric}}(v,v')}{{\frac {1}{n-1}}\sum _{v=1,v'=1}^{V}n_{v}n_{v'}~\delta _{\text{metric}}(v,v')}}.}$

利便性のために、${\displaystyle \delta (v,v)=0}$そして${\displaystyle \delta (v,v')=\delta (v',v)}$一致行列の非対角三角形のエントリのみが以下にリストされています。

${\displaystyle \alpha _{\text{metric}}=1-{\frac {1\delta _{\text{metric}}(1,3)+2\delta _{\text{metric}}(3,4)}{{\frac {1}{26-1}}(4\cdot 7\delta _{\text{metric}}(1,2)+10\cdot 7\delta _{\text{metric}}(1,3)+5\cdot 7\delta _{\text{metric}}(1,4)+10\cdot 4\delta _{\text{metric}}(2,3)+5\cdot 4\delta _{\text{metric}}(2,4)+5\cdot 10\delta _{\text{metric}}(3,4))}}}$

すべてを考慮すると${\displaystyle \delta _{\text{nominal}}(v,v')=1}$いつ${\displaystyle v{\neq }v'}$名義データの場合、上記の式は次のようになります。

${\displaystyle \alpha _{\text{nominal}}=1-{\frac {1+2}{{\frac {1}{26-1}}(4\cdot 7+10\cdot 7+5\cdot 7+10\cdot 4+5\cdot 4+5\cdot 10)}}=0.691}$

と${\displaystyle \delta _{\text{interval}}(1,2)=\delta _{\text{interval}}(2,3)=\delta _{\text{interval}}(3,4)=1^{2},\qquad \delta _{\text{interval}}(1,3)=\delta _{\text{interval}}(2,4)=2^{2},{\text{ and }}\delta _{\text{interval}}(1,4)=3^{2},}$区間データの場合、上記の式は次のようになります。

${\displaystyle \alpha _{\text{interval}}=1-{\frac {1\cdot 2^{2}+2\cdot 1^{2}}{{\frac {1}{26-1}}(4\cdot 7\cdot 1^{2}+10\cdot 7\cdot 2^{2}+5\cdot 7\cdot 3^{2}+10\cdot 4\cdot 1^{2}+5\cdot 4\cdot 2^{2}+5\cdot 10\cdot 1^{2})}}=0.811}$

ここ、${\displaystyle \alpha _{\text{interval}}>\alpha _{\text{nominal}}}$不一致は主に隣接する値の間で発生し、一致行列の対角線に近い位置で発生するという条件により、${\displaystyle \alpha _{\text{interval}}}$考慮に入れるが${\displaystyle \alpha _{\text{nominal}}}$そうではない。観測された周波数o _{v ≠ v ′}が平均的に期待される周波数 e _{v ≠ v'}に比例する場合、${\displaystyle \alpha _{\text{interval}}=\alpha _{\text{nominal}}}$。

異なる指標間でアルファ係数を比較することで、プログラマーが変数の指標をどのように概念化しているかについての手がかりが得られる。

クリッペンドルフのアルファは、いくつかの既知の統計量を共通の枠組みの下にまとめたものだが、それぞれの統計量には独自の限界があり、追加的な利点はない。

• スコットのパイ^{[ 15 ]}は、名義データと2人のコーダーの一致係数です。$${\displaystyle \pi ={\frac {P_{o}-P_{e}}{1-P_{e}}}{\text{ where }}P_{o}=\sum _{c}{\frac {o_{cc}}{n}},{\text{ and }}P_{e}=\sum _{c}{\frac {n_{c}^{2}}{n^{2}}}.}$$データが名義尺度である場合、アルファはスコットのパイに似た形式に簡略化される。$${\displaystyle _{\text{nominal}}\alpha =1-{\frac {D_{o}}{D_{e}}}={\frac {\sum _{c}o_{cc}-\sum _{c}e_{cc}}{n-\sum _{c}e_{cc}}}={\frac {\sum _{c}{\frac {O_{cc}}{n}}-\sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}{1-\sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}}}$$スコットの観察された一致率${\displaystyle \ P_{o}}$アルファの分子に正確に現れる。スコットの予想一致率、${\textstyle P_{e}=\sum _{c}{\frac {n_{c}^{2}}{n^{2}}}}$漸近的に近似すると${\textstyle \sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}$サンプルサイズnが大きい場合、無限大の場合は等しくなります。したがって、スコットのパイは、2 人のコーダーが非常に大きな名義データのサンプルを生成する場合のアルファの特殊なケースです。有限サンプルサイズの場合：${\displaystyle {_{\text{nominal}}\alpha }=1-{\tfrac {n-1}{n}}(1-\pi )\geq \pi }$明らかに、${\textstyle \lim _{n\to \infty }{_{\text{nominal}}\alpha }=\pi }$。
• フリースのカッパ^{[ 16 ]}は、非常に大きなサンプルサイズを持つ名義データの合致係数であり、一連のコーダーが例外なくN個のすべてのユニットに正確にm 個のラベルを割り当てています (ただし、コーダーはm人以上いる場合があり、各インスタンスにラベルを付けるのは一部のサブセットのみであることに注意してください)。フリースは、コーエンのカッパ^{[ 17 ]}を 3 人以上の評価者またはコーダーに拡張したと主張しましたが、代わりにスコットのパイを一般化しました。この混乱は、フリースがその名前を選んだことに反映されており、 K : ^{[ 18 ]}と改名することで認識されています。$${\displaystyle K={\frac {{\bar {P}}-{\bar {P}}_{e}}{1-{\bar {P}}_{e}}}{\text{ where }}{\bar {P}}={\frac {1}{N}}\sum _{u=1}^{N}\sum _{c}{\frac {n_{cu}(n_{cu}-1)}{m(m-1)}}=\sum _{c}{\frac {o_{cc}}{mN}},{\text{ and }}{\bar {P}}_{e}=\sum _{c}{\frac {n_{c}^{2}}{(mN)^{2}}}}$$サンプルサイズが有限の場合、K は観測された一致の割合を取得する際の矛盾を助長する可能性があることがわかる。${\displaystyle {\bar {P}}}$u内のm ( m  −  1) 通りの可能な値のペア内での一致を数え、それ自身とペアになっている値を適切に除外し、割合は${\displaystyle {\bar {P}}_{e}}$これは、( mN ) ²  = n2^通り の可能な値のペアすべての中で一致する数を数えることによって得られ、実質的には値自身とのペアリングも含まれます。係数にバイアスをもたらすのは後者です。しかし、πの場合と同様に、サンプルサイズが非常に大きくなるとこのバイアスは消え、比率は ${\textstyle \sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}$上記の_名目αでは漸近的に近似される${\displaystyle {\bar {P}}_{e}}$Kにおいて。しかしながら、Fleiss のkappa、あるいはK は、固定数のm名のコーダーがN個のユニットすべてをコーディングし(欠損データなし)、名義カテゴリを使用し、サンプルサイズn = mNが非常に大きく、理論的には無限であるという特殊な状況において、アルファと交差します。  
• スピアマンの順位相関係数ρ ^{[ 19 ]}は、同じN個のオブジェクトのセットに対する2人のコーダーの順位付けの一致度を測定する。その原形は次のとおりである。$${\displaystyle \rho =1-{\frac {6\sum D^{2}}{N(N^{2}-1)}},}$$どこ${\textstyle \sum D^{2}=\sum _{u=1}^{N}{_{\text{ordinal}}\delta }_{c_{u}k_{u}}^{2}}$は、同じオブジェクトuに対する一方のコーダーのランクcと他方のコーダーのランクkの間のN個の差の合計です。アルファはすべてのコーダーの頻度に基づいて同順位を考慮しますが、ローは各コーダーのインスタンスでそれらを平均します。同順位がない場合、${\displaystyle \rho }$の分子${\textstyle \sum D^{2}=ND_{o}}$そして${\displaystyle \rho }$の分母${\textstyle {\frac {N(N^{2}-1)}{6}}={\frac {n}{n-1}}ND_{e}}$ここでn  =  2 Nとなり、${\displaystyle \ ND_{e}}$サンプルサイズが大きくなると、スピアマンのρは、2人のコーダーが非常に大きなユニットのセットをランク付けするアルファの特別なケースになります。繰り返しますが、${\displaystyle {_{\text{ordinal}}\alpha }\geq \rho }$そして${\textstyle \lim _{n\to \infty }{_{\text{ordinal}}\alpha }=\rho }$。
• ピアソンの級内相関係数r _iiは、間隔データ、2 人のコーダー、および非常に大きなサンプルサイズに対する一致係数です。これを得るために、ピアソンの当初の提案は、観測された値のペアをテーブルに 2 回入力し、1 回はc  − kとして、もう 1 回はk − cとして入力し、その後、従来のピアソン積率相関係数を適用することでした。^{[ 20 ]} 値のペアを 2 回入力することにより、結果として得られるテーブルは、2 人のコーダーを参照しない一致行列となり、n = 2 N個の値を含み、対角線に関して対称になります。つまり、結合線形回帰線は 45° の線に強制され、コーダーへの参照は排除されます。したがって、ピアソンの級内相関係数は、2 人のコーダーと大きなサンプルサイズに対する間隔アルファの特殊なケースです。     ${\displaystyle {_{\text{interval}}\alpha }\geq r_{ii}}$ そして ${\textstyle \lim _{n\to \infty }{_{\text{interval}}\alpha }=r_{ii}}$。
• 最後に、区間alpha、D _u、D _o、D _eの不一致は、適切な標本分散です。^{[ 21 ]}したがって、区間alphaが評価する信頼性は、分散分析などのすべての分散ベースの分析手法と一致します。さらに、区間データだけでなく、名義、順序、比率、極座標、円形データにも差分関数を組み込むことで、alpha は分散の概念を、古典的な分析手法ではほとんど扱われない指標にまで拡張します。

クリッペンドルフのアルファは、これらの特定の用途に特化した係数よりも汎用性が高い。サンプルサイズの変化に対応し、従来の指標ではほとんど考慮されない、多種多様な信頼性データ間の比較を可能にする。

意味論的に言えば、信頼性とは、何かに頼ることができる能力、ここでは後続の分析のためにコード化されたデータに頼ることができる能力を指します。十分な数のコーダーが読んだり観察したりした内容について完全に一致している場合、彼らの記述に頼るのは安全な選択と言えるでしょう。このような判断は、プロセスを複製するコーダーの数と、コード化された単位が対象となる母集団をどの程度代表しているかに左右されます。一致が完全でない場合、特に信頼性が欠如している場合は、解釈上の問題が生じます。

• 相関係数と関連係数。例えば、ピアソンの積率相関係数r _{ij は}、 iとjの座標間の線形回帰直線からのずれを測定します。回帰直線が正確に 45° であるか中心に位置していない限り、r _{ij は}一致度を測定しません。同様に、コーダー間の完全な一致は完全な関連を意味しますが、関連統計は変数間の関係における偶然を超えるパターンを記録します。これらは一致とその他の関連を区別しないため、信頼性の尺度としては不適切です。
• コーダー同士が統計的にどの程度依存しているかを測定する係数。コード化されたデータの信頼性が問題となる場合、コーダーの個人差は考慮に入れることはできません。コーダーは互換性があるものとして扱われる必要があります。アルファ、スコットのパイ、ピアソンの元の級内相関係数は、偶発性だけでなく一致の関数として定義できるため、これを実現します。より一般的な偶発性行列は、N 組の値を表にまとめ、2 人のコーダーを参照しますが、一致行列は、誰が貢献したかに関係なく、コーディングに使用されたn組の値を表にまとめ、実質的にコーダーを互換性があるものとして扱います。対照的に、コーエンのカッパ^{[ 17 ]}は、偶発性の観点から期待される一致を、コーダーが統計的に互いに独立している場合に期待される一致として定義します。^{[ 22 ]}コーエンの偶然の概念は、コーダーの特定のカテゴリーに対する個々の嗜好間の不一致を考慮に入れておらず、カテゴリーの使用について合意したコーダーを罰し、合意しなかったコーダーをより高いカッパ値で報いています。これが、カッパの他の注目すべき奇妙な点の原因です。^{[ 23 ]}コーダーの統計的独立性は、コード化された単位とそれらに割り当てられた値の統計的独立性とはわずかにしか関係がありません。コーエンのカッパは、重要な不一致を無視しているため、コーディングデータの信頼性を評価する際に、見かけ上大きな値になる可能性があります。
• コーダーの判断の一貫性を測定する係数。心理測定学の文献では、^{[ 24 ]}信頼性は、共通の個人特性セットに適用されたときに複数のテストがどの程度一貫して機能するかとして定義される傾向があります。たとえば、クロンバックのアルファ^{[ 25 ]}は、複数のテストがどの程度相関した結果を生み出すかを評価するように設計されています。もちろん、完全な一致が理想的ですが、テスト結果が体系的に変動する場合にもクロンバックのアルファは高くなります。コーダーの判断の一貫性は、データの信頼性に必要な保証を提供するものではありません。体系的またはランダムな同一の判断からの逸脱は、不一致としてカウントされ、測定された信頼性を低下させる必要があります。クロンバックのアルファは、絶対的な差に対応するように設計されていません。
• 信頼性の観点から解釈できない基準値（測定値が 0 になる条件）を持つ係数、つまり、単位とそれに割り当てられた値が統計的に無関係であることを示す専用の値を持たない係数。単純な % 一致は、0  = 極端な不一致から 100  = 完全な一致までで、偶然による明確な値はありません。すでに述べたように、コーエンのカッパは、信頼性の欠如を 2 人のコーダー間の統計的独立性として定義することで、このカテゴリに分類されます。ベネット、アルパート、ゴールドスタインのS ^{[ 26 ]}の基準値は、コーディングに使用できる値の数で定義されており、値が実際にどのように使用されるかとはほとんど関係がありません。グッドマンとクラスカルのラムダ_r ^{[ 27 ]}は -1 から +1 の間で変化するように定義されており、0 には特定の信頼性の解釈がありません。 Linの再現性または一致係数r _c ^{[ 28 ]}は、ピアソンの積率相関係数r _ijを精度の尺度として用い、 r _ijの上述の不適切さを補正するために、正確さの尺度C _bをそれに加えます。これは-1から+1の間で変化し、0の信頼性の解釈は不確実です。信頼性の解釈が完全な一致から逸脱するとすぐに疑わしくなる、いわゆる信頼性尺度は他にもあります。

統計量を一致度、再現性、信頼性などと名付けたとしても、それがコード化されたデータをその後の意思決定に利用できるかどうかの有効な指標になるわけではありません。その数学的構造は、単位を分析可能な用語体系にコード化するプロセスに適合していなければなりません。

• K. クリッペンドルフ、2013年、『コンテンツ分析：その方法論入門』第3版、サウザンドオークス、カリフォルニア州、アメリカ合衆国：セージ出版、221～250ページ

• Bennett, Edward M.、Alpert, R.、Goldstein, AC (1954)。限定応答質問によるコミュニケーション。Public Opinion Quarterly、18、303–308。
• Brennan, Robert L.; Prediger, Dale J. (1981 年 10 月). 「カッパ係数: いくつかの使用法、誤用、および代替法」. Educational and Psychological Measurement . 41 (3): 687–699 . doi : 10.1177/001316448104100307 . ISSN 0013-1644 . 
• Goodman, Leo A. & Kruskal, William H. (1954). 分類間の関連性の尺度. Journal of the American Statistical Association, 49 , 732–764.
• Hayes, Andrew F. & Krippendorff, Klaus (2007). コーディングデータの標準的な信頼性尺度を求める声に応える。Communication Methods and Measures, 1 , 77–89.
• クリッペンドルフ、クラウス（2013）。コンテンツ分析：その方法論入門、第3版。カリフォルニア州サウザンドオークス：セージ出版。
• クリッペンドルフ、クラウス（1978）。二値属性データの信頼性。バイオメトリクス、 34（1）、142-144。
• クリッペンドルフ、クラウス（1970）。間隔データの信頼性、系統誤差、およびランダム誤差の推定。教育心理測定、30（1）、61-70。
• Lin, Lawrence I. (1989). 再現性を評価するための一致相関係数。Biometrics 、45、255–268。
• Marzi, G.、Balzano, M.、Marchiori, D. (2024). K-Alpha Calculator–Krippendorff's Alpha Calculator: Krippendorff's Alphaの評価者間信頼性係数を計算するためのユーザーフレンドリーなツール。MethodsX 、12、102545。https : //doi.org/10.1016/j.mex.2023.102545
• Jum C. & Bernstein, Ira H. (1994).心理測定理論、第3版。ニューヨーク：マグロウヒル。
• ピアソン、カール他 (1901)。進化論への数学的貢献。IX：同型性の原理と遺伝、個体の変異性、人種との関係について。第I部：植物界における同型性。王立協会（ロンドン）哲学紀要、シリーズA、 197、285–379。
• シーゲル、シドニー＆カステラ、N.ジョン（1988）。行動科学のためのノンパラメトリック統計学、第2版。ボストン：マグロウヒル。
• Tildesley, ML (1921). ビルマ頭蓋骨の最初の研究。Biometrica 、13、176–267。
• ズウィック、レベッカ（1988）。評定者間一致に関する再検討。心理学紀要、103（3）、347-387。

• SPSSとマクロを使ったクリッペンドルフのアルファに関するYouTube動画。
• 信頼性計算ツールはクリッペンドルフのアルファを計算します。
• Krippendorff AlphaのJavaScript実装とライブラリ
• Pythonによる実装
• Krippendorff AlphaのRuby Gem実装およびライブラリ。
• データフレームを扱うシンプルなPython実装であるSimpledorff