信頼性（統計）

統計学と心理測定学 において、信頼性とは測定の全体的な一貫性を指します。^[1]測定が一貫した条件下で同様の結果を生み出す場合、その測定は高い信頼性を持つと言われます。

「これは、テストスコアの特性であり、スコアに埋め込まれる可能性のある測定プロセスからのランダムエラーの量に関係しています。信頼性の高いスコアは、正確で、再現性があり、テストごとに一貫しています。つまり、テストプロセスをテスト受験者のグループで繰り返した場合、基本的に同じ結果が得られます。スコアのエラーの量を示すために、通常、0.00（エラーが多い）から1.00（エラーなし）までの値を持つさまざまな種類の信頼性係数が使用されます。」^[2]

例えば、人の身長や体重の測定値は非常に信頼できることが多いです。^{[3] [4]}

信頼性の推定にはいくつかの一般的なクラスがあります。

• 評価者間信頼性は、2人以上の評価者による評価の一致度を評価する。例えば、ある人が腹痛を起こし、異なる医師が全員同じ診断を下す場合などである。 ^{[5] : 71}
• 再テスト信頼性は、テストのスコアが1回のテストから次のテストまでどの程度一貫しているかを評価するものです。測定値は、同じ方法または機器、同じテスト条件を使用する1人の評価者から収集されます。 ^[4]これには評価者内信頼性が含まれます。
• 方法間信頼性は、使用される方法や機器にばらつきがある場合に、テストのスコアがどの程度一貫しているかを評価するものです。これにより、評価者間信頼性を排除することができます。フォームを扱う場合、並行フォーム信頼性と呼ばれることがあります。^[6]
• 内部一貫性信頼性は、テスト内の項目間の結果の一貫性を評価します。 ^[6]

信頼性は妥当性を意味するものではありません。つまり、何かを一貫して測定する信頼性の高い尺度は、必ずしも測定したいものを測定しているわけではありません。たとえば、特定の能力を測る信頼性の高いテストは数多くありますが、それらすべてが、たとえば仕事のパフォーマンスを予測するのに有効であるとは限りません。

信頼性は妥当性を意味するものではありませんが、信頼性はテストの全体的な妥当性に制限を課します。完全に信頼できないテストは、人の属性を測定する手段としても、基準のスコアを予測する手段としても、完全に有効であることはできません。信頼性の高いテストは有用な有効な情報を提供する可能性がありますが、信頼性のないテストが有効である可能性はありません。^[7]

たとえば、ある計量器が物体の重量を実際の重量より 500 グラム多く測定し続けたとすると、その計量器は非常に信頼できるものの、有効ではありません (返された重量が実際の重量ではないため)。計量器が有効であるためには、物体の実際の重量を返す必要があります。この例は、完全に信頼できる測定が必ずしも有効であるとは限らないが、有効な測定は必ず信頼できる必要があることを示しています。

実際には、テストの測定方法が完全に一貫していることはありません。テストの信頼性の理論は、測定の正確さに対する不一致の影響を推定するために開発されました。テストの信頼性に関するほぼすべての理論の基本的な出発点は、テストのスコアが2種類の要因の影響を反映しているという考えです。^[7]

1. 一貫性要因: 測定しようとしている個人または属性の安定した特性。

2. 不一致要因: テストのスコアに影響を与える可能性があるが、測定対象の属性とは関係のない個人または状況の特徴。

これらの要因には以下が含まれる: ^[7]

• 個人の一時的だが一般的な特徴：健康、疲労、意欲、感情的緊張
• 個人の一時的かつ特定の特性：特定のテスト課題の理解、特定のテスト資料を扱うための特定のトリックやテクニック、記憶、注意、正確さの変動
• テスト状況の側面: 気が散ることのなさ、指示の明確さ、性格の相互作用など。
• 偶然の要因: 単なる推測による回答の選択における運、瞬間的な注意散漫

信頼性を推定する目的は、テストスコアの変動のうち、どれだけが測定誤差によるもので、どれだけが真のスコア（真の値）の変動によるものかを判断することです。^[7]

真のスコアは、測定対象の概念の再現可能な特徴です。これは、エラーがない場合にさまざまな測定機会にわたって再現される、観測されたスコアの一部です。

測定誤差はランダム誤差 と系統的誤差の両方で構成されます。これは、テストで得られたスコアとそれに対応する真のスコアの間の相違を表します。

この概念的な内訳は、通常、次の単純な式で表されます。

観察されたテストスコア = 真のスコア + 測定誤差

信頼性理論の目的は、測定における誤差を推定し、誤差を最小限に抑えるようにテストを改善する方法を提案することです。

信頼性理論の中心的な前提は、測定誤差は本質的にランダムであるというものです。これは、誤差がランダムなプロセスから発生することを意味するものではありません。どの個人にとっても、測定誤差は完全にランダムなイベントではありません。しかし、多数の個人にわたって、測定誤差の原因は非常に多様であるため、測定誤差はランダム変数として作用すると想定されています。^[7]

エラーがランダム変数の本質的な特性を持っている場合、エラーが正または負になる可能性は等しく、エラーは真のスコアや他のテストのエラーとは相関していないと想定するのが妥当です。

次のように想定されている: ^[8]

1. 測定の平均誤差 = 0

2. 真のスコアとエラーは相関しない

3. 異なる測定基準の誤差は相関していない

信頼性理論によれば、得られたスコアの分散は、真のスコアの分散と測定誤差の分散の合計に過ぎないことが示されています。^[7]

${\displaystyle \sigma _{X}^{2}=\sigma _{T}^{2}+\sigma _{E}^{2}}$

この式は、テストのスコアが次の 2 つの要因の結果として変化することを示しています。

1. 真のスコアの変動

2. 測定誤差による変動。

信頼性係数は、真のスコアとエラー スコアが獲得したテスト スコアに及ぼす相対的な影響の指標を提供します。一般的な形式では、信頼性係数は、テスト スコアの合計分散に対する真のスコア分散の比率として定義されます。または、エラー スコアの分散と観測スコアの分散の比率から 1 を引いた値と同等です。 ${\displaystyle \rho_{xx'}}$

${\displaystyle \rho _{xx'}={\frac {\sigma _{T}^{2}}{\sigma _{X}^{2}}}=1-{\frac {\sigma _{E}^{2}}{\sigma _{X}^{2}}}}$

残念ながら、真のスコアを直接観察したり計算したりする方法はないため、テストの信頼性を推定するためにさまざまな方法が使用されます。

信頼性を推定する方法の例としては、再テスト信頼性、内部一貫性信頼性、並列テスト信頼性などがあります。各方法は、テストにおけるエラーの原因を解明するという問題に多少異なる方法で取り組みます。

測定精度は測定スケール全体にわたって均一ではないことは、古典的なテスト理論家の間ではよく知られていました。テストでは、中程度の特性レベルの受験者をより良く区別し、高得点と低得点の受験者をより悪く区別する傾向があります。 項目反応理論は、信頼性の概念を単一の指標から情報関数と呼ばれる関数に拡張します。IRT 情報関数は、任意のテストスコアにおける条件付き観測スコア標準誤差の逆数です。

信頼性を推定する目的は、テストスコアの変動のうち、測定エラーによるものがどれだけあり、実際のスコアの変動によるものがどれだけあるかを判断することです。

テストの信頼性を推定する実用的な方法を提供する4つの実用的な戦略が開発されました。^[7]

1.再テスト信頼性法: テストのスコアが 1 回のテスト実施から次のテスト実施までどの程度一貫しているかを直接評価します。

これには以下が含まれます:

• 個人のグループにテストを実施する
• 後日同じグループに同じテストを再度実施する
• 最初のスコアセットと2番目のスコアセットを相関させる

最初のテストのスコアと再テストのスコアの相関関係は、ピアソンの積率相関係数を使用してテストの信頼性を推定するために使用されます。項目合計相関も参照してください。

2.平行法：

この方法の鍵となるのは、内容、反応プロセス、統計的特性の点で同等の代替テスト形式を開発することです。例えば、一般知能のテストにはいくつかの代替形式が存在し、これらのテストは一般的に同等であると考えられています。^[7]

並行テストモデルでは、ある人のフォームAの真のスコアがフォームBの真のスコアと同一であるという意味で同等の2つのテスト形式を開発することが可能です。両方の形式のテストを多数の人に実施した場合、フォームAとフォームBのスコアの差は測定誤差のみによるものである可能性があります。^[7]

これには以下が含まれます:

• 1つの形式のテストを個人のグループに実施する
• 後日、同じグループの人々に同じテストの別の形式を実施する
• フォームAのスコアとフォームBのスコアの相関関係

2 つの代替形式のスコア間の相関関係を使用して、テストの信頼性を推定します。

この方法は、再テスト信頼性法に固有の多くの問題に部分的な解決策を提供します。たとえば、2つのテスト形式が異なるため、持ち越し効果はそれほど問題になりません。反応性効果も部分的に制御されていますが、最初のテストを受けると2番目のテストへの反応が変わる可能性があります。ただし、テストの形式を変えた場合の影響は、同じテストを2回実施した場合ほど強くないと想定するのが妥当です。^[7]

ただし、この手法には欠点もあります。

• テストの複数の代替形式を作成するのは非常に難しいかもしれない
• 2つの代替形式のテストが並行した測定であることを保証することは不可能ではないにしても難しいかもしれない。

3.分割法：

この方法は、小節の2つの半分を代替形式として扱います。これは、代替形式を開発することの難しさという平行形式法が直面する問題に対する簡単な解決策を提供します。 ^[7]

これには以下が含まれます:

• 個人のグループにテストを実施する
• テストを半分に分割する
• テストの半分のスコアとテストの残りの半分のスコアを相関させる

これら 2 つの分割された半分の間の相関関係は、テストの信頼性を推定するために使用されます。この半分の信頼性推定値は、その後、Spearman–Brown 予測式を使用して、テスト全体の長さまで引き上げられます。

信頼性を推定するためにテストを分割する方法はいくつかあります。たとえば、40項目の語彙テストを2つのサブテストに分割し、最初のサブテストを項目1から20まで、2番目のサブテストを項目21から40までで構成することができます。ただし、項目の難易度と疲労の増加により、前半の回答は後半の回答とは体系的に異なる場合があります。^[7]

テストを分割する場合、2 つの半分は、その内容と回答者の想定される状態の両面で、可能な限り類似している必要があります。最も簡単な方法は、奇数偶数分割を採用することです。この分割では、奇数番号の項目がテストの半分を構成し、偶数番号の項目がもう 1 つの半分を構成します。この配置により、各半分に元のテストの最初、中間、最後の項目が同数含まれることが保証されます。^[7]

4.内部一貫性：テスト内の項目間の結果の一貫性を評価する。最も一般的な内部一貫性の尺度はクロンバックのアルファであり、これは通常、すべての可能な分割係数の平均として解釈される。^[9] クロンバックのアルファは、内部一貫性を推定する以前の形式であるクーダー・リチャードソン式20を一般化したものである。^[9]最も一般的に使用されているが、クロンバックのアルファに関していくつかの誤解がある。^{[10] [11]}

これらの信頼性の尺度は、さまざまなエラーの原因に対する感度が異なるため、必ずしも同じである必要はありません。また、信頼性は尺度自体ではなく尺度のスコアの特性であるため、サンプル依存であると言われています。2 番目のサンプルが異なる母集団から抽出された場合、真の変動はこの 2 番目の母集団で異なるため、1 つのサンプルからの信頼性推定値は 2 番目のサンプルの信頼性推定値と異なる場合があります (サンプル変動により予想される範囲を超えて)。(これはすべての種類の尺度に当てはまります。たとえば、物差しは家屋の測定には適しているかもしれませんが、昆虫の長さの測定には信頼性が低い場合があります。)

信頼性は、表現の明瞭さ（筆記試験の場合）、尺度の長さの延長、^[9]、およびその他の非公式な手段によって改善される可能性があります。ただし、項目分析と呼ばれる正式な心理測定分析が、信頼性を高める最も効果的な方法であると考えられています。この分析は、項目の難易度と項目の識別指数の計算で構成され、後者の指数には、項目間の相関関係とテスト全体の項目スコアの合計の計算が含まれます。難しすぎる項目、簡単すぎる項目、および/または識別がほぼゼロまたは負の項目を、より優れた項目に置き換えると、測定の信頼性が向上します。

• ${\displaystyle R(t)=1-F(t).}$
• ${\displaystyle R(t)=\exp(-\lambda t),}$失敗率はどこにありますか。${\textstyle \lambda }$

• 変動係数
• 同種の信頼性
• 一貫性（統計）
• 均質性（統計）
• 再テスト信頼性
• 内部の一貫性
• 測定レベル
• 正確さと精度
• 信頼性理論
• 信頼性工学
• 再現性
• 妥当性（統計）

ウィキメディア・コモンズには、信頼性 (統計)に関連するメディアがあります。

• 内部および外部の信頼性と妥当性について説明します。
• 不確実性モデル、不確実性の定量化、および工学における不確実性の処理
• テストの信頼性における相関概念と内部一貫性概念の関係^[盗用]
• 負の信頼性の問題^[奪取]