欠損データ

統計学において、欠損データ、または欠損値とは、観測対象の変数に対してデータ値が保存されていない場合に発生する現象です。欠損データはよく発生するものであり、データから導き出せる結論に大きな影響を与える可能性があります。

欠損データは、無回答によって発生する可能性があります。つまり、1つ以上の項目または単位全体（「被験者」）について情報が提供されない場合です。項目によっては、他の項目よりも無回答が発生しやすいものがあります。例えば、収入などの個人的な事柄に関する項目などです。脱落は、縦断研究で発生する欠損の一種です。例えば、発達を研究する際に、一定期間後に測定を繰り返す場合などです。欠損は、参加者がテスト終了前に脱落し、1つ以上の測定値が欠落した場合に発生します。

経済学、社会学、政治学の研究では、政府や民間団体が重要な統計を報告しないことを選択したり、報告しなかったりするため、あるいは情報が入手できないため、データが欠落していることがよくあります。 ^{[ 1 ]}時には、研究者が原因で欠落値が発生することもあります。たとえば、データ収集が不適切に行われた場合や、データ入力で間違いがあった場合などです。^{[ 2 ]}

これらの欠損にはさまざまな種類があり、研究結果の妥当性に異なる影響を与えます。完全にランダムに欠損している場合、ランダムに欠損している場合、ランダムではない欠損がある場合です。欠損データは、打ち切りデータと同様に扱うことができます。

データが欠落している理由を理解することは、残りのデータを正しく処理するために重要です。値が完全にランダムに欠落している場合、データサンプルは母集団を代表している可能性が高いです。しかし、値が体系的に欠落している場合、分析に偏りが生じる可能性があります。たとえば、IQと収入の関係を調査する研究において、平均以上のIQを持つ参加者が「あなたの給与はいくらですか？」という質問をスキップする傾向がある場合、このランダムな欠落（MARパターン（下記参照））を考慮しない分析では、IQと給与の間に正の相関関係が見出せない可能性があります。これらの問題のため、方法論者は、欠損値の発生を最小限に抑えるように研究を設計するよう研究者に日常的に助言しています。^{[ 2 ]}グラフモデルを使用して、欠損データのメカニズムを詳細に記述できます。^{[ 3 ] [ 4 ]}

欠損データはサンプルの代表性を低下させ、母集団に関する推論を歪める可能性があります。一般的に、欠損データの処理には主に次の 3 つのアプローチがあります。(1)補完- 欠損データの代わりに値を代入する、(2)除外- 無効なデータを含むサンプルを以降の分析から除外する、(3)分析- 欠損値の影響を受けない方法を直接適用する。患者中心のアウトカム研究における欠損データの予防と処理に関するあるシステマティック レビューでは、欠損データの予防と処理に必要な 10 の基準が特定されました。これには、研究デザイン、研究の実施、分析、および報告に関する基準が含まれます。^{[ 14 ]}

実際の応用例では、実験者は欠損値のレベルを制御し、データ収集前に欠損値の発生を防ぐことができます。例えば、コンピュータによるアンケートでは、質問をスキップできないことがよくあります。質問には必ず回答しなければならず、そうでなければ次の質問に進むことができません。そのため、この種のアンケートでは参加者による欠損値は排除されますが、この方法は研究を監督する倫理委員会によって許可されない場合があります。調査研究では、サンプル内の各個人に複数回連絡を取ることが一般的で、参加しないと決めた人に考えを変えるよう説得するために手紙を送ることがよくあります。^{[ 15 ]： 161-187}しかし、このような手法は、欠損データの負の推論効果を軽減するという点では、役に立つ場合もあれば、害になる場合もあります。なぜなら、最初に拒否したり不在だったりした後に説得されて参加する意思のある人は、追加の努力をしてもなお拒否したり連絡が取れないままの人とは大きく異なる可能性が高いからです。^{[ 15 ]： 188-198}

欠損値が発生する可能性が高い状況では、研究者は欠損値に強いデータ分析手法を用いるよう計画することが推奨される。分析が頑健であるとは、その手法の主要な前提条件に軽度から中程度の違反があっても、母集団に関する結論にほとんど、あるいは全く偏りや歪みが生じないと確信できる場合を指す。

モデルベースの手法（多くの場合グラフを使用）は、欠損データの種類（MCAR、MAR、MNAR）をテストしたり、欠損データ条件下でパラメータを推定したりするための追加ツールを提供します。たとえば、MAR/MCARを否定するテストは次のようになります。

任意の3つの変数X、Y、Zについて、 Zが完全に観測され、XとYが部分的に観測されている場合、データは次の条件を満たす必要があります。 ${\displaystyle X\perp \!\!\!\perp R_{y}|(R_{x},Z)}$。

言い換えれば、Xの観測された部分は、 Zのすべての値に条件付けられたYの欠損状態とは独立している必要がある。この条件を満たさない場合、問題は MNAR カテゴリに属する​​ことを示す。^{[ 24 ]}

（注：これらのテストは、イベントベースのMARのわずかなバリエーションである変数ベースのMARに必要です。^{[ 25 ] [ 26 ] [ 27 ]}）

データがMNARカテゴリに分類される場合、モデルで特定の条件が満たされれば、パラメータを一貫して推定するための手法が利用可能です。^{[ 3 ]} 例えば、YがXの欠損の理由を説明し、Y自体に欠損値がある場合、Yの欠損がランダムであれば、 XとYの同時確率分布を推定できます。この場合の推定対象は次のようになります。

${\displaystyle {\begin{aligned}P(X,Y)&=P(X|Y)P(Y)\\&=P(X|Y,R_{x}=0,R_{y}=0)P(Y|R_{y}=0)\end{aligned}}}$

どこ${\displaystyle R_{x}=0}$そして${\displaystyle R_{y}=0}$それぞれの変数の観測された部分を表す。

異なるモデル構造は、一貫性のある推定が可能な場合、異なる推定対象と異なる推定手順をもたらす可能性がある。前述の推定対象は、まず推定を必要とする。${\displaystyle P(X|Y)}$完全なデータからそれを乗算して${\displaystyle P(Y)}$YがXの状態に関係なく観測されるケースから推定される。さらに、一貫性のある推定値を得るためには、最初の項が${\displaystyle P(X|Y)}$対照的に${\displaystyle P(Y|X)}$。

多くの場合、モデルベースの手法により、モデル構造が反証テストを受けることが可能になります。^{[ 27 ]} 部分的に観測された変数Xと別の変数Yの欠損指標との間の独立性を暗示するモデル(つまり、${\displaystyle R_{y}}$)条件付き${\displaystyle R_{x}}$以下の反証テストに提出することができます。 ${\displaystyle X\perp \!\!\!\perp R_{y}|R_{x}=0}$。

最後に、これらの手法から得られる推定量は閉じた形式で導出され、局所最適解に陥りやすい期待値最大化法などの反復手順を必要としません。^{[ 28 ]}

欠損の確率が時間に依存する場合、特殊な問題が生じます。たとえば、外傷データベースでは、外傷の結果に関するデータが失われる確率は、外傷発生後の日数に依存します。このような場合、さまざまな非定常マルコフ連鎖モデルが適用されます。 ^{[ 29 ]}

• Acock AC (2005)、「欠損値の扱い方」、Journal of Marriage and Family、67 (4): 1012–28、doi : 10.1111/j.1741-3737.2005.00191.x
• アリソン、ポール・D. (2001)、『欠損データ』、SAGE Publishing
• Bouza-Herrera, Carlos N. (2013), 『ランクセットサンプリングにおける欠損データの処理』 , Springer
• エンダース、クレイグ・K. (2010)、『応用欠損データ分析』、ギルフォード出版
• グラハム、ジョン・W. (2012)、『欠損データ』、スプリンガー
• モーレンバーグス、ギアト。フィッツモーリス、ギャレット。ケンワード、マイケル G.シアティス、アナスタシオス。フェルベケ、ギアルト編。 (2015)、欠損データ手法ハンドブック、チャップマン & ホール
• Raghunathan、Trivellore (2016)、『実務における欠損データ分析』、Chapman & Hall
• Little, Roderick JA; Rubin, Donald B. (2002),欠損データを用いた統計分析（第2 版）, Wiley , Bibcode : 2002samd.book.....L
• Tsiatis, Anastasios A. (2006), Semiparametric Theory and Missing Data , Springer
• Van den Broeck J、Cunningham SA、Eeckels R、Herbst K (2005)、「データクリーニング：データ異常の検出、診断、および編集」、PLOS Medicine、2 (10): e267、doi : 10.1371/journal.pmed.0020267、PMC 1198040、PMID 16138788、S2CID 5667073   
• Zarate LE、Nogueira BM、Santos TR、Song MA (2006)「不均衡データベースにおける欠損値回復技術：大量の欠損データを含むマーケティングデータベースへの応用」IEEE International Conference on Systems, Man and Cyber​​netics, 2006. SMC '06 . Vol.  3. pp. 2658–2664 . doi : 10.1109/ICSMC.2006.385265。