データが不足しています

統計学では、観測値の変数にデータ値が格納されていない場合に、欠損データまたは欠損値が発生します。欠損データはよく発生し、データから得られる結論に大きな影響を与える可能性があります。

欠落データは、無回答が原因で発生することがあります。無回答とは、1 つ以上の項目またはユニット全体 (「対象」) に関する情報が提供されないことです。一部の項目は、他の項目よりも無回答を生成する可能性が高くなります。たとえば、収入などの個人的な主題に関する項目などです。脱落は、縦断的研究 (たとえば、一定期間後に測定を繰り返す発達の研究) で発生する可能性のある欠落の一種です。欠落は、参加者がテスト終了前に脱落し、1 つ以上の測定が欠落している場合に発生します。

経済学、社会学、政治学の研究では、政府や民間団体が重要な統計を報告しない、または報告を怠るなどの理由でデータが欠落することがよくあります。 ^[1]また、情報が入手できないこともあります。研究者によって欠損値が発生することもあります。たとえば、データ収集が不適切に行われた場合や、データ入力に間違いがあった場合などです。^[2]

これらの欠損の形態は、完全にランダムに欠損している場合、ランダムに欠損している場合、ランダムに欠損していない場合など、さまざまな種類があり、研究からの結論の妥当性にさまざまな影響を与えます。欠損データは、打ち切りデータと同様に扱うことができます。

データが欠損している理由を理解することは、残りのデータを正しく処理するために重要です。値が完全にランダムに欠損している場合、データサンプルは依然として母集団を代表する可能性が高いです。しかし、値が体系的に欠損している場合、分析は偏っている可能性があります。たとえば、IQと収入の関係の調査で、平均以上のIQを持つ参加者が「あなたの給料はいくらですか？」という質問を飛ばす傾向がある場合、このランダムな欠損（MARパターン（下記参照））を考慮しない分析では、IQと給料の間に正の関連性が見つからなかったと誤って判断される可能性があります。これらの問題のため、方法論者は研究者に、欠損値の発生を最小限に抑えるように研究を設計することを日常的にアドバイスしています。^[2]グラフィカルモデルを使用すると、欠損データのメカニズムを詳細に説明できます。^{[3] [4]}

データセット内の値は、特定のデータ項目が欠損する原因となるイベントが観測可能な変数と観測不可能な関心パラメータの両方から独立しており、完全にランダムに発生する場合、完全にランダムに欠損している（MCAR）とみなされます。 ^[5]データがMCARの場合、データに対して実行される分析は偏りがありませんが、データがMCARになることはほとんどありません。

MCARの場合、データの欠損は研究変数とは無関係です。したがって、完全に観察されたデータを持つ参加者は、特定の介入が割り当てられたすべての参加者のランダムサンプルです。MCARでは、治療のランダム割り当てが維持されると想定されていますが、これは実際には非現実的に強い仮定です。^[6]

ランダム欠損（MAR）は、欠損がランダムではなく、完全な情報がある変数によって欠損が完全に説明できる場合に発生します。^[7] MARは統計的に検証できない仮定であるため、その実質的な合理性に頼る必要があります。^[8]一例を挙げると、男性はうつ病の調査に回答する可能性が低いですが、これは男性であることを考慮すると、うつ病のレベルとは関係ありません。分析方法によっては、セルの偶発的な空白のために、これらのデータは分析でパラメータバイアスを引き起こす可能性があります（男性で、うつ病が非常に高い場合はエントリがゼロになる場合があります）。ただし、パラメータが完全情報最大尤度で推定される場合、MARは漸近的に偏りのない推定値を提供します。^{[引用が必要]}

MNAR（無作為欠損）（無視できない無回答とも呼ばれる）は、MARでもMCARでもないデータです（つまり、欠損している変数の値は、欠損している理由に関連しています）。^{[5]前の例を拡張すると、男性がうつ病のレベルの}せいでうつ病調査に回答しなかった場合、これが発生します。

サミュエルソンとスパイラー（1992）は、人口動態、法執行、健康に関するデータの欠落や歪曲が、人権侵害のパターンの指標となる可能性があることを論じた。彼らは、かなりよく文書化されたいくつかの例を挙げた。^[9]

欠損データは、古典理論では十分に説明できない微妙な形で発生することもあります。データがMARではないかもしれないが、欠損値が明示的または暗黙的に関連性や構造を示すという問題がますます多く発生しています。このような欠損は「構造化欠損」と呼ばれています。^[10]

構造化欠損は、複数の研究からの情報を組み合わせるときによく発生します。各研究は、設計や測定セットが異なる場合があり、そのため、測定方法の統合からの変数のサブセットのみが含まれます。このような状況では、欠損値は、データ収集に使用されたさまざまなサンプリング方法に関連している可能性があり、またはより広範な対象集団の特性を反映している可能性があり、したがって有用な情報を与える可能性があります。たとえば、健康の文脈では、臨床データ、ゲノムデータ、および画像データをリンクした結果として構造化欠損が観察されています。^[10]

構造化された欠損の存在は、古典的な統計手法と現在の機械学習手法の両方を通じて、大規模なデータの有効利用を妨げる可能性があります。たとえば、一部のデータがパターンで欠損している理由には固有のバイアスがある可能性があり、それが機械学習モデルの予測の公平性に影響を与える可能性があります。さらに、補完などの欠損データを処理する確立された方法では、欠損データの構造が考慮されないことが多いため、構造化された欠損を適切または効果的に処理するには、新しい定式化の開発が必要です。最後に、MCAR、MAR、およびMNARの古典的なフレームワーク内で構造化された欠損を特徴付ける作業は現在進行中です。^[11]

欠損データはサンプルの代表性を低下させ、母集団に関する推論を歪める可能性があります。一般的に、欠損データの処理には主に 3 つのアプローチがあります。(1)補完- 欠損データの代わりに値を埋める、(2)省略- 無効なデータを含むサンプルをそれ以上の分析から除外する、(3)分析- 欠損値の影響を受けない方法を直接適用する。患者中心のアウトカム研究における欠損データの防止と処理を扱ったあるシステマティックレビューでは、欠損データの防止と処理に必要な 10 の基準が特定されました。これには、研究デザイン、研究の実施、分析、報告に関する基準が含まれています。^[12]

実際の応用では、実験者は欠損のレベルを制御し、データを収集する前に欠損値を防ぐことができます。たとえば、コンピューター アンケートでは、質問をスキップできないことがよくあります。質問には必ず答えなければ、次の質問に進むことができません。そのため、参加者に起因する欠損値は、このタイプのアンケートによって排除されますが、この方法は、研究を監督する倫理委員会によって許可されない場合があります。調査研究では、サンプル内の各個人に何度も連絡を取ることが一般的であり、参加しないことを決めた人に考えを変えるよう説得するために手紙を送ることがよくあります。^{[13] : 161–187}ただし、このような手法は、欠損データの否定的な推論効果を軽減する点で役立つ場合もあれば、害になる場合もあります。なぜなら、最初は拒否したり家にいなかったりした後で参加するよう説得されるタイプの人々は、追加の努力をしてもまだ拒否したり連絡が取れないタイプの人々とは大幅に異なる可能性が高いためです。^{[13] : 188–198}

欠損値が発生する可能性がある状況では、研究者は欠損に対して堅牢なデータ分析方法を使用する計画を立てるようアドバイスされることがよくあります。分析が堅牢であるのは、手法の主要な前提に対する軽度から中程度の違反が、母集団について導き出された結論に ほとんどまたはまったく偏りや歪みを生じさせないと確信できる場合です。

一部のデータ分析手法は欠損に対して堅牢ではなく、欠損データを「埋める」、つまり代入する必要があります。Rubin (1987) は、代入を数回 (5 回以下) 繰り返すだけでも推定の質が大幅に向上すると主張しました。 ^[2]多くの実用的な目的において、2 回または 3 回の代入で、より多くの代入で得られる相対的な効率のほとんどが得られます。ただし、代入回数が少なすぎると統計的検出力が大幅に低下する可能性があるため、現在では 20 回から 100 回以上を推奨する学者もいます。^[14] 多重代入されたデータ分析は、代入されたデータセットごとに繰り返す必要があり、場合によっては、関連する統計を比較的複雑な方法で組み合わせる必要があります。^[2]多重代入は、トレーニングが不足しているか、誤解されているため、特定の分野では行われていません。^[15]リストワイズ削除などの方法がデータの代入に使用されていますが、追加のバイアスが生じることが判明しています。^[16]データの補完方法を段階的に説明した初心者向けガイドがあります。^[17]  

期待値最大化アルゴリズムは、欠損データのパターンを考慮して、完全なデータセットが利用可能であった場合に計算される統計の値を推定 (代入) するアプローチです。このアプローチでは、通常、個々の欠損データ項目の値は代入されません。

数値解析の数学の分野において、補間とは、既知のデータ ポイントの離散セットの範囲内で新しいデータ ポイントを構築する方法です。

欠損データのある2つのサンプルを比較する場合、補完を必要とせずに利用可能なすべてのデータを使用する検定統計量は、部分的に重複するサンプルのt検定である。^[18]これは正規性の下で有効であり、MCARを仮定している 。

欠損値のないデータセットに利用可能なデータを削減する方法には、次のものがあります。

• リストワイズ削除/ケースワイズ削除
• ペアワイズ削除

実際に観測されたかのように推定値を使用することで生じる歪みがなく、利用可能なすべての情報を完全に考慮する方法:

• 生成的アプローチ:
  • 期待最大化アルゴリズム
  • 完全情報最大尤度推定
• 差別的アプローチ:
  • 特徴が欠落しているデータの最大マージン分類^{[19] [20]}

部分的な識別方法も使用されることがある。^[21]

モデルベースの手法では、多くの場合グラフが使用され、欠損データ タイプ (MCAR、MAR、MNAR) をテストしたり、欠損データ条件下でパラメータを推定したりするための追加ツールが提供されます。たとえば、MAR/MCAR を反駁するためのテストは次のようになります。

3 つの変数X、Y、Z のうち、Zが完全に観測され、XとY が部分的に観測される場合、データは次を満たす必要があります 。 ${\displaystyle X\perp \!\!\!\perp R_{y}|(R_{x},Z)}$

言い換えれば、Xの観測部分は、 Zのすべての値を条件として、Yの欠損状態に依存しないはずです。この条件を満たさない場合、問題はMNARカテゴリに属していることを示します。^[22]

（注：これらのテストは、イベントベースMARのわずかなバリエーションである変数ベースMARに必要です。^{[23] [24] [25]}）

データがMNARカテゴリに分類される場合、モデルで特定の条件が満たされているときに、パラメータを一貫して推定するための手法が利用可能である。^[3] たとえば、YがXの欠損の理由を説明し、Y自体に欠損値がある場合、Yの欠損がランダムであれば、 XとYの結合確率分布を推定することができる。この場合の推定値は次のようになる。

${\displaystyle {\begin{aligned}P(X,Y)&=P(X|Y)P(Y)\\&=P(X|Y,R_{x}=0,R_{y}=0)P(Y|R_{y}=0)\end{aligned}}}$

ここで、およびはそれぞれの変数の観測された部分を表します。 ${\displaystyle R_{x}=0}$${\displaystyle R_{y}=0}$

一貫性のある推定が可能な場合、異なるモデル構造によって、異なる推定値と異なる推定手順が生じる可能性があります。前述の推定値では、まず完全なデータから推定し、それをXの状態に関係なくYが観測されるケースから推定された値で乗算する必要があります。さらに、一貫性のある推定値を得るためには、最初の項が ではなく であることが非常に重要です。 ${\displaystyle P(X|Y)}$${\displaystyle P(Y)}$${\displaystyle P(X|Y)}$${\displaystyle P(Y|X)}$

多くの場合、モデルベースの手法では、モデル構造を反証テストにかけることができます。^[25] 部分的に観測された変数Xと別の変数Yの欠損指標（つまり）との間の独立性を、 を条件として示唆するモデルは、次の反証テストにかけることができます 。 ${\displaystyle R_{y}}$${\displaystyle R_{x}}$${\displaystyle X\perp \!\!\!\perp R_{y}|R_{x}=0}$

最後に、これらの手法から得られる推定値は閉じた形で導出され、局所最適値の影響を受けやすい期待値最大化などの反復手順を必要としません。^[26]

欠損の確率が時間に依存する場合、特別な種類の問題が発生する。例えば、外傷データベースでは、外傷の結果に関するデータが失われる確率は、外傷の翌日に依存する。このような場合、さまざまな非定常マルコフ連鎖モデルが適用される。 ^[27]

• Acock AC (2005)、「欠損値の処理」、Journal of Marriage and Family、67 (4): 1012–28、doi : 10.1111/j.1741-3737.2005.00191.x
• アリソン、ポール D. (2001)、Missing Data、SAGE Publishing
• Bouza-Herrera, Carlos N. (2013)、「ランク付けされたセットサンプリングにおける欠損データの処理」、Springer
• エンダーズ、クレイグ K. (2010)、応用欠損データ解析、ギルフォード プレス
• グラハム、ジョン W. (2012)、Missing Data、Springer
• Molenberghs, Geert; Fitzmaurice, Garrett; Kenward, Michael G.; Tsiatis, Anastasios; Verbeke, Geert, 編 (2015)、Handbook of Missing Data Methodology、Chapman & Hall
• ラグナサン、トリベロア (2016)、「欠損データ解析の実践」、チャップマン＆ホール
• リトル、ロデリック JA;ルービン、ドナルド B. (2002)、統計分析と欠損データ(第 2 版)、Wiley
• Tsiatis, Anastasios A. (2006)、セミパラメトリック理論と欠損データ、Springer
• Van den Broeck J、Cunningham SA、Eeckels R、Herbst K (2005)、「データクリーニング：データ異常の検出、診断、編集」、PLOS Medicine、2 (10): e267、doi : 10.1371/journal.pmed.0020267、PMC  1198040、PMID  16138788、S2CID  5667073
• Zarate LE、Nogueira BM、Santos TR、Song MA (2006)。「不均衡なデータベースにおける欠損値の回復技術: 大量の欠損データがあるマーケティング データベースへの応用」IEEE 国際システム・人間・サイバネティクス会議、2006 年。SMC '06 。第3巻。pp. 2658–2664。doi :10.1109/ICSMC.2006.385265。

• 欠損データ、ロンドン衛生熱帯医学大学院医療統計学科
• データが乏しく、データが欠落している集水域における長期降雨記録の空間的および時間的傾向分析、1953年から2010年までのマラウイの Lower Shire 氾濫原のケーススタディ。
• R-miss-tastic、欠損値メソッドとワークフローのための統合プラットフォーム。
• 欠落した値-想像

• エムプラス
• PROC MI および PROC MIANALYZE - SAS
• ＳＰＳＳ