探索的データ分析

統計学において、探索的データ分析（EDA）または探索的分析は、統計的グラフやその他のデータ視覚化手法を用いて、データセットを分析し てその主な特徴を要約するアプローチです。統計モデルを使用することも使用しないこともできますが、EDA の主な目的は、形式的なモデリングを超えてデータが何を語ることができるかを確認することであり、データを見る前にモデルを選択する必要がある従来の仮説検定とは対照的です。探索的データ分析は、統計学者がデータを探索し、新しいデータ収集や実験につながる可能性のある仮説を立てることを奨励するために、1970 年以来John Tukeyによって推進されてきました。EDA は、モデル適合と仮説検定に必要な仮定の確認、欠損値の処理、必要に応じた変数の変換に焦点を絞った初期データ分析（IDA ） ^{[ 1 ] [ 2 ]}とは異なります。EDA は IDA を包含します。

テューキーは1961年にデータ分析を次のように定義した。「データの分析手順、そのような手順の結果を解釈する技術、データの分析をより容易に、より正確に、より精密にするためのデータ収集の計画方法、およびデータ分析に適用される（数学的）統計のすべての仕組みと結果」^{[ 3 ]}

探索的データ分析（EDA）は、データセットを分析・調査し、その主な特徴を要約する手法です。EDAの主な利点は、分析後にデータを視覚化できることです。

Tukey による EDA の推進は、特にベル研究所のSをはじめとする統計計算パッケージの開発を促進した。^{[ 4 ]} S プログラミング言語は、S-PLUSやRといったシステムに影響を与えた。この統計計算環境群は、大幅に改善された動的な視覚化機能を特徴としており、統計学者がさらに研究する価値のあるデータの外れ値、傾向、パターンを特定できるようにした。

Tukey の EDA は、統計理論における他の 2 つの発展、すなわちロバスト統計とノンパラメトリック統計に関連しており、どちらも統計モデルの定式化におけるエラーに対する統計的推論の感度を下げようとしたものです。Tukey は、数値データの5 つの数値要約(最大値と最小値、中央値、四分位数)の使用を推奨しました。これは、中央値と四分位数が経験分布の関数であるため、平均と標準偏差とは異なり、すべての分布に対して定義されるためです。さらに、四分位数と中央値は、従来の要約 (平均と標準偏差) よりも、歪んだ分布や裾の重い分布に対してロバストです。パッケージS、S-PLUS、およびRには、Quenouille と Tukey のジャックナイフ法やEfronのブートストラップ法などのリサンプリング統計を使用するルーチンが含まれており、これらは (多くの問題に対して) ノンパラメトリックでロバストです。

探索的データ分析、ロバスト統計、ノンパラメトリック統計、および統計プログラミング言語の開発は、統計学者が科学および工学の問題に取り組むことを容易にした。そのような問題には、半導体の製造や通信ネットワークの理解などがあり、どちらもベル研究所にとって関心のある分野であった。これらの統計的発展はすべてテューキーによって推進され、統計的仮説検定の分析理論、特に指数型分布族を重視するラプラシアンの伝統を補完するように設計された。^{[ 5 ]}

さらに、 Anscombeの4部作のように誤解を招く結論を避けるために、モデリングを行う前にEDA中にデータを視覚化すべきだという議論もある。

ジョン・W・テューキーは1977年に『探索的データ分析』という本を執筆した。^{[ 6 ]}テューキーは、統計学では統計的仮説検定（確認的データ分析）に重点が置かれすぎていると主張し、データを用いて検証すべき仮説を提示することにもっと重点を置くべきだと述べた。特に、2種類の分析を混同し、同じデータセットに適用すると、データから示唆される仮説を検証する際に内在する問題のために、体系的な偏りが生じる可能性があると主張した。

EDAの目的は以下のとおりです。

• データから予期せぬ発見を可能にする
• 観察された現象の原因に関する仮説を提案する
• 統計的推論の根拠となる仮定を評価する
• 適切な統計ツールと手法の選択を支援する
• 調査や実験を通じてさらなるデータ収集の基礎を提供する^{[ 7 ]}

多くのEDA技術がデータマイニングに採用されている。また、統計的思考を導入する方法として、若い学生にも教えられている。^{[ 8 ]}

EDAには多くの有用なツールがあるが、EDAは特定の技術よりもむしろ姿勢によって特徴づけられる。^{[ 9 ]}

EDAで一般的に用いられるグラフィカルな手法は以下のとおりです。

• 箱ひげ図
• ヒストグラム
• 多変数チャート
• ランチャート
• パレート図
• 散布図（2D/3D）
• 幹葉図
• 平行座標
• オッズ比
• 標的投影追跡
• ヒートマップ
• 棒グラフ
• ホライズングラフ
• ^{PhenoPlot [ 10 ]}やChernoff顔などのグリフベースの可視化手法
• グランドツアー、ガイドツアー、手動ツアーなどの投影方法
• これらのグラフのインタラクティブ版

次元削減：

• 多次元尺度構成法
• 主成分分析（PCA）
• 多重線形主成分分析
• 非線形次元削減（NLDR）
• 相関関係の図像学

代表的な定量的手法は以下のとおりです。

• 中央ポーランド
• トリミーン
• 叙階

EDAに関する多くのアイデアは、例えば以下のような初期の著者たちに遡ることができます。

• フランシス・ゴルトンは順序統計量と分位数を重視した。
• アーサー・ライオン・ボウリーは幹葉図と5数要約の先駆けとなるものを使用した（ボウリーは実際には、中央値に加えて極値、十分位数、四分位数を含む「 7桁の要約」を使用した。彼の『統計学入門』（第3版、1920年）、62ページを参照^{[ 11 ]}。彼は「最大値と最小値、中央値、四分位数、2つの十分位数」を「7つの位置」と定義している）。 
• アンドリュー・エーレンバーグは、データ削減の哲学を明確に提唱した（同名の著書を参照）。

オープン大学のコース「社会における統計学」（MDST 242）は、上記のアイデアを取り入れ、コイン投げと中央値検定による統計的推論を導入したゴットフリート・ネーターの研究と融合させた。

EDAの結果は、主要な分析タスクとは直交しています。例として、Cookらによる分析タスクを考えてみましょう。このタスクは、食事客がウェイターに渡すチップを最もよく予測する変数を見つけることです。^{[ 12 ]}このタスクのために収集されたデータで使用できる変数は、チップの金額、合計金額、支払者の性別、喫煙席/禁煙席、時間帯、曜日、およびグループの人数です。主要な分析タスクは、チップ率を応答変数とする回帰モデルを当てはめることでアプローチされます。当てはめられたモデルは

（チップ率）＝0.18－0.01×（人数）

これは、食事の人数が1人増えるごとに（つまり、請求額が高くなるごとに）、チップの割合が平均して1％減少するということを意味する。

しかし、データを詳しく調べると、このモデルでは説明されていない他の興味深い特徴が明らかになる。

• 
  チップ金額のヒストグラム。各ビンは1ドル刻みで構成されている。値の分布は右に偏っており、単峰性である。これは、小さな非負の量の分布によく見られる特徴である。
• 
  チップ金額のヒストグラム。0.10ドル刻みで区切られている。興味深い現象が見られる。1ドル単位と0.5ドル単位の金額にピークが現れているが、これは顧客がチップとしてキリの良い数字を選ぶためである。この傾向は、ガソリンなど他の種類の購入でも見られる。
• 
  チップと請求額の散布図。線より下の点は、その請求額に対してチップが予想よりも低いことを示し、線より上の点は、予想よりも高いことを示しています。密接な正の線形関係が見られると予想されますが、実際にはチップの額が増えるにつれてばらつきが大きくなることがわかります。特に、右下には左上よりも線から離れた点が多く、これは非常にケチな客の方が非常に気前が良い客よりも多いことを示しています。
• 
  チップと請求額の散布図を、支払者の性別と喫煙席の有無別に分けて示します。喫煙者はチップの額にかなりばらつきがあります。男性は（少数の）高額な請求額を支払う傾向があり、非喫煙者の女性は（サンプル中に3つの顕著な例外が示されていますが）非常に一貫してチップを渡す傾向があります。

グラフから得られる知見は、回帰モデルによって示される知見とは異なります。もっとも、今回の実験はこれらの傾向を調査するために設計されたものではありませんでした。データの分析によって見出されたパターンは、事前に想定されていなかった転換点に関する仮説を示唆しており、新たなデータを収集して仮説を正式に表明し検証する、興味深い追跡実験につながる可能性があります。

• JMPは、 SAS Instituteが提供するEDAパッケージです。
• KNIME（Konstanz Information Miner）は、Eclipseをベースとしたオープンソースのデータ探索プラットフォームです。
• Minitabは、産業界や企業で広く使用されている、EDA（探索的データ分析）および汎用統計パッケージです。
• Orangeは、オープンソースのデータマイニングおよび機械学習ソフトウェアスイートです。
• Pythonは、データマイニングや機械学習で広く使われているオープンソースのプログラミング言語です。
• MatplotlibとSeabornは、今日の探索的データ分析（EDA）やグラフ作成／データ可視化に用いられるPythonライブラリです。（更新日：2025年）
• Rは、統計計算とグラフィックスのためのオープンソースのプログラミング言語です。Pythonと並んで、データサイエンス分野で最も人気のある言語の一つです。
• TinkerPlotsは、小学校高学年および中学生向けのEDA（電子設計解析）ソフトウェアです。
• Wekaは、ターゲット投影追跡などの視覚化およびEDAツールを含むオープンソースのデータマイニングパッケージです。

• アンスコムの四重奏曲、探検の重要性について
• データマイニング
• 予測分析
• 構造化データ分析（統計学）
• 構成周波数解析
• 記述統計

• Andrienko, N & Andrienko, G (2005)空間および時間データの探索的分析：体系的なアプローチ。Springer。ISBN 3-540-25994-5
• Cook, D.およびSwayne, DF (共著：A. Buja、D. Temple Lang、H. Hofmann、H. Wickham、M. Lawrence) (2007年12月12日).データ分析のためのインタラクティブで動的なグラフィックス：RとGGobiを使用. Springer. ISBN 978-0-387-71761-6。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)
• Cook, D. および Swayne, DF (A. Buja、D. Temple Lang、H. Hofmann、H. Wickham、M. Lawrence 共著) (2007-12-12). Interactive and Dynamic Graphics for Data Analysis: With R and GGobi. Springer. ISBN 9780387717616.
• Hoaglin, DC; Mosteller, F & Tukey, John Wilder (編) (1985). Exploring Data Tables, Trends and Shapes. ISBN 978-0-471-09776-1.
• Hoaglin, DC; Mosteller, F & Tukey, John Wilder (編) (1983). 堅牢なデータ分析と探索的データ分析の理解. ISBN 978-0-471-09777-8.
• Young, FW、Valero-Mora, P.、Friendly M. (2006) Visual Statistics: Seeing your data with Dynamic Interactive Graphics. Wiley ISBN 978-0-471-68160-1 Jambu M. (1991) Exploratory and Multivariate Data Analysis. Academic Press ISBN 0123800900
• SHC DuToit、AGW Steyn、RH Stumpf (1986) グラフィカルな探索的データ分析。Springer ISBN 978-1-4612-9371-2
• Hoaglin, DC; Mosteller, F & Tukey, John Wilder (編) (1985). Exploring Data Tables, Trends and Shapes . Wiley. ISBN 978-0-471-09776-1。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)
• Hoaglin, DC; Mosteller, F & Tukey, John Wilder (編) (1983).堅牢なデータ分析と探索的データ分析の理解. Wiley. ISBN 978-0-471-09777-8。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)
• インゼルベルク、アルフレッド（2009）。平行座標：視覚的多次元幾何学とその応用。ロンドン、ニューヨーク：スプリンガー。ISBN 978-0-387-68628-8。
• Leinhardt, G.、Leinhardt, S.、「探索的データ分析：経験的データの分析のための新しいツール」、教育研究レビュー、第8巻、1980年（1980年）、 85～157ページ。
• Martinez, WL ; Martinez , AR および Solka, J. (2010).探索的データ分析（MATLAB 使用）、第 2 版。Chapman & Hall/CRC。ISBN 978-1-4398-1220-4。
• Theus, M.、Urbanek, S. (2008)、インタラクティブグラフィックスによるデータ分析：原理と例、CRC Press、フロリダ州ボカラトン、ISBN 978-1-58488-594-8
• タッカー、L; マッカラム、R. (1993).探索的因子分析。
• Tukey, John Wilder (1977).探索的データ分析. Addison-Wesley. ISBN 978-0-201-07616-5。
• Velleman, PF; Hoaglin, DC (1981).探索的データ分析の応用、基礎、および計算。Duxbury Press。ISBN 978-0-87150-409-8。
• Young, FW、Valero-Mora, P.、Friendly M. (2006) Visual Statistics: Dynamic Interactive Graphics でデータを見る。Wiley ISBN 978-0-471-68160-1
• Jambu M. (1991)探索的および多変量データ分析。Academic Press ISBN 0123800900
• SHC DuToit、AGW Steyn、RH Stumpf (1986)グラフィカルな探索的データ分析。Springer ISBN 978-1-4612-9371-2

• カーネギーメロン大学 – 確率と統計に関する無料オンラインコース（探索的データ分析（EDA）モジュールを含む）
• ・探索的データ分析の章：工学統計ハンドブック