Loading article…
データ探索は初期データ分析に似たアプローチであり、データアナリストは、従来のデータ管理システムではなく、視覚的な探索を使用してデータセットの内容とデータの特性を理解します。[1]これらの特性には、データのサイズまたは量、データの完全性、データの正確性、データ要素またはデータ内のファイル/テーブル間の可能な関係が含まれます。
データ探索は通常、自動化されたアクティビティと手動のアクティビティを組み合わせて行われます。[1] [2] [3]自動化されたアクティビティには、データプロファイリング、データの視覚化、表形式のレポートなどがあり、アナリストにデータの初期ビューを提供し、主要な特性を理解させます。[1]
多くの場合、その後に手動でデータをドリルダウンしたりフィルタリングしたりして、自動化されたアクションによって特定された異常やパターンを特定します。データ探索には、手動のスクリプト作成やデータへのクエリ（ SQLやRなどの言語を使用）や、スプレッドシートなどのツールを使用して生データを表示する必要がある場合もあります。[4]
これらの活動はすべて、アナリストの頭の中にメンタルモデルとデータの理解を構築し、さらなる分析に使用できるデータセットの基本的なメタデータ（統計、構造、関係）を定義することを目的としています。[1]
データの初期理解が得られたら、データの使用できない部分を削除（データクレンジング）、フォーマットが不適切な要素を修正、データセット間の関連関係を定義することで、データを整理または洗練することができます。[2]このプロセスは、データ品質の決定としても知られています。[4]
データ探索とは、データに隠れている可能性のある関係性や洞察を特定するために、事前に仮定を立てる必要はなく、アドホックにデータを検索したり視覚化したりすることを指す場合もあります。[1]
伝統的に、これは統計学者にとって重要な焦点領域であり、ジョン・テューキーはこの分野の重要な伝道者でした。[5]今日では、データ探索はより広範囲に及んでおり、データアナリストとデータサイエンティストの焦点となっています。後者は、企業や大規模組織内では比較的新しい役割です。
インタラクティブなデータ探索
データ探索のこの分野は、機械学習の分野で関心の高い分野となっています。これは比較的新しい分野であり、現在も進化を続けています。[4] 最も基本的なレベルでは、機械学習アルゴリズムにデータセットを入力し、データセットに基づいて仮説が正しいかどうかを識別するために使用できます。一般的な機械学習アルゴリズムは、データ内の特定のパターンを識別することに焦点を当てることができます。[2]多くの一般的なパターンには回帰と分類またはクラスタリングが含まれますが、機械学習を介してデータに適用できるパターンとアルゴリズムは多数あります。
機械学習を採用することで、手作業による検査、試行錯誤、従来の探索技術では見つけるのが困難または不可能なデータ内のパターンや関係性を見つけることが可能になります。[6]
ソフトウェア
- Trifacta – データ準備および分析プラットフォーム
- Paxata – セルフサービス型データ準備ソフトウェア
- Alteryx – データブレンディングと高度なデータ分析ソフトウェア
- Microsoft Power BI - インタラクティブな視覚化およびデータ分析ツール
- OpenRefine - データのクリーンアップとデータ変換のためのスタンドアロンのオープンソースデスクトップアプリケーション
- Tableau ソフトウェア– インタラクティブなデータ視覚化ソフトウェア
参照
参考文献
- ^ abcde FOSTER Open Science、データ探索手法の概要: Stratos Idreos、Olga Papaemmonouil、Surajit Chaudhuri。
- ^ abc Stanford.edu、2011 Wrangler: データ変換スクリプトのインタラクティブなビジュアル仕様、Kandel、Paepcke、Hellerstein Heer。
- ^ Arnab Nandi、HV Jagadish。ガイド付きインタラクション: クエリ結果パラダイムの再考(PDF)。国際大規模データベース会議 (VLDB) 2011。
- ^ abc Stanford.edu、IEEE Visual Analytics Science & Technology (VAST)、2012 年 10 月「エンタープライズ データ分析と視覚化: インタビュー調査」、Sean Kandel、Andreas Paepcke、Joseph Hellerstein、Jeffrey Heer Proc.
- ^探索的データ分析、 ピアソン。ISBN 978-0201076165
- ^ データ探索のための機械学習