データ準備

データ準備とは、生データ（異なるデータソースから取得される場合もある）を操作（または前処理）して、例えばビジネス目的で、容易かつ正確に分析できる形式にする行為である。^[1]

データ準備はデータ分析プロジェクトの最初のステップであり、データの読み込みやデータの取り込み、データの融合、データのクリーニング、データの拡張、データの配信など、多くの個別のタスクが含まれます。^[2]

対処すべき問題は、主に次の 2 つのカテゴリに分類されます。

• おそらく異なるソースから取得されたため、多数のデータ レコードに関連する体系的なエラー。
• 少数のデータ レコードに影響する個別のエラー。元のデータ入力時のエラーが原因である可能性があります。

最初のステップは、各データ フィールドの形式とエントリの意味について、完全かつ詳細な仕様を定めることです。これには、次の点を慎重に考慮する必要があります。

• 最も重要なのは、データのユーザーとの協議である
• 分析を実行するためにデータを使用するシステムの利用可能な仕様
• 利用可能な情報とソース データ内のギャップを完全に理解します。

データ定義仕様も参照してください。

地理的な場所を示す 2 文字のアルファベット フィールドがあるとします。あるデータ ソースではコード「EE」が「ヨーロッパ」を意味し、別のデータ ソースでは同じコードが「エストニア」を意味する可能性があります。明確なコード セットを考案し、それに応じて 1 セットのレコードのコードを修正する必要があります。

さらに、「地理的エリア」は、配送先住所、請求先住所、商品の供給元住所、請求通貨、または適用される国内規制のいずれかを指す場合があります。これらすべての事項は仕様でカバーされる必要があります。

そのフィールドに「X」または「555」を含むレコードがいくつかある可能性があります。これは仕様に準拠していないため、明らかに無効なデータです。そのようなレコードが少数しかない場合は、手動で修正するか、精度が重要でない場合は、ファイルからそれらのレコードを単に削除します。別の可能性としては、「不明」カテゴリを作成することが挙げられます。

• 電話番号は正しい形式で、地理的位置フィールドで示された地域に対して正しい値を持っています。国コードは一部のレコードに存在し、他のレコードには存在しない場合があります。データ仕様に応じて、国コードは削除するか挿入する必要があります (地理的位置に基づいて)。同様に、日付の形式と測定単位 (重量、長さ) は一致しない場合があります。
• 場合によっては、欠落しているデータを外部ソースから提供する必要があります（例：外部データソースを介して住所の郵便番号を検索する）
• データは、異なるが関連するデータ レコード間で一貫している必要があります (たとえば、同じ個人が異なるレコードまたはデータセットで異なる生年月日を持つ場合があります)。

可能で経済的な場合には、データは権威ある情報源と照合して検証されるべきである（例えば、ビジネス情報は正確性を保証するためにD&Bデータベースと照合される）。^{[3] [4]}

データを提供するデータソース（データベース、ビジネスアプリケーションなど）やデータが到着する形式が多様であることを考えると、データの準備は非常に複雑になる可能性があります。データの準備に使用されるツールやテクノロジーは数多くあります^[5]。データのクリーニングにかかる​​コストは、常に精度向上の価値とバランスを取る必要があります。

スクリプト言語や抽出、変換、ロード(ETL)、データ品質ツールなどの従来のツールやテクノロジーは、ビジネス ユーザー向けではありません。通常、ほとんどのビジネス ユーザーが持っていないプログラミングや IT スキルが必要です。^{[引用が必要]}

Paxata、Trifacta、Alteryx 、Talend、Ataccamaなどのいくつかの企業は、データを表示し、ユーザーが提供するサンプルデータを直接探索、構造化、クリーンアップ、拡張、更新できるビジュアル インターフェイスを提供しています。

準備作業が完了すると、基礎となる手順を他のデータセットで実行して、同じ操作を実行できます。この再利用により、従来の手動およびハンドコーディングによるデータ準備方法と比較して、生産性が大幅に向上します。

• データ編集、データコーパス内のエラーの修正
• データ前処理、分析目的でデータマイニングにおけるデータのクリーニングのステップ
• データマイニングはデータセット内のパターンと洞察を見つけます
• データ転送