Loading article…
データ ラングリング(データ マングリングとも呼ばれる)とは、分析などのさまざまな下流の目的に対してより適切で価値のあるものにすることを目的として、ある「生の」データ形式から別の形式にデータを変換およびマッピングするプロセスです。データ ラングリングの目的は、品質と有用なデータを保証することです。データ アナリストは通常、実際のデータの分析よりも、データ ラングリングのプロセスにほとんどの時間を費やします。
データ ラングリングのプロセスには、さらなるマングリング、データ視覚化、データ集約、統計モデルのトレーニング、およびその他の多くの潜在的な用途が含まれる場合があります。データ ラングリングは通常、データ ソースから生の形式でデータを抽出し、生データを「マングリング」(並べ替えなど) またはデータを定義済みのデータ構造に解析し、最後に結果のコンテンツをデータ シンクに格納して保存し、将来使用できるようにするという一連の一般的な手順に従います。[1]これはETLプロセスと密接に連携しています。
背景
「ラングラー」という非技術用語は、米国議会図書館の国立デジタル情報基盤保存プログラム(NDIIPP) とそのプログラム パートナーであるエモリー大学図書館を拠点とする MetaArchive Partnership の取り組みに由来すると言われています。「mung」という用語は、 Jargon Fileで説明されているマンギングに由来しています。[2]「データ ラングラー」という用語も、データを扱う人を表す最適な例えとして提案されました。[3]
科学的な文脈でデータ ラングリングについて最初に言及したのは、ドナルド クラインが NASA/NOAA の Cold Lands Processes Experiment で行ったことです。[4]クラインは、データ ラングラーは「実験データ全体の収集を調整する」と述べました。また、クラインは、大量のデータを扱うストレージ管理者が通常担当する職務についても規定しています。これは、大規模な研究プロジェクトや、大量の複雑なコンピューター生成画像を使用した映画制作などの分野で発生する可能性があります。研究では、研究機器からストレージ グリッドまたはストレージ施設へのデータ転送と、高性能コンピューティング機器による再分析またはサイバーインフラストラクチャ ベースのデジタル ライブラリによるアクセスのためのデータ操作の両方が含まれます。
データサイエンスにおける人工知能の登場により、データ加工の自動化には非常に厳格なチェックとバランスが重要になってきており、これがデータの加工プロセスが機械学習によって自動化されていない理由です。データ加工には自動化されたソリューション以上のものが必要であり、どの情報を削除すべきかという知識が必要ですが、人工知能はそのようなことを理解できるほどには至っていません。[5]
データマイニングへの接続
データ ラングリングはデータ マイニングのスーパーセットであり、一部のデータ マイニングで使用されるプロセスが必要ですが、常に必要なわけではありません。データ マイニングのプロセスは、大規模なデータ セット内のパターンを見つけることです。データ ラングリングは、そのデータに関する洞察を提供するためにデータを変換します。データ ラングリングはデータ マイニングのスーパーセットですが、データ マイニングで使用されないという意味ではありません。データ マイニングでデータ ラングリングを使用するケースは数多くあります。データ ラングリングは、セット全体に役立たないデータや適切にフォーマットされていないデータを削除することで、データ マイニングにメリットをもたらし、データ マイニング プロセス全体でより良い結果をもたらします。
データ ラングリングと密接に関連するデータ マイニングの例としては、目標に関連しないセットのデータを無視することが挙げられます。たとえば、テキサス州に関連するデータ セットがあり、目標がヒューストンの住民の統計を取得することである場合、セット内のダラスの住民に関連するデータはセット全体には役に立たないため、処理前に削除してデータ マイニング プロセスの効率を向上させることができます。
利点
生データの増加に伴い、本来役に立たないデータの量も増加します。そのため、分析前にデータのクリーニングと整理に費やす時間が増え、ここでデータ ラングリングが役立ちます。データ ラングリングの結果は、データに関するさらなる洞察のための重要なメタデータ統計情報を提供することができます。メタデータの一貫性を確保することが重要であり、そうでないと障害が発生する可能性があります。データ ラングリングにより、アナリストはより複雑なデータをより迅速に分析し、より正確な結果を達成できるため、より適切な意思決定を行うことができます。多くの企業が、データ ラングリングがもたらした成功により、データ ラングリングに移行しています。
核となるアイデア
データ ラングリングの主な手順は次のとおりです。
-
- データ検出
この包括的な用語は、データを理解する方法を説明します。これは、データに慣れるための最初のステップです。
-
- 構造化
- 次のステップは、データを整理することです。生データは一般に整理されておらず、その多くは最終製品には役立たない可能性があります。このステップは、後のステップでの計算と分析を容易にするために重要です。
-
- クリーニング
- データのクリーニングにはさまざまな形式があります。たとえば、異なる方法でフォーマットされた日付をキャッチする形式のデータ クリーニングや、結果を歪める外れ値を削除して null 値をフォーマットする形式のデータ クリーニングなどがあります。この手順は、データの全体的な品質を保証する上で重要です。
-
- 充実させる
- このステップでは、簡単に追加できるデータ セットに追加データが役立つかどうかを判断します。
-
- 出版
- 下流での使用（ユーザーやソフトウェアでの使用を含む）のためにデータ セットを準備します。ラングリング中の手順とロジックを必ず文書化してください。
これらの手順は反復的なプロセスであり、分析に使用できるクリーンで使用可能なデータ セットを生成します。このプロセスは面倒ですが、アナリストが大量のデータ セットから必要な情報を取得できるため、やりがいがあります。
この小さなデータ セットでデータ ラングリング プロセスを使用した結果、データ セットがかなり読みやすくなりました。すべての名前が同じ形式 ({名 姓}) になり、電話番号も同じ形式 ({市外局番-XXX-XXXX}) になり、日付は数値形式 ({YYYY-mm-dd}) になり、州は省略されなくなりました。Jacob Alan のエントリは完全な形式のデータではなかったため (電話番号の市外局番が欠落しており、生年月日に年がありませんでした)、データ セットから破棄されました。結果のデータ セットはクリーンアップされて読み取り可能になったため、デプロイまたは評価する準備が整いました。
一般的な用途
データ変換は通常、データセット内の個別のエンティティ (フィールド、行、列、データ値など) に適用され、抽出、解析、結合、標準化、拡張、クレンジング、統合、フィルタリングなどのアクションが含まれ、下流で活用できる目的のラングリング出力が作成されます。
受信者は、データをさらに調査するデータ アーキテクトやデータ サイエンティストなどの個人、レポートでデータを直接使用するビジネス ユーザー、またはデータをさらに処理してデータ ウェアハウス、データ レイク、ダウンストリーム アプリケーションなどのターゲットに書き込むシステムである可能性があります。
手口
受信データの量と形式に応じて、データ ラングリングは従来、手動（Excelなどのスプレッドシート経由など）、KNIMEなどのツール、またはPythonやSQLなどの言語のスクリプトを介して実行されてきました。データ マイニングや統計データ分析でよく使用される言語であるRも、現在ではデータ ラングリングに使用されることがあります。[6]データ ラングラーは通常、R または Python、SQL、PHP、Scala、およびデータ分析に一般的に使用されるその他の言語のスキル セットを持っています。
ビジュアルデータラングリングシステムは、データラングリングを非プログラマーにも利用しやすく、プログラマーにとってはより簡単なものにするために開発されました。これらの中には、ユーザー支援を提供するための組み込みAIレコメンダーやプログラミング例の機能、スケーラブルなデータフローコードを自動生成するプログラム合成技術も含まれています。ビジュアルデータラングリングツールの初期のプロトタイプには、OpenRefineやスタンフォード/バークレーのWrangler研究システムがあり、[7]後者はTrifactaに進化しました。
これらのプロセスの他の用語には、データフランチャイズ、 [8]、 データ準備、データマングリング などがあります。
例
医療患者に関する情報を含むデータセットが与えられた場合、あなたの目標は病気の相関関係を見つけることです。データの反復処理を開始する前に、結果を理解していることを確認してください。病気にかかっている患者を探していますか? 原因となり得る他の病気はありますか? 結果を理解したら、データ ラングリング プロセスを開始できます。
まず、病気の診断を理解するために重要な結果の構造を決定することから始めます。
最終的な構造が決定したら、役に立たないデータ ポイントや不正なデータ ポイントを削除してデータをクリーンアップします。これには、病気の診断を受けていない患者も含まれる可能性があります。
データをクリーニングした後、もう一度データ セットを調べます。データ セットにすでに追加できる、データ セットに役立つ既知の情報はありますか? たとえば、その地域で最も一般的な病気が挙げられます。最も一般的な病気に関しては、アメリカとインドでは大きく異なります。
次に検証手順です。どのデータ ポイントの有効性をチェックする必要があるかの検証ルールを決定します。これには、生年月日や特定の病気のチェックなどが含まれます。
検証ステップの後、データは整理され、展開または評価のために準備される必要があります。このプロセスは、膨大な量のデータを簡単に分析して正確な結果を得ることができるものに削減されるため、病気の診断の相関関係を判断するのに役立ちます。
参照
参考文献
- ^ 「データマングリングとは何か？」。2013年8月18日時点のオリジナルよりアーカイブ。2022年1月21日閲覧。
- ^ "mung". Mung. Jargon File . 2012年9月18日時点のオリジナルよりアーカイブ。2012年10月10日閲覧。
- ^ coder が code であるように、X は data である。2021-04-15 にWayback Machineでアーカイブ済み、Open Knowledge Foundation のブログ投稿
- ^ Parsons, MA; Brodzik, MJ; Rutter, NJ (2004). 「Cold Land Processes Experiment のデータ管理: 水文学的科学の向上」. Hydrological Processes . 18 (18): 3637–3653. Bibcode :2004HyPr...18.3637P. doi : 10.1002/hyp.5801 . S2CID 129774847.
- ^ 「データ ラングリングとは? データ ラングリングの手順は?」Express Analytics 2020-04-22. 2020-11-01 にオリジナルからアーカイブ。 2020-12-06に取得。
- ^ Wickham, Hadley; Grolemund, Garrett (2016). 「第 9 章: データ ラングリング入門」。データ サイエンスのための R: データのインポート、整理、 変換、視覚化、およびモデル化 (初版)。セバストポル、カリフォルニア州: O'Reilly。ISBN 978-1491910399. 2021年10月11日時点のオリジナルよりアーカイブ。2022年1月12日閲覧。
- ^ Kandel, Sean; Paepcke, Andreas (2011 年 5 月)。「Wrangler: データ 変換スクリプトのインタラクティブなビジュアル仕様」。コンピューティング システムにおけるヒューマン ファクターに関する SIGCHI カンファレンスの議事録。pp. 3363–3372。doi :10.1145 / 1978942.1979444。ISBN 978-1-4503-0228-9. S2CID 11133756。
- ^ データフランチャイズとは何か? (2003年および2017年IRI ) 2021年4月15日にWayback Machineでアーカイブ
外部リンク
- 「データ ラングリングとは何か? メリット、ツール、スキルは?」。My Influencer Journey。2022年 1 月 26 日閲覧。