データマッピング

コンピューティングとデータ管理において、データマッピングとは、2つの異なるデータモデル間でデータ要素の マッピングを作成するプロセスです。データマッピングは、次のようなさまざまなデータ統合タスクの最初のステップとして使用されます。^[1]

• データソースと宛先間のデータ変換またはデータ仲介
• データ系統分析の一環としてデータ関係を特定する
• データマスキングまたは匿名化プロジェクトの一環として、別のユーザー ID に隠された社会保障番号の最後の 4 桁などの機密データの発見
• 複数のデータベースを単一のデータベースに統合し、統合または削除するデータの冗長列を特定します。

たとえば、他の企業と購入や請求書を送受信したい企業は、データ マッピングを使用して、企業のデータから、注文書や請求書などの項目の標準化されたANSI ASC X12メッセージへのデータ マップを作成することができます。

X12 標準は、業界に関係なく企業が他の企業とデータを交換できるように設計された汎用の電子データ交換(EDI) 標準です。この標準は、EDI の標準を設定するために米国規格協会(ANSI) が認定した Accredited Standards Committee X12 (ASC X12) によって管理されています。X12 標準は、 ANSI ASC X12標準と呼ばれることもあります。

W3Cは、リレーショナル データベース内のデータをリソース記述フレームワーク(RDF)で表現されたデータにマッピングするための標準として R2RML を導入しました。

将来的には、 RDF、 Web Ontology Language (OWL)、標準化されたメタデータ レジストリなどのセマンティック Web言語に基づくツールによって、データ マッピングはより自動化されたプロセスになるでしょう。各アプリケーションがメタデータの公開を実行すれば、このプロセスは加速されます。完全に自動化されたデータ マッピングは非常に難しい問題です (セマンティック翻訳を参照)。

データ マッピングは、手続き型コードを使用したり、XSLT変換を作成したり、実行可能な変換プログラムを自動的に生成するグラフィカル マッピング ツールを使用したりと、さまざまな方法で実行できます。これらは、1 つのデータ セットのフィールドから別のデータ セットのフィールドに線を「描く」ことができるグラフィカル ツールです。一部のグラフィカル データ マッピング ツールでは、ソースと宛先を「自動接続」できます。この機能は、ソースと宛先のデータ要素名が同じであることに依存します。変換プログラムは、SQL、XSLT、Java、またはC++で自動的に作成されます。これらの種類のグラフィカル ツールは、データ移動をサポートするデータ マップを入力する主な手段として、ほとんどのETL (抽出、変換、ロード) ツールに含まれています。例としては、SAP BODS や Informatica PowerCenter などがあります。

これはデータ マッピングの最新のアプローチであり、ヒューリスティックと統計を使用して 2 つのデータ ソースの実際のデータ値を同時に評価し、2 つのデータ セット間の複雑なマッピングを自動的に検出します。このアプローチは、2 つのデータ セット間の変換、サブストリング、連結、算術、ケース ステートメント、およびその他の種類の変換ロジックの検出に使用されます。このアプローチでは、検出された変換ロジックに従わないデータ例外も検出されます。

セマンティック マッピングは、データ マッパーの自動接続機能に似ていますが、メタデータ レジストリを参照してデータ要素の同義語を検索できる点が異なります。たとえば、ソース システムにFirstNameがリストされていて、宛先にPersonGivenNameがリストされている場合、これらのデータ要素がメタデータ レジストリに同義語としてリストされていれば、マッピングは行われます。セマンティック マッピングでは、データの列間の完全一致のみを検出でき、列間の変換ロジックや例外は検出できません。

データ系統とは、分析システムによって取り込まれ、処理され、出力される各データのライフサイクルを追跡するものです。これにより、分析パイプラインが可視化され、エラーをその発生源まで簡単に追跡できます。また、データフローの特定の部分または入力を再生して、段階的なデバッグや失われた出力の再生成を行うこともできます。実際、データベースシステムでは、データ来歴と呼ばれるこのような情報を使用して、同様の検証およびデバッグの課題にすでに対処しています。^[2]

• データ統合
• データラングリング
• 恒等変換
• ISO/IEC 11179 - ISO/IEC メタデータ レジストリ標準
• メタデータ
• メタデータの公開
• スキーママッチング
• 意味の異質性
• セマンティックマッパー
• 意味翻訳
• セマンティックウェブ
• セマンティクス
• XSLT - XML 変換言語