データ変換（コンピューティング）

コンピューティングにおいて、データ変換とは、データをある形式または構造から別の形式または構造に変換するプロセスです。これは、データラングリング、データウェアハウス、データ統合、アプリケーション統合 などのほとんどのデータ統合^[1]およびデータ管理タスクの基本的な側面です。

データ変換は、ソース（初期）データとターゲット（最終）データ間のデータに必要な変更に基づいて、単純にも複雑にもなります。データ変換は通常、手動と自動の手順を組み合わせて実行されます。^[2]データ変換に使用されるツールとテクノロジーは、変換されるデータの形式、構造、複雑さ、量によって大きく異なります。

マスターデータの再キャストは、データ変換の別の形式であり、データベースからデータを抽出せずに、データ値のデータベース全体を変換または再キャストします。適切に設計されたデータベース内のすべてのデータは、外部キー制約のネットワークによって、マスターデータベース テーブルの限定セットに直接的または間接的に関連付けられています。各外部キー制約は、親データベース テーブルの一意のデータベース インデックスに依存します。したがって、適切なマスター データベース テーブルが別の一意のインデックスで再キャストされると、直接的および間接的に関連付けられたデータも再キャストまたは再記述されます。元の一意のインデックスがマスター データにまだ存在するため、直接的および間接的に関連付けられたデータは、元の形式で引き続き表示できます。また、データベースの再キャストは、アプリケーション アーキテクチャソフトウェアに影響を与えないように行う必要があります。

データ マッピングが仲介データ モデルを介して間接的に行われる場合、そのプロセスはデータ仲介とも呼ばれます。

データ変換は次のステップに分けられ、各ステップは必要な変換の複雑さに基づいて必要に応じて適用されます。

• データ検出
• データマッピング
• コード生成
• コード実行
• データレビュー

これらの手順は、タスクを実行するために複数の専用ツールを使用する開発者や技術データ アナリストの焦点となることがよくあります。

手順は次のように説明できます。

データ検出は、データ変換プロセスの最初のステップです。通常、データはプロファイリング ツールを使用してプロファイリングされますが、場合によっては手動で記述されたプロファイリング スクリプトを使用して、データの構造と特性をより深く理解し、どのように変換する必要があるかを決定します。

データマッピングとは、最終的な目的の出力を生成するために、個々のフィールドをどのようにマッピング、変更、結合、フィルタリング、集約するかを定義するプロセスです。開発者やテクニカルデータアナリストは、変換ルールを定義する特定のテクノロジー（ビジュアルETLツール、^[3]変換言語など）で作業するため、従来はデータマッピングを実行していました。

コード生成とは、目的の定義済みデータマッピングルールに基づいてデータを変換する実行可能コード（SQL、Python、R、またはその他の実行可能命令など）を生成するプロセスです。^[4]通常、データ変換テクノロジは、開発者が定義した定義またはメタデータに基づいてこのコードを生成します^[5]。

コード実行は、生成されたコードをデータに対して実行し、目的の出力を作成するステップです。実行されたコードは変換ツールに緊密に統合されている場合もあれば、開発者が生成されたコードを手動で実行するための別のステップが必要な場合もあります。

データレビューはプロセスの最終ステップであり、出力データが変換要件を満たしていることを確認することに重点が置かれます。通常、このステップを実行するのはビジネスユーザーまたはデータの最終エンドユーザーです。データに異常やエラーが見つかった場合は、変換プロセスで実装する新しい要件として開発者またはデータアナリストに伝えられます。^[1]

従来、データ変換は一括またはバッチ処理であり、^[6]開発者はデータ統合ツールでコードを記述するか、変換ルールを実装し、そのコードまたはルールを大量のデータに対して実行します。^[7]このプロセスは、上記のデータ変換プロセスで説明した一連の線形ステップに従うことができます。

バッチデータ変換は、データウェアハウス、データ移行、アプリケーション統合など、ほぼすべてのデータ統合技術の基礎となります。^[1]

データを低レイテンシで変換して配信する必要がある場合、「マイクロバッチ」という用語がよく使用されます。^[6] これは、非常に迅速に処理され、必要に応じてターゲットシステムに配信できる小さなデータバッチ（たとえば、少数の行または小さなデータオブジェクトセット）を指します。

従来のデータ変換プロセスは、何十年もの間企業に役立ってきました。さまざまなツールやテクノロジー（データプロファイリング、データ視覚化、データクレンジング、データ統合など）が成熟し、ほとんどの企業（すべてではないにしても）が、内部および外部のアプリケーション、データウェアハウス、その他のデータストアに供給される膨大な量のデータを変換しています。^[8]

この伝統的なプロセスには、全体的な効率性と有効性を妨げる制限もあります。^{[1] [2] [7]}

データを使用する必要のある人々（ビジネスユーザーなど）は、データ変換プロセスに直接関与しません。^[9]通常、ユーザーは、変換を定義し、データに対して実行するために必要なコーディングスキルや技術スキルを持つ開発者にデータ変換タスクを引き渡します。^[8]

このプロセスでは、必要な変換を定義する作業の大部分を開発者に任せますが、開発者はビジネス ユーザーと同じドメイン知識を持っていないことがよくあります。開発者はビジネス ユーザーの要件を解釈し、関連するコード/ロジックを実装します。これにより、プロセスにエラーが発生する可能性があり (要件の誤解による)、解決策に到達するまでの時間も長くなります。^{[9] [10]}

この問題により、データ統合における俊敏性とセルフサービス（つまり、データのユーザーに権限を与え、ユーザーがインタラクティブにデータを変換できるようにする）の必要性が生じています。^{[7] [10]}

セルフサービス型データ変換ツールを提供する企業があります。これらの企業は、現在存在する技術的な知識やプロセスの複雑さを必要とせずに、大量のデータを効率的に分析、マッピング、変換することを目指しています。これらの企業は従来のバッチ変換を使用していますが、そのツールは視覚的なプラットフォームと簡単に繰り返し可能なスクリプトを通じて、ユーザーのインタラクティブ性を高めています。^[11]

それでも、データのガバナンス、準備、監査の実践の違いにより、互換性の問題（ IoTなどの新しいデータソースは古いツールでは正しく動作しないなど）やコンプライアンスの制限が生じる可能性があります。^[12]

インタラクティブデータ変換（IDT）^[13]は、ビジネスアナリストやビジネスユーザーが視覚的なインターフェースを介して大規模なデータセットを直接操作し、^[9]データの特性を理解し（自動データプロファイリングまたは視覚化を介して）、データの特定の要素をクリックまたは選択するなどの簡単な操作でデータを変更または修正できるようにする新しい機能です。^[2]

インタラクティブなデータ変換はバッチデータ統合と同じデータ統合プロセスの手順に従いますが、重要な違いは、手順が必ずしも直線的に従う必要はなく、完了するために通常は特別な技術的スキルを必要としないことです。^[14]

Trifacta、Alteryx、Paxata など、インタラクティブなデータ変換ツールを提供する企業は数多くあります。これらの企業は、大量のデータを効率的に分析、マッピング、変換すると同時に、技術的な複雑さや内部で行われるプロセスの一部を抽象化することを目指しています。

インタラクティブなデータ変換ソリューションは、データ分析、データマッピング、コード生成/実行、データ検査という、これまではばらばらだったステップを組み合わせた統合ビジュアルインターフェースを提供します。^[8]つまり、あるステップで変更（名前の変更など）が行われた場合、ソフトウェアはそれに応じて前後のステップを自動的に更新します。インタラクティブなデータ変換のインターフェースには、データ内のパターンや異常をユーザーに表示するための視覚化が組み込まれているため、ユーザーは誤った値や外れ値を識別できます。^[9]

データの変換が完了すると、システムは実行可能なコード/ロジックを生成し、それを実行したり、後続の同様のデータ セットに適用したりできるようになります。

インタラクティブなデータ変換システムは、開発者をプロセスから排除することで、データの準備と変換に必要な時間を短縮し、ユーザー要件の解釈におけるコストのかかるエラーを排除し、ビジネスユーザーとアナリストがデータを制御して必要に応じてデータと対話できるようにします。^[10]

データ変換を実行するために利用できる言語は数多くあります。多くの変換言語では文法を提供する必要があります。多くの場合、文法はバッカス・ナウア記法(BNF) によく似たものを使用して構造化されています。このような目的のために利用できる言語は数多くあり、そのアクセスしやすさ (コスト) や一般的な有用性はさまざまです。^[15]このような言語の例には次のものがあります。

• AWK - 最も古く、人気のあるテキスト データ変換言語の 1 つ。
• Perl - バイナリまたはテキスト データに対する強力な操作が可能な、手続き型構文とオブジェクト指向構文の両方を備えた高水準言語。
• テンプレート言語- データをドキュメントに変換することに特化しています (テンプレート プロセッサも参照)。
• TXL - ソース コードまたはデータ変換に使用されるプロトタイピング言語ベースの記述。
• XSLT - 標準 XML データ変換言語 (多くのアプリケーションでXQueryに適しています)。

さらに、TrifactaやPaxataなどの企業は、データセットのサービス提供と変換のためのドメイン固有変換言語（DSL）を開発しました。ドメイン固有言語の開発は、非技術者の生産性とアクセシビリティの向上につながっています。^[16] Trifactaの「Wrangle」は、そのようなドメイン固有言語の例です。^[17]

最近のドメイン固有変換言語のトレンドのもう1つの利点は、ドメイン固有変換言語は、ドメイン固有変換言語で定義されたロジックの基盤となる実行を抽象化できることです。また、同じロジックをSpark、MapReduce、Dataflowなどのさまざまな処理エンジンで利用することもできます。言い換えれば、ドメイン固有変換言語では、変換言語は基盤となるエンジンに縛られていません。^[17]

変換言語は一般的に変換に最適ですが、正規表現のような単純なものを使用して有用な変換を実現できます。vim、emacs、TextPadなどのテキスト エディターは、引数付きの正規表現の使用をサポートしています。これにより、特定のパターンのすべてのインスタンスを、元のパターンの一部を使用して別のパターンに置き換えることができます。例:

foo ("何らかの文字列", 42, gCommon);
バー (someObj、anotherObj);

foo ("別の文字列", 24, gCommon);
バー (myObj、myOtherObj);

どちらも次のようによりコンパクトな形式に変換できます。

foob​​ar("何らかの文字列", 42, someObj, anotherObj);
foob​​ar("別の文字列", 24, myObj, myOtherObj);

つまり、3 つの引数を持つ foo 関数呼び出しの後に 2 つの引数を持つ関数呼び出しが続くすべてのインスタンスは、元の引数セットの一部またはすべてを使用する単一の関数呼び出しに置き換えられます。

正規表現を使用するもう 1 つの利点は、ヌル変換テストに失敗しないことです。つまり、選択した変換言語を使用して、変換をまったく実行しない変換を通じてサンプル プログラムを実行します。多くの変換言語はこのテストに失敗します。

• データクレンジング
• データマッピング
• データ統合
• データ準備
• データラングリング
• 抽出、変換、ロード
• 情報統合

• ファイル形式、変換、移行、関連するWikiversityの記事