データ仮想化

データ仮想化は、データ管理のアプローチであり、アプリケーションがデータのソースでのフォーマット方法や物理的な場所などの技術的な詳細を必要とせずにデータを取得および操作できるようにし、^{[1]全体のデータの}単一の顧客ビュー（または他のエンティティの単一のビュー）を提供できます。 ^[2]

従来の抽出、変換、ロード(ETL) プロセスとは異なり、データは元の場所に残り、ソース システムへのリアルタイム アクセスがデータのソース システムに提供されます。これにより、データ エラーのリスク、使用されない可能性のあるデータを移動するワークロードのリスクが軽減され、データに単一のデータ モデルを強制することはありません (異種データの例としては、連合データベース システムがあります)。このテクノロジでは、トランザクション データの更新をソース システムに書き戻すこともサポートされています。^{[3]ソースとコンシューマーの形式とセマンティクスの違いを解決するために、さまざまな抽象化および変換手法が使用されます。この概念とソフトウェアは、}データ統合のサブセットであり、ビジネス インテリジェンス、サービス指向アーキテクチャデータ サービス、クラウド コンピューティング、エンタープライズ検索、マスター データ管理でよく使用されます。

データ仮想化の特徴は、使用されるデータが元の場所に残り、リアルタイムアクセスが確立され、複数のソースにわたる分析が可能になることです。これにより、さまざまなプラットフォームからのデータを組み合わせる際の互換性の問題などの技術的な問題を解決し、欠陥のあるデータによるエラーのリスクを軽減し、最新のデータが使用されることを保証できます。さらに、個人情報を含む新しいデータベースの作成を回避することで、プライバシー規制への準拠が容易になります。その結果、データ仮想化はデータ使用の新たな可能性を生み出します。^[4]

これを踏まえると、データ仮想化の真の価値は、特にユーザーにとって、その宣言的アプローチにあります。統合のすべてのステップを指定する必要のある従来のデータ統合方法とは異なり、このアプローチはエラーが発生しにくく、より効率的です。従来の方法は、特に複数のステップで変更を伴う要件の変更に適応する場合、面倒です。対照的に、データ仮想化では、ユーザーは単に望ましい結果を記述できます。すると、ソフトウェアは、その結果を達成するために必要なステップを自動的に生成します。望ましい結果が変わった場合は、記述を更新するだけで十分であり、ソフトウェアはそれに応じて中間ステップを調整します。この柔軟性により、プロセスを最大 5 倍高速化でき、データ仮想化の主な利点を強調しています。^[5]

しかし、データ仮想化では、データのローカルコピーがないため、必要なすべてのデータソースへの接続が機能している必要があり、これがこのアプローチの主な欠点の1つです。接続の問題は、1つまたは複数の重要なソースが時々利用できなくなる複雑なシステムでより頻繁に発生します。最新のいくつかのリクエストからのデータを仮想化システムバッファに保持するなどのスマートデータバッファリングは、この問題を軽減するのに役立ちます。^[4]

さらに、データ仮想化ソリューションは、元のデータやサーバーの仮想化テーブルをネットワーク経由で他のソリューションに読み込むために多数のネットワーク接続を使用する可能性があるため、従来のデータレイクよりもシステムのセキュリティについて多くの考慮が必要です。従来のデータレイクシステムでは、単一の環境で特定の手順に従ってデータをレイクにインポートできます。仮想化システムを使用する場合、環境は各データソースとの安全な接続を個別に確立する必要があります。通常、データソースは仮想化システム自体とは異なる環境にあります。^[4]

個人データのセキュリティと規制への準拠は、新しいサービスを導入したり、さまざまなデータソースを統合しようとするときに大きな問題となる可能性があります。データが分析用に配信される場合、データ仮想化はプライバシー関連の問題を解決するのに役立ちます。仮想化により、個人データを物理的に別の場所にコピーすることなく、さまざまなソースからの個人データを組み合わせることができ、同時にビューを他のすべての収集された変数に制限することができます。ただし、仮想化によって、分析結果をより広く利用できるようにする前に、そのセキュリティとプライバシーを確​​認する必要性がなくなるわけではありません。選択したデータ統合方法に関係なく、個人レベルのデータに基づくすべての結果は、適切なプライバシー要件で保護される必要があります。^[4]

一部の企業環境では、複数のデータ ウェアハウス、データ マート、データ レイクなど、さまざまなデータ ソースが混在していますが、データ ウェアハウスは、正しく実装されていれば、一意で、唯一の真実のソースになるはずです。データ仮想化により、まったく新しい統合物理データ プラットフォームを作成しなくても、データ ウェアハウス、データ マート、データ レイク間でデータを効率的に橋渡しできます。既存のデータ インフラストラクチャは、データ仮想化レイヤーがそれらのソースからのデータを活用するだけで、コア機能を実行し続けることができます。データ仮想化のこの側面により、既存のすべてのデータ ソースが補完され、企業データの可用性と使用率が向上します。^{[引用が必要]}

データ仮想化は、 ETLやデータ ウェアハウスの代替として検討することもできますが、パフォーマンスを考慮すると、非常に大規模なデータ ウェアハウスにはお勧めできません。データ仮想化は、大規模な ETL やデータ ストレージを伴う大規模なデータ プロジェクトに着手することなく、複数のソースから迅速かつタイムリーな洞察を生み出すことを目的としています。ただし、データ仮想化は、データ ウェアハウスの要件を満たすように拡張および調整することもできます。そのためには、データ ストレージと履歴の要件を理解し、適切なタイプのデータ仮想化、統合、ストレージ戦略、インフラストラクチャ/パフォーマンスの最適化 (ストリーミング、インメモリ、ハイブリッド ストレージなど) を組み込むための計画と設計が必要になります。^{[引用が必要]}

• 英国を拠点とする携帯電話小売チェーンCarphone Warehouseのヨーロッパ事業の商号であるPhone Houseは、スペインの子会社のトランザクションシステムと携帯電話事業者のWebベースシステムの間にDenodoのデータ仮想化技術を実装しました。^[3]
• ノバルティスはTIBCOのデータ仮想化ツールを導入し、研究者が社内外のソースからのデータを検索可能な仮想データストアに素早く統合できるようにした。^[3]
• ストレージに依存しないPrimary Data（現在は廃止され、Hammerspaceとして生まれ変わった）は、直接接続、ネットワーク接続、プライベートおよびパブリッククラウドストレージ間でデータを移行する際に、アプリケーション、サーバー、およびクライアントがデータに透過的にアクセスできるようにするデータ仮想化プラットフォームでした。^[6]
• リンク データは、単一のハイパーリンク ベースのデータ ソース名( DSN ) を使用して、 ODBC、JDBC、OLE DB、ADO.NET、SOAスタイルのサービス、および/またはRESTパターンを使用してさまざまなバックエンド データ ソースに内部的に接続された仮想データベース レイヤーへの接続を提供できます。^{[引用が必要]}
• データベース仮想化では、単一の ODBC ベースの DSN を使用して、同様の仮想データベース レイヤーへの接続を提供する場合があります。^{[説明が必要]}
• Alluxio は、カリフォルニア大学バークレー校のAMPLabで開発されたオープンソースの仮想分散ファイルシステム (VDFS) です。このシステムは、さまざまなファイルシステムやオブジェクトストアからデータを抽象化します。^{[引用が必要]}

データ仮想化ソフトウェアは、以下の機能の一部またはすべてを提供します。^[7]

• 抽象化 - 保存されたデータの場所、ストレージ構造、API、アクセス言語、ストレージ テクノロジーなどの技術的な側面を抽象化します。
• 仮想化されたデータ アクセス - さまざまなデータ ソースに接続し、共通の論理データ アクセス ポイントからアクセスできるようにします。
• データ変換- 消費者が使用できるようにソース データを変換、品質向上、再フォーマット、集約などします。
• データ フェデレーション- 複数のソース システムからの結果セットを結合します。
• データ配信 - 要求に応じてクライアント アプリケーションまたはユーザーによって実行されるビューやデータ サービスとして結果セットを公開します。

データ仮想化ソフトウェアには、開発、運用、管理の機能が含まれる場合があります。^{[引用が必要]}

メタデータエンジンは、ドメイン内で使用されているデータとメタデータ（データに関するデータ）に関する情報を収集、保存、分析します。^{[8] [説明が必要]}

利点は次のとおりです:

• データエラーのリスクを軽減する^{[疑わしい–議論する]}
• データを移動しないことでシステムの負荷を軽減する^{[疑わしい–議論する]}
• リアルタイムでデータへのアクセス速度を向上
• クエリ処理を中間層ではなくデータソースにプッシュダウンできます。
• ほとんどのシステムでは、ソースシステムにアクセスできるエンドユーザーが仮想データベースをセルフサービスで作成できます。
• ポリシーの活用を通じてガバナンスを強化し、リスクを軽減する^[9]
• 必要なデータストレージを削減する^[10]
• 宣言的アプローチによりプロセスを最大5倍加速^[5]

欠点は次のとおりです。

• 特に予期しないユーザークエリに対応できない規模であったり、早い段階で調整されていない場合は、運用システムの応答時間に影響を与える可能性があります。^[11]
• 異種データモデルを課さないため、データフェデレーションとデータに対するビジネス理解と組み合わせない限り、ユーザーはデータを解釈する必要がある^[12]
• 共有サービスに関する予算上の問題を回避するために、明確なガバナンスアプローチが必要です。
• データの履歴スナップショットを記録するのには適していません。これにはデータウェアハウスの方が適しています^[12]
• 変更管理は「同じ仮想化キットを共有するすべてのアプリケーションとユーザーに変更を受け入れる必要があるため、大きなオーバーヘッドとなります」^[12]
• デザイナーは常にパフォーマンスを念頭に置く必要がある

使用を避ける:

• 運用データシステムへのアクセス（パフォーマンスと運用の整合性の問題）
• 組織のすべてのデータを統合または一元化するため（セキュリティとハッキングの問題）
• 非常に大規模な仮想データ ウェアハウスの構築 (パフォーマンスの問題)
• ETLプロセスとして（ガバナンスとパフォーマンスの問題）
• 仮想化するデータソースが1つか2つしかない場合

エンタープライズ情報統合(EII) (Metamatrix によって最初に造語された)、現在は Red Hat JBoss Data Virtualization として知られている用語と連合データベース システムは、一部のベンダーがデータ仮想化の中核要素、つまり連合 VIEW でリレーショナル JOIN を作成する機能を説明するために使用する用語です。^{[引用が必要] [説明が必要]}

データ仮想化ソリューションとベンダーの一部:

• アナリティクスクリエイター^[13]
• IBMデータ仮想化^[14]
• Actifioコピーデータ仮想化^[15]
• Capsenta Ultrawrap、^[16]は2019年にdata.worldに買収された
• データ仮想性^[17]
• データワークス^[18]
• Delphixデータ仮想化プラットフォーム^[19]
• Denodoデータ仮想化およびデータファブリックプラットフォーム^[20]
• マイクロソフト グルエント データ プラットフォーム^[21]
• ケロナ^[22]
• Red Hat JBoss Enterprise Application Platformデータ仮想化^[23]（廃止）
• ストーンボンドテクノロジーズエンタープライズイネーブラーデータ仮想化プラットフォーム^[24]
• ストラティオ生成AIデータファブリック^[25]
• Teeid、JBoss Developer Studioの一部^[26]
• TIBCO データ仮想化
• Veritasプロビジョニングファイルシステム^[27] / データ仮想化Veritas Technologies
• エックスアウェア^[28]

ガートナー社は、ユーザーランキングを含む最新のリストを作成しています。^[29]

• データ統合 – さまざまなソースからのデータを結合し、統一されたビューを提供する
• エンタープライズ情報統合 - 組織全体のデータと情報の統合ビューをサポート (EII)
• マスターデータ管理 – 企業データの管理実践
• 連合データベースシステム - 複数の自律データベースシステムを単一の連合データベースに透過的にマッピングするメタデータベース管理システムの一種フォールバックとしてウィキデータの説明を表示するページ
• 異種システム - 他のコンピュータデータ処理システムと相互作用しないデータ処理システム

• Judith R. Davis、Robert Eve (2011)。データ仮想化: 従来のデータ統合を超えてビジネスアジリティを実現する。Composite Software。ISBN 978-0979930416。
• Rick van der Lans (2012)。ビジネス インテリジェンス システムのデータ仮想化: データ ウェアハウスのデータ統合の革命。Elsevier。ISBN 9780123944252。
• Anthony Giordano (2010)。『データ統合のブループリントとモデリング: スケーラブルで持続可能なアーキテクチャのためのテクニック』 。IBM Press。ISBN 9780137085309。