データの読み込み

データのロード、または単にロードとは、データが2 つのシステム間で移動され、最終的にターゲットシステムのステージング領域に格納されるデータ処理の一部です。

従来の抽出、変換、ロード(ETL) 方式では、ロードジョブは最後のステップであり、ロードされるデータはすでに変換されています。代替方式である抽出、ロード、変換(ELT) では、ロードジョブは中間のステップであり、変換されたデータは、ターゲットシステムでのデータ変換のために元の形式でロードされます。

従来、大規模システムでのジョブのロードには長い時間がかかり、通常は会社の営業時間外の夜間に実行されていました。

目的

データロードの主な 2 つの目的は、ロード後にシステム内のより新しいデータを取得することと、ロードが高速であるためデータを頻繁に更新できることです。完全なデータ更新の場合、参照整合性、セカンダリインデックス、およびログ記録をオフにすることでロードを高速化できますが、これは通常、増分更新またはトリクルフィードでは許可されません。

種類

データのロードは、完全更新 (即時)、増分ロードと更新 (即時)、またはトリクルフィード (遅延) のいずれかで実行できます。どの手法を選択するかは、更新、変更、または追加されるデータの量と、データをどの程度最新の状態にする必要があるかによって異なります。ソースシステムによって配信されるデータの種類、およびソースシステムによって配信される履歴データが信頼できるかどうかも重要な要素です。

完全リフレッシュ

完全なデータ更新とは、まずターゲットテーブル内の既存のデータが削除されることを意味します。次に、ソースのすべてのデータがターゲットテーブルにロードされ、ターゲットテーブルに新しいインデックスが作成され、更新されたテーブルに対して新しいメジャーが計算されます。

完全リフレッシュは実装が簡単ですが、大量のデータの移動を伴うため時間がかかり、履歴データを保持するのが難しくなる可能性があります。^[1]

増分更新

増分更新または増分リフレッシュとは、ソースシステムから新しいデータまたは更新されたデータのみが取得されることを意味します。^[2]^[3]更新されたデータはターゲットシステムの既存のデータに追加され、ターゲットシステムの既存のデータが更新されます。インデックスと統計はそれに応じて更新されます。増分更新により、読み込みが高速化され、履歴の追跡が容易になりますが、セットアップと保守が困難になる可能性があります。^[1]

トリクルフィード

トリクルフィードまたはトリクルローディングとは、ソースシステムが更新されると、ターゲットシステムの変更がほぼ即座に行われることを意味します。^[4]^[5]

使用中のシステムへのロード

ユーザーや他のシステムによって現在使用されているシステムにデータをロードする場合、システムをいつ更新するか、システムの更新と同時に使用されているテーブルをどうするかを決定する必要があります。1つの解決策として、シャドウテーブルを使用することが考えられます。^[6]^[7]

参照

参考文献

^ ab 「増分データロードとフルロードETL：4つの重要な違い - 学ぶ | Hevo」。2022年4月14日。 2023年2月18日閲覧。
^ 「増分読み込み」。2023年2月18日閲覧。
^ Mitchell, Tim (2020-07-23). 「増分ロードとは何か、なぜ、いつ、どのように行うのか」。2023年2月18日閲覧。
^ Zuters, Janis (2011)。「マルチステージトリクルアンドフリップによるほぼリアルタイムのデータウェアハウス」。Grabis, Janis、Kirikova, Marite (編)。ビジネス情報科学研究の展望。ビジネス情報処理の講義ノート。第90巻。Springer Berlin Heidelberg。pp. 73–82。doi :10.1007/978-3-642-24511-4_6。ISBN 978-3-642-24510-7データウェアハウスは、通常、意思決定支援用に設計された履歴データのコレクションであるため、ソースから定期的に、主に毎日更新されます。しかし、今日のビジネスでは、より新鮮なデータが求められています。リアルタイムウェアハウスは、これを実現するためのトレンドの 1 つですが、真のリアルタイムに移行するには多くの課題があります。このホワイトペーパーでは、データウェアハウスの更新に「マルチステージトリクルアンドフリップ」手法を提案します。これは、「トリクルアンドフリップ」の原則に基づいており、ロードとクエリのアクティビティをさらに分離して、両方の効率を高めるために拡張されています。
^ 「Trickle Loading Data」2023年2月18日閲覧。
^ 「同期用のシャドウテーブルを作成する - データ管理 - Alibaba Cloud ドキュメントセンター」。2023 年 2 月 18 日閲覧。
^ 「シャドーテーブル」。IBM。2015年8月10日。 2023年2月18日閲覧。

[:0-1] 「増分データロードとフルロードETL：4つの重要な違い - 学ぶ | Hevo」。2022年4月14日。 2023年2月18日閲覧。

[2] 「増分読み込み」。2023年2月18日閲覧。

[3] Mitchell, Tim (2020-07-23). 「増分ロードとは何か、なぜ、いつ、どのように行うのか」。2023年2月18日閲覧。

[4] Zuters, Janis (2011)。「マルチステージトリクルアンドフリップによるほぼリアルタイムのデータウェアハウス」。Grabis, Janis、Kirikova, Marite (編)。ビジネス情報科学研究の展望。ビジネス情報処理の講義ノート。第90巻。Springer Berlin Heidelberg。pp. 73–82。doi :10.1007/978-3-642-24511-4_6。ISBN 978-3-642-24510-7データウェアハウスは、通常、意思決定支援用に設計された履歴データのコレクションであるため、ソースから定期的に、主に毎日更新されます。しかし、今日のビジネスでは、より新鮮なデータが求められています。リアルタイムウェアハウスは、これを実現するためのトレンドの 1 つですが、真のリアルタイムに移行するには多くの課題があります。このホワイトペーパーでは、データウェアハウスの更新に「マルチステージトリクルアンドフリップ」手法を提案します。これは、「トリクルアンドフリップ」の原則に基づいており、ロードとクエリのアクティビティをさらに分離して、両方の効率を高めるために拡張されています。

[5] 「Trickle Loading Data」2023年2月18日閲覧。

[6] 「同期用のシャドウテーブルを作成する - データ管理 - Alibaba Cloud ドキュメントセンター」。2023 年 2 月 18 日閲覧。

[7] 「シャドーテーブル」。IBM。2015年8月10日。 2023年2月18日閲覧。