データレイク

データレイクは、自然な/生の形式^{[1]で保存された}データ、通常はオブジェクトBLOBまたはファイルで保存されたシステムまたはリポジトリです。データレイクは通常、ソースシステムデータ、センサーデータ、ソーシャルデータなどの生のコピー^[2]と、レポート、視覚化、高度な分析、機械学習などのタスクに使用される変換されたデータを含む単一のデータストアです。データレイクには、リレーショナルデータベースからの構造化データ（行と列）、半構造化データ（CSV、ログ、XML、JSON）、非構造化データ（電子メール、ドキュメント、PDF）、およびバイナリデータ（画像、音声、ビデオ）を含めることができます。^[3]データレイクは、オンプレミス（組織のデータセンター内）またはクラウド（クラウドサービスを使用）で構築できます。

背景

当時ペンタホ社の最高技術責任者だったジェームズ・ディクソン氏は、2011年にこの用語を造語しました^[4] 。これは、生データから得られる興味深い属性の小規模なリポジトリであるデータマートと対比するためです^{[5] 。彼はデータレイクを推進するにあたり、データマートには}情報のサイロ化など、いくつかの固有の問題があると主張しました。プライスウォーターハウスクーパース（PwC）は、データレイクが「データサイロに終止符を打つ」可能性があると述べました^[6] 。彼らはデータレイクの調査で、企業が「分析用のデータを抽出し、単一のHadoopベースのリポジトリに配置し始めている」と指摘しました。

例

多くの企業がGoogle Cloud Storageや Amazon S3などのクラウドストレージサービスやApache Hadoop分散ファイルシステム（HDFS）などの分散ファイルシステムを使用しています。 ^[7]データレイクの概念には徐々に学術的な関心が高まっています。たとえば、カーディフ大学のPersonal DataLakeは、個人データの収集、整理、共有を一元的に行うことで、個々のユーザーのビッグデータを管理することを目的とした新しいタイプのデータレイクです。^[8]

Hadoop 1.0 などの初期のデータレイクは、バッチ指向の処理 ( Map Reduce ) しかサポートしていなかったため、機能が限られていました。これを操作するには、Java、Map Reduce、 Apache Pig、Apache Spark、Apache Hive (これらも元々はバッチ指向)などの高レベルツールに関する専門知識が必要でした。

批判

適切に管理されていないデータレイクは、冗談めかして「データスワンプ」と呼ばれています。^[9]

2015年6月、デビッド・ニードルは「いわゆるデータレイク」を「ビッグデータを管理する最も物議を醸す方法の1つ」と評しました。^[10] PwCも調査の中で、データレイクの取り組みがすべて成功するわけではないことに注意を払っています。彼らは、ケンブリッジ・セマンティクスのCTOであるショーン・マーティンの言葉を引用しています。

顧客がビッグデータの墓場を作り、すべてをHadoop分散ファイルシステム（HDFS）に放り込み、将来的に何かに利用しようと考えているのを目にします。しかし、結局、そこに何があるか分からなくなってしまいます。主な課題は、データレイクを作成することではなく、それがもたらす機会を活用することです。^[6]

彼らは、成功したデータレイクを構築する企業は、どのデータとメタデータが組織にとって重要であるかを把握しながら、徐々にデータレイクを成熟させていくと述べています。

もう1つの批判は、データレイクという用語は非常に多くの異なる意味で使用されているため有用ではないというものです。^[11]データレイクは、たとえば、データウェアハウス以外のツールやデータ管理方法、実装のための特定のテクノロジー、生データのリザーバー、ETLオフロードのハブ、セルフサービス分析の中央ハブなどを指すために使用される場合があります。

データレイクに対する批判は当然のことですが、多くの場合、他のデータプロジェクトにも当てはまります。^{[12]たとえば、}データウェアハウスの定義も変更可能であり、すべてのデータウェアハウスの取り組みが成功しているわけではありません。さまざまな批判に応えて、マッキンゼーは^[13] 、データレイクはテクノロジーの成果ではなく、企業内でビジネス価値を提供するサービスモデルとして見るべきだと述べています。

データレイクハウス

データレイクハウスは、データレイクのようにさまざまな生データ形式を取り込むことができ、ACIDトランザクションを提供し、データウェアハウスのようにデータ品質を強化できるハイブリッドアプローチです。^[14]^[15]データレイクハウスアーキテクチャは、トランザクションサポート、スキーマの適用、ガバナンス、さまざまなワークロードのサポートなどのデータウェアハウス機能を追加することで、データレイクに対するいくつかの批判に対処しようとします。Oracle によると、データレイクハウスは「データレイクからの非構造化データの柔軟なストレージと、データウェアハウスの管理機能とツールを組み合わせたもの」です。^[16]

参照

Azure データレイク

参考文献

^ 「ビッグデータ品質の重要性の高まり」。The Data Roundtable。2016年11月21日。 2020年6月1日閲覧。
^ 「データレイクとは?」aws.amazon.com . 2020 年10 月 12 日閲覧。
^ Campbell, Chris. 「データウェアハウスとデータレイクの 5 つの主な違い」。Blue -Granite.com。2016年 3 月 14 日時点のオリジナルよりアーカイブ。
^ Woods, Dan (2011 年 7 月 21 日). 「ビッグデータにはビッグアーキテクチャが必要」. Forbes .
^ Dixon, James (2010 年 10 月 14 日)。「Pentaho、Hadoop、およびデータレイク」。James Dixon のブログ。James Dixon。2015年11 月 7 日閲覧。データマートを、消費しやすいように浄化され、パッケージ化され、構造化されたボトル入りの水の貯蔵庫と考えると、データレイクはより自然な状態の大きな水域です。データレイクの内容は、ソースから流れ込んでレイクを満たし、さまざまなユーザーがレイクを訪れて調査したり、潜ったり、サンプルを採取したりできます。
^ ab Stein, Brian; Morrison, Alan (2014)。データレイクとサイロ化されていないデータの将来性(PDF) (レポート)。テクノロジー予測: 統合の再考。PricewaterhouseCoopers。
^ Tuulos, Ville (2015 年 9 月 22 日)。「Docker、Luigi、Elastic Spot インスタンスを使用したペタバイト規模のデータパイプライン」。NextRoll。
^ Walker, Coral; Alrehamy, Hassan ( 2015)。「データ重力プルを備えたパーソナルデータレイク」。2015 IEEE 第 5 回国際ビッグデータおよびクラウドコンピューティング会議。pp. 160–167。doi :10.1109/ BDCloud.2015.62。ISBN 978-1-4673-7183-4. S2CID 18024161。
^ Olavsrud, Thor (2017 年 6 月 8 日)。「データレイクがデータスワンプにならないようにするための 3 つの鍵」CIO。2021年1 月 4 日閲覧。
^ Needle, David (2015 年 6 月 10 日)。「Hadoop Summit: ビッグデータの管理には斬新なツールとテクニックが必要」。エンタープライズアプリ。eWeek。2015年11 月 1 日閲覧。HPのビッグデータ事業部門の主任フィールドテクノロジストである Walter Maguire 氏は、ビッグデータを管理するための最も議論の多い方法の 1 つ、いわゆるデータレイクについて説明しました。^{[永久リンク切れ‍ ]}
^ 「データレイクはフェイクニュースか？」Sonra 2017年8月8日。 2017年8月10日閲覧。
^ Belov, Vladimir; Kosenkov, Alexander N.; Nikulchev, Evgeny (2021). 「データレイク内でのデータマート開発のためのデータストレージ形式の実験的特性研究」.応用科学. 11 (18): 8651. doi : 10.3390/app11188651 .
^ 「データレイクに参入するよりスマートな方法」。マッキンゼー。2017 年 8 月 1 日。
^ データレイクハウスとは? | Databricks
^ データレイクハウスとは? | Snowflake
^ データレイクハウスとは? | Oracle

[1] 「ビッグデータ品質の重要性の高まり」。The Data Roundtable。2016年11月21日。 2020年6月1日閲覧。

[2] 「データレイクとは?」aws.amazon.com . 2020 年10 月 12 日閲覧。

[3] Campbell, Chris. 「データウェアハウスとデータレイクの 5 つの主な違い」。Blue -Granite.com。2016年 3 月 14 日時点のオリジナルよりアーカイブ。

[woods2011-4] Woods, Dan (2011 年 7 月 21 日). 「ビッグデータにはビッグアーキテクチャが必要」. Forbes .

[dixon2010-5] Dixon, James (2010 年 10 月 14 日)。「Pentaho、Hadoop、およびデータレイク」。James Dixon のブログ。James Dixon。2015年11 月 7 日閲覧。データマートを、消費しやすいように浄化され、パッケージ化され、構造化されたボトル入りの水の貯蔵庫と考えると、データレイクはより自然な状態の大きな水域です。データレイクの内容は、ソースから流れ込んでレイクを満たし、さまざまなユーザーがレイクを訪れて調査したり、潜ったり、サンプルを採取したりできます。

[stein2014-6] Stein, Brian; Morrison, Alan (2014)。データレイクとサイロ化されていないデータの将来性(PDF) (レポート)。テクノロジー予測: 統合の再考。PricewaterhouseCoopers。

[tuulos2015-7] Tuulos, Ville (2015 年 9 月 22 日)。「Docker、Luigi、Elastic Spot インスタンスを使用したペタバイト規模のデータパイプライン」。NextRoll。

[8] ^ Walker, Coral; Alrehamy, Hassan ( 2015)。「データ重力プルを備えたパーソナルデータレイク」。2015 IEEE 第 5 回国際ビッグデータおよびクラウドコンピューティング会議。pp. 160–167。doi :10.1109/ BDCloud.2015.62。ISBN 978-1-4673-7183-4. S2CID 18024161。

[9] Olavsrud, Thor (2017 年 6 月 8 日)。「データレイクがデータスワンプにならないようにするための 3 つの鍵」CIO。2021年1 月 4 日閲覧。

[needle2015-10] Needle, David (2015 年 6 月 10 日)。「Hadoop Summit: ビッグデータの管理には斬新なツールとテクニックが必要」。エンタープライズアプリ。eWeek。2015年11 月 1 日閲覧。HPのビッグデータ事業部門の主任フィールドテクノロジストである Walter Maguire 氏は、ビッグデータを管理するための最も議論の多い方法の 1 つ、いわゆるデータレイクについて説明しました。^{[永久リンク切れ‍ ]}

[11] 「データレイクはフェイクニュースか？」Sonra 2017年8月8日。 2017年8月10日閲覧。

[12] Belov, Vladimir; Kosenkov, Alexander N.; Nikulchev, Evgeny (2021). 「データレイク内でのデータマート開発のためのデータストレージ形式の実験的特性研究」.応用科学. 11 (18): 8651. doi : 10.3390/app11188651 .

[13] 「データレイクに参入するよりスマートな方法」。マッキンゼー。2017 年 8 月 1 日。

[14] データレイクハウスとは? | Databricks

[15] データレイクハウスとは? | Snowflake

[16] データレイクハウスとは? | Oracle