Loading article…
データ メッシュは、ドメイン指向のセルフサービス設計 (ソフトウェア開発の観点から) を活用して分散型データ アーキテクチャを構築する社会技術的アプローチであり、Eric Evans のドメイン駆動設計理論[1]と Manuel Pais および Matthew Skelton のチーム トポロジ理論を借用しています。[2]データ メッシュは主にデータ自体に関心があり、データ レイクとパイプラインは二次的な関心事です。[3]主な提案は、ドメイン指向の分散化によって分析データを拡張することです。[4]データ メッシュでは、分析データの責任は中央データ チームからドメイン チームに移行し、ドメインに依存しないデータ プラットフォームを提供するデータ プラットフォームチームによってサポートされます。[5]これにより、データ メッシュ内のさまざまなノード間で基本原則が一貫して共有され、さまざまな領域間でデータを共有できる集中型システムが存在するため、データの無秩序や孤立したデータ サイロの存在が減少します。[6]
歴史
データメッシュという用語は、2019年にZhamak Dehghani氏によって初めて定義されました[7] 。彼女はテクノロジー企業Thoughtworksで主席コンサルタントとして働いていました。[8] [9] Dehghani氏は2019年にこの用語を紹介し、その後2020年を通してその原則と論理アーキテクチャについてより詳細な情報を提供しました。このプロセスは、2022年に企業にとって「大きな候補」になると予測されていました。[10] [11]データメッシュは、 Zalando、[12] Netflix、[13] Intuit、[14] VistaPrint、PayPal [15]などの企業によって実装されています。
2022年、デガニ氏はThoughtworksを退社し、分散型データに注力するNextdata Technologiesを設立した。[16]
原則
データメッシュは4つの基本原則に基づいています: [17]
- ドメイン所有権
- 製品としてのデータ[18]
- セルフサービスデータプラットフォーム
- 連合型計算ガバナンス
これらの原則に加えて、デガニは、各ドメインチームによって作成されたデータ製品は、検出可能、アドレス可能、信頼でき、自己記述的なセマンティクスと構文を持ち、相互運用可能、安全で、グローバル標準とアクセス制御によって管理される必要があると書いています。[19]言い換えれば、データはすぐに使用でき、信頼できる製品として扱われるべきです。[20] [21]
実際には
2019年に導入されて以来[7]、複数の企業がデータメッシュの実装を開始し[12] [14] [15]、経験を共有しています。実務家にとっての課題（C）とベストプラクティス（BP）には以下が含まれます。
- C1. フェデレーションデータガバナンス
- 企業は、以前は中央で所有され、強制されていた活動やプロセスに連邦ガバナンス構造を導入することが困難であると報告しています。これは、セキュリティ、プライバシー、規制のトピックに特に当てはまります。[22] [23] [24]
- C2. 責任の移行
- データメッシュでは、ドメイン内の個人がデータ製品に対してエンドツーエンドで責任を負います。この新しい責任は、ほとんど報酬が支払われず、通常は他のドメインに利益をもたらすため、困難な場合があります。[22] [23]
- C3. 理解
- 調査によると、データメッシュを導入している企業の従業員の間では、データメッシュパラダイムに対する理解が著しく欠如していることが明らかになっています。[22]
- BP1. クロスドメインユニット
- C1に対処するために、組織は、戦略計画、ユースケースの優先順位付け、特にセキュリティ、規制、プライバシー関連のトピックに関する特定のガバナンスルールの施行を担当するクロスドメインステアリングユニットを導入する必要があります。ただし、クロスドメインステアリングユニットは、フェデレーションガバナンス構造を補完およびサポートすることしかできず、データメッシュの成熟度が増すにつれて時代遅れになる可能性があります。[22] [25]
- BP2. 追跡と観察
- C2.に関しては、組織はデータ製品の品質を観察し、スコアリングする必要があります。主要なデータ製品を追跡し、ランク付けすることで、高品質の製品提供を促進し、ドメイン所有者のモチベーションを高め、予算交渉をサポートできるからです。[22]
- BP3. 意識的な採用
- 組織は、データメッシュを実装する前に、既存のデータシステムを徹底的に評価し、組織的要因を考慮し、潜在的な利点を検討する必要があります。データメッシュを導入する際には、概念を明確に理解できるように、データメッシュの用語を慎重かつ意識的に導入することをお勧めします（C3）。[22]
コミュニティ
スコット・ハールマンはSlackチャンネルに7,500人以上が参加するデータメッシュコミュニティを立ち上げました。[26]
参照
- データ管理
- データプラットフォーム
- データ ボールト モデリング、さまざまな運用システムからのデータの保存とデータ元の追跡、監査の容易化、読み込み速度と復元力を備えたデータ モデリングの方法
- データ ウェアハウス、データをテーマ別に整理するための確立されたタイプのデータベース システム
- ETLとELT
参考文献
- ^ エヴァンス、エリック (2004)。ドメイン駆動設計: ソフトウェアの核となる複雑さへの取り組み。ボストン: アディソン・ウェズリー。ISBN 0-321-12521-5. OCLC 52134890.
- ^ スケルトン、マシュー（2019）。チームトポロジー：ビジネスチームとテクノロジーチームを組織して迅速なフローを実現する。マヌエル・パイス。オレゴン州ポートランド。ISBN 978-1-942788-84-3. OCLC 1108538721.
{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク) - ^ Machado, Inês Araújo; Costa, Carlos; Santos, Maribel Yasmina (2022-01-01). 「データメッシュ：データアーキテクチャにおけるパラダイムシフトの概念と原則」。Procedia Computer Science。International Conference on ENTERprise Information Systems / ProjMAN - International Conference on Project MANagement / HCist - International Conference on Health and Social Care Information Systems and Technologies 2021。196 : 263–271. doi : 10.1016/j.procs.2021.12.013 . hdl : 1822/78127 . ISSN 1877-0509. S2CID 245864612.
- ^ 「データメッシュアーキテクチャ」。datamesh -architecture.com 。 2022年6月13日閲覧。
- ^ Dehghani, Zhamak (2022). データメッシュ. セバストポル、カリフォルニア州. ISBN 978-1-4920-9236-0. OCLC 1260236796.
{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク) - ^ Machado, Inês Araújo; Costa, Carlos; Santos, Maribel Yasmina (2022-01-01). 「データメッシュ：データアーキテクチャにおけるパラダイムシフトの概念と原則」。Procedia Computer Science。International Conference on ENTERprise Information Systems / ProjMAN - International Conference on Project MANagement / HCist - International Conference on Health and Social Care Information Systems and Technologies 2021。196 : 263–271. doi :10.1016/j.procs.2021.12.013. hdl : 1822/78127。ISSN 1877-0509。
- ^ ab 「モノリシック データ レイクを超えて分散データ メッシュに移行する方法」。martinfowler.com。2022年1月 28 日閲覧。
- ^ Baer (dbInsight), Tony. 「データメッシュ：自宅で試してみる価値はあるか？」ZDNet . 2022年2月10日閲覧。
- ^ Andy Mott (2022-01-12). 「データメッシュでより迅速な洞察を推進」. RTInsights . 2022-03-01閲覧。
- ^ 「2022年のデータガバナンスと運用セキュリティを定義する開発」。Help Net Security。2021年12月28日。 2022年3月1日閲覧。
- ^ ベイン、アンディ。「評議会の投稿：2022年の産業変革はどこに向かうのか？」フォーブス。 2022年3月1日閲覧。
- ^ ab シュルツェ、マックス;もっと広く、アリフ（2021）。データメッシュの実践。ISBN 978-1-09-810849-6。
- ^ Netflix Data Mesh: 構成可能なデータ処理 - Justin Cunningham 、2022-04-29取得
- ^ ab Baker, Tristan (2021-02-22). 「Intuit のデータメッシュ戦略」。Intuitエンジニアリング。2022年 4 月 29 日閲覧。
- ^ ab 「次世代のデータ プラットフォームはデータ メッシュです」。2022 年 8 月 3 日。2023 年 2 月 8 日に閲覧。
- ^ 「なぜNextdataを立ち上げたのか」 2022年1月16日. 2023年2月8日閲覧。
- ^ Dehghani, Zhamak (2022). データメッシュ. セバストポル、カリフォルニア州. ISBN 978-1-4920-9236-0. OCLC 1260236796.
{{cite book}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク) - ^ 「データメッシュの定義 | James Serra のブログ」。2021 年 2 月 16 日。2022 年1 月 28 日閲覧。
- ^ 「2022 年のアナリティクスは分散データポリシーの習得を意味する」The New Stack 2021 年 12 月 29 日2022 年 3 月 3 日閲覧。
- ^ 「2022年のデータガバナンスと運用セキュリティを定義する開発」。Help Net Security。2021年12月28日。 2022年3月1日閲覧。
- ^ 「Looking Glass | 2024」。Thoughtworks 。 2024年10月10日閲覧。
- ^ abcdef ジャン・ボード;キュール、ニクラス。クロイツベルガー、ドミニク。ヒルシュル、セバスティアン。ホルトマン、カールステン (2023-05-04)。 「データ メッシュ: 動機付けの要因、課題、ベスト プラクティス」。arXiv : 2302.01713v2 [cs.AI]。
- ^ ab Vestues, Kathrine; Hanssen, Geir Kjetil; Mikalsen, Marius; Buan, Thor Aleksander; Conboy, Kieran (2022). 「NAV におけるアジャイルデータ管理: ケーススタディ」。ソフトウェアエンジニアリングとエクストリームプログラミングにおけるアジャイルプロセス。ビジネス情報処理の講義ノート 445 LNBIP。第 445 巻。Springer。pp. 220–235。doi :10.1007/978-3-031-08169-9_14。ISBN 978-3-031-08168-2。
- ^ Joshi, Divya; Pratik, Sheetal; Rao, Madhu Podila (2021). 「データメッシュインフラストラクチャにおけるデータガバナンス：Saxo銀行のケーススタディ」。国際電子ビジネス会議（ICEB）の議事録。第21巻。pp.599–604。
- ^ Whyte, Martin; Odenkirchen, Andreas; Bautz, Stephan; Heringer, Agnes; Krukow, Oliver (2022). 「データメッシュ - 単なる流行語か、それとも次世代のデータプラットフォームか?」PwC 調査 2022: 変化するデータプラットフォーム。
- ^ 「データメッシュのグローバルホーム」。データメッシュのグローバルホーム。 2022年4月24日閲覧。