データエンジニアリング

データエンジニアリングとは、データの収集と使用を可能にするシステムの構築を指します。このデータは通常、その後の分析とデータサイエンスを可能にするために使用され、多くの場合、機械学習が含まれます。^{[1] [2]データを使用可能にするには、通常、大量の}コンピューティングとストレージ、およびデータ処理が必要です。

1970 年代から 1980 年代にかけて、データベース設計とデータ分析および処理用ソフトウェアの使用を説明するために、情報工学方法論(IEM) という用語が作られました。 ^{[3] [4]これらの手法は、1980 年代の組織の運用処理ニーズを理解した上で、}データベース管理者(DBA) とシステム アナリストが使用することを目的としていました。特に、これらの手法は、戦略的ビジネス プランニングと情報システムの間のギャップを埋めるためのものでした。初期の重要な貢献者 (情報工学方法論の「父」と呼ばれることが多い) は、オーストラリア人のClive Finkelsteinで、1976 年から 1980 年にかけてこの手法に関する記事をいくつか執筆し、James Martin とともに影響力のある Savant Institute レポートを共同執筆しました。^{[5] [6] [7]}その後数年間、Finkelstein は、急速に変化するビジネス環境に対応することを目的とした、よりビジネス主導の方向で研究を続け、Martin は、よりデータ処理主導の方向で研究を続けました。 1983 年から 1987 年にかけて、Clive Finkelstein の指導の下、Charles M. Richter は IEM の改良に重要な役割を果たし、IEM の自動化に役立つ IEM ソフトウェア製品 (ユーザー データ) の設計にも貢献しました。

2000年代初頭、ほとんどの企業では、データとデータツールは一般的に情報技術（IT）チームが保有していました。 ^[8]その後、他のチームが業務（レポート作成など）にデータを使用していましたが、通常、これらのビジネス部門間でデータスキルセットの重複はほとんどありませんでした。

2010年代初頭、インターネットの台頭により、データの量、速度、多様性が大幅に増加したことから、データ自体を表すためにビッグデータという用語が生まれ、 FacebookやAirbnbなどのデータ駆動型のテクノロジー企業は、データエンジニアというフレーズを使い始めました。^{[3] [8]}データの新たな規模により、Google、Facebook、Amazon、Apple、Microsoft、Netflixなどの大手企業は、従来のETLおよびストレージ技術からの脱却を開始しました。これらの企業は、データ、特にインフラストラクチャ、ウェアハウス、データ保護、サイバーセキュリティ、マイニング、モデリング、処理、メタデータ管理に重点を置いたソフトウェアエンジニアリングの一種であるデータエンジニアリングを作り始めました。 ^{[3] [8]}このアプローチの変化は、特にクラウドコンピューティングに重点を置いたものでした。^[8]データは、 ITだけでなく、営業やマーケティングなど、ビジネスの多くの部分で処理および使用されるようになりました。 ^[8]

高性能コンピューティングは、データの処理と分析に不可欠です。データエンジニアリングのためのコンピューティングに対する特に広く普及しているアプローチの1つは、データフロープログラミングです。これは、計算が有向グラフ（データフローグラフ）として表されるもので、ノードは操作、エッジはデータの流れを表します。^[9]一般的な実装には、Apache Sparkやディープラーニングに特化したTensorFlowなどがあります。^{[9] [10] [11]} Differential/Timely Dataflowなどの最近の実装では、増分コンピューティングを使用して、はるかに効率的なデータ処理を行っています。^{[9] [12] [13]}

データはさまざまな方法で保存されますが、重要な決定要因の 1 つはデータの使用方法です。データ エンジニアは、コストを削減するためにデータの保存と処理システムを最適化します。データ圧縮、パーティション分割、アーカイブを使用します。

データが構造化されており、何らかのオンライントランザクション処理が必要な場合は、通常、データベースが使用されます。 ^[14]当初は、強力なACIDトランザクションの正確性保証を備えたリレーショナルデータベースが主に使用されていました。ほとんどのリレーショナルデータベースは、クエリに SQL を使用します。ただし、2010 年代のデータの増加に伴い、ACID トランザクション保証を放棄し、オブジェクトリレーショナルインピーダンスミスマッチを減らすことで、リレーショナルデータベースよりも水平スケーリングが容易な NoSQL データベースも人気が高まっています。[ 15 ]最近では^、 ACID保証を維持しながら水平スケーリングを可能にするNewSQLデータベースが人気になっています。 ^{[16] [17] [18] [19]}

データが構造化されており、オンライン分析処理が必要な場合（オンライントランザクション処理は不要）、データウェアハウスが主な選択肢となります。^[20]データウェアハウスは、データベースよりもはるかに大規模なデータ分析、マイニング、人工知能を可能にし、 ^[20]実際、データはデータベースからデータウェアハウスに流れ込むことがよくあります。^[21] ビジネスアナリスト、データエンジニア、データサイエンティストは、SQLやビジネスインテリジェンスソフトウェアなどのツールを使用してデータウェアハウスにアクセスできます。^[21]

データ レイクは、大量のデータを保存、処理、保護するための集中リポジトリです。データ レイクには、リレーショナル データベースからの構造化データ、半構造化データ、非構造化データ、バイナリ データを含めることができます。データ レイクは、オンプレミスまたはAmazon、Microsoft、Googleなどのパブリック クラウドベンダーのサービスを使用してクラウドベースの環境に作成できます。

データがあまり構造化されていない場合は、多くの場合、ファイルとして保存されます。いくつかのオプションがあります。

• ファイルシステムは、ネストされたフォルダ内でデータを階層的に表現します。^[22]
• ブロックストレージはデータを一定の大きさのチャンクに分割します。^{[22]これは多くの場合、（仮想）}ハードドライブやソリッドステートドライブと一致します。
• オブジェクトストレージはメタデータを使用してデータを管理します。^{[22]各ファイルには}UUIDなどのキーが割り当てられることがよくあります。^[23]

さまざまなデータ処理と保存場所の数と種類は、ユーザーにとって圧倒的になる可能性があります。このため、ワークフロー管理システム（ Airflowなど）を使用して、データタスクを指定、作成、監視できるようになりました。^{[24]タスクは、多くの場合、}有向非巡回グラフ（DAG）として指定されます。^[24]

経営者が将来に向けて設定するビジネス目標は、主要なビジネス プランに定義され、戦術的ビジネス プランでより明確に定義され、運用ビジネス プランで実装されます。今日のほとんどの企業は、この戦略に従うビジネス プランを開発する基本的な必要性を認識しています。組織の戦術レベルと運用レベルで透明性が欠如しているため、これらのプランを実装することは困難であることがよくあります。この種の計画には、ビジネス プランの誤解や誤解に起因する問題を早期に修正できるようにフィードバックが必要です。

データシステムの設計には、データプラットフォームの設計やデータストアの設計など、いくつかの要素が含まれます。^{[25] [26]}

これはデータモデルを作成するプロセスであり、データとデータのさまざまな部分間の関係を記述するための抽象モデルです。 ^[27]

データエンジニアは、ビッグデータ ETLパイプラインを作成して組織全体のデータフローを管理するタイプのソフトウェアエンジニアです。これにより、膨大な量のデータを取得して洞察に変換することができます。^[28]彼らは、データの運用準備や、フォーマット、回復力、スケーリング、セキュリティなどに重点を置いています。データエンジニアは通常、ソフトウェアエンジニアリングのバックグラウンドを持ち、Java、Python、Scala、Rustなどのプログラミング言語に精通しています。^{[29] [3]彼らは、データベース、アーキテクチャ、クラウドコンピューティング、}アジャイルソフトウェア開発に精通しています。^[3]

データサイエンティストはデータの分析に重点を置いており、数学、アルゴリズム、統計、機械学習に精通しています。^{[3] [30]}

• ビッグデータ
• 情報技術
• ソフトウェアエンジニアリング
• コンピュータサイエンス

ウィキメディア・コモンズには、情報工学に関連するメディアがあります。

• 複雑な方法 IEM 2019 年 7 月 20 日にWayback Machineにアーカイブされました
• 迅速なアプリケーション開発
• エンタープライズエンジニアリングとエンタープライズアーキテクチャの迅速な提供