Loading article…
Google Cloud Dataflowは、 Google Cloud Platformエコシステム内でApache Beamパイプラインを実行するためのフルマネージド サービスです。Dataflow は、Apache Beam パイプラインを実行するためのフルマネージド サービスを提供しており、自動スケーリング、動的な作業の再調整、マネージド実行環境などの機能を備えています。[1]
Dataflowは大規模で継続的なデータ処理ジョブに適しており、Google Cloud Platform上のGoogleのビッグデータアーキテクチャの主要コンポーネントの1つです。[2]
歴史
Google Cloud Dataflowは2014年6月に発表され[3]、2015年4月にオープンベータ版として一般に公開されました。[4] 2016年1月、Googleは基盤となるSDK 、ローカルランナーの実装、 Google Cloud PlatformデータサービスにアクセスするためのIO（データコネクタ）のセットをApache Software Foundationに寄贈しました。[5]寄贈されたコードがApache Beamの元々の基盤となりました。
2022年8月には、複数のリージョンで特定のDataflowストリーミングパイプラインのユーザータイマーが壊れるというインシデントが発生しましたが、後に解決されました。[6] 2023年から2024年にかけて、リリースノートやサービスヘルス履歴に記載されているように、Google Cloud Dataflowに影響を与えるさまざまなアップデートやインシデントが発生しました。[7]
参考文献
- ^ 「Cloud Dataflow Runner」. beam.apache.org . 2024年7月3日閲覧。
- ^ 「ETL データ パイプラインのための GCP Dataflow と Apache Beam」。EPAM Anywhere。2024年 7 月 3 日閲覧。
- ^ 「プレビュー: クラウドネイティブなデータ処理サービス、Google Cloud Dataflow」。Google Cloud Platform ブログ。2018 年 9 月 8 日閲覧。
- ^ 「Google が Cloud Dataflow をすべての開発者に公開、BigQuery のヨーロッパ ゾーンを開始」。TechCrunch。2018年 9 月 8 日閲覧。
- ^ 「Google は Dataflow テクノロジーを Apache に寄付したいと考えている」Venture Beat 。 2019 年 2 月 21 日閲覧。
- ^ 「Google Cloud Service Health」. status.cloud.google.com . 2024年7月3日閲覧。
- ^ 「2023 年のデータフローの機能強化」。Google Cloud ブログ。2024 年 7 月 3 日閲覧。
外部リンク
- 公式サイト