アパッチビーム

アパッチビーム
原作者	グーグル
開発者	Apache ソフトウェア財団
初回リリース	2016年6月15日; 8年前
安定リリース	2.58.0 (2024年8月6日; 3か月前 ) [±]
リポジトリ	ビームリポジトリ
書かれた	Java、Python、Go の
オペレーティング·システム	クロスプラットフォーム
ライセンス	Apache ライセンス 2.0
Webサイト	ビーム

Apache Beamは、 ETL、バッチ、ストリーム（連続）処理などのデータ処理パイプラインを定義および実行するためのオープンソースの統合プログラミングモデルです。 ^{[2] Beamパイプラインは、提供されている}SDKの1つを使用して定義され、 Apache Flink、Apache Samza、Apache Spark、Google Cloud DataflowなどのBeamでサポートされているランナー（分散処理バックエンド）の1つで実行されます。^[3]

歴史

Apache Beam ^[3]は、Dataflowモデル論文の1つの実装です。^[4] Dataflowモデルは、Googleの分散処理抽象化に関する以前の研究、特にFlumeJava ^[5]とMillwheelに基づいています。^[6]^[7]

Google は 2014 年に Dataflow モデルのオープン SDK 実装と、 Google Cloud Platformサービス内だけでなくローカル (非分散) でも Dataflow を実行できる環境をリリースしました。

タイムライン

Apache Beamは6週間ごとにマイナーリリースを行っています。^[8]

参照

Apache Software Foundation プロジェクトの一覧

参考文献

^ 「ブログ」. beam.apache.org . The Apache Software Foundation . 2024年8月6日閲覧。
^ Woodie, Alex (2016 年 4 月 22 日)。「Apache Beam の野心的な目標: ビッグデータ開発の統合」。Datanami。2016年8月 4 日閲覧。
^ ab 「Cloud Dataflow - バッチおよびストリームデータ処理」。
^ Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven; McVeety, Sam; Mills, Daniel; Perry, Frances (2015 年 8 月 1 日)。「データフローモデル」( PDF ) 。VLDB Endowment の議事録。8 (12): 1792–1803。doi :10.14778/2824032.2824076。2016年8 月 4 日閲覧。
^ Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (2010 年 1 月 1 日)。「FlumeJava: 簡単で効率的なデータ並列パイプライン」。第 31 回 ACM SIGPLAN プログラミング言語設計および実装会議の議事録( PDF )。ACM。pp. 363–375。doi :10.1145/1806596.1806638。ISBN 9781450300193. S2CID 14888571. 2016年9月23日時点のオリジナル（PDF）からアーカイブ。2016年8月4日閲覧。
^ Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (2013年8月27日). 「MillWheel」(PDF) . Proceedings of the VLDB Endowment . 6 (11): 1033–1044. doi :10.14778/2536222.2536229. 2016年2月1日時点のオリジナル(PDF)よりアーカイブ。 2016年8月4日閲覧。
^ Pointer, Ian (2016 年 4 月 14 日)。「Apache Beam はビッグデータ向けの uber-API を目指す」。InfoWorld。2016年8 月 4 日閲覧。
^ 「ポリシー」. beam.apache.org . 2022年4月21日閲覧。

[1] 「ブログ」. beam.apache.org . The Apache Software Foundation . 2024年8月6日閲覧。

[Woodie2016-2] Woodie, Alex (2016 年 4 月 22 日)。「Apache Beam の野心的な目標: ビッグデータ開発の統合」。Datanami。2016年8月 4 日閲覧。

[google.com-3] 「Cloud Dataflow - バッチおよびストリームデータ処理」。

[Akidau2015-4] Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven; McVeety, Sam; Mills, Daniel; Perry, Frances (2015 年 8 月 1 日)。「データフローモデル」( PDF ) 。VLDB Endowment の議事録。8 (12): 1792–1803。doi :10.14778/2824032.2824076。2016年8 月 4 日閲覧。

[Chambers2010-5] Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (2010 年 1 月 1 日)。「FlumeJava: 簡単で効率的なデータ並列パイプライン」。第 31 回 ACM SIGPLAN プログラミング言語設計および実装会議の議事録( PDF )。ACM。pp. 363–375。doi :10.1145/1806596.1806638。ISBN 9781450300193. S2CID 14888571. 2016年9月23日時点のオリジナル（PDF）からアーカイブ。2016年8月4日閲覧。

[Akidau2013-6] Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (2013年8月27日). 「MillWheel」(PDF) . Proceedings of the VLDB Endowment . 6 (11): 1033–1044. doi :10.14778/2536222.2536229. 2016年2月1日時点のオリジナル(PDF)よりアーカイブ。 2016年8月4日閲覧。

[Pointer2016-7] Pointer, Ian (2016 年 4 月 14 日)。「Apache Beam はビッグデータ向けの uber-API を目指す」。InfoWorld。2016年8 月 4 日閲覧。

[8] 「ポリシー」. beam.apache.org . 2022年4月21日閲覧。