アパッチピノ

アパッチピノ
原作者	キショア・ゴパラクリシュナ; 翔福;
開発者	アパッチピノ
安定リリース	1.2.0 / 2024年8月21日; 3か月前
リポジトリ	ピノリポジトリ
書かれた	ジャワ
オペレーティング·システム	クロスプラットフォーム
タイプ	分散した; リアルタイム; 列指向データストア;
ライセンス	Apache ライセンス 2.0
Webサイト	ピノット

Apache Pinot は、 Javaで書かれた列指向のオープンソースの分散データストアです。Pinot は、低レイテンシでOLAPクエリを実行するように設計されています。 ^[1]^[2]^[3]^[4]^[5]不変データに対して集計などの高速分析が必要な状況に適しています。リアルタイムのデータ取り込みも可能です。^[6]^[7]^[8] Pinot という名前は、さまざまなワインを生産するために使用される液体に圧搾されるピノブドウの木に由来しています。データベースの創設者は、さまざまなファイル形式やストリーミングデータソースからの膨大な量のデータを分析するための比喩としてこの名前を選択しました。^[9]

Pinotは、予測可能な低レイテンシ、数秒単位のデータ鮮度、フォールトトレランス、スケーラビリティなど、ソーシャルネットワーキングサイトの要件を満たす既製のソリューションが存在しないことをエンジニアリングスタッフが判断した後に、LinkedInで最初に作成されました。 ^[9] [ ^{10] Pinotは、}Uber、^[11] Microsoft、^[8] Factualなどのテクノロジー企業で実稼働に使用されています。

歴史

Pinotは、2013年にLinkedInの社内プロジェクトとして開始され、さまざまなユーザー向けおよびビジネス向け製品に利用されています。Pinotを使用したLinkedInの最初の分析製品は、メンバーが自分のプロフィールを誰が閲覧したかをリアルタイムで確認できるソーシャルネットワーキングサイトの機能の再設計でした。このプロジェクトは、2015年6月にApache 2.0ライセンスの下でオープンソース化され、2019年6月にLinkedInからApacheソフトウェア財団に寄贈されました。^[9]^[8]

建築

Pinot は、クラスター管理にApache Helix を使用します。Helix はさまざまなコンポーネント内にエージェントとして組み込まれており、Apache ZooKeeper を使用してクラスター全体の状態と健全性を調整および維持します。すべての Pinot サーバーとブローカーは Helix によって管理されます。Helix は、分散システムでパーティションとレプリカを管理するための汎用クラスター管理フレームワークです。

クエリ管理

クエリはブローカーによって受信され、ブローカーはセグメントからサーバーへのルーティングテーブルに対して要求をチェックし、リアルタイムサーバーとオフラインサーバーの間で要求を分散します。

クラスター管理

Pinot は、クラスター管理に Apache Helix を活用します。Helix は、分散システムで複製され、分割されたリソースを管理するためのクラスター管理フレームワークです。Helix は、クラスターの状態とメタデータを保存するために Zookeeper を使用します。

特徴

Pinotは、 Apache Druidなどの同等のOLAPデータストアと同様の機能を備えています。^[12]^{[13] Druidと同様に、Pinotは}Run LengthやFixed-Bit Lengthなどのさまざまな圧縮方式を備えた列指向データベースです。Pinotは、ソートインデックス、ビットマップインデックス、転置インデックス、スターツリーインデックス、範囲インデックスなどのプラグ可能なインデックステクノロジをサポートしており、これがPinotと他のOLAPデータストアの主な違いです。

Pinot は、 Kafka、AWS Kinesisなどのストリームからのほぼリアルタイムの取り込みと、 Hadoop、S3、Azure、GCSなどのソースからのバッチ取り込みをサポートします。他のほとんどのOLAPデータストアやデータウェアハウスソリューションと同様に、 Pinot はデータの選択、集計、フィルタリング、グループ化、順序付け、個別のクエリをサポートするSQLのようなクエリ言語をサポートします。

参照

参考文献

^ Cui, Tingting; Peng, Lijun; Pardoe, David; Liu, Kun; Agarwal, Deepak; Kumar, Deepak (2017 年 8 月 14 日)。「LinkedIn のソーシャル広告オークションにおけるデータ駆動型最低入札価格」。ADKDD'17議事録。Association for Computing Machinery。pp. 1–7。doi :10.1145/3124749.3124759。ISBN 9781450351942. S2CID 12327343。
^ ローザ、マルチェロ・ラ（2021）。高度情報システム工学：第33回国際会議。シュプリンガーネイチャー。ISBN 978-3-030-79382-1。
^ Chin, Francis YL; Chen, CL Philip; Khan, Latifur; Lee, Kisung; Zhang, Liang-Jie (2018 年 6 月 20 日)。ビッグデータ – BigData 2018: 第 7 回国際会議、サービスカンファレンスフェデレーションの一環として開催、SCF 2018、シアトル、ワシントン州、米国、2018 年 6 月 25 ～ 30 日、議事録。Springer。p. 153。ISBN 978-3-319-94301-5。
^ Im, Jean-François; Gopalakrishna, Kishore; Subramaniam, Subbu; Shrivastava, Mayank; Tumbde, Adwait; Jiang, Xiaotian; Dai, Jennifer; Lee, Seunghyun; Pawar, Neha; Li, Jialiang; Aringunram, Ravi (2018-05-27)。「Pinot: 5億3千万人のユーザーのためのリアルタイムOLAP」。2018年国際データ管理会議議事録。Sigmod '18。Association for Computing Machinery。pp. 583–594。doi : 10.1145 /3183713.3190661。ISBN 9781450347037. S2CID 44083085。
^ 「Apache Software Foundation が Apache® Pinot™ をトップレベルプロジェクトとして発表」。blogs.apache.org。2021年8 月 2 日。
^ ライアン・ロジャース;スブラマニアム、スブブ。ペン、ショーン。ダーフィー、デイビッド。イ・スンヒョン。カンチャ、サントシュ・クマール。サハイ、シュラッダ。アハマド、パルベス（2020年11月16日）。「LinkedIn の Audience Engagements API: プライバシーを保護する大規模なデータ分析システム」。arXiv : 2002.05839 [cs.CR]。
^ Javadi, Seyyed Ahmad; Gupta, Harsh; Manhas, Robin; Sahu, Shweta; Gandhi, Anshul (2018 年 7 月)。「EASY: Pinot のテールレイテンシを削減するための効率的なセグメント割り当て戦略」。2018 IEEE 38th International Conference on Distributed Computing Systems (ICDCS)。pp. 1432–1437。doi :10.1109 / ICDCS.2018.00144。ISBN 978-1-5386-6871-9. S2CID 21659844。
^ abc Pawar, Neha. 「Pinot が Apache Incubator に参加」2019 年 4 月 2 日アーカイブ、Wayback Machine、LinkedIn Engineering、2019 年 4 月 1 日
^ abc Gopalakrishna, Kishore. 「Pinot のオープンソース化: リアルタイム分析の壁を乗り越える」. engineering.linkedin.com . LinkedIn. 2015年9月10日時点のオリジナルよりアーカイブ。2020年9月3日閲覧。
^ Yegulalp, Serdar (2015-06-11). 「LinkedIn が Hadoop 上の SQL の新たなニッチ市場を埋める」InfoWorld。
^ Fu, Yupeng; Soman, Chinmay (2021 年 6 月 9 日)。「Uber のリアルタイムデータインフラストラクチャ」。2021年国際データ管理会議の議事録。Sigmod/ Pods '21。計算機協会。pp. 2503–2516。arXiv : 2104.00087。doi : 10.1145 / 3448016.3457552。ISBN 9781450383431. S2CID 232478317。
^ オルドネス、カルロス;ソン、イルヨル。アンデルスト＝コツィス、ガブリエレ。チョア、A. ミン;ハリル、イスマイル（2019年10月2日）。ビッグデータ分析と知識発見: 第 21 回国際会議、DaWaK 2019、オーストリア、リンツ、2019 年 8 月 26 ～ 29 日、議事録。スプリンガー。 p. 170.ISBN 978-3-030-27520-4。
^ Uttamchandani, Sandeep (2020 年 9 月 10 日)。セルフサービスデータロードマップ。「O'Reilly Media, Inc.」。ISBN 978-1-4920-7520-2。

外部リンク

公式サイト

[1] Cui, Tingting; Peng, Lijun; Pardoe, David; Liu, Kun; Agarwal, Deepak; Kumar, Deepak (2017 年 8 月 14 日)。「LinkedIn のソーシャル広告オークションにおけるデータ駆動型最低入札価格」。ADKDD'17議事録。Association for Computing Machinery。pp. 1–7。doi :10.1145/3124749.3124759。ISBN 9781450351942. S2CID 12327343。

[2] ローザ、マルチェロ・ラ（2021）。高度情報システム工学：第33回国際会議。シュプリンガーネイチャー。ISBN 978-3-030-79382-1。

[3] Chin, Francis YL; Chen, CL Philip; Khan, Latifur; Lee, Kisung; Zhang, Liang-Jie (2018 年 6 月 20 日)。ビッグデータ – BigData 2018: 第 7 回国際会議、サービスカンファレンスフェデレーションの一環として開催、SCF 2018、シアトル、ワシントン州、米国、2018 年 6 月 25 ～ 30 日、議事録。Springer。p. 153。ISBN 978-3-319-94301-5。

[4] Im, Jean-François; Gopalakrishna, Kishore; Subramaniam, Subbu; Shrivastava, Mayank; Tumbde, Adwait; Jiang, Xiaotian; Dai, Jennifer; Lee, Seunghyun; Pawar, Neha; Li, Jialiang; Aringunram, Ravi (2018-05-27)。「Pinot: 5億3千万人のユーザーのためのリアルタイムOLAP」。2018年国際データ管理会議議事録。Sigmod '18。Association for Computing Machinery。pp. 583–594。doi : 10.1145 /3183713.3190661。ISBN 9781450347037. S2CID 44083085。

[5] 「Apache Software Foundation が Apache® Pinot™ をトップレベルプロジェクトとして発表」。blogs.apache.org。2021年8 月 2 日。

[6] ライアン・ロジャース;スブラマニアム、スブブ。ペン、ショーン。ダーフィー、デイビッド。イ・スンヒョン。カンチャ、サントシュ・クマール。サハイ、シュラッダ。アハマド、パルベス（2020年11月16日）。「LinkedIn の Audience Engagements API: プライバシーを保護する大規模なデータ分析システム」。arXiv : 2002.05839 [cs.CR]。

[7] Javadi, Seyyed Ahmad; Gupta, Harsh; Manhas, Robin; Sahu, Shweta; Gandhi, Anshul (2018 年 7 月)。「EASY: Pinot のテールレイテンシを削減するための効率的なセグメント割り当て戦略」。2018 IEEE 38th International Conference on Distributed Computing Systems (ICDCS)。pp. 1432–1437。doi :10.1109 / ICDCS.2018.00144。ISBN 978-1-5386-6871-9. S2CID 21659844。

[pinot-joins-apache-foundation-8] Pawar, Neha. 「Pinot が Apache Incubator に参加」2019 年 4 月 2 日アーカイブ、Wayback Machine、LinkedIn Engineering、2019 年 4 月 1 日

[open-sourcing-pinot-9] Gopalakrishna, Kishore. 「Pinot のオープンソース化: リアルタイム分析の壁を乗り越える」. engineering.linkedin.com . LinkedIn. 2015年9月10日時点のオリジナルよりアーカイブ。2020年9月3日閲覧。

[10] Yegulalp, Serdar (2015-06-11). 「LinkedIn が Hadoop 上の SQL の新たなニッチ市場を埋める」InfoWorld。

[11] Fu, Yupeng; Soman, Chinmay (2021 年 6 月 9 日)。「Uber のリアルタイムデータインフラストラクチャ」。2021年国際データ管理会議の議事録。Sigmod/ Pods '21。計算機協会。pp. 2503–2516。arXiv : 2104.00087。doi : 10.1145 / 3448016.3457552。ISBN 9781450383431. S2CID 232478317。

[12] オルドネス、カルロス;ソン、イルヨル。アンデルスト＝コツィス、ガブリエレ。チョア、A. ミン;ハリル、イスマイル（2019年10月2日）。ビッグデータ分析と知識発見: 第 21 回国際会議、DaWaK 2019、オーストリア、リンツ、2019 年 8 月 26 ～ 29 日、議事録。スプリンガー。 p. 170.ISBN 978-3-030-27520-4。

[13] Uttamchandani, Sandeep (2020 年 9 月 10 日)。セルフサービスデータロードマップ。「O'Reilly Media, Inc.」。ISBN 978-1-4920-7520-2。