アパッチアロー

Apache Arrow は、列指向データを処理するデータ分析アプリケーションを開発するための言語非依存のソフトウェアフレームワークです。最新のCPUおよびGPUハードウェア上で効率的な分析操作を行うために、フラットなデータと階層的なデータを表現できる標準化された列指向メモリフォーマットを備えています。^[²^]^[³^]^[⁴^]^[⁵^]^[⁶^]これにより、動的ランダムアクセスメモリのコスト、変動性、または物理的な制約など、大規模なデータセットを扱う際の実現可能性を制限する要因が軽減または排除されます。^[⁷^]

相互運用性

Arrow は、 Apache Parquet、Apache Spark、NumPy、PySpark、pandas 、その他のデータ処理ライブラリと連携して使用できます。このプロジェクトには、C、C++、C#、Go、Java、JavaScript、Julia、MATLAB、Python (PyArrow ^[⁸^] )、R、Ruby、Rust で記述されたネイティブソフトウェアライブラリが含まれています。Arrow は、これらの言語とシステム間でシリアル化のオーバーヘッドなしに、ゼロコピー読み取りと高速なデータアクセスと交換を可能にします。^[²^]

アプリケーション

Arrowは、分析^{[ 9 ]}、ゲノミクス^{[ 10 ]}^{[ 7 ]}、クラウドコンピューティング^{[ 11 ]など、さまざまな分野で使用されています。}

Apache ParquetおよびORCとの比較

Apache ParquetとApache ORC は、ディスク上の列指向データ形式の代表的な例です。Arrow は、これらの形式を補完し、メモリ内でデータを処理するために設計されています。^{[ 12 ]}メモリ内処理におけるハードウェアリソースエンジニアリングのトレードオフは、ディスク上のストレージに関連するトレードオフとは異なります。^{[ 13 ]} Arrow および Parquet プロジェクトには、2 つの形式間でデータの読み書きを可能にするライブラリが含まれています。^{[ 14 ]}

ガバナンス

Apache Arrow は、2016 年 2 月 17 日にApache Software Foundationによって発表されました。 ^{[ 15 ]}開発は、他のオープンソースのデータ分析プロジェクトの開発者連合によって主導されました。^{[ 16 ]}^{[ 17 ]}^{[ 6 ]}^{[ 18 ]}^{[ 19 ]}初期のコードベースと Java ライブラリは、 Apache Drill のコードを基に作成されました。^{[ 15 ]}

参考文献

↑ 「リリース 25.0.0」。2026年7月10日。 2026年7月11日取得。
1 2 「Apache Arrow と Kubernetes による分散コンピューティング」。2018 年 12 月 13 日。
↑ベア、トニー (2016 年 2 月 17 日)。「アパッチアロー: アヒルを一列に並べる... または縦列に並べる」。Seeking Alpha。
↑ Baer, Tony (2019年2月25日). "Apache Arrow: 小さなデータアクセラレータが成し遂げたこと" . ZDNet .
↑ Hall, Susan (2016年2月23日). 「Apache Arrowの列指向データレイアウトはHadoopとSparkを高速化できる可能性がある」 . The New Stack .
1 2 Yegularp, Serdar (2016年2月27日). 「Apache Arrowはビッグデータへのアクセスを高速化することを目指している」 . InfoWorld .
1 2 Tanveer Ahmad (2019). "ArrowSAM: Apache Arrow Framework を介したインメモリゲノミクスデータ処理". bioRxiv 10.1101/741843 .
↑ "Python — Apache Arrow v20.0.0"。
↑ Dinsmore TW (2016). "In-Memory Analytics: Satisfying the Need for Speed". Disruptive Analytics . Apress, Berkeley, CA. pp. 97–116 . doi : 10.1007/978-1-4842-1311-7_5 . ISBN 978-1-4842-1312-4。
↑ Versaci F、Pireddu L、Zanetti G (2016)。「スケーラブルなゲノミクス：Apache YARN 上で生データからアラインメントされたリードへ」（PDF）。IEEE International Conference on Big Data：1232–1241。
↑ Maas M、Asanović K、Kubiatowicz J (2017)「ランタイムの復活：クラウド3.0時代に向けた言語ランタイムシステムの再考」第16回オペレーティングシステムホットトピックワークショップ議事録、pp. 138–143。doi : 10.1145 /3102980.3103003。ISBN 978-1-4503-5068-6。
↑ Le Dem, Julien. "Apache Arrow と Apache Parquet: 列指向データ、ディスク上およびメモリ上のデータに対して異なるプロジェクトが必要だった理由" . KDnuggets .
↑ 「Apache Arrow vs. ParquetおよびORC：列指向データ表現のための3つ目のApacheプロジェクトは本当に必要か？」 2017年10月31日。
↑ 「PyArrow:Apache Parquetフォーマットの読み書き」。
1 2 「Apache® Software Foundation が Apache Arrow™ をトップレベルプロジェクトとして発表」 . Apache Software Foundation ブログ. 2016 年 2 月 17 日。2016年 3 月 13 日のオリジナルからアーカイブ。
↑ Martin, Alexander J. (2016年2月17日). 「Apache FoundationがApache Arrowをトップレベルプロジェクトとして急遽発表」 . The Register .
↑ 「ビッグデータに新たなオープンソースプロジェクト、Apache Arrowが登場：分析ワークロードで100倍以上のパフォーマンス向上を実現、と財団は述べている」。2016年2月17日。 2016年7月27日のオリジナルからアーカイブ。 2018年1月31日取得。
↑ル・デム、ジュリアン（2016年11月28日）。「Apache Arrowの最初のリリース」。SD Times。
↑ 「Apache Arrow を使用した列指向データ処理の未来についての Julien Le Dem 氏の解説」。

外部リンク

Apache Arrowプロジェクトのウェブサイト
Apache Arrow GitHubプロジェクトのソースコード

[wikidata-81ca0c5710e9ce3a378a93355e63d880f1948500-v20-1] 「リリース 25.0.0」。2026年7月10日。 2026年7月11日取得。

[xenonstack-2] 1 2 「Apache Arrow と Kubernetes による分散コンピューティング」。2018 年 12 月 13 日。

[seekingalpha-3] ベア、トニー (2016 年 2 月 17 日)。「アパッチアロー: アヒルを一列に並べる... または縦列に並べる」。Seeking Alpha。

[zdnet-4] Baer, Tony (2019年2月25日). "Apache Arrow: 小さなデータアクセラレータが成し遂げたこと" . ZDNet .

[5] Hall, Susan (2016年2月23日). 「Apache Arrowの列指向データレイアウトはHadoopとSparkを高速化できる可能性がある」 . The New Stack .

[infoworld-6] 1 2 Yegularp, Serdar (2016年2月27日). 「Apache Arrowはビッグデータへのアクセスを高速化することを目指している」 . InfoWorld .

[biorxiv-7] 1 2 Tanveer Ahmad (2019). "ArrowSAM: Apache Arrow Framework を介したインメモリゲノミクスデータ処理". bioRxiv 10.1101/741843 .

[8] "Python — Apache Arrow v20.0.0"。

[9] Dinsmore TW (2016). "In-Memory Analytics: Satisfying the Need for Speed". Disruptive Analytics . Apress, Berkeley, CA. pp. 97–116 . doi : 10.1007/978-1-4842-1311-7_5 . ISBN 978-1-4842-1312-4。

[10] Versaci F、Pireddu L、Zanetti G (2016)。「スケーラブルなゲノミクス：Apache YARN 上で生データからアラインメントされたリードへ」（PDF）。IEEE International Conference on Big Data：1232–1241。

[11] Maas M、Asanović K、Kubiatowicz J (2017)「ランタイムの復活：クラウド3.0時代に向けた言語ランタイムシステムの再考」第16回オペレーティングシステムホットトピックワークショップ議事録、pp. 138–143。doi : 10.1145 /3102980.3103003。ISBN 978-1-4503-5068-6。

[12] Le Dem, Julien. "Apache Arrow と Apache Parquet: 列指向データ、ディスク上およびメモリ上のデータに対して異なるプロジェクトが必要だった理由" . KDnuggets .

[13] 「Apache Arrow vs. ParquetおよびORC：列指向データ表現のための3つ目のApacheプロジェクトは本当に必要か？」 2017年10月31日。

[14] 「PyArrow:Apache Parquetフォーマットの読み書き」。

[:0-15] 1 2 「Apache® Software Foundation が Apache Arrow™ をトップレベルプロジェクトとして発表」 . Apache Software Foundation ブログ. 2016 年 2 月 17 日。2016年 3 月 13 日のオリジナルからアーカイブ。

[reg17Feb2016-16] Martin, Alexander J. (2016年2月17日). 「Apache FoundationがApache Arrowをトップレベルプロジェクトとして急遽発表」 . The Register .

[17] 「ビッグデータに新たなオープンソースプロジェクト、Apache Arrowが登場：分析ワークロードで100倍以上のパフォーマンス向上を実現、と財団は述べている」。2016年2月17日。 2016年7月27日のオリジナルからアーカイブ。 2018年1月31日取得。

[18] ル・デム、ジュリアン（2016年11月28日）。「Apache Arrowの最初のリリース」。SD Times。

[19] 「Apache Arrow を使用した列指向データ処理の未来についての Julien Le Dem 氏の解説」。

[

[

[

[

[

[

[

[ 9 ]

[ 10 ]

[ 11 ]など、さまざまな分野で使用されています。

[ 12 ]

[ 13 ]

[ 14 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

相互運用性

アプリケーション

Apache ParquetおよびORCとの比較

ガバナンス

参考文献

外部リンク

関連するトピック

列指向データ

言語非依存の

ソフトウェア フレームワーク

CPU

ソフトウェアフレームワーク