アパッチORC

Apache ORC（Optimized Row Columnar）は、無料でオープンソースの列指向データストレージ形式です。^{[3]これは、}RCFileやParquetなど、Hadoopエコシステムで利用可能な他の列指向ストレージファイル形式に似ています。ほとんどのデータ処理フレームワークApache Spark、Apache Hive、Apache Flink、Apache Hadoopで使用されています。

2013年2月、 HortonworksはFacebookと共同で、最適化された行列型（ORC）ファイル形式を発表しました。^[1] 1か月後、ClouderaとTwitterが開発したApache Parquet形式が発表されました。^[4]

Apache ORC形式はAmazonのAWS Glueでサポートされています。^[5]

歴史

^ a b Alan Gates (2013 年 2 月 20 日)。「Stinger Initiative: Making Apache Hive 100 Times Faster」Hortonworks ブログ。2013 年 3 月 28 日時点のオリジナルよりアーカイブ。
^ 「Apache ORC - リリース」。 2024年8月21日閲覧。
^ Yin Huai、Siyuan Ma、Rubao Lee、Owen O'Malley、Xiaodong Zhang (2013)。「クラスター内のテーブル配置方法の基本構造と重要な問題に関する洞察の理解」。VLDB ' 39。pp. 1750–1761。CiteSeerX 10.1.1.406.4342。doi : 10.14778 /2556549.2556559。 {{cite conference}}: CS1 maint: 複数の名前: 著者リスト (リンク)
^ Justin Kestelyn (2013 年 3 月 13 日)。「Introducing Parquet: Efficient Columnar Storage for Apache Hadoop」。Cloudera ブログ。2016 年 9 月 19 日時点のオリジナルよりアーカイブ。2017年5 月 4 日閲覧。
^ 「AWS Glue で ORC 形式を使用する」。docs.aws.amazon.com。2024年8月 21 日閲覧。