Loading article…
 | |
| 開発者 | Apache ソフトウェア財団 |
|---|---|
| 初回リリース | 2009年11月2日[1] |
| 安定版リリース | 1.11.3 / 2023年9月23日[2] |
| リポジトリ | Avro リポジトリ |
| 書かれた | Java、C、C++、C#、Perl、Python、PHP、Ruby |
| タイプ | リモート プロシージャ コール フレームワーク |
| ライセンス | Apache ライセンス 2.0 |
| Webサイト | apache.org より |
Avro は、Apache の Hadoopプロジェクト内で開発された行指向の リモート プロシージャ コールおよびデータシリアル化 フレームワークです。JSONを使用してデータ型とプロトコルを定義し、データをコンパクトなバイナリ形式でシリアル化します。主にApache Hadoopで使用され、永続データのシリアル化形式と、Hadoopノード間およびクライアント プログラムから Hadoopサービスへの通信用のワイヤ形式の両方を提供できます。Avro は、エンコードされるデータを構造化するためにスキーマを使用します。2 種類のスキーマ言語があります。1 つは人間が編集するためのもの (Avro IDL) で、もう 1 つはJSON に基づくより機械可読なものです。 [3]
これはThriftやProtocol Buffersに似ていますが、スキーマが変更されたときにコード生成プログラムを実行する必要がありません(静的型付け言語で必要な場合を除く)。
Apache Spark SQLはデータソースとしてAvroにアクセスできます。[4]
Avro オブジェクト コンテナ ファイル
Avroオブジェクトコンテナファイルは以下から構成されます: [5]
ファイル ヘッダーは次の要素で構成されます。
- 4 バイト、ASCII の「O」、「b」、「j」、その後に Avro バージョン番号 1 (0x01) が続きます (バイナリ値 0x4F 0x62 0x6A 0x01)。
- スキーマ定義を含むファイル メタデータ。
- このファイルの 16 バイトのランダムに生成された同期マーカー。
データブロックに対して、Avroは2つのシリアル化エンコーディングを指定します: [6]バイナリとJSON。ほとんどのアプリケーションは、サイズが小さく高速なバイナリエンコーディングを使用します。デバッグやWebベースのアプリケーションでは、JSONエンコーディングが適切な場合があります。
スキーマ定義
AvroスキーマはJSONを使用して定義されます。スキーマはプリミティブ型（null、boolean、int、long、float、double、bytes、string）と複合型（record、enum、array、map、union、fixed）で構成されます。[7]
シンプルなスキーマの例:
{
"namespace" : "example.avro" 、"type" : "record" 、"name" : "User" 、"fields" : [ { "name" : "name" 、"type" : "string" }、{ "name" : "favorite_number" 、"type" : [ "null" 、"int" ]}、{ "name" : "favorite_color" 、"type" : [ "null" 、"string" ]} ] }
シリアル化とデシリアル化
Avro のデータは対応するスキーマとともに保存される可能性があるため、事前にスキーマを知らなくてもシリアル化された項目を読み取ることができます。
Python でのシリアル化とデシリアル化のコード例
連載: [8]
avro.schema
をインポートします。avro.datafileから DataFileReaderとDataFileWriterをインポートします。avro.ioからDatumReaderとDatumWriter をインポートします。
# 書き込むスキーマを知る必要があります。Apache Avro 1.8.2 によると、
schema = avro . schema . parse ( open ( "user.avsc" , "rb" ) . read ())
writer = DataFileWriter ( open ( "users.avro" , "wb" ), DatumWriter (), schema )
writer . append ({ "name" : "Alyssa" , "favorite_number" : 256 })
writer . append ({ "name" : "Ben" , "favorite_number" : 8 , "favorite_color" : "red" })
writer . close ()
ファイル「users.avro」には、JSON形式のスキーマとデータの コンパクトなバイナリ表現[9]が含まれます。
$ od -v -t x1z users.avro 0000000 4f 62 6a 01 04 14 61 76 72 6f 2e 63 6f 64 65 63 >オブジェクト...avro.codec < 0000020 08 6e 75 6c 6c 16 61 76 72 6f 2e 73 63 68 65 6d > .null.avro.schem < 0000040 61 ba 03 7b 22 74 79 70 65 22 3a 20 22 72 65 63 > a..{"type": "rec < 0000060 6f 72 64 22 2c 20 22 6e 61 6d 65 22 3a 20 22 55 > ord", "name": "U < 0000100 73 65 72 22 2c 20 22 6e 61 6d 65 73 70 61 63 65 > ser", "namespace < 0000120 22 3a 20 22 65 78 61 6d 70 6c 65 2e 61 76 72 6f > ": "example.avro < 0000140 22 2c 20 22 66 69 65 6c 64 73 22 3a 20 5b 7b 22 > ", "fields": [{" < 0000160 74 79 70 65 22 3a 20 22 73 74 72 69 6e 67 22 2c >タイプ": "文字列", < 0000200 20 22 6e 61 6d 65 22 3a 20 22 6e 61 6d 65 22 7d > "名前":「名前」} < 0000220 2c
20 7b 22 74 79 70 65 22 3a 20 5b 22 69 6e 74 > , {"type": ["int < 0000240 22 2c 20 22 6e 75 6c 6c 22 5d 2c 20 22 6e 61 6d > ", "null"], "nam < 0000260 65 22 3a 20 22 66 61 76 6f 72 69 74 65 5f 6e 75 > e": "favorite_nu < 0000300 6d 62 65 72 22 7d 2c 20 7b 22 74 79 70 65 22 3a > mber"}, {"type": < 0000320 20 5b 22 73 74 72 69 6e 67 22 2c 20 22 6e 75 6c > ["string", "nul < 0000340 6c 22 5d 2c 20 22 6e 61 6d 65 22 3a 20 22 66 61 > l"], "name": "fa < 0000360 76 6f 72 69 74 65 5f 63 6f 6c 6f 72 22 7d 5d 7d > vorite_color"}]} < 0000400 00 05 f9 a3 80 98 47 54 62 bf 68 95 a2 ab 42 ef > ......GTb.h...B. < 0000420 24 04 2c 0c 41 6c 79 73 73 61 00 80 04 02 06 42 > $.、.アリッサ....B < 0000440 65 6e 00 10 00 06 72 65 64 05
f9 a3 80 98 47 54 > en....red....GT < 0000460 62 bf 68 95 a2 ab 42 ef 24 > bh....B.$ < 0000471
デシリアライゼーション:
# スキーマはデータ ファイルに埋め込まれます
reader = DataFileReader ( open ( "users.avro" , "rb" ), DatumReader ())
for user in reader :
print ( user )
reader . close ()
出力は次のようになります:
{ u 'お気に入りの色' : なし、 u 'お気に入りの番号' : 256 、 u '名前' : u 'アリッサ' }
{ u 'お気に入りの色' : u '赤' 、 u 'お気に入りの番号' : 8 、 u '名前' : u 'ベン' }
API を備えた言語
理論的にはどの言語でもAvroを使用できますが、以下の言語にはAPIが書かれています。[10] [11]
- Ｃ
- C++
- C# [12] [13] [14]
- エリクサー[15] [16]
- 囲碁[17] [18]
- ハスケル[19]
- ジャワ
- ジャバスクリプト[20]
- パール
- PHP の
- パイソン[21] [22]
- ルビー
- 錆[23]
- スカラ
アブロIDL
Avroは、型とプロトコルの定義にJSONをサポートすることに加えて、 Avro IDLと呼ばれる代替インターフェース記述言語（IDL）構文の実験的なサポート[24]も含まれています。以前はGenAvroと呼ばれていたこの形式は、C / C ++、プロトコルバッファーなどに似た構文を使用して、より伝統的なIDLとプログラミング言語に慣れているユーザーが簡単に採用できるように設計されています。
ロゴ
オリジナルのアパッチ・アブロのロゴは、廃業したイギリスの航空機メーカー、アブロ（元々はAVロー・アンド・カンパニー）のものでした。[25]
アパッチ・アブロのロゴは2023年後半にオリジナルのデザインに更新されました。[26]
参照
.svg/500px-Free_and_open-source_software_logo_(2009).svg.png){kind=logo}
参考文献
- ^ 「Apache Avro: データ交換のための新しいフォーマット」。blog.cloudera.com 。 2019年3月10日閲覧。
- ^ 「Apache Avro Releases」. avro.apache.org . 2023年9月23日閲覧。
- ^ Kleppmann, Martin (2017).データ集約型アプリケーションの設計(初版). O'Reilly. p. 122.
- ^ 「Hadoop 内分析が重要な 3 つの理由 - Dataconomy」。dataconomy.com。2016年4 月 21 日。
- ^ 「Apache Avro 仕様: オブジェクト コンテナ ファイル」。avro.apache.org。2024年9月 8 日閲覧。
- ^ 「Apache Avro 仕様: エンコーディング」。avro.apache.org 。2024年9 月 8 日閲覧。
- ^ 「Apache Avro Getting Started (Python)」。avro.apache.org。2016年6月5日時点のオリジナルよりアーカイブ。2019年3月11日閲覧。
- ^ 「Apache Avro Getting Started (Python)」。avro.apache.org。2016年6月5日時点のオリジナルよりアーカイブ。2019年3月11日閲覧。
- ^ 「Apache Avro 仕様: データのシリアル化」。avro.apache.org。2024年9月 8 日閲覧。
- ^ phunt. 「GitHub - phunt/avro-rpc-quickstart: Apache Avro RPC クイックスタート。Avro は Apache Hadoop のサブプロジェクトです」。GitHub。2016年4月 13 日閲覧。
- ^ 「サポートされている言語 - Apache Avro - Apache Software Foundation」 。2016年4 月 21 日閲覧。
- ^ 「Avro: 1.5.1 - ASF JIRA」 。 2016年4月13日閲覧。
- ^ 「[AVRO-533] Avro の .NET 実装 - ASF JIRA」。2016 年4 月 13 日閲覧。
- ^ 「サポートされている言語」。2016年4月13日閲覧。
- ^ 「AvroEx」. hexdocs.pm . 2017年10月18日閲覧。
- ^ "Avrora — avrora v0.21.1". hexdocs.pm 。2021 年6 月 11 日に取得。
- ^ 「avro パッケージ - github.com/hamba/avro - Go パッケージ」。pkg.go.dev。2023年7 月 4 日閲覧。
- ^ goavro、LinkedIn、2023年6月30日、 2023年7月4日閲覧
- ^ 「Avro のネイティブ Haskell 実装」。Thomas M. DuBuisson、Galois, Inc. 2016 年8 月 8 日閲覧。
- ^ 「Avro 仕様の純粋な JavaScript 実装」。GitHub。2020年5月 4 日閲覧。
- ^ 「Getting Started (Python)」Apache Avro . 2023年7月4日閲覧。
- ^ Avro、Apache、avro: Avro はシリアル化と RPC のフレームワークです。、2023 年7 月 4 日閲覧
- ^ 「Rust での Apache Avro クライアント ライブラリの実装」 。2018年12 月 17 日閲覧。
- ^ 「Apache Avro 1.8.2 IDL」。2010年9月20日時点のオリジナルよりアーカイブ。2019年3月11日閲覧。
- ^ 「Avro のロゴ」。avroheritagemuseum.co.uk 。 2018年12月31日閲覧。
- ^ 「[AVRO-3908] すべての場所でプロジェクトロゴを更新 - ASF JIRA」。apache.org 。 2024年2月6日閲覧。
さらに読む
- ホワイト、トム (2010 年 11 月)。Hadoop : 決定版ガイド。ISBN 978-1-4493-8973-4。