Loading article…
データフォーマット記述言語（DFDL、ダフォディルと発音されることが多い）は、一般的なテキストとバイナリデータを標準的な方法で記述するためのモデリング言語です。2021年2月にOpen Grid Forum勧告[1]として公開され、2024年4月にISO標準として公開されました。[2]
DFDL モデルまたはスキーマを使用すると、任意のテキストまたはバイナリ データをネイティブ形式から読み取り (または「解析」)、情報セットのインスタンスとして表示できます。(情報セットは、物理形式とは無関係なデータ コンテンツの論理表現です。たとえば、2 つのレコードは、一方が固定長フィールドを持ち、もう一方が区切り文字を使用するため、異なる形式である可能性がありますが、まったく同じデータを含む可能性があり、両方とも同じ情報セットで表されます)。同じ DFDL スキーマを使用すると、情報セットのインスタンスからデータを取得し、そのネイティブ形式に書き出す (または「シリアル化」する) こともできます。
DFDL は記述的であり、規範的ではありません。DFDLはデータ形式ではなく、特定のデータ形式の使用を強制するものでもありません。代わりに、多くの異なる種類のデータ形式を記述する標準的な方法を提供します。このアプローチにはいくつかの利点があります。[3]これにより、アプリケーション作成者は要件に応じて適切なデータ表現を設計し、共有可能な標準的な方法で記述できるため、複数のプログラムがデータを直接交換できます。
DFDL は、W3C XML スキーマ 1.0の機能を基にしてこれを実現します。XML スキーマのサブセットが使用され、非 XML データのモデリングが可能になります。このアプローチの目的は、完全に新しいスキーマ言語を発明することを避け、DFDL 情報セットを介して一般的なテキストとバイナリ データを対応する XML ドキュメントに簡単に変換できるようにすることです。
教育資料は、DFDL チュートリアル、ビデオ、およびいくつかの実践的な DFDL ラボの形式で利用できます。
歴史
DFDL は、グリッド API がソースに関係なくデータを理解できるようにする必要性に応えて作成されました。既存のさまざまなテキストおよびバイナリ データ形式をモデル化できる言語が必要でした。2003 年に、そのような言語の仕様を作成するためのワーキング グループが Global Grid Forum (後にOpen Grid Forumに改名) に設立されました。
早い段階で、言語をW3C XML スキーマのサブセットに基づいて構築し、<xs:appinfo> アノテーションを使用して、非 XML 物理表現を記述するために必要な追加情報を伝達するという決定が下されました。これは、2003 年までに商用システムですでに使用されていた確立されたアプローチです。DFDL はこのアプローチを採用し、多くのテキストまたはバイナリ データ形式を記述できるオープン スタンダードに進化させました。
言語に関する作業は継続され、2011 年 1 月に OGF 提案勧告 GFD.174 として DFDL 1.0 仕様が公開されました。
公式の OGF 勧告は、2021 年 2 月に公開された GFD.240 です。これは、以前のバージョンをすべて廃止し、これまでに指摘されたすべての問題を組み込んだものです (html としても利用可能)。DFDL とその機能の概要は、OGF で入手できます。仕様に関する問題は、GitHub の問題追跡システムを使用して追跡されています。
2024 年 4 月、DFDL は ISO 公開標準 (PAS) プロセスによって ISO/IEC 23415:2024 として公開されました。この標準は ISO から入手可能ですが、Open Grid Forum でも引き続き公開されます。
実装
DFDL スキーマを使用してデータを解析およびシリアル化できる DFDL プロセッサの実装が利用可能です。
- IBM には複数の DFDL 実装があります。
- 実稼働可能なDFDL 1.0ストリーミングパーサー、モデラー、ビジュアルテスター。[4]これは、 IBM App Connect Enterprise（旧称IBM Integration Bus）を含むいくつかのIBM製品で利用可能です。無料の開発者版も利用可能です。
- IBM メインフレーム z/Transaction Processing Facility の一部である IBM z/TPF DFDL。
- Apache Daffodil は、パーサーとアンパーサーの両方を備えたオープンソースの DFDL プロセッサであり、VSCode の拡張機能である IDE であり、Apache NiFiおよび XML Calabash XProc パイプライン エンジンに統合されています。現在も活発に開発が進められています。
- 欧州宇宙機関プロジェクトS2Gデータビューアには、DFDL 1.0仕様のサブセットを実装したパーサーDFDL4S [5]が含まれています。
商用および科学的なデータ形式を記述する DFDL スキーマのパブリック リポジトリが GitHub 上に確立されました。UN/EDIFACT、NACHA、MIL-STD-2045、NITF、ISO8583 などの形式の DFDL スキーマは無料でダウンロードできます。
例
人物の名前、年齢、場所を示す次のテキスト データ ストリームを例に挙げます。
このデータの論理モデルは、次の XML スキーマ ドキュメントのフラグメントで記述できます。フィールドの順序、名前、タイプ、カーディナリティは、XML スキーマ モデルによって表現されます。
<xs:schema xmlns:xs= "http://www.w3.org/2001/XMLSchema" ... >
<xs:complexType name= "person_type" > <xs:sequence> <xs:element name= "name" type= "xs:string" /> <xs:element name= "age" type= "xs:short" /> <xs:element name= "county" type= "xs:string" /> <xs:element name= "country" type= "xs:string" /> </xs:sequence> </xs:complexType>
</xs:スキーマ>
データ ストリームの物理表現をさらにモデル化するために、DFDL は次のように xs:element および xs:sequence オブジェクトの注釈を使用して XML スキーマ フラグメントを拡張します。
<xs:schema xmlns:dfdl= "http://www.ogf.org/dfdl/dfdl-1.0/" xmlns:xs= "http://www.w3.org/2001/XMLSchema" ... >
<xs:complexType name= "person_type" > <xs:sequence> <xs:annotation><xs:appinfo source= "http://www.ogf.org/dfdl/" > <dfdl:sequence encoding= "ASCII" 、sequenceKind= "ordered" 、 separator= ","、separatorType= "infix" 、separatorPolicy= "required" /> </xs:appinfo></xs:annotation> <xs:element name= "name"、type= "xs:string" > <xs:annotation><xs:appinfo source= "http://www.ogf.org/dfdl/" > <dfdl:element lengthKind= "delimited"、encoding= "ASCII" /> </xs:appinfo></xs:annotation> </xs:element> <xs:element name= "age"、type= "xs:short" > <xs:annotation><xs:appinfoソース = "http://www.ogf.org/dfdl/" > <dfdl:element表現 = "text"長さ種類 = "区切り"エンコード = "ASCII"テキスト番号 Rep = "標準"テキスト番号パターン = "#0"テキスト番号ベース = "10" /> </xs:appinfo></xs:annotation> </xs:element> <xs:element名 = "county"タイプ = "xs:string" > <xs:annotation><xs:appinfoソース = "http://www.ogf.org/dfdl/" > <dfdl:element長さ種類 = "区切り"エンコード = "ASCII" /> </xs:appinfo></xs:annotation> </xs:element> <xs:element名 = "country"タイプ = "xs:string" > <xs:annotation><xs:appinfoソース = "http://www.ogf.org/dfdl/" > <dfdl:element lengthKind= "delimited" encoding= "ASCII" /> </xs:appinfo></xs:annotation> </xs:element> </xs:sequence> </xs:complexType>
</xs:スキーマ>
これらのDFDL注釈のプロパティ属性は、データがASCIIテキスト形式で表現され、フィールドの長さが可変で、コンマで区切られていることを表します。
代替のよりコンパクトな構文も提供されており、DFDL プロパティは XML スキーマ オブジェクト自体の非ネイティブ属性として伝達されます。
<xs:schema xmlns:dfdl= "http://www.ogf.org/dfdl/dfdl-1.0/" xmlns:xs= "http://www.w3.org/2001/XMLSchema" ... >
<xs:complexType name= "person_type" > <xs:sequence dfdl:encoding= "ASCII" dfdl:sequenceKind= "ordered" dfdl:separator= "," dfdl:separatorType= "infix" dfdl:separatorPolicy= "required" > <xs:element name= "name" type= "xs:string" dfdl:lengthKind= "delimited" dfdl:encoding= "ASCII" /> <xs:element name= "age" type= "xs:short" dfdl:representation= "text" dfdl:lengthKind= "delimited" dfdl:encoding= "ASCII" dfdl:textNumberRep= "standard" dfdl:textNumberPattern= "##0" dfdl:textNumberBase= "10" /> <xs:element name= "county" type= "xs:string" dfdl:lengthKind= "delimited" dfdl:encoding= "ASCII" /> <xs:element name= "country" type= "xs:string" dfdl:lengthKind= "delimited" dfdl:encoding= "ASCII" /> </xs:sequence> </xs:complexType>
</xs:スキーマ>
特徴
DFDL の目標は、あらゆるテキストまたはバイナリ データ形式を表現できる豊富なモデリング言語を提供することです。1.0 リリースは、この目標に向けた大きな一歩です。この機能には、次のサポートが含まれます。
- 文字列、数値、ゾーン10進数、カレンダー、ブール値などのテキストデータ型
- 2の補数整数、BCD、パック10進数、浮動小数点数、カレンダー、ブール値などのバイナリデータ型
- 固定長データとテキストまたはバイナリマークアップで区切られたデータ
- COBOL、C、PL/1などの言語に見られる言語データ構造
- CSV、SWIFT、FIX、HL7、X12、HIPAA、EDIFACT、ISO 8583などの業界標準
- 任意のエンコーディングとエンディアン
- 任意の長さのビットデータ
- テキスト、数字、カレンダーのパターン言語
- 順序付き、順序なし、フローティングコンテンツ
- 解析とシリアル化のデフォルト値
- 帯域外データを処理するNil値機能
- 固定配列と可変配列
- 動的データをモデル化するための変数を含むXPath 2.0 式言語
- 選択と選択性を解決するための推測的解析およびその他のメカニズム
- XML スキーマ 1.0 ルールの検証
- 共通のプロパティ値を複数の注釈ポイントに適用できるようにするスコープメカニズム
- 情報セットからデータ内の要素を隠す
- 情報セットの要素値の計算
参照
参考文献
- ^ OGF GFD.240
- ^ ISO/IEC 23415:2024
- ^ データの構文、マイク・ベッカールのブログ
- ^ IBM DFDL 1.0
- ^ DFDL4S
外部リンク
- オープングリッドフォーラム
- OGF DFDLホームページ
- OGF DFDL 1.0 仕様 GFD.240 (pdf)
- OGF DFDL 1.0 仕様 GFD.240 (html)
- W3C XML スキーマ 1.0
- DFDLワーキンググループ文書
- DFDL 入門（ビデオを含む）
- GitHub 上の DFDLSchemas
- XML カラバッシュ