ネットCDF

NetCDF ( Network Common Data Form ) は、配列指向の科学データの作成、アクセス、共有をサポートするソフトウェア ライブラリと自己記述型のマシン非依存データ形式のセットです。プロジェクトのホームページ^[2]は、University Corporation for Atmospheric Research (UCAR)の Unidata プログラムによってホストされています。また、このプログラムは、netCDF ソフトウェア、標準の開発、更新などの主要な情報源でもあります。この形式はオープン スタンダードです。NetCDF Classic と 64 ビット オフセット形式は、Open Geospatial Consortiumの国際標準です。^[3]

このプロジェクトは 1988 年に開始され、現在も UCAR によって積極的にサポートされています。オリジナルの netCDF バイナリ形式 (1990 年にリリースされ、現在は「netCDF クラシック形式」として知られています) は、現在でも世界中で広く使用されており、すべての netCDF リリースで引き続き完全にサポートされています。バージョン 4.0 (2008 年にリリース) では、HDF5データ ファイル形式の使用が可能になりました。バージョン 4.1 (2010)では、 OPeNDAPを介してリモート データの指定されたサブセットへのCおよびFortranクライアント アクセスのサポートが追加されました。バージョン 4.3.0 (2012) では、 Windowsビルド用の CMake ビルド システムが追加されました。バージョン 4.7.0 (2019) では、 Amazon S3オブジェクトの読み取りのサポートが追加されました。バージョン 4.8.0 (2021) では、 Zarrのサポートがさらに追加されました。バージョン 4.9.0 (2022) では、Zstandard圧縮のサポートが追加されました。パフォーマンスの向上、機能の追加、バグの修正のために、今後のリリースが予定されています。

このフォーマットはもともとNASAが開発した共通データフォーマットの概念モデルに基づいていましたが、その後分岐し、互換性がなくなりました。^{[4] [5]}

netCDF ライブラリは、netCDF ファイルの複数の異なるバイナリ形式をサポートしています。

• クラシック形式は最初の netCDF リリースで使用され、現在でもファイル作成のデフォルト形式となっています。
• 64 ビット オフセット形式はバージョン 3.6.0 で導入され、より大きな変数とファイル サイズをサポートします。
• netCDF-4/HDF5 形式はバージョン 4.0 で導入されました。これは、いくつかの制限がある HDF5 データ形式です。
• HDF4 SD 形式は読み取り専用アクセスでサポートされています。
• CDF5 形式は、parallel-netcdf プロジェクトと連携してサポートされています。

すべての形式は「自己記述型」です。つまり、ファイルの残りの部分、特にデータ配列のレイアウトと、名前/値属性の形式の任意のファイル メタデータを記述するヘッダーがあります。この形式はプラットフォームに依存せず、エンディアンなどの問題はソフトウェア ライブラリで対処されます。データは、効率的なサブセット化を可能にする方法で保存されます。

バージョン4.0以降、netCDF API ^[6]ではHDF5データ形式の使用が可能になりました。NetCDFユーザーは、はるかに大きなファイルや無制限の複数の次元など、netCDF形式では利用できない利点を備えたHDF5ファイルを作成できます。

古い netCDF ファイルへのアクセスと、以前のバージョンの C および Fortran API の使用における完全な下位互換性がサポートされています。

UCAR が提供するソフトウェア ライブラリは、netCDF ファイルへの読み取り/書き込みアクセスを提供し、必要な配列とメタデータをエンコードおよびデコードします。コア ライブラリはCで記述されており、 C およびC++用のアプリケーション プログラミング インターフェイス(API)と、 Fortranアプリケーション用の 2 つの API (1 つはFortran 77用、もう 1 つは Fortran 90 用) を提供します。Unidata によって開発および保守されている独立した実装は 100% Javaで記述されており、コア データ モデルを拡張し、追加機能を追加します。C ライブラリに基づく netCDF へのインターフェイスは、R ( ncdf、^[7] ncvarおよびRNetCDF ^[8]パッケージ)、Perl データ言語、Python、Ruby、Haskell、^[9] Mathematica、MATLAB、対話型データ言語(IDL)、Julia 、およびOctave を含む他の言語でも使用できます。API 呼び出しの仕様は、構文の必然的な違いを除けば、さまざまな言語間で非常によく似ています。バージョン 2 の API 呼び出しはバージョン 3 のものとはかなり異なりますが、下位互換性のためにバージョン 3 および 4 でもサポートされています。サポートされている言語を使用するアプリケーション プログラマーは、オープン フォーマットとして利用できる場合でも、通常、ファイル構造自体を気にする必要はありません。

NetCDF ファイルを利用するアプリケーション ソフトウェアは多岐にわたります。これらは、コマンド ラインユーティリティからグラフィカルな視覚化パッケージまで多岐にわたります。以下にいくつかを示します。より長いリスト^[10]は UCAR Web サイトにあります。

• NetCDF ファイル用のUnixコマンドライン ユーティリティとしてよく使用されるセットは、NetCDF Operators (NCO) スイートです。このスイートは、基本的なレコードの連結、配列のスライス、平均化など、NetCDF ファイルの操作と分析のためのさまざまなコマンドを提供します。
• ncBrowse ^[11]は、Javaグラフィックス、アニメーション、3Dビジュアライゼーションを含む、幅広いnetCDFファイル規則に対応した汎用netCDFファイルビューアです。
• ncview ^[12]は、netCDF形式のファイル用のビジュアルブラウザです。このプログラムは、netCDFファイル内のフィールドを視覚化するためのシンプルで高速なGUIベースのツールです。生データ値を確認しながら、データ配列のさまざまな次元を参照できます。カラーマップを変更したり、データを反転したりすることもできます。
• Panoply ^[13]はNASAゴダード宇宙研究所で開発されたnetCDFファイルビューアで、地理グリッドデータの表示に重点を置いています。Javaで書かれているため、プラットフォームに依存しません。機能セットはncBrowseやncviewと重複していますが、Panoplyはさまざまな地図投影を提供し、異なるスケールのカラーテーブルで作業できる点が異なります。
• NCAR コマンド言語( NCL) は、netCDF ファイル (およびその他の形式) 内のデータの分析と視覚化に使用されます。
• Pythonプログラミング言語は、PyNIO ^[14]モジュールを使用してnetCDFファイルにアクセスできます（このモジュールは、他のさまざまなデータ形式へのアクセスも容易にします）。netCDFファイルは、Pythonモジュールを使用して読み取ることもできます。 ^[15]また、モジュールを使用してpandasのようなファイルに読み込むこともできます。^[16]netCDF4-pythonDataFramexarray
• Ferret は、大規模で複雑なグリッド データ セットを分析する海洋学者や気象学者のニーズを満たすように設計された、インタラクティブなコンピュータ視覚化および分析環境です。Ferret は、Mathematica のような分析アプローチを提供します。新しい変数は、データ セット変数を含む数式としてインタラクティブに定義できます。計算は、任意の形状の領域に適用できます。完全に文書化されたグラフィックスは、1 つのコマンドで生成されます。
• GrADS（グリッド解析表示システム）^[17]は、地球科学データへの容易なアクセス、操作、視覚化に使用される対話型デスクトップツールです。GrADSは、世界中で一般的に使用されているさまざまなオペレーティングシステムに実装されており、インターネットを通じて無料で配布されています。
• nCDF_Browser ^[18]は、 IDLプログラミング言語で書かれたビジュアルnCDFブラウザです。変数、属性、次元は、IDLコマンドラインにすぐにダウンロードして、さらに処理することができます。nCDF_Browserを実行するために必要なすべてのCoyote Library ^[19]ファイルは、zipファイルで入手できます。
• ArcGIS 9.2 以降のバージョン^[20]では、気候および予報メタデータ規約に準拠し、等間隔の座標を持つ直線グリッドを含む netCDF ファイルをサポートしています。多次元ツール ツールボックスを使用すると、ArcMap の netCDF データからラスター レイヤー、フィーチャ レイヤー、テーブル ビューを作成したり、フィーチャ、ラスター、テーブル データを netCDF に変換したりできます。
• OriginProバージョン2021bは^[21] netCDF CFコンベンションをサポートしています。インポート中に平均化を実行することで、GUIソフトウェアで大規模なデータセットを処理できるようになります。
• GDAL （地理空間データ抽象化ライブラリ）は、netCDFデータへの読み取りおよび書き込みアクセスのサポート^[22]を提供します。
• netCDF Explorerは、netCDFファイル用のマルチプラットフォームのグラフィカルブラウザです。netCDF Explorerは、OPeNDAPを使用して、ローカルまたはリモートでファイルを参照できます。
• Rはncdf4（HDF5サポートを含む）^[23]やRNetCDF（HDF5サポートなし）^[24]などのパッケージを通じてnetCDFをサポートしています。
• HDFqlを使用すると、ユーザーはC、C++、Java、Python、C#、Fortran、Rなどの高水準言語（SQLに類似）を介してnetCDF-4/HDF5ファイルを管理できます。^[25]
• 欧州中期予報センター(ECMWF) のMetviewワークステーションとバッチ システムは、 NetCDF をGRIBおよびBUFRとともに処理できます。
• OpenChromはEclipse Public Licenseの条件に基づいてコンバータを出荷しています^[26]

気候学、気象学、海洋学のアプリケーション（天気予報、気候変動など）やGISアプリケーションでよく使用されます。

これは多くのGISアプリケーションや一般的な科学データ交換のための入出力フォーマットです。彼らのサイトから引用すると: ^[27]

「NetCDF (ネットワーク共通データフォーム) は、配列指向のデータ アクセス用のインターフェイスのセットであり、C、Fortran、C++、Java、およびその他の言語用のデータ アクセス ライブラリの無料で配布されるコレクションです。NetCDF ライブラリは、科学データを表すためのマシンに依存しない形式をサポートしています。インターフェイス、ライブラリ、および形式を組み合わせることで、科学データの作成、アクセス、および共有がサポートされます。」

気候および予報 (CF) 規則は、地球科学データのメタデータ規則であり、NetCDF アプリケーション プログラマー インターフェイス (API) で作成されたファイルの処理と共有を促進することを目的としています。規則では、データと同じファイルに含まれるメタデータ (したがって、ファイルは「自己記述型」になります) を定義します。メタデータは、各変数のデータが表す内容、およびデータの空間的および時間的特性 (グリッド セル境界やセル平均化方法などのグリッドに関する情報を含む) の明確な説明を提供します。これにより、さまざまなソースからのデータのユーザーは、どのデータが比較可能かを判断し、強力な抽出、再グリッド化、および表示機能を備えたアプリケーションを構築できます。

並列コンピューティング用のnetCDFの拡張であるParallel-NetCDF（またはPnetCDF）が、アルゴンヌ国立研究所とノースウェスタン大学によって開発されました。^[28]これは、MPI通信のI/O拡張であるMPI-IO上に構築されています。高レベルのnetCDFデータ構造を使用することで、Parallel-NetCDFライブラリは最適化を利用して、ファイルの読み取りおよび書き込みアプリケーションを複数のプロセッサ間で効率的に分散できます。Parallel-NetCDFパッケージは、クラシック形式と64ビットオフセット形式のみを読み書きできます。Parallel-NetCDFは、netCDF-4.0で使用できるHDF5ベースの形式を読み書きできません。Parallel-NetCDFパッケージは、FortranとCで異なるが類似したAPIを使用します。

Unidata netCDF ライブラリの並列 I/O は、リリース 4.0 以降、HDF5 データ ファイルに対してサポートされています。バージョン 4.1.1 以降、Unidata NetCDF C ライブラリは、Parallel-NetCDF ライブラリを使用して、NetCDF API とともに、クラシック ファイルと 64 ビット オフセット ファイルへの並列 I/O をサポートしています。

netCDF C ライブラリと、それに基づくライブラリ (Fortran 77 および Fortran 90、C++、およびすべてのサードパーティ ライブラリ) は、バージョン 4.1.1 以降、他のデータ形式の一部のデータを読み取ることができます。HDF5形式のデータは、いくつかの制限付きで読み取ることができます。HDF4 形式のデータは、HDF4 Scientific Data (SD) API を使用して作成された場合、 netCDF C ライブラリで読み取ることができます。

NetCDF-Java ライブラリは現在、次のファイル形式とリモート アクセス プロトコルを読み取ります。

• BUFRフォーマットドキュメント^[29]（開発中）
• CINRADレベルII ^[30]（中国レーダーフォーマット）
• DMSP ^[31] (国防気象衛星計画)
• DORADE ^[32]レーダーファイル形式
• GINI ^[33] ( GOES IngestとNOAA PORT Interface)画像フォーマット
• GEMPAK ^[34]グリッドデータ
• GRIBバージョン 1 およびバージョン 2 (テーブルに関する作業が進行中)
• GTOPO ^[35] 30秒標高データセット（USGS）
• 階層データ形式(HDF4、HDF-EOS2、HDF5、HDF-EOS5)
• NetCDF ^[36]（クラシックおよびラージフォーマット）
• NetCDF-4 ^{[37] （} HDF5上に構築）
• NEXRADレーダー^[38]レベル2とレベル3。

開発中のフォーマットは他にも多数あります。これらのフォーマットはそれぞれ NetCDF API を通じて透過的にアクセスされるため、NetCDF-Java ライブラリは科学データセットの共通データ モデルを実装すると言われています。

Java 共通データ モデルには 3 つのレイヤーがあり、各レイヤーが積み重なって、より豊富なセマンティクスが順次追加されます。

1. データ アクセス層(構文層とも呼ばれます) は、データの読み取りを処理します。
2. 座標系レイヤーは、データ配列の座標を識別します。座標は科学データにとって完全に一般的な概念であり、地球科学コミュニティにとって重要な特殊な地理参照座標系には特別な注釈が付けられます。
3. 科学データ タイプレイヤーは、グリッド、画像、ポイント データなどの特定のデータ タイプを識別し、各データ タイプに特化したメソッドを追加します。

データ アクセス レイヤーのデータモデルは、NetCDF-3 データ モデルを一般化したものであって、NetCDF-4 データ モデルと実質的に同じです。座標系レイヤーは、気候および予報メタデータ規約の概念を実装し、拡張します。科学的データ タイプ レイヤーでは、 Open Geospatial Consortium仕様に類似した座標空間でデータを操作できます。座標系とデータ タイプの識別は現在も進行中ですが、ユーザーは実行時に独自のクラスをプラグインして特殊な処理を行うことができます。

• CGNS (数値流体力学一般表記システム)
• EAS3 (アイン・アウスガベ・システム)
• FITS（フレキシブルイメージトランスポートシステム）
• Tecplotバイナリ ファイル
• XDMF (拡張データモデル形式)
• XMDF (拡張モデルデータ形式)

• 公式サイト
  • NetCDFユーザーズガイド - ファイル形式について説明しています
• 「分散視覚化の概要」のセクション 4.2 には、CDF、HDF、および netCDF の比較が含まれています。
• ArcMap で NetCDF データをアニメーション化する
• netCDF ファイルを使用するソフトウェア ユーティリティの一覧