JPEG 10.0

JPEG 10.0

ファイル名拡張子	.jxs
インターネットメディアの種類	画像/jxsc、ビデオ/jxsv [1]
魔法の数字	0xFF10 FF50
開発者	合同写真専門家グループ
初回リリース	2019年5月1日; 5年前 ( 2019-05-01 )
フォーマットの種類	非可逆および可逆 画像圧縮 形式
標準	国際標準化機構(ISO) 21122
Webサイト	jpeg.org/jpegxs/

JPEG XS（ISO/IEC 21122として標準化）は、相互運用可能で視覚的にロスレス、低遅延、軽量の画像およびビデオコーディングシステムであり、プロフェッショナルアプリケーションで使用されています。^{[2] [3] [4] [5] [6]}この規格の対象アプリケーションには、放送やその他のアプリケーションでのIP経由のプロフェッショナルビデオ（SMPTE ST 2022およびST 2110）向けの高品質コンテンツのストリーミング、バーチャルリアリティ、ドローン、カメラを使用した自律走行車、ゲームなどがあります。^{[3] [7] [8] [9]}正式な頭字語の定義はありませんが、コーデックの超小型および超高速の特性を強調するためにXSが選択されました。

JPEG XS の鍵となる主な機能は 3 つあります。

1. 視覚的に透明な圧縮: XS 圧縮コンテンツは、圧縮率が 2:1 から 10:1 の場合、元の非圧縮コンテンツ (ISO/IEC 29170-2 テストに合格) と区別がつきません。
2. 低遅延: XS の圧縮/解凍サイクルによって生じるエンドツーエンドの合計遅延は最小限です。構成に応じて、非圧縮ビデオを使用する同じシステムと比較した場合、XS では通常、エンドツーエンドの遅延が 1 ～ 32 行しか追加されません。
3. 軽量: XS は計算とメモリの複雑さが低くなるように設計されており、 CPU、GPU、FPGA、ASICなどのさまざまなプラットフォームで効率的な低電力および低リソースの実装を可能にします。

これらの主要な機能により、JPEG XSは非圧縮コンテンツが標準であるあらゆるアプリケーションでの使用に適していますが、それでも必要な帯域幅の使用を大幅に節約し、品質と低遅延を維持できます。対象となるユースケースには、プロフェッショナルビデオリンク（SDIやEthernet / IPなど）を介したビデオ転送、リアルタイムビデオストレージ、メモリバッファ、全方向ビデオキャプチャとレンダリング、イメージセンサー圧縮（カメラや自動車業界など）などがあります。^{[10] JPEG XSは、粗い圧縮パフォーマンスよりも、視覚的にロスのない品質と低遅延、低複雑性の組み合わせを重視しています。そのため、} JPEG 2000やJPEG XLなどの代替画像コーデックや、 AV1、AVC/H.264、HEVC/H.265などのビデオコーデックの直接の競合にはなりません。

その他の重要な機能は次のとおりです。

1. 正確なビットレート割り当て: JPEG XS を使用すると、利用可能な帯域幅に完全に一致するようにターゲット ビットレートを正確に設定できます (固定ビットレートまたはCBRとも呼ばれます)。
2. 多世代堅牢性：JPEG XSは、品質の大幅な低下なしに、少なくとも10回のエンコード/デコードサイクルを可能にします。^[11]この機能により、たとえば、信号を再圧縮する複数のデバイスを透過的に連鎖させることができ、品質の大幅な低下は発生しません。
3. マルチプラットフォームの相互運用性: JPEG XS で使用されるアルゴリズムにより、CPU、GPU、FPGA、ASIC などのさまざまなプラットフォームで効率的に実装できます。これらの各プラットフォーム アーキテクチャは、実装で特定の並列度が利用できる場合に最も効果的に活用されます。たとえば、マルチコア CPU 実装では粗粒度の並列性が活用されますが、GPU または FPGA では細粒度の並列性がより有効に機能します。さらに、エンコーダーでの実装で使用される並列性の選択は、デコーダーの選択には影響しません。つまり、低複雑性、低レイテンシ、高品質の特性を犠牲にすることなく、プラットフォーム間でリアルタイムのエンコードとデコードが可能です。
4. 数学的ロスレス コーディング(MLS)のサポート: JPEG XS は、画像を数学的にロスレスにコーディングして、デコーダー側で完全な再構築を実現する機能も備えています (第 2 版でサポートされる新しいプロファイル)。
5. ハイダイナミックレンジ(HDR) コンテンツのサポート: JPEG XS の現在のバージョンは、コンポーネントあたり最大 16 ビットのビット深度をサポートし、HDR コンテンツを効率的に圧縮するためのパラメーター化可能な非線形変換 (NLT) をいくつか提供します。
6. RAWベイヤー/CFA圧縮のサポート：JPEG XSは、デジタルカメラで生成されたRAWベイヤーコンテンツなどのカラーフィルタアレイ（CFA）コンテンツを圧縮する機能も備えています。Star-Tetrixと呼ばれる特別な色変換により、ベイヤーサンプルをRGBサンプルに変換する必要なく、元のRAWサンプル値を効率的かつ直接圧縮できます。^[12]
7. 正確なフロー制御：JPEG XSエンコーダは、送信されるビット量を継続的に監視し、規範的に^[13]定義されたデコーダ入力バッファをオーバーフローまたはアンダーフローしないようにレート割り当てプロセスを調整します。

このセクションでは、JPEG XSが積極的に使用されている主なアプリケーションドメインをリストします。フレームバッファ圧縮やAR/VRアプリケーションなど、新しいアプリケーションドメインやその他のアプリケーションドメインが将来追加される可能性があります。^[14]

ビデオ解像度、フレーム レート、ビット深度、ビデオ ストリームの量が絶えず増加しているため、ビデオ帯域幅の要件は継続的に増加しています。同様に、ビデオ リンクと通信チャネルの容量も増加していますが、そのペースは、ビデオ帯域幅の大幅な増加に対応するために必要なペースよりも遅いです。さらに、リンクとチャネルの容量をアップグレードするための投資は大きく、数年にわたって償却する必要があります。

さらに、放送市場とプロ AV 市場の両方が AV-over-IP ベースのインフラストラクチャに移行しつつあり、リモート制作には 1 ギガビット イーサネット リンク、社内施設には 10G イーサネット ネットワークが好まれています。1G、2.5G、10G イーサネットはいずれも安価で普及していますが、25G 以上のリンクは通常まだ手が出ません。利用可能な帯域幅とインフラストラクチャ コストを考えると、4K、8K、ビット深度の増加 (HDR 用)、およびより高いフレーム レートをサポートする必要があるため、非圧縮ビデオに依存することはもはや選択肢ではありません。

JPEG XS は、圧縮されていないストリームと比較して視覚的に品質を維持する軽量圧縮で、低コストで、最大 10:1 の圧縮率を目標としています。XS を使用すると、たとえば、既存の SDI ケーブルを再利用して、単一の 3G-SDI (4:1) で 4K60 を伝送したり、単一の HD-SDI (8:1) で伝送したりすることができます。同様のシナリオを使用して、さまざまな SDI ケーブル タイプ (6G-SDI や 12G-SDI など) で 8K60 コンテンツを伝送できます。また、XS を使用すると、圧縮なしでは不可能な、1G イーサネットで 4K60 コンテンツを、5G または 10G イーサネットで 8K60 コンテンツを伝送できます。次の表は、いくつかの一般的な使用例で予想される圧縮範囲を示しています。

ビデオ ストリームの転送に関連して、同様に帯域幅制限が適用される高解像度ストリームの保存と取得があります。たとえば、ビデオ カメラは SSD ドライブや SD カードなどの内部ストレージを使用して大量の画像ストリームを保持しますが、このようなストレージ デバイスの最大データ レートは制限されており、非圧縮ビデオ スループットを大幅に下回ります。

前述のように、JPEG XS には、Star-Tetrix カラー変換を使用したRAW Bayer /CFA 画像を直接圧縮するためのサポートが組み込まれています。この変換は、RAW Bayer パターン画像を受け取り、サンプルを 4 成分画像に相関解除します。各成分の解像度は 4 分の 1 になります。^[15]つまり、さらに処理して圧縮するサンプルの総量は同じままですが、値は従来の複数成分変換と同様に相関解除されます。

このような変換を避けることで、情報の損失を防ぎ、この処理手順をカメラの外部で実行できます。これは、ベイヤー コンテンツのデモザイク処理をキャプチャの瞬間から制作段階まで延期できるため、芸術的な意図やさまざまな設定に関する選択をより適切に行うことができるという利点があります。デモザイク処理は不可逆であり、補間アルゴリズムの選択やノイズ低減のレベルなど、特定の選択を事前に行う必要があることに注意してください。さらに、デモザイク処理は電力を大量に消費する可能性があり、余分な遅延と複雑さも生じます。この手順をカメラの外部に押し出す機能は、JPEG XS で可能になり、より高度なアルゴリズムを使用できるため、最終的に品質が向上します。

JPEG XS コーディング システムは、次の部分から構成される ISO/IEC 標準スイートです。

パート 1は正式には ISO/IEC 21122-1 と呼ばれ、JPEG XS のコア コーディング システムについて説明しています。この標準では、他の JPEG および MPEG 画像コーデックと同様に、エンコードされたコード ストリームから連続階調のデジタル画像を再構築するための構文と解凍プロセスが定義されています。パート 1 では、デジタル画像を圧縮コード ストリームに圧縮する逆プロセス (簡単に言うとエンコード プロセス) のガイドラインがいくつか提供されていますが、実装固有の最適化と選択は実装者に委ねられています。

パート 2 (ISO/IEC 21122-2) は、パート 1 を基にして、JPEG XS のさまざまなアプリケーションと用途を、より厳しい制約のある縮小コーディング ツールのサブセットに分離します。プロファイル、レベル、サブレベルの定義により、特定のアプリケーション ユース ケースでの実装の複雑さを軽減しながら、相互運用性も保護できます。複雑さが低いということは、通常、消費電力が少なく、製造コストが低く、制約が緩和されることを意味します。プロファイルは、パート 1 で指定されたコードストリーム構文の相互運用性サブセットを表します。さらに、レベルとサブレベルは、エンコードされた (コードストリーム) 画像領域とデコードされた (空間とピクセル) 画像領域の最大スループットの制限を提供します。パート 2 ではさらに、デコーダー モデルと伝送チャネル モデルで構成されるバッファー モデルも指定し、フレーム サイズの一部に対する低遅延要件を保証できるようにします。

パート 3 (ISO/IEC 21122-3) は、JPEG XS コードストリームのトランスポートおよびコンテナ形式を指定します。トランスポート、編集、およびプレゼンテーションを容易にするために、カラー スペース、マスタリング ディスプレイ メタデータ (MDM)、EXIF などの重要なメタデータの伝送を定義します。さらに、このパートでは、XS 固有の ISOBMFF ボックス、インターネット メディア タイプ登録、および MP4、MPEG-2 TS、または HEIF 画像ファイル形式などの形式で XS を埋め込むための追加の構文を定義します。

パート 4 (ISO/IEC 21122-4) は、適合性テストとバッファ モデル検証を提供する JPEG XS のサポート標準です。この標準は、XS の実装者とアプライアンスの適合性テストにとって非常に重要です。

最後に、パート 5 (ISO/IEC 21122-5) は、パート 2 のプロファイル、レベル、サブレベルに準拠した JPEG XS パート 1 デコーダーのリファレンス ソフトウェア実装 (ISO C11 で記述) と、例示的なエンコーダー実装を表します。

全 5 部構成の第 2 版は現在作成中で、遅くとも 2022 年の初めに公開される予定です。追加のコーディング ツール、プロファイルとレベル、および 4:2:0 コンテンツ、RAW Bayer/CFA コンテンツの効率的な圧縮、および数学的にロスレスな圧縮のサポートを追加するための新しいリファレンス ソフトウェアが提供されます。

RFC 9134 ^{[16] は、JPEG XSでエンコードされたビデオを伝送するための}リアルタイムトランスポートプロトコル（RTP、RFC 3550 ^[17] ）のペイロード形式について説明しています。さらに、この勧告では、JPEG XSビデオの公式メディアタイプ登録を として登録し、すべてのパラメータをセッション記述プロトコルvideo/jxsv（SDP）にマッピングしています。

JPEG XS の RTP ペイロード フォーマットにより、CBR 圧縮ビデオ転送に SMPTE ST 2110-22 を使用して、SMPTE ST 2110環境で JPEG XS を使用できるようになります。

ISO/IEC 13818-1:2022（MPEG-TS第8版）は、MPEGトランスポートストリームにおけるJPEG XSの伝送サポートを規定しています。^[18] MPEG-2も参照してください。ISO/IEC 13818-1:2022のAMD1（LCEVCの伝送とその他の改善）には、MPEG-TSへのJPEG XSの埋め込みに関する追加の修正、改善、および明確化が含まれています。^[19]

ビデオサービスフォーラムが発行したVSF TR-07 ^[20]およびTR-08 ^{[21]を参照}

AMWA IS-04およびIS-05 NMOS仕様を使用してJPEG XSエンドポイントの登録、検出、接続管理を可能にするネットワークメディアオープン仕様。Advanced Media Workflow Associationが発行するAMWA BCP-006-01 ^[22]を参照。

インターネットプロトコルメディアエクスペリエンス（IPMX）は、プロAV市場向けにIPネットワーク上で圧縮および非圧縮のビデオ、オーディオ、およびデータの伝送を可能にするためのオープン標準および仕様の提案セットです。JPEG XSは、VSF TR-10-8 ^[23]およびTR-10-11を介してIPMXでサポートされています。^[24]

JPEG委員会は、高性能で複雑度の低い画像符号化規格の公募で2016年に標準化活動を開始しました。最も優れた性能を持つ候補技術はintoPIXとFraunhofer IISから提供され、新しい規格の基礎となりました。最初の実装は2018年4月のNABショーで、その年の後半には国際放送大会で実演されました。^{[25] XSは2019年の}CESでも発表されました。JPEG XSは、 Joint Photographic Experts GroupによってISO/IEC 21122として正式に標準化され、2019年に第1版が公開されました。第2版は2022年に公開され、^[26] RAW CFA Bayerコンテンツの直接圧縮、ロスレス圧縮、および4:2:0カラーサブサンプリングのサポートが追加されました。現在、JPEG 委員会は XS のさらなる改良に積極的に取り組んでおり、第 3 版は 2024 年に公開される予定です。この版では、Temporal Differential Coding (TDC) と呼ばれるウェーブレット領域での時間的相関除去技術のサポートが追加されています。

JPEG XS規格は、フレームバッファを使用しない古典的なウェーブレットベースの静止画像コーデックです。規格^[27]では、架空の参照コーダに基づいてJPEG XSを定義していますが、JPEG XSは、一般的なエンコーダが実行する手順を通じて説明する方が簡単です。^[28]

コンポーネントのアップスケーリングとオプションのコンポーネントの相関除去:最初のステップでは、入力データの DC ゲインが除去され、20 ビットのビット精度にアップスケールされます。オプションで、JPEG 2000 RCT と同じマルチコンポーネント生成が適用されます。この変換は、RGB から YUV への変換のロスレス近似であり、1 つの輝度チャネルと 2 つの彩度チャネルを生成します。

ウェーブレット変換:入力データは、5/3 Daubechies ウェーブレットフィルターによって空間的に非相関化されます。水平方向に 5 段階の変換が実行されますが、垂直方向には 0 ～ 2 段階の変換のみが実行されます。この非対称フィルターの理由は、遅延を最小限に抑えるためです。

事前量子化: ウェーブレット フィルタの出力は符号振幅表現に変換され、デッド ゾーン量子化器によって16 ビットの精度に事前量子化されます。

レート制御と量子化：エンコーダは非規範的なプロセス^[28]によって各可能な量子化設定のレートを決定し、デッドゾーン量子化器またはデータ依存の均一量子化器のいずれかによってデータを量子化します。

エントロピー コーディング: JPEG XS は、量子化されたウェーブレット係数の水平線を最大 4 回通過する量子化データに対して 最小限のエントロピー エンコーディングを使用します。手順は次のとおりです。

• 有意性コーディング: (オプションの) 最初のパスでは、連続する 32 個のウェーブレット係数の有意性が 1 ビットでコーディングされます。
• ビットプレーン カウント コーディング: 2 番目のパスでは、4 つの係数からなるグループの非ゼロ ビットプレーンの数 (いわゆる「ビットプレーン カウント」) が、ゴロム型コードによってエントロピー コーディングされます。このステップでは、オプションで、前の行のビットプレーン カウントを予測のソースとして使用し (差分パルス コード変調)、予測の差のみをエンコードすることができます。
• データ コーディング: 3 番目のパスでは、生のビットプレーン値をそれ以上コーディングせずにコード ストリームに挿入します。
• 符号コーディング: 最後のオプションのコーディング パスでは、すべての非ゼロ係数の符号ビットがコード ストリームに挿入されます。このコーディング パスが存在しない場合は、すべての係数のデータ コーディング パスに符号ビットが含まれます。

コードストリームパッキング：エントロピー符号化されたすべてのデータは、必要な画像メタデータとともに、ビットの線形ストリーム（バイトの倍数でグループ化）にパックされます。このバイトシーケンスはコードストリームと呼ばれ、その高レベル構文は、一般的なJPEGマーカーとマーカーセグメント構文に基づいています。^[29]

JPEG XS は、許容されるパラメータ値とマーカーを制限することにより、準拠するデコーダーがサポートするコーディング ツールのサブセットを定義するプロファイル (ISO/IEC 21122-2) を定義します。次の表は、すべてのプロファイルの概要と、それらの最も重要なプロパティを示しています。各プロファイルの完全な仕様については、標準を参照してください。

さらに、JPEG XS は、準拠デコーダーがデコードされた画像ドメイン (空間ドメインとも呼ばれる) でサポートする必要がある必要なスループットの下限を表すレベルを定義します。次の表は、JPEG XS で定義されているレベルを示しています。最大値はサンプリング グリッドのコンテキストで指定されるため、各ピクセルが 1 つ以上のコンポーネント値を表すピクセルあたりの値を参照します。ただし、ベイヤー データのコンテキストでは、JPEG XS は内部的にベイヤー パターンを 4 つのコンポーネントのインターリーブ グリッドとして解釈します。つまり、ベイヤー画像を表すために必要なサンプリング グリッド ポイントの数は、ベイヤー サンプル ポイントの合計数の 4 分の 1 になります。2x2 (4) のベイヤー値の各グループは、4 つのコンポーネントを持つ 1 つのサンプリング グリッド ポイントとして解釈されます。したがって、センサー解像度を 4 で割って、サンプリング グリッド ポイントの幅、高さ、および量をそれぞれ計算する必要があります。このため、すべてのレベルには二重の名前が付けられています。各レベルの完全な仕様については、標準を参照してください。

レベルの概念と同様に、JPEG XS は、準拠デコーダーがエンコードされた画像ドメインでサポートする必要がある必要なスループットの下限を表すサブレベルを定義します。各サブレベルは、選択された準拠レベルに従って、サンプリング グリッド ポイントの最大許容数のエンコードされた画像のピクセルあたりの最大ビット数を示す公称ビット/ピクセル (Nbpp) 値によって定義されます。したがって、特定のレベルとサブレベルに準拠するデコーダーは、Nbpp から派生した次の制約に準拠する必要があります。

• 最大コードストリーム サイズ (SOC から EOC まで、すべてのマーカーを含む) はバイト単位です。${\displaystyle S_{sl,max}={\bigg \lfloor}{\frac {L_{max}\times N_{bpp}}{8}}{\bigg \rfloor}}$
• 最大許容エンコードスループット（ビット/秒）は です。${\displaystyle R_{t,max}=R_{s,max}\times N_{bpp}}$

次の表は、既存のサブレベルとそれぞれの公称 bpp 値を示しています。各レベルの完全な仕様については、標準を参照してください。

JPEG XSには特許技術が含まれており、JPEG XS特許ポートフォリオライセンス（JPEG XS PPL）を通じてライセンス供与されています。このライセンスプールは、ISO/IEC 21122 JPEG XSビデオコーディング規格を実装するためにライセンサーが所有する必須特許をカバーしており、RAND条件で利用できます。^[30]