JPEG

1992年に公開されたオリジナルのJPEG仕様は、CCITT（現在のITU-T ）とJoint Photographic Experts Groupが引用したさまざまな以前の研究論文や特許のプロセスを実装しています。^{[ 1 ]}

JPEG の非可逆圧縮アルゴリズムの基礎は、離散コサイン変換(DCT) ^{[ 9 ] [ 10 ]}であり、これは1972 年にNasir Ahmedによって画像圧縮技術として初めて提案されました。^{[ 16 ] [ 10 ]} Ahmed は、1974 年の論文でT. Natarajan およびKR Raoと共に DCT アルゴリズムを発表しました。 ^{[ 17 ]}この論文は JPEG 仕様で引用されています。^{[ 9 ]}

JPEG仕様では、複数の企業の特許が引用されています。以下の特許は、その算術符号化アルゴリズムの基礎となっています。^{[ 1 ]}

• IBM
  • 米国特許 4,652,856 – 1986 年 2 月 4 日– Kottappuram MA Mohiuddin およびJorma J. Rissanen –乗算のない複数アルファベットの算術コード
  • 米国特許第4,905,297号– 1990年2月27日– G. Langdon、 JL Mitchell、WB Pennebaker、およびJorma J. Rissanen –算術符号化エンコーダおよびデコーダシステム
  • 米国特許第4,935,882号– 1990年6月19日– WB PennebakerおよびJL Mitchell –算術コーダーのための確率適応
• 三菱電機
  • JP H02202267  ( 1021672 ) – 1989 年 1 月 21 日–木村敏弘、木野重典、小野文隆、吉田正幸–コーディングシステム
  • JP H03247123  ( 2-46275 ) – 1990 年 2 月 26 日–木村知宏、木野重典、小野文隆、吉田正幸–符号化装置および符号化方法

JPEG仕様では、IBMの他の3つの特許も引用されています。特許権者として引用されている他の企業には、AT&T（2つの特許）とキヤノン株式会社が含まれます。 ^{[ 1 ]}リストには、 Compression LabsのWen-Hsiung ChenとDaniel J. Klenkeが1986年10月に出願した米国特許第4,698,672号がありません。この特許はDCTベースの画像圧縮アルゴリズムを記述しており、後に2002年に論争の的となりました（下記の特許論争を参照）。^{[ 18 ]}ただし、JPEG仕様では、Wen-Hsiung Chenが1977年と1984年に発表した2つの以前の研究論文を引用しています。^{[ 1 ]}

「JPEG」は、JPEG規格やその他の静止画符号化規格を作成した委員会の名称であるJoint Photographic Experts Groupの略です。「Joint」はISO TC97 WG8とCCITT SGVIIIの略です。1986年に設立されたこのグループは、1980年代後半にJPEG規格を開発しました。グループは1992年にJPEG規格を公開しました。^{[ 5 ]}

1987年にISO TC 97はISO/IEC JTC 1となり、1992年にはCCITTはITU-Tとなった。現在、JTC1側では、JPEGはISO / IEC合同技術委員会1、小委員会29、作業部会1（ISO/IEC JTC 1/SC 29 /WG 1）の2つのサブグループの1つであり、 「静止画の符号化」 というタイトルである。^{[ 19 ] [ 20 ] [ 21 ]} ITU-T側では、ITU-T SG16がそれぞれの組織である。オリジナルのJPEGグループは1986年に組織され、^{[ 22 ]} 1992年に最初のJPEG規格を発行し、1992年9月にITU-T勧告T.81として承認され^{[ 23 ]}、1994年にはISO / IEC 10918-1となった。

JPEG規格は、画像がバイトストリームに圧縮され、再び画像に解凍される方法を定義するコーデックを規定していますが、そのストリームを格納するために使用されるファイル形式は規定していません。^{[ 24 ]} ExifおよびJFIF規格は、 JPEG圧縮画像の交換に一般的に使用されるファイル形式を定義しています。

JPEG規格は正式には「情報技術 －連続階調静止画像のデジタル圧縮および符号化」と命名されています。ISO/IEC 10918は以下の部分から構成されています。

Ecma International TR /98 は JPEG ファイル交換フォーマット (JFIF) を規定しており、初版は 2009 年 6 月に発行されました。^{[ 28 ]}

2002年、Forgent Networksは、1986年10月27日に出願され、1987年10月6日に付与された特許（Compression LabsのWen-Hsiung ChenとDaniel J. Klenkeによる米国特許第4,698,672号）に基づき、JPEG技術の特許権を所有し、行使すると主張した。 ^{[ 18 ] [ 29 ]}当時ForgentはCompression Labsを所有していなかったが、Chenは後にCompression LabsをForgentに売却し、その後ChenはCiscoに勤務した。これによりForgentは特許の所有権を取得した。^{[ 18 ]} Forgentの2002年の発表は、 UnisysがGIF画像圧縮規格に対する権利を主張しようとした時を彷彿とさせる騒動を引き起こした。

JPEG委員会は2002年に特許請求を調査し、先行技術によって無効であるとの見解を示した^{[ 30 ]}。この見解は様々な専門家によっても共有されている^{[ 18 ] [ 31 ] 。}

2002年から2004年の間に、Forgentは特許を約30社にライセンス供与することで約1億500万米ドルを得ることができた。2004年4月、Forgentはさらなるライセンス料の支払いを強制するために他の31社を提訴した。同年7月、21の大手コンピュータ企業からなるコンソーシアムが特許の無効化を目的とした反訴を起こした。さらに、Microsoftは2005年4月にForgentに対して別の訴訟を起こした。^{[ 32 ]} 2006年2月、米国特許商標庁は、 Public Patent Foundationの要請により、ForgentのJPEG特許を再審査することに同意した。^{[ 33 ]} 2006年5月26日、USPTOは先行技術に基づいて特許を無効と判断した。USPTOはまた、Forgentが先行技術を知っていたにもかかわらず、意図的に特許庁に知らせなかったことも発見した。これにより、特許の復活を求めるいかなる控訴も成功する可能性は極めて低くなった。^{[ 34 ]}

フォージェントは1994年に欧州特許庁から同様の特許も取得しているが、その効力は不明である。^{[ 35 ]}

2006年10月27日現在、米国特許の20年の有効期間は満了したようで、2006年11月、フォージェントはJPEG規格の使用に対する特許請求の執行を放棄することに同意した。^{[ 36 ]}

JPEG委員会は、ライセンス料を支払うことなく規格（特に基本方式）を実装できることを明確な目標の一つとしており、 20以上の大企業からJPEG 2000規格に関する適切なライセンス権を確保している。

2007年8月、別の会社であるGlobal Patent Holdings, LLCは、1993年に発行された同社の特許（米国特許第5,253,341号）が、ウェブサイトまたは電子メールによるJPEG画像のダウンロードによって侵害されていると主張した。この特許が無効とされなければ、JPEG画像を表示するすべてのウェブサイトに適用される可能性がある。この特許は2000年から2007年まで米国特許商標庁によって再審査されていた。2007年7月、特許庁は特許の元のクレームをすべて取り消したが、Global Patent Holdingsが提案した追加のクレーム（クレーム17）は有効であると判断した。^{[ 37 ]}その後、Global Patent Holdingsは、特許のクレーム17に基づいて多数の訴訟を起こした。

再審査後の最初の2件の訴訟は、いずれもイリノイ州シカゴで提起され、グローバル・パテント・ホールディングスはグリーンベイ・パッカーズ、CDW、モトローラ、アップル、オービッツ、オフィスマックス、キャタピラー、クラフト、ピーポッドを被告として訴えた。3件目の訴訟は2007年12月5日に南フロリダでADTセキュリティサービス、オートネーション、フロリダ・クリスタルズ社、HearUSA、MovieTickets.com、オクウェン・フィナンシャル社、タイヤ・キングダムを相手取って提起され、4件目の訴訟は2008年1月8日に南フロリダでボカラトン・リゾート＆クラブを相手取って提起された。5件目の訴訟はネバダ州でグローバル・パテント・ホールディングスに対して提起された。この訴訟は、グローバル・パテント・ホールディングスから脅迫を受けたとされるZappos.com社によって提起され、341特許が無効であり侵害されていないという司法宣言を求めた。

グローバル・パテント・ホールディングスは、グレゴリー・アハロニアン^{[ 38 ]}や「特許トロール・トラッカー」として知られるウェブサイトブログの匿名運営者^{[ 39 ]}など、広範なソフトウェア特許を公然と批判する人々を訴えたり脅迫したりするためにも「341特許」を使用していた。 2007年12月21日、シカゴの特許弁護士ヴァーノン・フランシセンは、新たな先行技術に基づいて「341特許」の唯一残っているクレームを再検討するよう米国特許商標庁に要請した^{[ 40 ] 。}

2008 年 3 月 5 日、米国特許商標庁は、新たな先行技術により特許の有効性に関して重大な新たな疑問が生じたとして、341 特許の再審査に同意した。^{[ 41 ]}再審査を受けて、係属中の 5 件の訴訟のうち 4 件の侵害被告は、米国特許商標庁による 341 特許の審査が完了するまで訴訟を一時停止 (保留) するよう申し立てた。2008 年 4 月 23 日、イリノイ州シカゴの 2 件の訴訟を担当する裁判官は、これらの訴訟における申し立てを認めた。^{[ 42 ]} 2008 年 7 月 22 日、特許庁は、19 の個別の理由に基づいてクレームが無効であると判断し、2 回目の再審査の最初の「オフィス アクション」を発行した。^{[ 43 ]} 2009 年 11 月 24 日、すべてのクレームを取り消す再審査証明書が発行された。

2011年から2013年初頭にかけて、テキサス州東部に拠点を置くプリンストン・デジタル・イメージ・コーポレーション^{[ 44 ]}という団体が、米国特許第4,813,056号の侵害を理由に多数の企業を提訴し始めた。プリンストンは、JPEG画像圧縮規格が「056」特許を侵害していると主張し、多数のウェブサイト、小売業者、カメラおよびデバイスメーカー、再販業者を提訴した。この特許は元々ゼネラル・エレクトリックが所有し、譲渡されていた。特許は2007年12月に失効したが、プリンストンは多数の企業をこの特許の「過去の侵害」で提訴した。（米国の特許法では、特許権者は訴訟提起の6年前まで「過去の侵害」で提訴できるため、プリンストンは理論的には2013年12月まで企業を提訴し続けることができた。）2013年3月現在、プリンストンはニューヨーク州とデラウェア州で55社以上の企業を相手取って訴訟を起こしている。ゼネラル・エレクトリックがこの訴訟に関与しているかどうかは不明だが、裁判記録によると、同社は2009年にプリンストン大学に特許を譲渡し、特許に関する一定の権利を保持している。^{[ 45 ]}

画像サイズが1 MCUブロック（最小符号化単位）（通常、4:2:0クロマサブサンプリングの場合、両方向とも16ピクセル）の倍数である限り、JPEG画像に対するいくつかの変更はロスレス（つまり、再圧縮とそれに伴う品質劣化なし）で実行できます。これを実装するユーティリティには、次のものがあります。

• jpegtranとそのGUIであるJpegcrop。
• IrfanViewで「JPG Lossless Crop (PlugIn)」と「JPG Lossless Rotation (PlugIn)」を使用するには、JPG_TRANSFORMプラグインをインストールする必要があります。
• FastStone Image Viewerで「ファイルへのロスレス切り抜き」と「JPEGロスレス回転」を使用する。
• XnViewMPは「JPEGロスレス変換」を使用します。
• ACDSeeは、「強制的にロスレスJPEG操作を実行する」オプションにより、ロスレス回転をサポートしています（ただし、ロスレストリミングはサポートしていません）。

ブロックは90度ずつ回転させたり、水平軸、垂直軸、対角軸で反転させたり、画像内で移動させたりすることができます。元の画像にあるすべてのブロックを修正後の画像で使用する必要はありません。

JPEG画像の上端と左端は8  ×  8ピクセルのブロック境界（MCUサイズが大きい場合は16  ×  16ピクセル）上になければなりませんが、下端と右端はそうである必要はありません。これにより、ロスレスな切り抜き操作が制限され、下端または右端がすべてのチャンネルのブロック境界上にない画像の反転や回転が防止されます（端が上端または左端に位置してしまうため、 前述のように、 ブロック境界が必須となるためです）。

画像が8または16の倍数でない場合（この値はクロマサブサンプリングによって決まる）、回転はロスレスではない。このような画像を回転させるとブロックが再計算され、品質が失われる。^{[ 49 ]}

ロスレスクロッピングを使用する場合、切り抜き領域の下端または右端がブロック境界上にない場合、部分的に使用されたブロックの残りのデータは切り抜きファイル内に残っており、復元可能です。また、ベースライン形式とプログレッシブ形式の間では、係数がファイル内に配置される順序が異なるだけなので、品質を損なうことなく変換できます。

さらに、複数のJPEG画像は、同じ品質で保存されており、エッジがブロック境界と一致している限り、ロスレスで結合することができます。

JPEG圧縮を使用するファイルの最も一般的なファイル名拡張子は.jpgとです.jpegが、.jpe、.jfif、.jifも使用されます。^{[ 52 ]} JPEGデータは他のファイルタイプに埋め込むことも可能です 。TIFFエンコードされたファイルには、メイン画像のサムネイルとしてJPEG画像が埋め込まれていることが多く、 MP3ファイルにはID3v2タグにカバーアートのJPEG画像が含まれている場合があります。

多くのJPEGファイルにはICCカラープロファイル（カラースペース）が埋め込まれています。一般的に使用されるカラープロファイルには、sRGBとAdobe RGBがあります。これらのカラースペースは非線形変換を使用するため、8ビットJPEGファイルのダイナミックレンジは約11ストップです（ガンマ曲線を参照）。

画像にカラープロファイル情報が指定されていない場合（タグなし）、ウェブページでの表示の目的でカラースペースはsRGBであると想定されます。^{[ 53 ] [ 54 ]}

JPEG規格のオプションの多くは一般的に使用されておらず、前述のとおり、ほとんどの画像ソフトウェアはJPEGファイルを作成する際に、エンコード方式などを指定するよりシンプルなJFIF形式を使用します。ここでは、1ピクセルあたり24ビット（赤、緑、青がそれぞれ8ビット）の入力に適用する場合の、より一般的なエンコード方式の1つについて簡単に説明します。このオプションは、非可逆データ圧縮方式です。これらは以下のマトリックスで表されます。

離散コサイン変換

次に、各成分（Y、Cb、Cr）の8×8ブロックを、正規化された2次元タイプII離散コサイン変換（DCT）を使用して周波数領域表現に変換します（離散コサイン変換の文献1を参照）。DCTは、離散コサイン変換のように変換のファミリーの文脈では「タイプII DCT」と呼ばれることがあり、対応する逆変換（IDCT）は「タイプIII DCT」と表記されます。

例えば、8×8ピクセルの8ビットサブイメージは次のようになります。

${\displaystyle \left[{\begin{array}{rrrrrrrr}52&55&61&66&70&61&64&73\\63&59&55&90&109&85&69&72\\62&59&68&113&144&104&66&73\\63&58&71&122&154&106&70&69\\67&61&68&104&126&88&68&70\\79&65&60&70&77&68&58&75\\85&71&64&59&55&61&65&83\\87&79&69&68&65&76&78&94\end{array}}\right].}$

8×8ブロックのDCTを計算する前に、その値は正の範囲からゼロを中心とした範囲にシフトされます。8ビット画像の場合、元のブロックの各エントリは次の範囲に収まります。${\displaystyle [0,255]}$範囲の中間値（この場合は値 128）を各エントリから減算して、ゼロを中心とするデータ範囲を作成します。したがって、修正された範囲は${\displaystyle [-128,127]}$このステップにより、後続のDCT処理段階におけるダイナミックレンジの要件が軽減されます。

この手順の結果、以下の値が得られます。

${\displaystyle g={\begin{array}{c}x\\\longrightarrow \\\left[{\begin{array}{rrrrrrrr}-76&-73&-67&-62&-58&-67&-64&-55\\-65&-69&-73&-38&-19&-43&-59&-56\\-66&-69&-60&-15&16&-24&-62&-55\\-65&-70&-57&-6&26&-22&-58&-59\\-61&-67&-60&-24&-2&-40&-60&-58\\-49&-63&-68&-58&-51&-60&-70&-53\\-43&-57&-64&-69&-73&-67&-63&-45\\-41&-49&-59&-60&-63&-52&-50&-34\end{array}}\right]\end{array}}{\Bigg \downarrow }y.}$

次のステップは、2次元DCTを取得することです。これは次のように表されます。

${\displaystyle \ G_{u,v}={\frac {1}{4}}\alpha (u)\alpha (v)\sum _{x=0}^{7}\sum _{y=0}^{7}g_{x,y}\cos \left[{\frac {(2x+1)u\pi }{16}}\right]\cos \left[{\frac {(2y+1)v\pi }{16}}\right]}$

どこ

• ${\displaystyle \ u}$は水平空間周波数であり、整数値である。${\displaystyle \ 0\leq u<8}$。
• ${\displaystyle \ v}$は垂直空間周波数であり、整数値をとる。${\displaystyle \ 0\leq v<8}$。
• ${\displaystyle \alpha (u)}$そして${\displaystyle \alpha (v)}$変換を正規直交にするための正規化スケール係数は${\displaystyle \alpha (i)={\begin{cases}{\frac {1}{\sqrt {2}}},&{\mbox{if }}i=0\\1,&{\mbox{otherwise}}\end{cases}}}$
• ${\displaystyle \ g_{x,y}}$座標におけるピクセル値${\displaystyle \ (x,y)}$
• ${\displaystyle \ G_{u,v}}$座標におけるDCT係数は${\displaystyle \ (u,v).}$

上記の行列にこの変換を適用すると、次のようになります（小数点以下2桁に四捨五入）。

${\displaystyle G={\begin{array}{c}u\\\longrightarrow \\\left[{\begin{array}{rrrrrrrr}-415.38&-30.19&-61.20&27.24&56.12&-20.10&-2.39&0.46\\4.47&-21.86&-60.76&10.25&13.15&-7.09&-8.54&4.88\\-46.83&7.37&77.13&-24.56&-28.91&9.93&5.42&-5.65\\-48.53&12.07&34.10&-14.76&-10.24&6.30&1.83&1.95\\12.12&-6.55&-13.20&-3.95&-1.87&1.75&-2.79&3.14\\-7.73&2.91&2.38&-5.94&-2.38&0.94&4.30&1.85\\-1.03&0.18&0.42&-2.42&-0.88&-3.02&4.12&-0.66\\-0.17&0.14&-1.07&-4.19&-1.17&-0.10&0.50&1.68\end{array}}\right]\end{array}}{\Bigg \downarrow }v.}$

左上隅の、かなり大きな値を持つエントリに注目してください。これはDC係数 (定数成分とも呼ばれる) であり、ブロック全体の基本色相を定義します。残りの 63 個の係数は AC 係数 (交互成分とも呼ばれる) です。^{[ 57 ]} DCT の利点は、上記のように、結果の片隅にほとんどの信号を集約する傾向があることです。次の量子化ステップでは、この効果を強調すると同時に、DCT 係数の全体的なサイズを縮小し、エントロピー段階で効率的に圧縮しやすい信号が得られます。

DCTは、8ビット/コンポーネント画像のDCT係数を格納するのに最大11ビット以上（DCT計算の精度による）を要するため、一時的にデータのビット深度を増加させます。これにより、コーデックはこれらの係数を保持するために一時的に16ビットの数値を使用する必要が生じ、この時点で画像表現のサイズが2倍になります。これらの値は通常、量子化ステップで8ビット値に戻されます。この段階でのサイズの一時的な増加は、ほとんどのJPEG実装ではパフォーマンス上の問題にはなりません。なぜなら、画像のエンコードまたはデコード処理中に、一度に完全なDCT形式で格納されるのは画像のごく一部に過ぎないからです。

量子化

人間の目は比較的広い領域における明るさのわずかな違いを識別することには長けていますが、高周波の明るさの変化の正確な強さを識別することにはそれほど長けていません。そのため、高周波成分の情報量を大幅に削減することができます。これは、周波数領域の各成分をその成分に対応する定数で割り、最も近い整数に丸めることで実現されます。DCT計算が十分な精度で行われる場合、この丸め処理は（クロマサブサンプリングを除いて）全処理の中で唯一の損失のある処理となります。この結果、通常は高周波成分の多くがゼロに丸められ、残りの多くは小さな正または負の数となり、表現に必要なビット数が大幅に少なくなります。

量子化行列の要素は圧縮率を制御し、値が大きいほど圧縮率が高くなります。典型的な量子化行列（元のJPEG規格で規定されている50%の品質の場合）は以下のとおりです。

${\displaystyle Q={\begin{bmatrix}16&11&10&16&24&40&51&61\\12&12&14&19&26&58&60&55\\14&13&16&24&40&57&69&56\\14&17&22&29&51&87&80&62\\18&22&37&56&68&109&103&77\\24&35&55&64&81&104&113&92\\49&64&78&87&103&121&120&101\\72&92&95&98&112&100&103&99\end{bmatrix}}.}$

量子化されたDCT係数は、

${\displaystyle B_{j,k}=\mathrm {round} \left({\frac {G_{j,k}}{Q_{j,k}}}\right){\mbox{ for }}j=0,1,2,\ldots ,7;k=0,1,2,\ldots ,7}$

どこ${\displaystyle G}$は量子化されていないDCT係数です。${\displaystyle Q}$上記の量子化行列は、${\displaystyle B}$これは量子化されたDCT係数です。

上記のDCT係数行列にこの量子化行列を適用すると、次のようになります。

${\displaystyle B=\left[{\begin{array}{rrrrrrrr}-26&-3&-6&2&2&-1&0&0\\0&-2&-4&1&1&0&0&0\\-3&1&5&-1&-1&0&0&0\\-3&1&2&-1&0&0&0&0\\1&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\end{array}}\right].}$

例えば、−415（DC係数）を使用し、最も近い整数に丸める

${\displaystyle \mathrm {round} \left({\frac {-415.37}{16}}\right)=\mathrm {round} \left(-25.96\right)=-26.}$

サブブロックの高周波要素のほとんど（つまり、xまたはyの空間周波数が4より大きいもの）は、ゼロ値に量子化されていることに注意してください。

エントロピー符号化

エントロピー符号化は、可逆データ圧縮の一種です。これは、類似した周波数をグループ化するランレングス符号化（RLE）アルゴリズムを用いて画像コンポーネントを「ジグザグ」順に並べ、長さ符号化ゼロを挿入し、残りの部分にハフマン符号化を適用するものです。

JPEG規格では、デコーダが算術符号化の使用をサポートすることも許可されていますが、必須ではありません。算術符号化は数学的にハフマン符号化よりも優れています。しかし、この機能は、歴史的にロイヤリティを支払うライセンスを必要とする特許で保護されていたこと、およびハフマン符号化と比較してエンコードとデコードに時間がかかることから、ほとんど使用されていません。算術符号化を使用すると、通常、ファイルサイズが約5～7%小さくなります。^{[ 58 ]}

前回の量子化DC係数を用いて、現在の量子化DC係数を予測します。実際の値ではなく、両者の差分が符号化されます。63個の量子化AC係数の符号化では、このような予測差分は使用されません。

上記の量子化係数に対応するジグザグシーケンスを以下に示します。（表示されている形式は、理解・閲覧を容易にするためのものです。）

i番目のブロックが次のように表される場合${\displaystyle B_{i}}$各ブロック内の位置は、${\displaystyle (p,q)}$どこ${\displaystyle p=0,1,...,7}$そして${\displaystyle q=0,1,...,7}$すると、DCT画像内の任意の係数は次のように表すことができます。${\displaystyle B_{i}(p,q)}$したがって、上記の方式では、（ i番目のブロックの）ピクセルをエンコードする順序は次のようになります。${\displaystyle B_{i}(0,0)}$、${\displaystyle B_{i}(0,1)}$、${\displaystyle B_{i}(1,0)}$、${\displaystyle B_{i}(2,0)}$、${\displaystyle B_{i}(1,1)}$、${\displaystyle B_{i}(0,2)}$、${\displaystyle B_{i}(0,3)}$、${\displaystyle B_{i}(1,2)}$等々。

このエンコードモードはベースラインシーケンシャルエンコードと呼ばれます。ベースラインJPEGはプログレッシブエンコードもサポートしています。シーケンシャルエンコードは一度に1つのブロックの係数をエンコードしますが（ジグザグ方式）、プログレッシブエンコードはすべてのブロックの類似した位置の係数のバッチを一度にエンコードし（スキャンと呼ばれます）、続いてすべてのブロックの次の係数のバッチをエンコードし、これを繰り返します。たとえば、画像がN個の8×8ブロックに分割されている場合${\displaystyle B_{0},B_{1},B_{2},...,B_{n-1}}$次に、3スキャンプログレッシブエンコーディングでDC成分をエンコードし、${\displaystyle B_{i}(0,0)}$すべてのブロック、つまりすべての${\displaystyle i=0,1,2,...,N-1}$最初のスキャンで。これに続いて、2回目のスキャンが行われ、さらにいくつかのコンポーネントがエンコードされます（さらに4つのコンポーネントがあると仮定すると、それらは${\displaystyle B_{i}(0,1)}$に${\displaystyle B_{i}(1,1)}$（依然としてジグザグ状に）すべてのブロックの係数（したがって、シーケンスは次のようになります。${\displaystyle B_{0}(0,1),B_{0}(1,0),B_{0}(2,0),B_{0}(1,1),B_{1}(0,1),B_{1}(1,0),...,B_{N}(2,0),B_{N}(1,1)}$)に続いて、最後のスキャンで残ったすべてのブロックの係数がすべて続きます。

位置が類似する係数がすべてエンコードされると、次にエンコードされる位置は、上の図に示すように、ジグザグ走査で次に現れる位置になります。ベースラインプログレッシブJPEGエンコードは、各「スキャン」または「パス」（位置が類似する係数を含む）で異なる周波数に合わせて調整された異なるハフマンテーブル（下記参照）を使用できることから、ベースラインシーケンシャルJPEGと比較して圧縮率が向上することがわかっていますが、その差はそれほど大きくありません。

この記事の残りの部分では、生成された係数パターンはシーケンシャルモードによるものと仮定する。

上記で生成された係数パターンをエンコードするために、JPEGはハフマン符号化を使用します。JPEG規格は汎用ハフマンテーブルを提供していますが、エンコーダはエンコード対象画像の実際の頻度分布に合わせて最適化されたハフマンテーブルを生成することもできます。

ジグザグ量子化データの符号化プロセスは、以下で説明するランレングス符号化から始まります。

• xは、ゼロではない量子化された交流係数である。
• RUNLENGTHは、このゼロ以外のAC係数の前にあったゼロの数です。
• SIZEは、 xを表すために必要なビット数です。
• AMPLITUDEはxのビット表現です。

ランレングス符号化は、各非ゼロAC係数xを調べ、その前のAC係数の前にいくつのゼロがあったかを判断することによって機能します。この情報に基づいて、2つのシンボルが生成されます。

RUNLENGTHとSIZEはどちらも同じバイトに格納されているため、それぞれ4ビットの情報しか含まれていません。上位ビットはゼロの数を表し、下位ビットはxの値をエンコードするために必要なビット数を表します。

これは、シンボル 1が非ゼロ AC 係数の前の最初の 15 個のゼロに関する情報しか格納できないことを直接意味します。ただし、JPEG は 2 つの特別なハフマン符号語を定義します。1 つは残りの係数がゼロの場合にシーケンスを途中で終了するため (「ブロックの終了」または「EOB」と呼ばれます)、もう 1 つは非ゼロ AC 係数に到達する前にゼロの連続が 15 を超える場合です。特定の非ゼロ AC 係数の前に 16 個のゼロが見つかるような場合、シンボル 1 は(15, 0)(0) のように「特別に」エンコードされます。

全体のプロセスは、 「EOB」 （0, 0で表される）に到達するまで続きます。  

これを踏まえると、先ほどのシーケンスは次のようになる。

(0, 2)(-3);(1, 2)(-3);(0, 2)(-2);(0, 3)(-6);(0, 2)(2);(0, 3)(-4);(0, 1)(1);(0, 2)(-3);(0, 1)(1);(0, 1)(1);

(0, 3)(5);(0, 1)(1);(0, 2)(2);(0, 1)(-1);(0, 1)(1);(0, 1)(-1);(0, 2)(2);(5, 1)(-1);(0, 1)(-1);(0, 0);

（行列の最初の値である-26はDC係数であり、他の値とは異なる方法で符号化されています。上記を参照してください。）

ここからは、係数の出現頻度に基づいて頻度計算が行われます。この例のブロックでは、量子化された係数のほとんどは、直前にゼロ係数が続かない小さな数値です。これらの出現頻度の高いケースは、より短いコードワードで表されます。

結果として得られる圧縮率は、量子化段階で使用する除数を調整することで、必要に応じて変更できます。10対1の圧縮では、通常、元の画像と肉眼で区別できない画像が得られます。100対1の圧縮率も通常は可能ですが、元の画像と比べて明らかにアーティファクトが発生します。適切な圧縮レベルは、画像の用途によって異なります。

外部イメージ
エッジのビジーネスの図解[ 59 ]

ワールドワイドウェブを利用する人は、JPEG画像に現れる圧縮アーティファクトと呼ばれる不規則性に馴染みがあるかもしれません。これは、コントラストのあるエッジ（特に曲線や角）の周りのノイズや、「ブロック状」の画像として現れることがあります。これらは、JPEGアルゴリズムの量子化ステップに起因します。これらは、コントラストのある色の間の鋭い角の周りで特に目立ちます（テキストは、このような角がたくさんあるので良い例です）。MPEGビデオにおける同様のアーティファクトは、結果として生じる「エッジの混雑」と、時間の経過とともに変化する偽のドットが、対象物の周りを群がる蚊に似ていることから、モスキートノイズと呼ばれています。 ^{[ 59 ] [ 60 ]}

これらのアーティファクトは、圧縮レベルを低くすることで軽減できます。ロスレスファイル形式で画像を保存すれば完全に回避できますが、ファイルサイズは大きくなります。レイトレーシングプログラムで作成された画像では、地形に目立つブロック状の形状が見られます。低強度の圧縮アーティファクトは、画像を見るだけなら許容範囲内かもしれませんが、その後の画像処理では強調され、通常は許容できない品質になります。以下の例を考えてみましょう。これは、エッジ検出処理ステップにおける非可逆圧縮の影響を示しています。

一部のプログラムでは、ユーザーが個々のブロックの圧縮率を調整できます。アーティファクトが少ない画像領域には、より高い圧縮率が適用されます。このようにして、画質の劣化を最小限に抑えながら、JPEGファイルのサイズを手動で縮小することが可能です。

量子化の段階では必ず情報が失われるため、JPEG規格は常に非可逆圧縮コーデックです。（浮動小数点数の量子化と丸めの両方で情報が失われます。）量子化行列がすべて1の行列であっても、丸めの段階で情報が失われます。

画像を表示するためのデコードとは、上記の手順を逆に行うことである。

DCT係数行列（DC係数の差分を再度加算した後）

${\displaystyle \left[{\begin{array}{rrrrrrrr}-26&-3&-6&2&2&-1&0&0\\0&-2&-4&1&1&0&0&0\\-3&1&5&-1&-1&0&0&0\\-3&1&2&-1&0&0&0&0\\1&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\end{array}}\right]}$

そして、上記の量子化行列との要素ごとの積を取ると、次のようになる。

${\displaystyle \left[{\begin{array}{rrrrrrrr}-416&-33&-60&32&48&-40&0&0\\0&-24&-56&19&26&0&0&0\\-42&13&80&-24&-40&0&0&0\\-42&17&44&-29&0&0&0&0\\18&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0\end{array}}\right]}$

これは、左上部分の元のDCT係数行列と非常によく似ている。

次のステップは、2次元逆DCT（2DタイプIII DCT）を実行することです。これは次のように表されます。

${\displaystyle f_{x,y}={\frac {1}{4}}\sum _{u=0}^{7}\sum _{v=0}^{7}\alpha (u)\alpha (v)F_{u,v}\cos \left[{\frac {(2x+1)u\pi }{16}}\right]\cos \left[{\frac {(2y+1)v\pi }{16}}\right]}$

どこ

• ${\displaystyle \ x}$はピクセル行であり、整数の場合は${\displaystyle \ 0\leq x<8}$。
• ${\displaystyle \ y}$はピクセル列で、整数値の場合は${\displaystyle \ 0\leq y<8}$。
• ${\displaystyle \ \alpha (u)}$は、先に定義した整数の正規化スケール係数です。${\displaystyle \ 0\leq u<8}$。
• ${\displaystyle \ F_{u,v}}$は座標における近似DCT係数です。${\displaystyle \ (u,v).}$
• ${\displaystyle \ f_{x,y}}$は座標における再構成されたピクセル値です。${\displaystyle \ (x,y)}$

出力を整数値に丸めると（元の値は整数値だったため）、（128だけ下にシフトされた）値を持つ画像が得られます。

元の画像（上）と解凍後の画像（下）の間にはわずかな違いが見られ、特に左下隅でその違いが顕著に表れている。

${\displaystyle \left[{\begin{array}{rrrrrrrr}-66&-63&-71&-68&-56&-65&-68&-46\\-71&-73&-72&-46&-20&-41&-66&-57\\-70&-78&-68&-17&20&-14&-61&-63\\-63&-73&-62&-8&27&-14&-60&-58\\-58&-65&-61&-27&-6&-40&-68&-50\\-57&-57&-64&-58&-48&-66&-72&-47\\-53&-46&-61&-74&-65&-63&-62&-45\\-47&-34&-53&-74&-60&-47&-47&-41\end{array}}\right]}$

そして各項目に128を加える

${\displaystyle \left[{\begin{array}{rrrrrrrr}62&65&57&60&72&63&60&82\\57&55&56&82&108&87&62&71\\58&50&60&111&148&114&67&65\\65&55&66&120&155&114&68&70\\70&63&67&101&122&88&60&78\\71&71&64&70&80&62&56&81\\75&82&67&54&63&65&66&83\\81&94&75&54&68&81&81&87\end{array}}\right].}$

これは解凍されたサブイメージです。一般的に、解凍プロセスでは、元の入力範囲外の値が生成される可能性があります。${\displaystyle [0,255]}$この場合、デコーダは出力値をクリップしてその範囲内に収め、元のビット深度で解凍した画像を保存する際のオーバーフローを防ぐ必要があります。

解凍されたサブイメージを元のサブイメージ（右側の画像も参照）と比較し、差分（オリジナル－非圧縮）を取ると、次の誤差値が得られます。

${\displaystyle \left[{\begin{array}{rrrrrrrr}-10&-10&4&6&-2&-2&4&-9\\6&4&-1&8&1&-2&7&1\\4&9&8&2&-4&-10&-1&8\\-2&3&5&2&-1&-8&2&-1\\-3&-2&1&3&4&0&8&-8\\8&-6&-4&-0&-3&6&2&-6\\10&-11&-3&5&-8&-4&-1&-0\\6&-15&-6&14&-3&-5&-3&7\end{array}}\right]}$

平均絶対誤差は約 5 ピクセルあたり (つまり、${\displaystyle {\frac {1}{64}}\sum _{x=0}^{7}\sum _{y=0}^{7}|e(x,y)|=4.8750}$)

このエラーは左下隅で最も顕著で、左下のピクセルがすぐ右隣のピクセルよりも暗くなっています。

JPEG コーデックに必要な実装精度は、JPEG 規格への準拠のために策定された要件によって暗黙的に定義されます。これらの要件は、ITU.T 勧告 T.83 | ISO/IEC 10918-2 に規定されています。^{[ 61 ]} MPEG 規格や多くの後続の JPEG 規格とは異なり、上記の文書では、参照テスト ストリームによって決定される DCT 領域での順方向および逆方向 DCT の最大許容誤差によって、JPEG コーデックのエンコードおよびデコード プロセスの必要な実装精度の両方を定義しています。たとえば、デコーダ実装の出力は、上記の規格の一部として提供される参照テスト コード ストリームに適用した場合、DCT 領域で 1 量子化単位の誤差を超えてはなりません。珍しいことですが、他の多くのより新しい規格とは異なり、ITU.T T.83 | ISO/IEC 10918-2 では画像領域での誤差範囲は規定されていません。

参考までに、以下の非圧縮 24 ビット RGB ビットマップ画像 (73,242 ピクセル) は、219,726 バイト (他のすべての情報ヘッダーを除く) を必要とします。以下に示すファイル サイズには、内部 JPEG 情報ヘッダーと一部のメタデータが含まれます。最高品質画像 (Q=100) の場合、カラー ピクセルあたり約 8.25 ビットが必要です。グレースケール画像では、ピクセルあたり最低 6.5 ビットで十分です (同等の Q=100 品質のカラー情報には、エンコードされたビットが約 25% 多く必要です)。以下の最高品質画像 (Q=100) は、カラー ピクセルあたり 9 ビットでエンコードされ、中品質画像 (Q=25) はカラー ピクセルあたり 1 ビットを使用します。ほとんどのアプリケーションでは、低品質画像で示されているように、品質係数はピクセルあたり 0.75 ビット (Q=12.5) を下回るべきではありません。最低品質の画像は、ピクセルあたり 0.13 ビットしか使用せず、非常に劣悪な色を表示します。これは、画像が大幅に縮小されたサイズで表示される場合に役立ちます。Minguillón & Pujol (2001) では、Q ファクターの代わりにPSNRを使用して、特定の画像品質に対してより良い量子化行列を作成する方法が説明されています。 ^{[ 62 ]}

中程度の画質の写真は、非圧縮画像に必要なストレージ容量のわずか 4.3% しか使用しませんが、ディテールの損失や目に見えるアーティファクトはほとんどありません。しかし、圧縮率が一定の閾値を超えると、圧縮画像にはますます目立つ欠陥が現れます。この閾値効果の数学的な説明については、レート歪み理論に関する記事を参照してください。この点で JPEG の特に制限となるのは、重複しない 8×8 ブロック変換構造です。JPEG 2000やJPEG XRなどのより新しい設計では、ビット使用量が減少するにつれて画質がより緩やかに劣化します 。これは、低周波係数に対してより広い空間範囲の変換を使用したり、重複する変換基底関数を使用したりすることによって実現されます。

JPS は、2D 画像から 3D 効果を作成するために使用される立体視 JPEG 画像です。左目用と右目用の 2 つの静止画像が含まれており、単一の JPEG ファイルに 2 つの画像を並べてエンコードします。JPEG 立体視 (JPS、拡張子 .jps) は、立体視画像の JPEG ベースのフォーマットです。^{[ 75 ] [ 76 ]} JPEG APP3 マーカー フィールドにはさまざまな構成が格納されていますが、通常は、クロスアイ (つまり、画像の右半分に左フレーム、その逆) の並べて配置された同じサイズの 2 つの画像を表す、幅が 2 倍の画像が 1 つ含まれています。このファイル形式は、特別なソフトウェアなしで JPEG として表示することも、他のモードでレンダリングするために処理することもできます。

JPEG マルチピクチャフォーマット (MPO、拡張子 .mpo) は、複数の画像を 1 つのファイルに保存するための JPEG ベースのフォーマットです。 2 つ以上の JPEG ファイルが連結されています。^{[ 78 ] [ 79 ]}また、画像の説明のために JPEG APP2 マーカーセグメントも定義しています。Fujifilm FinePix Real 3D W1、HTC Evo 3D、JVC GY-HMZ1U AVCHD/MVC 拡張カムコーダー、Nintendo 3DS、Panasonic Lumix DMC-TZ20、DMC-TZ30、DMC-TZ60 、 DMC -TS4 (FT4)、Sony DSC-HX7V など、さまざまなデバイスが 3D 画像の保存にこれを使用しています。他のデバイスは、テレビに表示できる「プレビュー画像」を保存するためにこれを使用しています。

近年、立体画像の利用が増加したことにより、科学界は立体画像圧縮アルゴリズムの開発に多大な努力を注いできた。^{[ 80 ] [ 81 ]}

1993年に開発され、ISO-14495-1/ITU-T.87として公開されたJPEG LSは、JPEGのオリジナルのロスレス実装よりも効率的な、低複雑度のロスレスファイル形式を提供します。また、ロスレスに近いロッシーモードも備えています。その機能は主にロッシーモードに限定されており、その他の点ではオリジナルのJPEGとほぼ同じ制限があります。

JPEG 2000 は、2000 年 12 月に ISO/IEC 15444 として発行されました。離散ウェーブレット変換(DWT) に基づいており、元の JPEG 規格を完全に置き換え、あらゆる面でそれを超えるように設計されています。カラー チャンネルごとに最大 38 ビット、16384 チャンネルをサポートし、これは他のどのフォーマットよりも多い数です。また、多数の色空間と高ダイナミック レンジ (HDR) を実現しています。さらに、アルファ透明度符号化、数十億×数十億ピクセルの画像 (これも他のどのフォーマットよりも多い)、および可逆圧縮をサポートしています。圧縮率が大幅に改善され、圧縮率が高い場合でも目に見えるアーティファクトが大幅に減少しています。^{[ 91 ]}

JPEG XT (ISO/IEC 18477) は 2015 年 6 月に公開されました。これは、より高い整数ビット深度 (最大 16 ビット)、高ダイナミックレンジイメージング、浮動小数点符号化、ロスレス符号化、およびアルファチャンネル符号化のサポートにより、基本 JPEG フォーマットを拡張したものです。拡張機能は、基本 JPEG/JFIF ファイルフォーマットおよび 8 ビットの非可逆圧縮画像との下位互換性があります。JPEG XT は、JFIF に基づく拡張可能なファイルフォーマットを使用します。拡張レイヤーは、JPEG 8 ビット基本レイヤーを変更して高解像度画像を復元するために使用されます。既存のソフトウェアは上位互換性があり、JPEG XT バイナリ ストリームを読み取ることができますが、基本 8 ビット レイヤーのみをデコードします。^{[ 92 ]}

JPEG XL (ISO/IEC 18181) は 2021 ～ 2022年に公開されました。これは、JPEG フォーマットを新しい DCT ベースのロイヤリティフリーのフォーマットに置き換え、従来の JPEG 画像の保存オプションとして効率的なトランスコーディングを可能にします。^{[ 93 ]}この新しいフォーマットは、 HEIF HM、Daala、WebPで示された静止画圧縮性能を超えるように設計されています。10 億×10 億ピクセルの画像、適切な転送関数 ( PQおよびHLG ) を使用したコンポーネントあたり最大 32 ビットの高ダイナミックレンジ、ビットマップ フォントやグラデーションなどの合成画像のパッチ エンコーディング、アニメーション画像、アルファ チャネル コーディング、および RGB/YCbCr/ ICtCp色エンコーディングの選択をサポートしています。^{[ 94 ] [ 95 ] [ 96 ] [ 97 ]}