圧縮アーティファクト

圧縮アーティファクト(またはアーティファクト) は、非可逆圧縮の適用によって生じるメディア (画像、音声、ビデオを含む) の顕著な歪みです。非可逆データ圧縮では、メディアのデータの一部を破棄して、必要なディスク領域内に格納できる程度に小さくするか、使用可能な帯域幅(データ レートまたはビット レートと呼ばれる)内で送信(ストリーミング) できるようにします。圧縮器が圧縮バージョンで十分なデータを格納できない場合、品質が低下したり、アーティファクトが生じたりします。圧縮アルゴリズムは、主観的にあまり重要でない歪みとユーザーにとって不快な歪みを区別できるほどインテリジェントではない可能性があります。

最も一般的なデジタル圧縮アーティファクトは DCT ブロックであり、これはJPEG、MP3、MPEGビデオファイル形式など、多くのデジタルメディア規格で使用される離散コサイン変換(DCT) 圧縮アルゴリズムによって発生します。 ^{[1] [2] [3]}これらの圧縮アーティファクトは、高い圧縮が適用されたときに表示され、^[1] DVDなどの一般的なデジタルメディア、JPEG、MP3、MPEG ファイルなどの一般的なコンピュータファイル形式、ソニーのミニディスク形式などのコンパクトディスクの代替品でよく発生します。非圧縮メディア (レーザーディスク、オーディオ CD、WAVファイルなど) やロスレス圧縮メディア ( FLACやPNGなど) では、圧縮アーティファクトは発生しません。

知覚可能なアーティファクトを最小限に抑えることは、非可逆圧縮アルゴリズムを実装する際の重要な目標です。しかし、芸術的な目的でアーティファクトが意図的に生成されることもあり、これはグリッチアート^[4]やデータモッシング^{[5]として知られています。}

技術的に言えば、圧縮アーティファクトは、通常は非可逆データ圧縮における量子化の結果である特定のクラスのデータ エラーです。変換コーディングが使用される場合、圧縮アーティファクトは通常、コーダの変換空間の 基底関数の 1 つの形式をとります。

JPEG圧縮画像のように、量子化のためにブロックベースの離散コサイン変換（DCT）^[1]符号化を実行すると、いくつかの種類のアーティファクトが現れる可能性がある。

• リンギング
• 輪郭形成^{[説明が必要]}
• ポスター化
• 曲線エッジに沿った階段状ノイズ（エイリアシング）
• 「混雑した」領域におけるブロック化（ブロック境界アーティファクト、マクロブロッキング、キルティング、チェッカーボード化と呼ばれることもある）

パターンマッチングを使用して類似のシンボルの重複を排除する他の非可逆アルゴリズムは、印刷されたテキストで検出が困難なエラーを引き起こす傾向があります。たとえば、数字の「6」と「8」が置き換えられる場合があります。これは、特定のコピー機のJBIG2で発生することが確認されています。^{[6] [7]}

低ビットレートでは、非可逆ブロックベースのコーディング方式では、ピクセルブロックとブロック境界に目に見えるアーティファクトが発生します。これらの境界は、変換ブロック境界、予測ブロック境界、またはその両方であり、マクロブロック境界と一致する場合があります。アーティファクトの原因に関係なく、マクロブロッキングという用語は一般的に使用されます。他の名前には、ブロッキング、 ^[8]タイリング、^[9]モザイク、ピクセル化、キルティング、チェッカーボード などがあります。

ブロック アーティファクトは、ブロック変換コーディングの原理そのものの結果です。変換 (たとえば、離散コサイン変換) はピクセルのブロックに適用され、非可逆圧縮を実現するために、各ブロックの変換係数が量子化されます。ビット レートが低いほど、係数はより粗く表現され、より多くの係数がゼロに量子化されます。統計的には、画像には高周波コンテンツよりも低周波コンテンツが多く含まれているため、量子化後に残るのは低周波コンテンツであり、その結果、ぼやけた低解像度のブロックになります。最も極端なケースでは、DC 係数 (ブロックの平均色を表す係数) のみが保持され、変換ブロックは再構築後に単一の色のみになります。

この量子化プロセスは各ブロックで個別に適用されるため、隣接するブロックは係数を異なる方法で量子化します。これにより、ブロック境界に不連続が生じます。これは、効果を隠す詳細がほとんどない平坦な領域で最も顕著になります。

画像圧縮の影響を軽減するさまざまな方法が提案されているが、標準化された圧縮/解凍技術を使用し、圧縮の利点 (たとえば、転送コストと保存コストの削減) を維持するために、これらの方法の多くは「後処理」、つまり受信時または表示時の画像の処理に重点を置いている。すべてのケースで画像品質を向上させることが証明された後処理技術はないため、広く受け入れられているものはないが、いくつかの後処理技術は実装され、独自のシステムで使用されている。たとえば、多くの写真編集プログラムには、独自の JPEG アーティファクト削減アルゴリズムが組み込まれている。消費者向け機器では、この後処理を「MPEG ノイズ削減」と呼ぶことが多い。^[10]

JPEG の境界アーティファクトは、高 ISO 写真フィルムのものと似て、より心地よい「粒状感」に変えることができます。量子化係数を 2D 周波数に関連する量子化ステップQで乗算するだけでなく、間隔[- Q /2; Q /2]の乱数形式のインテリジェント ノイズを逆量子化係数に追加できます。この方法は、数兆の既存および将来の JPEG 画像を処理する JPEG 解凍装置の不可欠な部分として追加できます。したがって、これは「後処理」技術ではありません。^[11]

リンギングの問題は、エンコード時にDCT値をオーバーシュートしてリングをクランプすることで軽減できます。^[12]

ポスタリゼーションは一般的に低品質でDC値があまり重要視されない場合にのみ発生します。量子化テーブルを調整すると改善されます。^[13]

MPEG-1、MPEG-2、MPEG-4などの動き予測が使用される場合、圧縮アーティファクトは圧縮解除されたフレームの複数の世代に残る傾向があり、画像の光学フローとともに移動し、シーン内のオブジェクトとともに移動する絵画効果と「汚れ」の中間のような特異な効果をもたらします。

圧縮されたビットストリーム内のデータ エラーは、伝送エラーが原因である可能性があり、大きな量子化エラーに似たエラーを引き起こしたり、データ ストリームの解析を短時間で完全に中断して、画像の「分割」につながる可能性があります。ビットストリームで重大なエラーが発生した場合、デコーダーは、次の独立して圧縮されたフレームを受信するまで、短時間、破損した画像に更新を適用し続け、「ゴースト イメージ」効果を生み出します。MPEG 画像コーディングでは、これらは「I フレーム」と呼ばれ、「I」は「イントラ」の略です。次の I フレームが到着するまで、デコーダーはエラー隠蔽を実行できます。

ブロック境界の不連続は、動き補償予測ブロックのエッジで発生することがあります。動き補償ビデオ圧縮では、現在の画像は、以前にデコードされたフレームのピクセルのブロック (マクロブロック、パーティション、または予測単位) をシフトすることによって予測されます。隣接する 2 つのブロックが異なる動きベクトルを使用する場合、ブロック間のエッジで不連続が発生します。

ビデオ圧縮アーティファクトには、静止画像を構成する圧縮の累積的な結果が含まれます。たとえば、連続する静止画像内のリンギングやその他のエッジの混雑は、エッジの周りの点のきらめくぼやけとして連続して現れ、物体の周りに群がる蚊に似ていることからモスキートノイズと呼ばれます。 ^{[14] [15]}いわゆる「モスキートノイズ」は、 MPEG形式などのほとんどのビデオコーディング標準で使用されるブロックベースの離散コサイン変換（DCT）圧縮アルゴリズムによって発生します。^[3]

ブロック境界のアーティファクトは、デブロッキング フィルタを適用することで軽減できます。静止画像コーディングと同様に、後処理としてデコーダ出力にデブロッキング フィルタを適用することができます。

クローズド予測ループによる動き予測ビデオコーディングでは、エンコーダーはデコーダー出力を予測参照として使用し、そこから将来のフレームを予測します。そのために、エンコーダーは概念的にデコーダーを統合します。この「デコーダー」がデブロッキングを実行すると、デブロックされた画像は動き補正の参照画像として使用され、フレーム間でブロックアーティファクトが伝播するのを防ぐことでコーディング効率が向上します。これは、インループデブロッキングフィルターと呼ばれます。インループデブロッキングフィルターを規定する標準には、VC-1、H.263 Annex J、H.264/AVC、およびH.265/HEVCがあります。

非可逆オーディオ圧縮は、通常、心理音響モデル (人間の聴覚知覚のモデル) で機能します。非可逆オーディオ形式では、通常、修正離散コサイン変換などの時間/周波数領域変換が使用されます。心理音響モデルでは、周波数マスキングや時間マスキングなどのマスキング効果が利用されるため、知覚できないはずのサウンドは録音されません。たとえば、一般的に、人間は、静かなトーンと、似たような、しかしより大きなトーンが同時に再生されている場合、それを知覚できません。非可逆圧縮技術では、この静かなトーンを識別して、それを除去しようとします。また、量子化ノイズは、より目立つサウンドによってマスクされる場所に「隠される」可能性があります。低圧縮では、小さなブロック サイズで保守的な心理モデルが使用されます。

心理音響モデルが不正確であったり、変換ブロック サイズが制限されていたり、積極的な圧縮が使用されていたりすると、圧縮アーティファクトが発生する可能性があります。圧縮されたオーディオの圧縮アーティファクトは、通常、リンギング、プリエコー、「バーディー アーティファクト」、ドロップアウト、ガタガタ音、震え、金属的なリンギング、水中感、ヒスノイズ、または「粒状感」として現れます。

オーディオの圧縮アーティファクトの例として、比較的圧縮率の高いオーディオ ファイル (例: 96 kbit/秒 MP3) の拍手が挙げられます。一般に、楽音は波形が繰り返され、音量の変化が予測しやすいのに対し、拍手は基本的にランダムであるため、圧縮が困難です。圧縮率の高い拍手トラックには、「金属的な響き」やその他の圧縮アーティファクトが含まれる場合があります。

圧縮アーティファクトは視覚的なスタイルとして意図的に使用されることがあり、グリッチアートと呼ばれることもあります。ローザ・メンクマンのグリッチアートは圧縮アーティファクト、^[16]、特にJPEGデジタル画像やMP3デジタルオーディオなどのほとんどのデジタルメディアデータ圧縮形式に見られる離散コサイン変換ブロック（DCTブロック）を利用しています。^[2]静止画では、ドイツの写真家トーマス・ルフによるJpegsが例で、意図的なJPEGアーティファクトを写真のスタイルの基礎として使用しています。^{[17] [18]}

ビデオアートでは、データモッシングという技法が使われる。これは、2つのビデオをインターリーブし、中間フレームを2つの別々のソースから補間するものである。別の技法では、1つの非可逆ビデオ形式から別の形式に単純にトランスコードする。これは、別々のビデオコーデックが動きと色情報を処理する方法の違いを利用するものである。^[19]この技法は、2006年にアーティストのベルトラン・プレーンズがクリスチャン・ジャックマンと共同でDivXPrimeで開発し、^[20]スヴェン・ケーニッヒ、タケシ・ムラタ、ジャック・ペルコント、ポール・B・デイビスがペーパーラッドと共同で開発し、最近ではデビッド・オライリーがチェアリフトのミュージックビデオで、ナビル・エルダーキンがカニエ・ウェストの「Welcome to Heartbreak」のミュージックビデオで使用している。^{[21] [22]}

インターネットミームには、意味不明な画像を意図的に圧縮し、時には複数回圧縮してコメディ効果を狙ったジャンルもある。この手法で作成された画像は「ディープフライド」と呼ばれることが多い。^[23]

ウィキメディア・コモンズには、圧縮アーティファクトに関連するメディアがあります。

• DivXPrime ベルトラン・プレーンズとクリスチャン・ジャックミンによるデータモッシング ビデオ ソフトウェアの最初の実験 (Xvid アルゴリズムに基づく)
• ジェローム・ブランケ監督、デビッド・オリヴァリによるデータモッシュ効果、[メトロノミック]制作の短編映画「ソニック誕生」のティーザー。フルムービー:「ソニック誕生」
• datamosher GPL ビデオ データモッシング ソフトウェア。
• 重いビデオ圧縮アーティファクトの例。
• JPEG Tutor は、量子化マトリックスを変更した場合の効果を調査できるインタラクティブ アプレットです。
• JPEG デリンギングとデブロック: Matlab ソフトウェアと Photoshop プラグイン