デモザイク

デモザイク処理（またはデモザイク、デモザイキング）は、色再構成とも呼ばれ、ベイヤーフィルターなどのカラーフィルターアレイ(CFA)を重ねた画像センサーから出力される不完全な色サンプルからフルカラー画像を再構成するために使用されるデジタル画像処理アルゴリズムです。CFA補間またはデベイヤリングとも呼ばれます。

最近のデジタルカメラのほとんどは、CFA を重ねた単一の画像センサーを使用して画像を取得するため、デモザイク処理はこれらの画像を表示可能な形式にレンダリングするために必要な処理パイプラインの一部です。

最近のデジタルカメラの多くは、画像をRAW 形式で保存できるため、ユーザーはカメラの内蔵ファームウェアを使用するのではなく、ソフトウェアを使用して画像をデモザイク処理できます。

ゴール

デモザイクアルゴリズムの目的は、CFA から出力される空間的にサンプリングされていないカラーチャネルからフルカラー画像 (つまり、カラートリプルのフルセット) を再構築することです。アルゴリズムには次の特性が必要です。

色彩エイリアス、ジッパーリング（隣接する複数のピクセル間での輝度の急激な不自然な変化）、パープルフリンジなどの偽色アーティファクトの発生を回避します。
画像解像度を最大限に維持
高速処理や効率的なカメラ内ハードウェア実装のための計算複雑性の低さ
正確なノイズ低減のための分析への適応性

背景: カラーフィルターアレイ

カラーフィルターアレイは、イメージセンサーの前にあるカラーフィルターのモザイクです。商業的に最も一般的に使用されている CFA 構成は、ここに示すベイヤーフィルターです。このフィルターでは、奇数行に赤(R) と緑(G) のフィルターが交互に配置され、偶数行に緑 (G) と青(B) のフィルターが交互に配置されます。人間の目は緑色の光に対してより敏感であるため、緑色のフィルターの数は赤や青のフィルターの 2 倍です。

CFAのカラーサブサンプリングは本質的にエイリアシングを引き起こすため、補間によって生じる偽色アーティファクト（色エイリアス）を減らすために、光学アンチエイリアシングフィルタが通常、イメージセンサとレンズの間の光路に配置されます。^[1]

センサーの各ピクセルはカラーフィルターの背後にあるため、出力はピクセル値の配列となり、各ピクセルは 3 つのフィルターカラーの 1 つの生の強度を示します。したがって、各ピクセルについて、単一の色成分ではなく、すべての色成分の色レベルを推定するアルゴリズムが必要です。

図

カラーフィルタリングアレイによって収集されたデータからフルカラー画像を再構築するには、空白を埋めるための補間形式が必要です。ここでの計算は個別の実装に依存し、デモザイクと呼ばれます。

この例では、Adobe Photoshopのバイキュービック補間を使用して、デジタルカメラなどのベイヤーフィルターデバイスの回路をシミュレートします。

下の画像は、ベイヤーフィルターイメージセンサーからの出力をシミュレートしたものです。各ピクセルには、赤、緑、青のコンポーネントのみが含まれます。対応する元の画像は、このセクションの最後に、デモザイクされた再構成画像と一緒に表示されます。

デジタルカメラには通常、上記の情報を使用して RGB 画像全体を再構築する手段があります。結果として得られる画像は次のようになります。

再構築された画像は通常、均一な色の領域では正確ですが、解像度 (詳細と鮮明さ) が失われ、エッジアーティファクトが発生します (たとえば、文字のエッジに目に見える色の縁取りと多少の粗さがあります)。

アルゴリズム

単純な補間

これらのアルゴリズムは、均一グリッド上の多変量補間の例であり、同じ色成分の近くのインスタンスに比較的簡単な数学的演算を使用します。最も簡単な方法は、同じ色チャネルの隣接するピクセルを単純にコピーする最近傍補間です。これは品質が重要なアプリケーションには適していませんが、計算リソースが限られている場合にプレビューを生成するのに役立ちます。もう 1 つの簡単な方法は双線形補間です。これは、赤以外のピクセルの赤の値が 2 つまたは 4 つの隣接する赤のピクセルの平均として計算され、青と緑についても同様です。各色平面内で独立して補間するより複雑な方法には、双三次補間、スプライン補間、およびLanczos 再サンプリングがあります。

これらの方法は均質な画像領域では良好な結果を得ることができますが、純色の CFA と併用すると、エッジやディテールのある領域で深刻なデモザイクアーティファクトが発生しやすくなります。^[2]ただし、線形補間は、空間スペクトル (パンクロマティック) CFA と組み合わせると非常に良好な結果を得ることができます。^[3] デモザイクには、画像の単純な形成モデルを利用することができます。同じセグメント内の自然な画像では、色の比率が保持される必要があります。この事実は、デモザイク用の画像感度補間で利用されました。 ^[4]

画像内のピクセル相関

より洗練されたデモザイクアルゴリズムは、カラー画像内のピクセルの空間的および/またはスペクトル的相関を利用します。^[5]空間的相関とは、画像内の小さな均質領域内でピクセルが同様の色値をとる傾向のことです。スペクトル的相関とは、小さな画像領域内の異なる色平面のピクセル値間の依存関係のことです。

これらのアルゴリズムには次のものが含まれます。

可変勾配数（VNG）^[6]補間は、対象ピクセル付近の勾配を計算し、低い勾配（画像のより滑らかで類似した部分を表す）を使用して推定値を作成します。これはdcrawの最初のバージョンで使用されており、色アーティファクトの問題があります。
ピクセルグループ化 (PPG) ^[7]は、推定を行う際に自然風景に関する仮定を使用します。この方法では、可変数のグラデーション法よりも自然画像上の色アーティファクトが少なくなります。これは、dcrawリリース 8.71 から「パターン化されたピクセルグループ化」として導入されました。
適応型均質性指向（AHD）は業界で広く使用されています。均質性メトリックを最大化するように補間の方向を選択し、通常は色のアーティファクトを最小限に抑えます。^[8] これはdcrawの最近のバージョンに実装されています。^[9]
Emil J. Martinec が設計したAliasing Minimization and Zipper Elimination (AMaZE) は低速ですが、特に低ノイズのキャプチャでは優れたパフォーマンスを発揮します。AMaZE の実装はRawTherapeeとdarktableにあります。

ビデオの超解像/デモザイク

超解像とデモザイキングは同じ問題の2つの側面であり、統一された文脈でそれらに対処することが合理的であることが示されています。 ^[10]これらの問題は両方ともエイリアシングの問題に直面していることに注意してください。したがって、特にビデオ（マルチフレーム）再構成の場合、超解像とデモザイキングを組み合わせたアプローチが最適なソリューションを提供します。

トレードオフ

たとえば、自然の風景ではいくつかの方法の方がよい結果を生み出すかもしれませんが、印刷物ではいくつかの方法の方がよい結果を生み出すかもしれません。これは、明確にわかっていないピクセルを推定するという固有の問題を反映しています。当然、推定の速度と品質のトレードオフも普遍的に存在します。

コンピュータ画像処理ソフトウェアでの使用

デジタルカメラからRAW 画像データにアクセスできる場合、カメラに組み込まれているものに限定されるのではなく、さまざまなデモザイクアルゴリズムを備えたコンピュータソフトウェアを使用できます。RawTherapeeやdarktableなどのいくつかの RAW 現像プログラムでは、ユーザーが使用するアルゴリズムを選択できます。ただし、ほとんどのプログラムは、特定の 1 つの方法を使用するようにコーディングされています。デモザイクアルゴリズムの選択によって生じる、最も細かいディテール (および粒状テクスチャ) のレンダリングの違いは、さまざまな RAW 現像プログラム間の主な違いの 1 つです。多くの場合、写真家は、この効果に関連する美的理由から、特定のプログラムを好むことがあります。

デモザイク処理による色彩アーティファクトは、写真の偽造を識別するための重要な手がかりとなる。^[11]

参照

参考文献

^ エイドリアン・デイヴィス、フィル・フェネシー（2001年）。写真家のためのデジタルイメージング（第4版）。フォーカル・プレス。ISBN 978-0-240-51590-8。
^ Lanlan Chang、Yap-Peng Tan (2006)。「効果的なアーティファクト抑制のためのハイブリッドカラーフィルタアレイデモザイク」(PDF)。Journal of Electronic Imaging。15 : 2。Bibcode :2006JEI....15a3003C。doi : 10.1117 /1.2183325。2009年 12 月 29 日のオリジナル(PDF)からアーカイブ。
^ Hirakawa, K., & Wolfe, PJ (2007 年 9 月)。画像忠実度を向上させるカラーフィルタアレイ設計。2007 IEEE 国際画像処理会議 (第 2 巻、pp. II-81)。IEEE。
^ Kimmel, R. (1999). デモザイク: カラーCCDサンプルからの画像再構成。IEEE Transactions on image processing、8(9)、1221-1228。
^ Lanlan Chang、Yap-Peng Tan (2006)。「 効果的なアーティファクト抑制のためのハイブリッドカラーフィルタアレイデモザイキング」(PDF)。Journal of Electronic Imaging。15 : 013003。Bibcode : 2006JEI....15a3003C。doi :10.1117/1.2183325。2009年12月29日時点のオリジナル(PDF)からアーカイブ。
^ Ting Chen. 「閾値ベースの可変数の勾配を使用した補間」。2012年4月22日時点のオリジナルよりアーカイブ。
^ Chuan-kai Lin、ポートランド州立大学 (2004)。「カラーフィルターアレイのデモザイキングのためのピクセルグループ化」。2016 年 9 月 23 日時点のオリジナルよりアーカイブ。
^ Kiego Hirakawa; Thomas W. Parks (2005). 「適応型均質性指向デモザイキングアルゴリズム」(PDF) . IEEE Transactions on Image Processing . 14 (3): 360–369. Bibcode :2005ITIP...14..360H. doi :10.1109/TIP.2004.838691. PMID 15762333. S2CID 37217924.
^ Linux で RAW デジタル写真をデコードする Archived 2016-10-19 at the Wayback Machine、Dave Coffin。
^ Sina Farsiu、Michael Elad、Peyman Milanfar (2006)。「マルチフレームデモザイキングとカラー画像の超解像度」( PDF)。IEEE Transactions on Image Processing。15 ( 1 ) : 141–159。Bibcode : 2006ITIP ...15..141F。CiteSeerX 10.1.1.132.7607。doi : 10.1109 / TIP.2005.860336。PMID 16435545。S2CID 2989394 。
^ YiZhen Huang、YangJing Long (2008)。「二次ピクセル相関モデルに基づくデジタル写真認証への応用によるデモザイキング認識」(PDF)。IEEE Computer Vision and Pattern Recognition 会議論文集: 1–8。2010 年 6 月 17 日のオリジナル(PDF)からアーカイブ。

外部リンク

HowStuffWorks : デジタルカメラの仕組み、色のキャプチャーについての詳細、デモザイクアルゴリズムの動作アニメーション
ベイヤーCFA画像におけるRGB成分の補間、Eric Dubois著
色差の分散を使用したカラーデモザイキングチョンとユクヒーチャン
Lanlan Chang と Yap-Peng Tan による、効果的なアーティファクト抑制のためのハイブリッドカラーフィルターアレイデモザイク
画像のモザイク除去: Xin Li、Bahadir Gunturk、Lei Zhang による体系的な調査
デモザイキング: シングルチップデジタルカメラにおけるカラーフィルタアレイ補間、BK Gunturk、J. Glotzbach、Y. Altunbasak、RW Schafer、RM Mersereau
画像忠実度を向上させる空間スペクトルカラーフィルタアレイ設計、平川啓悟、パトリック J. ウルフ
方向性フィルタリングと埋め込みアーティファクトの改良を使用した効果的なソフト決定デモザイキング、Wen-Tsung Huang、Wen-Jan Chen、Shen-Chuan Tai
Antoni Buades、Bartomeu Coll、Jean-Michel Morel、Catalina Sbert による類似性に基づくデモザイク (ソースコードとオンラインデモ付き)
既存のデモザイク技術のリスト
ベイヤーデータとさまざまなデモザイクアルゴリズムをシミュレートし、カスタム画像を可能にするインタラクティブサイト(終了)
Sira Ferradans、Marcelo Bertamio、Vicent Caselles によるジオメトリベースのデモザイキング (ソースコードと参考論文付き)。(終了)
オンラインで入手可能なデモザイクコードとバイナリの包括的なリスト。2016-04-21にWayback Machineにアーカイブされました（終了）

[1] エイドリアン・デイヴィス、フィル・フェネシー（2001年）。写真家のためのデジタルイメージング（第4版）。フォーカル・プレス。ISBN 978-0-240-51590-8。

[2] Lanlan Chang、Yap-Peng Tan (2006)。「効果的なアーティファクト抑制のためのハイブリッドカラーフィルタアレイデモザイク」(PDF)。Journal of Electronic Imaging。15 : 2。Bibcode :2006JEI....15a3003C。doi : 10.1117 /1.2183325。2009年 12 月 29 日のオリジナル(PDF)からアーカイブ。

[3] Hirakawa, K., & Wolfe, PJ (2007 年 9 月)。画像忠実度を向上させるカラーフィルタアレイ設計。2007 IEEE 国際画像処理会議 (第 2 巻、pp. II-81)。IEEE。

[4] Kimmel, R. (1999). デモザイク: カラーCCDサンプルからの画像再構成。IEEE Transactions on image processing、8(9)、1221-1228。

[5] ^ Lanlan Chang、Yap-Peng Tan (2006)。「 効果的なアーティファクト抑制のためのハイブリッドカラーフィルタアレイデモザイキング」(PDF)。Journal of Electronic Imaging。15 : 013003。Bibcode : 2006JEI....15a3003C。doi :10.1117/1.2183325。2009年12月29日時点のオリジナル(PDF)からアーカイブ。

[6] Ting Chen. 「閾値ベースの可変数の勾配を使用した補間」。2012年4月22日時点のオリジナルよりアーカイブ。

[7] Chuan-kai Lin、ポートランド州立大学 (2004)。「カラーフィルターアレイのデモザイキングのためのピクセルグループ化」。2016 年 9 月 23 日時点のオリジナルよりアーカイブ。

[8] Kiego Hirakawa; Thomas W. Parks (2005). 「適応型均質性指向デモザイキングアルゴリズム」(PDF) . IEEE Transactions on Image Processing . 14 (3): 360–369. Bibcode :2005ITIP...14..360H. doi :10.1109/TIP.2004.838691. PMID 15762333. S2CID 37217924.

[9] Linux で RAW デジタル写真をデコードする Archived 2016-10-19 at the Wayback Machine、Dave Coffin。

[10] Sina Farsiu、Michael Elad、Peyman Milanfar (2006)。「マルチフレームデモザイキングとカラー画像の超解像度」( PDF)。IEEE Transactions on Image Processing。15 ( 1 ) : 141–159。Bibcode : 2006ITIP ...15..141F。CiteSeerX 10.1.1.132.7607。doi : 10.1109 / TIP.2005.860336。PMID 16435545。S2CID 2989394 。

[11] YiZhen Huang、YangJing Long (2008)。「二次ピクセル相関モデルに基づくデジタル写真認証への応用によるデモザイキング認識」(PDF)。IEEE Computer Vision and Pattern Recognition 会議論文集: 1–8。2010 年 6 月 17 日のオリジナル(PDF)からアーカイブ。