ベイヤーフィルター

ベイヤーフィルターモザイクは、 RGBカラーフィルターをフォトセンサーの正方格子上に配置するカラーフィルターアレイ（CFA）です。このカラーフィルターの特定の配置は、デジタルカメラやビデオカメラで使用されるほとんどのシングルチップデジタル画像センサーで使用され、カラー画像を作成します。フィルターパターンは、半分が緑、4分の1が赤、4分の1が青であるため、BGGR、RGBG、^{[1] [2]} GRBG、^[3]またはRGGBとも呼ばれます。^[4]

この方式は、発明者であるイーストマン・コダック社のブライス・ベイヤーにちなんで名付けられました。ベイヤーは、組織的ディザリングで使用される再帰的に定義されたマトリックスでも知られています。

ベイヤーフィルターの代替としては、色や配列のさまざまな変更や、カラーコサイトサンプリング、Foveon X3センサー、ダイクロイックミラー、透明回折フィルターアレイなどのまったく異なる技術などがあります。 ^[5]

ブライス・ベイヤーの1976年の特許（米国特許第3,971,065号^[6]）では、緑の光センサーを輝度感度素子、赤と青のものを色感度素子と呼んでいます。彼は、人間の目の生理機能を模倣するために、赤や青の2倍の緑の素子を使用しました。人間の網膜の輝度知覚は、日光下での視覚において、緑色の光に最も敏感なM錐体細胞とL錐体細胞の組み合わせを使用します。これらの素子は、センサー素子、センセル、ピクセルセンサー、または単にピクセルと呼ばれます。これらによって感知されたサンプル値は、補間後に画像ピクセルになります。ベイヤーが特許を登録したとき、彼はまた、反対色の別のセットであるシアン、マゼンタ、イエローの組み合わせを使用することを提案しました。この配置は、必要な染料が存在しなかったため当時は非現実的でしたが、一部の新しいデジタルカメラで使用されています。新しいCMY染料の大きな利点は、光吸収特性が改善されていることです。つまり、量子効率が高くなります。

ベイヤー フィルター カメラの生の出力は、ベイヤー パターン画像と呼ばれます。各ピクセルは 3 色のうち 1 色のみを記録するようにフィルター処理されるため、各ピクセルのデータだけでは赤、緑、青のそれぞれの値を完全に指定することはできません。フルカラー画像を取得するには、さまざまなデモザイクアルゴリズムを使用して、各ピクセルの赤、緑、青の完全な値のセットを補間します。これらのアルゴリズムは、対応する色の周囲のピクセルを使用して、特定のピクセルの値を推定します。

異なるアルゴリズムにはさまざまな計算能力が必要で、その結果、最終的な画像の品質も異なります。これは、カメラ内で実行してJPEGまたはTIFF画像を生成するか、カメラの外でセンサーから直接生データを使用して行うことができます。カメラプロセッサの処理能力には限界があるため、多くの写真家はこれらの操作をパソコンで手動で行うことを好みます。カメラが安価であるほど、これらの機能に影響を与える機会は少なくなります。プロ用カメラでは、画像補正機能がまったくないか、オフにすることができます。Raw 形式で記録すると、手動でデモザイクアルゴリズムを選択し、変換パラメータを制御する機能が提供され、これはコンシューマー写真だけでなく、さまざまな技術的および測光的問題の解決にも使用されます。^[7]

デモザイク処理はさまざまな方法で実行できます。簡単な方法では、近隣の同じ色のピクセルのカラー値を補間します。たとえば、チップを画像にさらすと、各ピクセルを読み取ることができます。緑のフィルターが付いたピクセルは、緑の成分を正確に測定します。このピクセルの赤と青の成分は、近隣のピクセルから取得されます。緑のピクセルの場合、2 つの赤の近隣ピクセルを補間して赤の値を生成することができ、また 2 つの青のピクセルを補間して青の値を生成することもできます。

この単純なアプローチは、色が一定であるか、グラデーションが滑らかな領域ではうまく機能しますが、画像内の鋭いエッジに沿って特に目立つ、色や明るさの急激な変化がある領域では、色のにじみなどのアーティファクトが発生する可能性があります。このため、他のデモザイク方法では、高コントラストのエッジを識別し、これらのエッジに沿ってのみ補間し、エッジを横切る補間は行いません。

その他のアルゴリズムは、画像内の領域の色が変化する光条件下でも比較的一定であり、カラー チャネルが相互に高度に相関しているという仮定に基づいています。したがって、最初に緑のチャネルが補間され、次に赤のチャネルが補間され、その後青のチャネルが補間されるため、赤と緑、青と緑のカラー比率は一定になります。画像の内容について異なる仮定を行い、そこから不足しているカラー値を計算しようとする他の方法もあります。

デジタル センサーの解像度の限界に近い小さなディテールを持つ画像は、デモザイク アルゴリズムに問題を引き起こし、モデルとは異なる結果を生成する可能性があります。最も頻繁に発生するアーティファクトはモアレで、これは、繰り返しパターン、カラー アーティファクト、または非現実的な迷路のようなパターンで配置されたピクセルとして現れることがあります。

カラー フィルタ アレイ (CFA) 補間またはデモザイク処理でよく見られる残念なアーティファクトは、偽色として知られています。通常、このアーティファクトはエッジに沿って現れ、エッジに沿ってではなく、エッジを横切って誤って補間された結果、突然または不自然な色の変化が発生します。この偽色を防止および除去する方法はさまざまです。デモザイク処理中は、偽色が最終画像に現れるのを防ぐために、スムーズな色相遷移補間が使用されます。ただし、デモザイク処理後に偽色を除去できるアルゴリズムは他にもあります。これらのアルゴリズムには、赤と青のカラー プレーンを補間するためのより堅牢なデモザイク処理アルゴリズムを使用しながら、画像から偽色のアーティファクトを除去できるという利点があります。

ジッパー効果は CFA デモザイク処理のもう 1 つの副作用で、これも主にエッジに沿って発生し、ジッパー効果として知られています。簡単に言うと、ジッパー効果はエッジに沿ってオン/オフ パターンで発生するエッジぼかしの別名です。この効果は、デモザイク処理アルゴリズムがエッジ、特に赤と青のプレーンのピクセル値を平均化するときに発生し、特徴的なぼかしが生じます。前述のように、この効果を防​​ぐ最善の方法は、画像のエッジを横切るのではなく、エッジに沿って補間するさまざまなアルゴリズムです。パターン認識補間、適応型カラー プレーン補間、方向重み付け補間はすべて、画像で検出されたエッジに沿って補間することでジッパー効果を防止しようとします。

ただし、各フォトサイトですべての色をキャプチャして区別できる理論上完璧なセンサーでも、モアレやその他のアーティファクトが発生する可能性があります。これは、連続信号を離散的な間隔または場所でサンプリングするシステムでは避けられない結果です。このため、ほとんどの写真用デジタルセンサーには、光学ローパスフィルター (OLPF) またはアンチエイリアシング (AA) フィルターと呼ばれるものが組み込まれています。これは通常、センサーの直前にある薄い層で、センサーの解像度よりも細かい、問題になる可能性のある詳細を効果的にぼかすことによって機能します。

ベイヤー フィルターは、一般向けデジタル カメラではほぼ普遍的に使用されています。代替フィルターには、同様のデモザイク処理を必要とするCYGM フィルター(シアン、イエロー、グリーン、マゼンタ) やRGBE フィルター(レッド、グリーン、ブルー、エメラルド) などがあります。Foveon X3 センサー(モザイクではなく、レッド、グリーン、ブルーのセンサーを垂直に重ねる) と、3 つの独立した CCD (各色に 1 つ) の配置では、デモザイク処理は必要ありません。

2007年6月14日、イーストマン・コダックはベイヤーフィルターの代替案を発表しました。これは、可視光のすべての波長に敏感で、センサーに当たる光をより多く集めるパンクロマティックセルを使用して、デジタルカメラの画像センサーの光に対する感度を高めるカラーフィルターパターンです。 ^[8]同社はいくつかのパターンを提示していますが、ベイヤーパターンの2×2単位ほど小さい繰り返し単位を持つものはありません。

2007年にエドワード・T・チャンが提出した別の米国特許では、「カラーフィルターは、赤、青、緑、透明のピクセル1つで構成された2×2のピクセルブロックからなるパターンを持つ」センサーを主張しており、赤外線感度を組み込んで全体的な感度を高めることを意図した構成となっている。^[9] コダックの特許出願はそれより前である。^[10]

このようなセルはこれまで「CMYW」（シアン、マゼンタ、イエロー、ホワイト）^[11]「RGBW」（レッド、グリーン、ブルー、ホワイト）^[12]センサーで使用されてきたが、コダックは新しいフィルターパターンをまだそれらと比較していない。

富士フイルムの EXR カラー フィルター アレイは、CCD ( SuperCCD ) とCMOS (BSI CMOS)の両方で製造されています。SuperCCD と同様に、フィルター自体は 45 度回転します。従来のベイヤー フィルター設計とは異なり、同じ色を検出する 2 つの隣接するフォトサイトが常に存在します。このタイプのアレイの主な理由は、ピクセルの「ビニング」に貢献することです。ビニングでは、2 つの隣接するフォトサイトを結合して、センサー自体の光に対する「感度」を高めることができます。もう 1 つの理由は、センサーが 2 つの異なる露出を記録し、それを結合して、よりダイナミック レンジの広い画像を生成することです。基盤となる回路には、センサーの交互の行から情報を取得する 2 つの読み出しチャネルがあります。その結果、フォトサイトの半分ごとに異なる露出時間を持つ 2 つのインターリーブ センサーのように動作できます。フォトサイトの半分は、シーンの明るい領域を完全にキャプチャするように意図的に露出不足にすることができます。この保持されたハイライト情報は、同様の色のフォトサイトの密接な間隔を利用して、「完全な」露出を記録しているセンサーのもう半分からの出力とブレンドすることができます。

多くの富士フイルムXシリーズカメラに使用されている富士フイルムX-Trans CMOSセンサーは、ベイヤーフィルターよりも色モアレに対する耐性が優れていると主張されており^[13]、そのためアンチエイリアシングフィルターなしで製造することができます。これにより、このセンサーを使用するカメラは同じメガピクセル数でより高い解像度を実現できます。また、新しい設計では、各ラインに赤、青、緑のピクセルを配置することで、偽色の発生を減らすと言われています。これらのピクセルの配置により、よりフィルムのような粒子が提供されるとも言われています。

カスタムパターンの主な欠点の1つは、 Adobe Photoshop Lightroom ^{[14]のようなサードパーティの}RAW処理ソフトウェアで完全にサポートされていない可能性があることです。^[15]

ソニーは、 2014年に発売されたiPhone 6のフロントカメラで初めて搭載されたクアッドベイヤーカラーフィルターアレイを導入しました。クアッドベイヤーはベイヤーフィルターに似ていますが、隣接する2x2ピクセルは同じ色で、4x4パターンは4x青、4x赤、8x緑を特徴としています。 ^[16]暗いシーンでは、信号処理により、各2x2グループのデータを、基本的に大きなピクセルのように組み合わせることができます。明るいシーンでは、信号処理により、クアッドベイヤーを従来のベイヤーフィルターに変換して、より高い解像度を実現できます。^[17]クアッドベイヤーのピクセルは、長時間積分と短時間積分で操作してシングルショットHDRを実現し、ブレンディングの問題を軽減できます。^{[18]クアッドベイヤーは、}サムスンではテトラセル、オムニビジョンでは4セル、^{[17] [19]}クアルコムではクアッドCFA（QCFA）とも呼ばれています。^[20]

2019年3月26日、Huawei P30シリーズは、4x4パターン（4x青、4x赤、8x黄色）のRYYB Quad Bayerを採用して発表されました。^[21]

2020年2月12日、 Nonacell CFAを搭載したSamsung Galaxy S20 Ultraが発表されました。Nonacell CFAはベイヤーフィルターに似ていますが、隣接する3x3ピクセルは同じ色で、6x6パターンには9x青、9x赤、18x緑が含まれます。^[22]

• オートクローム ルミエール
• PenTile マトリックス ファミリー

•  米国特許 3971065、Bryce E. Bayer、「カラーイメージングアレイ」、1976 年 7 月 20 日にWeb 上で発行

• RGB「ベイヤー」カラーおよびマイクロレンズ、シリコンイメージング（高解像度デジタルカメラおよび画像処理ソリューションの設計、製造、マーケティング）
• eLynx 画像処理ライブラリ、GPL ライセンスのベイヤー モザイク操作ソース コードの大規模なセット。
• GPU 上での効率的で高品質なベイヤーデモザイクフィルタリング
• グローバルコンピュータビジョン
• 新しい品質評価アルゴリズムによるベイヤーパターンカラーフィルタアレイ（CFA）デモザイキングのレビュー
• デジタルカメラセンサー