

ベイヤーフィルターモザイクは、フォトセンサーの正方形グリッド上にRGBカラーフィルターを配置するカラーフィルターアレイ(CFA)です。その独特なカラーフィルターの配置は、デジタルカメラやビデオカメラで使用されるほとんどのシングルチップデジタルイメージセンサーでカラー画像を生成するために使用されています。フィルターパターンは、半分が緑、1/4が赤、1/4が青であるため、BGGR、RGBG、[ 1 ] [ 2 ] 、 GRBG、[ 3 ]、またはRGGB [ 4 ]とも呼ばれます。
この技術は、イーストマン・コダック社の発明者であるブライス・ベイヤーにちなんで名付けられました。ベイヤーは、順序付きディザリングで使用される再帰的に定義された行列でも知られています。
ベイヤーフィルターの代替案としては、色や配置のさまざまな変更、カラーコサイトサンプリング、Foveon X3センサー、ダイクロイックミラー、透明回折フィルターアレイなどの全く異なる技術などがある。 [ 5 ]

ブライス・ベイヤーの1976年の特許(米国特許第3,971,065号[ 6 ])では、緑色の光センサを輝度感応素子、赤色と青色のセンサを色度感応素子と呼んでいます。彼は人間の目の生理機能を模倣するために、赤色や青色の素子の2倍の数の緑色の素子を使用しました。人間の網膜の輝度知覚は、昼間の視覚では緑色の光に最も敏感なM錐体細胞とL錐体細胞を組み合わせて使用します。これらの素子はセンサ素子、センセル、ピクセルセンサ、または単にピクセルと呼ばれ、それらによって感知されたサンプル値は、補間後に画像ピクセルになります。ベイヤーが特許を登録した当時、彼はシアン-マゼンタ-イエローの組み合わせ、つまり反対色の別のセットを使用することも提案しました。必要な染料が存在しなかったため、この構成は当時実用的ではありませんでした。デジタルCMYセンサは一部の古いデジタルカメラに登場しましたが[ 7 ]、現代のすべての民生用デジタルカメラはRGB感応センサを使用しています。 CMY色素の利点は、光吸収特性が向上していることですが[ 8 ]、これは発光ディスプレイに必要なRGB波長への忠実度の低下という代償を伴います[ 9 ] [ 10 ] 。
ベイヤーフィルターカメラの生出力は、ベイヤーパターン画像と呼ばれます。各ピクセルは3色のうち1色のみを記録するようにフィルタリングされているため、各ピクセルのデータだけでは赤、緑、青のそれぞれの値を完全に指定することはできません。フルカラー画像を取得するには、さまざまなデモザイキングアルゴリズムを使用して、各ピクセルの完全な赤、緑、青の値を補間します。これらのアルゴリズムは、対応する色の周囲のピクセルを利用して、特定のピクセルの値を推定します。
さまざまな計算能力を必要とするさまざまなアルゴリズムにより、最終的な画像の品質が異なります。これは、カメラ内でJPEGまたはTIFF画像を生成するか、カメラ外でセンサーから直接RAWデータを使用して行うことができます。カメラプロセッサの処理能力には制限があるため、多くの写真家はこれらの操作をパーソナルコンピュータで手動で行うことを好みます。カメラが安価であればあるほど、これらの機能に影響を与える機会は少なくなります。プロ用カメラでは、画像補正機能は全く搭載されていないか、オフにすることができます。RAW形式で記録すると、デモザイキングアルゴリズムを手動で選択し、変換パラメータを制御できる機能が提供され、これは消費者向け写真だけでなく、さまざまな技術的および測光的な問題を解決するためにも使用されます。[ 11 ]
デモザイキングはさまざまな方法で実行できます。単純な方法では、近傍の同じ色のピクセルの色値を補間します。たとえば、チップに画像が露光されると、各ピクセルを読み取ることができます。緑色のフィルターを持つピクセルは、緑色の成分を正確に測定します。このピクセルの赤色と青色の成分は、近傍のピクセルから取得されます。緑色のピクセルの場合、2つの赤色の近傍ピクセルを補間することで赤色の値が得られ、同様に2つの青色の近傍ピクセルを補間することで青色の値が得られます。
この単純な手法は、色が一定または滑らかなグラデーションの領域ではうまく機能しますが、色や明るさが急激に変化する領域、特に画像の鋭いエッジに沿って顕著に現れる領域では、色のにじみなどのアーティファクトが発生する可能性があります。そのため、他のデモザイキング手法では、高コントラストのエッジを識別し、これらのエッジに沿ってのみ補間を行い、エッジをまたぐ補間は行いません。
他のアルゴリズムは、画像内の領域の色は変化する照明条件下でも比較的一定であるという仮定に基づいており、そのためカラーチャネル同士の相関性が非常に高いと想定しています。したがって、最初に緑チャネルを補間し、次に赤チャネル、最後に青チャネルを補間することで、赤と緑、青と緑の色比が一定になるようにします。画像の内容について異なる仮定を立て、そこから欠落した色値を計算しようとする他の方法もあります。
デジタルセンサーの解像度限界に近い微細なディテールを含む画像は、デモザイキングアルゴリズムにとって問題となり、モデルとは似ても似つかない結果を生み出す可能性があります。最も頻繁に発生するアーティファクトはモアレで、繰り返しパターン、カラーアーティファクト、または非現実的な迷路状のパターンで配置されたピクセルとして現れることがあります。
カラーフィルタアレイ(CFA)補間またはデモザイキングでよく見られる、残念なアーティファクトは、偽色として知られています。通常、このアーティファクトはエッジに沿って現れ、エッジに沿ってではなく、エッジを横切るように誤って補間した結果、色が急激または不自然に変化します。この偽色を防止および除去するためのさまざまな方法があります。デモザイキング中に滑らかな色相遷移補間を使用して、最終画像に偽色が現れないようにします。ただし、デモザイキング後に偽色を除去できる他のアルゴリズムもあります。これらのアルゴリズムは、赤と青のカラープレーンを補間するために、より堅牢なデモザイキングアルゴリズムを使用しながら、画像から偽色のアーティファクトを除去するという利点があります。
CFAデモザイキングのもう一つの副作用であるジッパー効果は、主にエッジに沿って発生する現象です。簡単に言うと、ジッパー効果とは、エッジに沿ってオン/オフのパターンで発生するエッジのぼやけのことです。この効果は、デモザイキングアルゴリズムがエッジ上のピクセル値を平均化する際に発生し、特に赤と青のプレーンで顕著に現れ、特徴的なぼやけが生じます。前述のように、この効果を防ぐ最良の方法は、画像のエッジを横切るのではなく、エッジに沿って補間する様々なアルゴリズムを用いることです。パターン認識補間、適応型カラープレーン補間、方向加重補間はすべて、画像内で検出されたエッジに沿って補間することでジッパー効果を防ごうとします。
しかし、理論的には完璧なセンサーで、各フォトサイトで全ての色を捉えて識別できたとしても、モアレなどのアーティファクトが発生する可能性があります。これは、連続的な信号を離散的な間隔や位置でサンプリングするシステムでは避けられない結果です。そのため、ほとんどのデジタル写真センサーには、光学ローパスフィルター(OLPF)またはアンチエイリアシング(AA)フィルターと呼ばれるものが組み込まれています。これは通常、センサーのすぐ前に薄い層として配置され、センサーの解像度よりも細かい、問題となる可能性のある細部を効果的にぼかすことで機能します。
ベイヤーフィルターは、一般消費者向けデジタルカメラでほぼ普遍的に使用されています。代替品としては、CYGMフィルター(シアン、イエロー、グリーン、マゼンタ)やRGBEフィルター(レッド、グリーン、ブルー、エメラルド)があり、これらも同様のデモザイキング処理が必要です。Foveon X3センサー(モザイクではなく、赤、緑、青のセンサーを垂直に重ねた構造)や、3つの独立したCCD(各色に1つずつ)の配置では、デモザイキング処理は不要です。

2007年6月14日、イーストマン・コダックはベイヤーフィルターの代替案を発表しました。これは、可視光のすべての波長に感度を持つパンクロマチックセルを使用して、デジタルカメラのイメージセンサーの光に対する感度を高め、センサーに当たる光の量を増やすカラーフィルターパターンです。[ 12 ]同社はいくつかのパターンを提示していますが、ベイヤーパターンの2×2ユニットほど小さい繰り返し単位を持つものはありません。

エドワード・T・チャンによる2007年の米国特許出願では、「カラーフィルターは、赤、青、緑、透明の各ピクセルからなる2×2のピクセルブロックで構成されるパターンを有する」センサーが主張されており、全体的な感度を高めるために赤外線感度を含めることを意図した構成となっている。[ 13 ] コダックの特許出願はそれよりも前である。[ 14 ]
このようなセルはこれまで「 CMYW」(シアン、マゼンタ、イエロー、ホワイト)[ 15 ]、「RGBW」(レッド、グリーン、ブルー、ホワイト)[ 16 ]センサーで使用されてきましたが、コダックはまだ新しいフィルターパターンをそれらと比較していません。

富士フイルムのEXRカラーフィルターアレイは、CCD(SuperCCD)とCMOS(BSI CMOS)の両方で製造されています。SuperCCDと同様に、フィルター自体は45度回転しています。従来のベイヤーフィルター設計とは異なり、常に2つの隣接するフォトサイトが同じ色を検出します。このタイプのアレイの主な理由は、2つの隣接するフォトサイトをマージしてセンサー自体の光に対する感度を高めるピクセル「ビニング」に貢献することです。もう1つの理由は、センサーが2つの異なる露出を記録し、それらをマージしてより広いダイナミックレンジの画像を生成することです。基となる回路には、センサーの交互の行から情報を取得する2つの読み出しチャネルがあります。その結果、フォトサイトの半分ごとに異なる露出時間を持つ2つのインターリーブセンサーのように機能します。フォトサイトの半分は、シーンの明るい部分を完全に捉えるために、意図的に露出不足にすることができます。こうして保持されたハイライト情報は、センサーのもう一方の半分(「フル」露光を記録している部分)からの出力とブレンドすることができ、ここでも同様の色のフォトサイトが近接していることが利用される。

多くの富士フイルムXシリーズカメラに使用されている富士フイルムX-Trans CMOSセンサーは、ベイヤーフィルターよりもカラーモアレに対する耐性が優れているとされており[ 17 ]、そのためアンチエイリアシングフィルターなしで製造できる。これにより、このセンサーを使用するカメラは、同じメガピクセル数でより高い解像度を実現できる。また、この新しい設計では、各ラインに赤、青、緑のピクセルを配置することで、偽色の発生を低減できるとされている。これらのピクセルの配置は、フィルムのような粒状感も提供すると言われている。
カスタムパターンの主な欠点の1つは、Adobe Photoshop Lightroom [ 18 ]のようなサードパーティのRAW現像ソフトウェアで完全なサポートが得られない場合があることで、改善には数年を要しました。[ 19 ]
ソニーは、2014年に発売されたiPhone 6のフロントカメラに初めて搭載されたクアッドベイヤーカラーフィルターアレイを発表しました。クアッドベイヤーはベイヤーフィルターに似ていますが、隣接する2×2ピクセルは同じ色で、4×4パターンは青4つ、赤4つ、緑8つで構成されています。 [ 20 ]暗いシーンでは、信号処理によって各2×2グループのデータを結合でき、実質的にはより大きなピクセルのようになります。明るいシーンでは、信号処理によってクアッドベイヤーを従来のベイヤーフィルターに変換して、より高い解像度を実現できます。[ 21 ]クアッドベイヤーのピクセルは、長時間積分と短時間積分で動作させることができ、シングルショットHDRを実現し、ブレンドの問題を軽減します。[ 22 ]クアッドベイヤーは、サムスンではテトラセル、オムニビジョンでは4セル[ 21 ] [ 23 ] 、クアルコムではクアッドCFA(QCFA)[ 24 ]としても知られています。
2019年3月26日、Huawei P30シリーズがRYYBクアッドベイヤーを搭載して発表され、4×4の青、4×赤、8×黄の4×4パターンが採用された。[ 25 ]
2020年2月12日、 Nonacell CFAを搭載したSamsung Galaxy S20 Ultraが発表されました。Nonacell CFAはベイヤーフィルターに似ていますが、隣接する3×3ピクセルは同じ色で、6×6パターンは9×青、9×赤、18×緑で構成されています。[ 26 ]

{{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)さまざまなCFAパターンを使用でき、赤、緑、青(RGB)またはシアン、マゼンタ、黄、白(CMYW)のさまざまな配置が可能です。