デジタル画像処理

^現代のイメージセンサー^の基礎は^{、1955年から1960年の間にベル}研究所で発明された^金属酸化物半導体^（MOS）技術です。 ^{[ 8 ]}これにより、電荷結合素子（CCD）や後に^CMOSセンサー^を含むデジタル半導体イメージセンサー^の開発^{につながりまし}た。^{[ 8 ]}

電荷結合素子は、1969 年にベル研究所のウィラード・S・ボイルとジョージ・E・スミスによって発明されました。 ^{[ 15 ]} MOS 技術を研究している際に、彼らは電荷が磁気バブルのアナロジーであり、小さなMOS コンデンサに蓄積できることに気付きました。一連の MOS コンデンサを一列に製造するのは比較的簡単だったので、電荷が次のコンデンサに伝わるように適切な電圧を接続しました。^{[ 8 ]} CCD は、後にテレビ放送用の最初のデジタルビデオカメラに使用された半導体回路です。^{[ 16 ]}

NMOSアクティブピクセルセンサー（APS）は、1980年代半ばに日本のオリンパスによって発明されました。 これは、MOSFETのスケーリングがミクロン、そしてサブミクロンレベルにまで達したMOS半導体デバイス製造の進歩によって可能になりました。[ 17 ] [ 18 ] ^{NMOS APSは、 1985年}にオリンパスのTsutomu Nakamuraのチームによって製造されました。^{[ 19 ]} CMOSアクティブピクセルセンサー（CMOSセンサー）は、その後1993年にNASAジェット推進研究所のEric Fossumのチームによって開発されました。 ^{[ 20 ]} 2007年までに、CMOSセンサーの販売はCCDセンサーを上回りました。^{[ 21 ]}

MOSイメージセンサーは光学マウス技術で広く使用されています。1980年にゼロックスのリチャード・F・ライオンによって発明された最初の光学マウスは、 5μm NMOS集積回路センサーチップを使用していました。^{[ 22 ] [ 23 ]} 1999年に発表された最初の商用光学マウスであるIntelliMouse以降、ほとんどの光学マウスデバイスはCMOSセンサーを使用しています。^{[ 24 ] [ 25 ]} 

デジタル画像圧縮技術における重要な発展の一つは、 1972年にナシル・アーメドによって初めて提案された非可逆圧縮技術である離散コサイン変換（DCT）でした。 ^{[ 26 ]} DCT圧縮は、 1992年に合同写真専門家グループによって導入されたJPEGの基礎となりました。 ^{[ 27 ]} JPEGは画像をはるかに小さなファイルサイズに圧縮し、インターネット上で最も広く使用されている画像ファイル形式となっています。^{[ 28 ]}その非常に効率的なDCT圧縮アルゴリズムは、デジタル画像とデジタル写真の普及に大きく貢献し、^{[ 29 ]} 2015年時点で毎日数十億枚のJPEG画像が生成されています。[ ^{30 ]​}

医用画像処理技術は、特にCT、MRI、PETモダリティから非常に大量のデータを生成します。そのため、圧縮を使用しないと電子画像データの保存と通信は不可能になります。^{[ 31 ] [ 32 ]} DICOM規格では、医用画像の保存と送信にJPEG 2000画像圧縮が使用されています。低帯域幅またはさまざまな帯域幅で大規模な画像データセットにアクセスするコストと実現可能性は、 JPEG 2000で圧縮された画像データの効率的なストリーミングを可能にするJPIPと呼ばれる別のDICOM規格を使用することでさらに対処されます。^{[ 33 ]}

電子信号処理は、 1970年代にMOS技術が広く採用されたことで革命的になった。 ^{[ 34 ]} MOS集積回路技術は、1970年代初頭の最初のシングルチップマイクロプロセッサとマイクロコントローラの基礎となり、 ^{[ 35 ]}その後、 1970年代後半には最初のシングルチップデジタル信号プロセッサ（DSP）チップが開発された。 ^{[ 36 ] [ 37 ]} DSPチップは、それ以来デジタル画像処理で広く使用されている。^{[ 36 ]}

離散コサイン変換(DCT)画像圧縮アルゴリズムは、DSP チップに広く実装されており、多くの企業が DCT 技術に基づいた DSP チップを開発しています。DCT は、エンコード、デコード、ビデオコーディング、オーディオ コーディング、多重化、制御信号、シグナリング、アナログ-デジタル変換、輝度と色差のフォーマット、YUV444やYUV411などのカラー フォーマットに広く使用されています。DCT はまた、動き推定、動き補償、フレーム間予測、量子化、知覚重み付け、エントロピー エンコーディング、変数エンコーディング、動きベクトルなどのエンコード操作、および表示目的で異なるカラー フォーマット ( YIQ、YUV、RGB )間の逆演算などのデコード操作にも使用されます。DCT は、高精細テレビ(HDTV) エンコーダ/デコーダ チップにも一般的に使用されています。 ^{[ 38 ]}

デジタルフィルターは、デジタル画像をぼかしたり鮮明にしたりするために使用されます。フィルタリングは次のように実行できます。

• 空間領域における特別に設計されたカーネル（フィルタアレイ）による畳み込み^{[ 39 ]}
• 周波数（フーリエ）領域における特定の周波数領域をマスキングする

以下の例は両方の方法を示しています。^{[ 40 ]}

img = checkerboard ( 20 ); % チェッカーボードを生成% ************************** 空間領域 *************************** klaplace =[ 0 - 1 0 ; - 1 5 - 1 ; 0 - 1 0 ]; % ラプラシアンフィルタカーネルX = conv2 ( img , klaplace ); % テスト画像と% 3x3 ラプラシアンカーネルを畳み込むfigure () imshow ( X ,[]) % ラプラシアンフィルタリングされた画像を表示title ( 'ラプラシアンエッジ検出' )

アフィン変換は、次の例に示すように、拡大縮小、回転、平行移動、鏡像反転、せん断などの基本的な画像変換を可能にします。^{[ 40 ]}

アフィン行列を画像に適用するには、画像を、各要素がその位置の画素強度に対応する行列に変換します。次に、各画素の位置を、画像内のその画素の座標を示すベクトル[ x , y ]として表します。ここで、xとy は画像行列における画素の行と列です。これにより、座標にアフィン変換行列を乗算することができ、出力画像において画素値がコピーされる位置が得られます。

しかし、並進変換を必要とする変換を可能にするには、3次元同次座標が必要です。3次元目は通常、ゼロ以外の定数（通常は1 ）に設定され、新しい座標は[ x , y , 1]となります。これにより、座標ベクトルに3×3行列を乗算することができ、並進移動が可能になります。したがって、3次元目、すなわち定数1によって並進移動が可能になります。

行列の乗算は結合法則を満たすため、複数のアフィン変換を、変換を行った順序で各変換の行列を乗算することで、単一のアフィン変換にまとめることができます。こうして得られた単一の行列を点ベクトルに適用すると、ベクトル[ x , y , 1]に対して個別に実行したすべての変換と同じ結果が得られます。したがって、一連のアフィン変換行列を単一のアフィン変換行列に縮小することができます。

例えば、2 次元座標では原点(0, 0)を中心とした回転しかできません。しかし、3 次元同次座標では、まず任意の点を(0, 0)に移動させ、次に回転を行い、最後に原点(0, 0) を元の点に戻す (最初の移動の逆) ことができます。これらの 3 つのアフィン変換を 1 つの行列に組み合わせることで、画像内の任意の点を中心とした回転が可能になります。^{[ 41 ]}

数理形態学（MM）は、非線形画像処理フレームワークであり、構造要素と呼ばれる小さな定義済み関数を用いて局所的なピクセル近傍を解析することで、画像内の形状を分析します。グレースケール画像においては、MMは膨張と収縮という基本的な演算子を用いてノイズ除去を行う際に特に有効です。これらの演算子を組み合わせることで、より複雑なフィルタを構築できます。

次のような状況を想定してみましょう。

• 離散的なグレースケール画像：${\displaystyle f={\begin{bmatrix}45&50&65\\40&60&55\\25&15&5\end{bmatrix}},\quad f:\Omega \rightarrow \mathbb {R} ,\quad \Omega =\{0,1,2\}^{2},}$

• 構造要素：${\displaystyle B={\begin{bmatrix}1&2&1\\2&1&1\\1&0&3\end{bmatrix}},\quad B:{\mathcal {S}}\rightarrow \mathbb {R} ,\quad {\mathcal {S}}=\{-1,0,1\}^{2}.}$

ここ、$\displaystyle {\mathcal {S}}}$相対座標の近傍を定義する${\displaystyle (m,n)}$ローカル演算が計算される対象。${\displaystyle B(m,n)}$膨張および収縮処理中に画像にバイアスをかける。

拡張

グレースケール膨張は次のように定義されます。

$${\displaystyle (f\oplus B)(i,j)=\max _{(m,n)\in {\mathcal {S}}}{\Bigl \{}f(i+m,j+n)+B(m,n){\Bigr \}}.}$$

例えば、位置（1, 1）における膨張は次のように計算されます。

${\displaystyle {\begin{aligned}(f\oplus B)(1,1)=\max \!{\Bigl (}&f(0,0)+B(-1,-1),&\;45+1;&\\&f(1,0)+B(0,-1),&\;50+2;&\\&f(2,0)+B(1,-1),&\;65+1;&\\&f(0,1)+B(-1,0),&\;40+2;&\\&f(1,1)+B(0,0),&\;60+1;&\\&f(2,1)+B(1,0),&\;55+1;&\\&f(0,2)+B(-1,1),&\;25+1;&\\&f(1,2)+B(0,1),&\;15+0;&\\&f(2,2)+B(1,1)&\;5+3{\Bigr )}=66.\end{aligned}}}$

侵食

グレースケールの劣化は次のように定義されます。

$${\displaystyle (f\ominus B)(i,j)=\min _{(m,n)\in {\mathcal {S}}}{\Bigl \{}f(i+m,j+n)-B(m,n){\Bigr \}}.}$$

例えば、位置（1, 1）における侵食量は次のように計算されます。

${\displaystyle {\begin{aligned}(f\ominus B)(1,1)=\min \!{\Bigl (}&f(0,0)-B(-1,-1),&\;45-1;&\\&f(1,0)-B(0,-1),&\;50-2;&\\&f(2,0)-B(1,-1),&\;65-1;&\\&f(0,1)-B(-1,0),&\;40-2;&\\&f(1,1)-B(0,0),&\;60-1;&\\&f(2,1)-B(1,0),&\;55-1;&\\&f(0,2)-B(-1,1),&\;25-1;&\\&f(1,2)-B(0,1),&\;15-0;&\\&f(2,2)-B(1,1)&\;5-3{\Bigr )}=2.\end{aligned}}}$

デジタルカメラには通常、専用のデジタル画像処理ハードウェア（専用チップまたは他のチップに追加された回路）が搭載されており、イメージセンサーからの生データを標準的な画像ファイル形式の色補正画像に変換します。さらに、後処理技術によってエッジの鮮明度や彩度を高め、より自然な画像を作り出すことができます。

『ウエストワールド』 （1973年）は、アンドロイドの視点をシミュレートするために写真にデジタル画像処理を使用してピクセル化を行った最初の長編映画でした^{。 [ 42 ]}画像処理は、俳優の背景を自然または芸術的な風景に置き換えるクロマキー効果を作成するためにも広く使用されています

顔検出は、数理形態学、離散コサイン変換（DCT）、および水平投影を用いて実装することができる。

特徴量に基づく方法を用いた一般的な方法

特徴ベースの顔検出手法は、肌の色、輪郭検出、顔の形状、および顔の特徴（目、口など）を利用して顔を検出します。肌の色、顔の形状、そして人間の顔に特有のすべての要素は、特徴として記述できます。

プロセスの説明

1. 顔画像のバッチが与えられた場合、まず顔画像をサンプリングして肌の色調範囲を抽出します。この肌の色調範囲は、単なる肌フィルターです。
   1. 構造類似性指標（SSIM）は、肌の色調を抽出するという観点から画像を比較するために適用できる。
   2. 通常、スキンフィルターにはHSVまたはRGBカラースペースが適しています。例えば、HSVモードでは、肌の色調範囲は[0,48,50]～[20,255,255]となります。
2. 肌の色調で画像をフィルタリングして顔の輪郭を取得した後、形態学とDCTを使用してノイズを除去し、欠落した肌の領域を補完します。
   1. 欠損した皮膚を埋めるには、開口法または閉鎖法を用いることができる。
   2. DCTは、肌のような色合いのオブジェクトを避けるためのものです。人間の顔は常に高い質感を持っているためです。
   3. ソベル演算子やその他の演算子を適用することで、顔の輪郭を検出できます。
3. 目などの人体の特徴の位置を特定するには、投影法を用い、投影ヒストグラムのピークを見つけることで、口、髪、唇などの詳細な特徴を捉えることができます。
   1. 投影とは、高周波成分（通常は特徴的な位置）を捉えるために画像を投影することです。

画像品質は、カメラの振動、露出過多、階調分布の偏り、ノイズなどによって影響を受ける可能性があります。例えば、ノイズの問題は平滑化処理で解決でき、階調分布の問題はヒストグラム均等化処理で改善できます。

平滑化方法

描画において、もし気に入らない色があれば、その気に入らない色の周囲の色をいくつか選び、それらを平均化する。

平滑化処理は、マスクと畳み込み演算を用いて実装できます。例えば、以下の小さな画像とマスクを見てみましょう。

画像は ${\displaystyle {\begin{bmatrix}2&5&6&5\\3&1&4&6\\1&28&30&2\\7&3&2&2\end{bmatrix}}}$

マスクは${\displaystyle {\begin{bmatrix}1/9&1/9&1/9\\1/9&1/9&1/9\\1/9&1/9&1/9\end{bmatrix}}}$

畳み込みと平滑化の後、画像は ${\displaystyle {\begin{bmatrix}2&5&6&5\\3&9&10&6\\1&9&9&2\\7&3&2&2\end{bmatrix}}}$

画像[1, 1]、画像[1, 2]、画像[2, 1]、および画像[2, 2]を観測します。

元の画像のピクセルは1、4、28、30です。平滑化マスク適用後、ピクセルはそれぞれ9、10、9、9になります。

新しいイメージ[1, 1] =${\displaystyle {\tfrac {1}{9}}}$* (image[0,0]+image[0,1]+image[0,2]+image[1,0]+image[1,1]+image[1,2]+image[2,0]+image[2,1]+image[2,2])

新しい画像[1, 1] = floor(${\displaystyle {\tfrac {1}{9}}}$* (2+5+6+3+1+4+1+28+30)) = 9

新しい画像[1, 2] = floor({${\displaystyle {\tfrac {1}{9}}}$* (5+6+5+1+4+6+28+30+2)) = 10

新しい画像[2, 1] = floor(${\displaystyle {\tfrac {1}{9}}}$* (3+1+4+1+28+30+7+3+2)) = 9

新しい画像[2, 2] = floor(${\displaystyle {\tfrac {1}{9}}}$* (1+4+6+28+30+2+3+2+2)) = 9

グレースケールヒストグラム法

一般的に、以下のような画像からグレースケールヒストグラムが与えられた場合、そのヒストグラムを均一分布に変換することを、通常ヒストグラム均等化と呼びます。

離散時間では、グレースケールヒストグラムの面積は${\displaystyle \sum _{i=0}^{k}H(p_{i})}$（図1参照）一方、均一分布の領域は${\displaystyle \sum _{i=0}^{k}G(q_{i})}$（図2参照）。面積は変化しないことは明らかです。${\displaystyle \sum _{i=0}^{k}H(p_{i})=\sum _{i=0}^{k}G(q_{i})}$。

一様分布から、確率は${\displaystyle q_{i}}$は${\displaystyle {\tfrac {N^{2}}{q_{k}-q_{0}}}}$一方、${\displaystyle 0<i<k}$

連続時間では、方程式は次のようになります。${\displaystyle \displaystyle \int _{q_{0}}^{q}{\tfrac {N^{2}}{q_{k}-q_{0}}}ds=\displaystyle \int _{p_{0}}^{p}H(s)ds}$。

さらに、関数の定義に基づくと、グレースケールヒストグラム法は関数を見つけるのと似ている。${\displaystyle f}$f(p)=qを満たす。