デジタル画像処理

デジタル画像処理は、デジタルコンピュータを使用してアルゴリズムを通じてデジタル画像を処理することです。^{[1] [2]}デジタル信号処理のサブカテゴリまたは分野として、デジタル画像処理はアナログ画像処理に比べて多くの利点があります。入力データに適用できるアルゴリズムの範囲がはるかに広く、処理中にノイズや歪みが蓄積されるなどの問題を回避できます。画像は2次元（おそらくそれ以上）で定義されるため、デジタル画像処理は多次元システムの形でモデル化できます。デジタル画像処理の生成と発展は、主に3つの要因の影響を受けます。1つ目はコンピュータの発展です。^[3] 2つ目は数学の発展（特に離散数学理論の創造と改善）です。^[4] 3つ目は、環境、農業、軍事、産業、医学における幅広いアプリケーションの需要が高まっていることです。^[5]

デジタル画像処理、またはよく呼ばれるデジタルピクチャープロセッシングの技術の多くは、1960年代にベル研究所、ジェット推進研究所、マサチューセッツ工科大学、メリーランド大学、その他いくつかの研究施設で開発され、衛星画像、有線写真規格変換、医療用画像処理、テレビ電話、文字認識、写真の強調に応用されました。^[6]初期の画像処理の目的は、画像の品質を向上させることでした。人間の視覚効果を向上させることを目的としていました。画像処理では、入力は低品質の画像であり、出力は品質が向上した画像です。一般的な画像処理には、画像強調、復元、エンコード、圧縮が含まれます。最初の成功したアプリケーションは、アメリカのジェット推進研究所（JPL）でした。彼らは、太陽の位置と月の環境を考慮に入れながら、1964年にスペースディテクターレンジャー7によって送信された数千枚の月の写真に、幾何学的補正、グラデーション変換、ノイズ除去などの画像処理技術を使用しました。コンピュータによる月面地図の成功は大きな成果をもたらした。その後、宇宙船から送られてきた約10万枚の写真に対してより複雑な画像処理が行われ、月の地形図、カラーマップ、パノラマモザイクが作成され、驚くべき成果が達成され、人類の月面着陸の確固たる基盤が築かれた。^[7]

しかし、当時のコンピュータ機器では、処理コストはかなり高かった。1970 年代に状況は変わり、安価なコンピュータと専用ハードウェアが利用可能になり、デジタル画像処理が普及した。これにより、テレビ規格変換などの一部の専用問題では、画像がリアルタイムで処理されるようになった。汎用コンピュータが高速化するにつれて、最も特殊でコンピュータ集約的な操作を除いて、専用ハードウェアの役割を汎用コンピュータが引き継ぎ始めた。2000 年代に利用できる高速コンピュータと信号プロセッサにより、デジタル画像処理は最も一般的な画像処理形式となり、最も汎用的な方法であるだけでなく、最も安価であることから、一般的に使用されている。

現代の画像センサーの基礎は金属酸化物半導体（MOS）技術であり、 ^[8] 1955年から1960年にかけてベル研究所で発明されました。^{[9] [10] [11] [12] [13] [14]}これにより、電荷結合素子（CCD）や後にCMOSセンサーを含むデジタル半導体画像センサーが開発されました。^[8]

電荷結合素子は、1969年にベル研究所のウィラード・S・ボイルとジョージ・E・スミスによって発明されました。 ^[15] MOS技術を研究しているときに、彼らは電荷が磁気バブルのアナロジーであり、小さなMOSコンデンサに蓄えることができることに気づきました。一連のMOSコンデンサを一列に製造するのはかなり簡単だったので、彼らは適切な電圧をそれらに接続し、電荷を1つから次のコンデンサに段階的に移すことができました。^{[8] CCDは半導体回路であり、後に}テレビ放送用の最初のデジタルビデオカメラに使用されました。^[16]

NMOSアクティブピクセルセンサー（ APS ）は、1980年代半ばに日本のオリンパス社によって発明されました。これは、MOS半導体デバイス製造の進歩によって可能になり、MOSFETのスケーリングはより小さなミクロンレベル、さらにサブミクロンレベルに達しました。^{[17] [18]} NMOS APSは、1985年にオリンパスの中村勉のチームによって製造されました。 ^[19] CMOSアクティブピクセルセンサー（CMOSセンサー）は、その後、1993年にNASAジェット推進研究所のエリック・フォッサムのチームによって開発されました。^[20] 2007年までに、CMOSセンサーの売上はCCDセンサーを上回りました。^[21]

MOSイメージセンサーは光学式マウス技術で広く使用されています。 1980年にゼロックス社のリチャード・F・リヨンが発明した最初の光学式マウスは、 5μmのNMOS集積回路センサーチップを使用していました。^{[22] [23] 1999年に発売された最初の商用光学式マウスである}IntelliMouse以来、ほとんどの光学式マウスデバイスはCMOSセンサーを使用しています。^{[24] [25]} 

デジタル画像圧縮技術における重要な進歩は、1972年にナシル・アハメドが初めて提案した非可逆圧縮技術である離散コサイン変換（DCT）でした。 ^[26] DCT圧縮は、 1992年にJoint Photographic Experts Groupによって導入されたJPEGの基礎となりました。 ^[27] JPEGは画像をはるかに小さいファイルサイズに圧縮し、インターネットで最も広く使用されている画像ファイル形式になりました。^{[28]その非常に効率的なDCT圧縮アルゴリズムは、}デジタル画像とデジタル写真の広範な普及に大きく貢献し、^[29] 2015年の時点で、毎日数十億のJPEG画像が作成されています。^{[30][アップデート]}

医療用画像処理技術は、特にCT、MRI、PETモダリティから非常に大量のデータを生成します。その結果、電子画像データの保存と通信は、圧縮を使用せずには不可能です。^{[31] [32]} JPEG 2000画像圧縮は、DICOM標準で医療画像の保存と転送に使用されます。低帯域幅またはさまざまな帯域幅で大きな画像データセットにアクセスするコストと実現可能性は、 JPEG 2000圧縮画像データの効率的なストリーミングを可能にするJPIPと呼ばれる別のDICOM標準の使用によってさらに解決されます。^[33]

電子信号処理は、 1970年代にMOS技術が広く採用されたことで革命を起こしました。^[34] MOS集積回路技術は、1970年代初頭に最初のシングルチップマイクロプロセッサとマイクロコントローラの基礎となり、 ^[35]その後、 1970年代後半に最初のシングルチップデジタル信号プロセッサ（DSP）チップの基礎となりました。 ^{[36] [37]} DSPチップはそれ以来、デジタル画像処理で広く使用されています。^[36]

離散コサイン変換（DCT）画像圧縮アルゴリズムはDSPチップに広く実装されており、多くの企業がDCT技術に基づいたDSPチップを開発しています。DCTは、エンコード、デコード、ビデオコーディング、オーディオコーディング、多重化、制御信号、シグナリング、アナログからデジタルへの変換、輝度と色の違いのフォーマット、YUV444やYUV411などのカラーフォーマットに広く使用されています。DCTは、動き推定、動き補償、フレーム間予測、量子化、知覚重み付け、エントロピーエンコード、変数エンコード、動きベクトルなどのエンコード操作や、表示目的での異なるカラーフォーマット（ YIQ、YUV、RGB ）間の逆演算などのデコード操作にも使用されます。DCTは、高精細テレビ（HDTV）エンコーダ/デコーダチップにもよく使用されます。^[38]

1972年、英国EMI社のエンジニア、ゴッドフリー・ハウンズフィールドが頭部診断用のX線コンピュータ断層撮影（CT）装置を発明した。これは一般にCT（コンピュータ断層撮影）と呼ばれている。CT核法は、X線を人体頭部の一部に投影し、それをコンピュータで処理して断層画像を再構成する（画像再構成）という手法に基づいている。1975年、EMIは全身用のCT装置の開発に成功し、人体のさまざまな部分の断層画像を鮮明に取得できるようになった。この画期的な診断技術により、ハウンズフィールドと物理学者のアラン・コーマックは1979年にノーベル生理学・医学賞を受賞した。^{[7]医療用途のデジタル画像処理技術は、1994年に}宇宙財団の宇宙技術殿堂入りを果たした。 ^[39]

2010年までに、世界中で50億件を超える医療用画像診断研究が実施されました。^{[40] [41]} 2006年の医療用画像診断による放射線被ばくは、米国における総電離放射線被ばくの約50％を占めました。^[42]医療用画像診断機器は、CMOS集積回路チップ、パワー半導体デバイス、イメージセンサー（特にCMOSセンサー）やバイオセンサーなどのセンサー、マイクロコントローラー、マイクロプロセッサー、デジタル信号プロセッサー、メディアプロセッサー、システムオンチップデバイスなどのプロセッサーを含む半導体産業の技術を使用して製造されています。2015年の時点で、医療用画像診断チップの年間出荷数は4,600万ユニットに達し、 11億ドルの市場価値を生み出しました。^{[43] [44] [アップデート]}

デジタル画像処理では、はるかに複雑なアルゴリズムを使用できるため、単純なタスクでより洗練されたパフォーマンスを実現できるだけでなく、アナログ手段では不可能な方法の実装も可能になります。

特に、デジタル画像処理は、以下の具体的な応用であり、それに基づく実用的な技術です。

• 分類
• 特徴抽出
• マルチスケール信号解析
• パターン認識
• 投影

デジタル画像処理で使用される技術には以下のものがあります。

• 異方性拡散
• 隠れマルコフモデル
• 画像編集
• 画像修復
• 独立成分分析
• 線形フィルタリング
• ニューラルネットワーク
• 偏微分方程式
• ピクセル化
• ポイントフィーチャマッチング
• 主成分分析
• 自己組織化マップ
• ウェーブレット

デジタル フィルターは、デジタル画像をぼかしたり鮮明にしたりするために使用されます。フィルタリングは、次の方法で実行できます。

• 空間領域における特別に設計されたカーネル（フィルタアレイ）による畳み込み^[45]
• 周波数（フーリエ）領域における特定の周波数領域をマスキングする

以下の例は両方の方法を示しています。^[46]

画像は通常、フーリエ空間に変換される前にパディングされます。以下のハイパス フィルター処理された画像は、さまざまなパディング手法の結果を示しています。

ハイパス フィルターでは、繰り返しエッジ パディングと比較して、ゼロ パディング時に余分なエッジが表示されることに注意してください。

空間領域ハイパス フィルタリングの MATLAB の例。

img = checkerboard ( 20 ); % チェッカーボードを生成% *************************** 空間領域 *************************** klaplace =[ 0 - 1 0 ; - 1 5 - 1 ; 0 - 1 0 ]; % ラプラシアン フィルター カーネルX = conv2 ( img , klaplace ); % 3x3 ラプラシアン カーネルで img を畳み込みテストするfigure () imshow ( X ,[]) % ラプラシアン フィルターを表示title ( 'ラプラシアン エッジ検出' )                           

                      
                          
                                                

                                    

アフィン変換は、次の例に示すように、拡大縮小、回転、平行移動、ミラーリング、シアーなどの基本的な画像変換を可能にします。^[46]

アフィン行列を画像に適用するには、各エントリがその位置のピクセル強度に対応する行列に画像を変換します。次に、各ピクセルの位置を、画像内のそのピクセルの座標を示すベクトル [x, y] として表すことができます。ここで、x と y は画像行列内のピクセルの行と列です。これにより、座標にアフィン変換行列を掛けることができ、出力画像内でピクセル値がコピーされる位置が示されます。

ただし、平行移動変換を必要とする変換を可能にするには、3 次元の同次座標が必要です。3 番目の次元は通常、ゼロ以外の定数 (通常は 1) に設定され、新しい座標は [x, y, 1] になります。これにより、座標ベクトルに 3 x 3 の行列を掛けることができ、平行移動シフトが可能になります。したがって、3 番目の次元 (定数 1) では平行移動が可能になります。

行列の乗算は結合的であるため、各変換の行列を変換の実行順に乗算することで、複数のアフィン変換を 1 つのアフィン変換に組み合わせることができます。これにより、点ベクトルに適用すると、ベクトル [x, y, 1] に対して順番に実行されるすべての個々の変換と同じ結果になる単一の行列が生成されます。したがって、アフィン変換行列のシーケンスは、単一のアフィン変換行列に縮小できます。

例えば、2次元座標では原点（0, 0）を中心に回転することしかできません。しかし、3次元同次座標では、まず任意の点を（0, 0）に移動し、次に回転を実行し、最後に原点（0, 0）を元の点（最初の移動の反対）に戻すことができます。これらの3つのアフィン変換を1つの行列に組み合わせることで、画像内の任意の点を中心に回転することができます。^[47]

数学的形態学は画像のノイズ除去に適しています。数学的形態学では構造要素が重要です。

以下の例は構造要素に関するものです。ノイズ除去関数、画像 I、構造要素 B は下図と表に示されています。

例えば${\displaystyle (I')={\begin{bmatrix}45&50&65\\40&60&55\\25&15&5\end{bmatrix}}B={\begin{bmatrix}1&2&1\\2&1&1\\1&0&3\end{bmatrix}}}$

Dilation(I, B)(i,j) = と定義する。Dilation(I,B) = D(I,B)とする。 ${\displaystyle max\{I(i+m,j+n)+B(m,n)\}}$

D(I', B)(1,1) =${\displaystyle max(45+1,50+2,65+1,40+2,60+1,55+1,25+1,15+0,5+3)=66}$

Erosion(I, B)(i,j) = と定義する。Erosion(I,B) = E(I,B)とする。 ${\displaystyle min\{I(i+m,j+n)-B(m,n)\}}$

E(I', B)(1,1) =${\displaystyle min(45-1,50-2,65-1,40-2,60-1,55-1,25-1,15-0,5-3)=2}$

膨張後 侵食後 ${\displaystyle (I')={\begin{bmatrix}45&50&65\\40&66&55\\25&15&5\end{bmatrix}}}$${\displaystyle (I')={\begin{bmatrix}45&50&65\\40&2&55\\25&15&5\end{bmatrix}}}$

オープニング法は単純に最初に収縮し、次に膨張するだけですが、クロージング法はその逆です。実際には、D(I,B)とE(I,B)は畳み込みによって実装できます。

デジタルカメラには通常、専用のチップまたは他のチップ上の追加回路のいずれかの特殊なデジタル画像処理ハードウェアが含まれており、画像センサーからの生データを標準画像ファイル形式の色補正された画像に変換します。追加の後処理技術により、エッジの鮮明度や色の彩度が高まり、より自然に見える画像が作成されます。

ウエストワールド（1973年）は、デジタル画像処理を使用して写真をピクセル化し、アンドロイドの視点をシミュレートした最初の長編映画でした。 ^[48]画像処理は、俳優の背景を自然または芸術的な風景に置き換える クロマキー効果を生み出すためにも広く使用されています

顔検出は、数学的形態学、通常 DCT と呼ばれる離散コサイン変換、および水平投影 (数学)を使用して実装できます。

特徴ベースの方法による一般的な方法

特徴ベースの顔検出法では、肌の色、エッジ検出、顔の形、顔の特徴（目、口など）を使用して顔検出を行います。肌の色、顔の形、および人間の顔だけが持つすべての固有の要素は、特徴として説明できます。

プロセスの説明

1. 顔画像のバッチが与えられたら、まず顔画像をサンプリングして肌の色調の範囲を抽出します。肌の色調の範囲は、単なる肌フィルターです。
   1. 構造類似性指数測定 (SSIM) は、肌の色合いを抽出するという観点から画像を比較するために適用できます。
   2. 通常、HSVまたはRGBカラースペースは肌フィルターに適しています。たとえばHSVモードでは、肌色の範囲は[0,48,50]〜[20,255,255]です。
2. 肌の色調で画像をフィルタリングした後、顔のエッジを取得し、形態学と DCT を使用してノイズを除去し、肌の欠けている部分を埋めます。
   1. 欠損した皮膚を埋めるために、オープニング法またはクロージング法を使用することができます。
   2. DCT は、肌のような色調を持つオブジェクトを回避するためのものです。人間の顔は常に高いテクスチャを持っているためです。
   3. 顔のエッジを検出するために、Sobel 演算子またはその他の演算子を適用できます。
3. 目などの人間の特徴を配置するには、投影を使用して投影のヒストグラムのピークを見つけることで、口、髪、唇などの詳細な特徴を取得するのに役立ちます。
   1. 投影とは、通常は特徴位置である高周波を確認するために画像を投影するだけです。

画質は、カメラの振動、露出オーバー、グレーレベル分布の集中、ノイズなどの影響を受ける可能性があります。たとえば、ノイズの問題はスムージング法で解決できますが、グレーレベル分布の問題はヒストグラム均等化によって改善できます。

スムージング法

絵を描くときに、どこかに満足できない色があったら、その周りの色を取って平均化します。これがスムージング法の簡単な考え方です。

スムージング方法は、マスクと畳み込みを使用して実装できます。以下に示す小さな画像とマスクを例に挙げます。

画像は ${\displaystyle {\begin{bmatrix}2&5&6&5\\3&1&4&6\\1&28&30&2\\7&3&2&2\end{bmatrix}}}$

マスクは${\displaystyle {\begin{bmatrix}1/9&1/9&1/9\\1/9&1/9&1/9\\1/9&1/9&1/9\end{bmatrix}}}$

畳み込みと平滑化の後、画像は ${\displaystyle {\begin{bmatrix}2&5&6&5\\3&9&10&6\\1&9&9&2\\7&3&2&2\end{bmatrix}}}$

image[1, 1]、image[1, 2]、image[2, 1]、image[2, 2]を観察します。

元の画像のピクセルは 1、4、28、30 です。スムージング マスクを適用すると、ピクセルはそれぞれ 9、10、9、9 になります。

新しい画像[1, 1] = * (画像[0,0]+画像[0,1]+画像[0,2]+画像[1,0]+画像[1,1]+画像[1,2]+画像[2,0]+画像[2,1]+画像[2,2]) ${\displaystyle {\tfrac {1}{9}}}$

新しい画像[1, 1] = floor( * (2+5+6+3+1+4+1+28+30)) = 9 ${\displaystyle {\tfrac {1}{9}}}$

新しい画像[1, 2] = floor({ * (5+6+5+1+4+6+28+30+2)) = 10 ${\displaystyle {\tfrac {1}{9}}}$

新しい画像[2, 1] = floor( * (3+1+4+1+28+30+7+3+2)) = 9 ${\displaystyle {\tfrac {1}{9}}}$

新しい画像[2, 2] = floor( * (1+4+6+28+30+2+3+2+2)) = 9 ${\displaystyle {\tfrac {1}{9}}}$

グレーレベルヒストグラム法

一般的に、以下のように画像のグレー レベル ヒストグラムが与えられます。画像のヒストグラムを均一分布に変更することを、通常、ヒストグラム均等化と呼びます。

離散時間では、グレーレベルヒストグラムの面積は（図1を参照）、一様分布の面積は（図2を参照）です。面積は変化しないことは明らかなので、 となります。 ${\displaystyle \sum _{i=0}^{k}H(p_{i})}$${\displaystyle \sum _{i=0}^{k}G(q_{i})}$${\displaystyle \sum _{i=0}^{k}H(p_{i})=\sum _{i=0}^{k}G(q_{i})}$

一様分布から、の確率は、${\displaystyle q_{i}}$${\displaystyle {\tfrac {N^{2}}{q_{k}-q_{0}}}}$${\displaystyle 0<i<k}$

連続時間の場合、方程式は となります。 ${\displaystyle \displaystyle \int _{q_{0}}^{q}{\tfrac {N^{2}}{q_{k}-q_{0}}}ds=\displaystyle \int _{p_{0}}^{p}H(s)ds}$

さらに、関数の定義に基づいて、グレーレベルヒストグラム法は、f(p)=q を満たす関数を見つけることに似ています。 ${\displaystyle f}$

1. ノイズと歪み: 照明不足、センサーの制限、ファイル圧縮などにより画像が不完全になると、画像が不鮮明になり、正確な画像変換に影響する可能性があります。
2. 画像品質の変動: ぼやけた画像や不完全な詳細など、画像品質と解像度の変動により、データベース全体で均一な処理が妨げられる可能性があります。
3. オブジェクトの検出と認識: 特に複数のオブジェクトや遮蔽物がある複雑なシナリオでは、画像内のオブジェクトを識別して認識することは大きな課題となります。
4. データの注釈とラベル付け: 誤った識別によって非現実的な結果が生じる可能性があるため、機械認識のために多様で複数の画像にラベルを付けることは、その後の処理の精度を高めるために重要です。
5. 計算リソースの強度: 画像処理に適切な計算リソースにアクセスすることは困難でコストがかかり、十分なリソースがないと進歩が妨げられる可能性があります。

• Solomon, CJ; Breckon, TP (2010)。デジタル画像処理の基礎: Matlab の例による実践的アプローチ。Wiley-Blackwell。doi :10.1002/ 9780470689776。ISBN 978-0-470-84473-1。
• Wilhelm Burger、Mark J. Burge ( 2007)。デジタル画像処理：Java を使用したアルゴリズム的アプローチ。Springer。ISBN 978-1-84628-379-6。
• R. Fisher、K Dawson-Howe、A. Fitzgibbon、C . Robertson、E. Trucco (2005)。『コンピュータビジョンと画像処理辞典』John Wiley。ISBN 978-0-470-01526-1。
• Rafael C. Gonzalez、Richard E. Woods、Steven L. Eddins (2004)。MATLABを使用したデジタル画像処理。Pearson Education。ISBN 978-81-7758-898-9。
• ティム・モリス (2004)。『コンピュータビジョンと画像処理』。Palgrave Macmillan。ISBN 978-0-333-99451-1。
• Vipin Tyagi (2018)。デジタル画像処理の理解。Taylor and Francis CRC Press。ISBN 978-11-3856-6842。
• Milan Sonka、Vaclav Hlavac、Roger Boyle (1999)。画像処理、分析、およびマシンビジョン。PWS Publishing。ISBN 978-0-534-95393-5。
• ゴンザレス、ラファエル C.; ウッズ、リチャード E. (2008)。デジタル画像処理。アッパーサドルリバー、ニュージャージー州: プレンティスホール。ISBN 978-0-13-168728-8. OCLC  137312858.
• Kovalevsky, Vladimir (2019).画像処理の最新アルゴリズム: C# を使用した例によるコンピュータ画像. [ニューヨーク、ニューヨーク]. ISBN 978-1-4842-4237-7. OCLC  1080084533.{{cite book}}: CS1 maint: location missing publisher (link)

• 画像処理に関する講義、Alan Peters 著。ヴァンダービルト大学。2016 年 1 月 7 日更新。
• コンピュータアルゴリズムによるデジタル画像の処理
• Pengertian Citra Digital: Pemahaman Dasar dan Penerapannya dalam Teknologi