Loading article…
画像ノイズは、画像内の明るさや色情報のランダムな変化であり、通常は電子ノイズの一側面です。スキャナやデジタルカメラの画像センサーや回路によって生成されることがあります。また、画像ノイズは、フィルム粒子や理想的な光子検出器の避けられないショットノイズによって発生することもあります。画像ノイズは、画像キャプチャの望ましくない副産物であり、必要な情報を不明瞭にします。通常、「画像ノイズ」という用語は、3D 画像ではなく 2D 画像のノイズを指すために使用されます。
「ノイズ」の本来の意味は「不要な信号」であり、AMラジオで受信される信号における不要な電気的変動が可聴音響ノイズ（「静電気」）を引き起こした。類推により、不要な電気的変動も「ノイズ」と呼ばれる。[1]
画像ノイズは、明るい光の下で撮影されたデジタル写真にほとんど目立たない斑点が見られるものから、ほとんどがノイズで、高度な処理によって少量の情報を引き出すことができる光学画像や電波天文画像までさまざまです。このようなレベルのノイズは、被写体を特定することさえ不可能なため、写真では許容されません。
種類
ガウスノイズ
デジタル画像におけるガウスノイズの主な発生源は、画像取得時に発生します。センサーには、照明レベルやセンサー自体の温度による固有のノイズがあり、センサーに接続された電子回路も独自の電子回路ノイズを注入します。[2]
画像ノイズの典型的なモデルは、ガウス分布、加法性、各ピクセル独立、信号強度独立であり、主にジョンソン・ナイキストノイズ（熱ノイズ）によって発生し、コンデンサのリセットノイズ（「kTCノイズ」）から発生するノイズも含まれます。[3]アンプノイズは、画像センサーの「読み取りノイズ」、つまり画像の暗い部分の一定ノイズレベルの大部分を占めています。[4]緑色チャンネルや赤色チャンネルよりも青色チャンネルで増幅が使用されるカラーカメラでは、青色チャンネルのノイズが多くなることがあります。[5] ただし、露出が高い場合、画像センサーのノイズはショットノイズによって支配されますが、これはガウス分布ではなく、信号強度に依存しません。また、ガウスノイズ除去アルゴリズムも多数あります。[6]
塩と胡椒のノイズ
ファットテール分散型または「インパルス」ノイズは、ソルトアンドペッパーノイズまたはスパイクノイズと呼ばれることもあります。[7]ソルトアンドペッパーノイズを含む画像では、明るい領域に暗いピクセルがあり、暗い領域に明るいピクセルがあります。[8]このタイプのノイズは、アナログ-デジタルコンバータのエラー、伝送時のビットエラーなどによって発生する可能性があります。 [9] [10]これは、ダークフレーム減算、メディアンフィルタリング、メディアンと平均値の組み合わせフィルタリング[11] 、および暗い/明るいピクセルの周りの補間を使用することで、ほとんど除去できます。
LCDモニターのデッドピクセルも同様の現象を引き起こしますが、ランダムではありません。[12]
ショットノイズ
イメージセンサーからの画像で明るい部分の主なノイズは、通常、統計的な量子ゆらぎ、つまり特定の露出レベルで感知される光子数の変動によって引き起こされます。このノイズは光子ショットノイズとして知られています。[5]ショットノイズはポアソン分布に従いますが、これは大きな画像強度に対してガウス分布で近似できます。ショットノイズの標準偏差は画像強度の平方根に比例し、異なるピクセルのノイズは互いに独立しています。
フォトンショットノイズに加えて、イメージセンサーの暗リーク電流による追加のショットノイズが発生する場合があります。このノイズは、「ダークショットノイズ」[5]または「暗電流ショットノイズ」と呼ばれることもあります。[13]暗電流は、イメージセンサー内の「ホットピクセル」で最大になります。通常ピクセルとホットピクセルの可変暗電荷は減算（「ダークフレーム減算」を使用）することができ、リークのショットノイズ、つまりランダム成分のみが残ります。[14] [15]ダークフレーム減算が行われない場合、または露出時間が長すぎてホットピクセルの電荷が線形電荷容量を超える場合、ノイズは単なるショットノイズ以上のものになり、ホットピクセルはごま塩ノイズとして表示されます。
量子化ノイズ（均一ノイズ）
感知された画像のピクセルをいくつかの離散レベルに量子化することによって生じるノイズは、量子化ノイズとして知られています。これはほぼ均一に分布しています。信号に依存することもありますが、他のノイズ源がディザリングを引き起こすほど大きい場合、またはディザリングが明示的に適用されている場合は、信号に依存しません。[10]
フィルム粒子
写真フィルムの粒子は信号依存のノイズであり、ショットノイズと同様の統計分布を示します。[16]フィルム粒子が均一に分布している場合（領域あたりの粒子数が等しい場合）、および各粒子が光子を 吸収した後に暗い銀色の粒子に変化する確率が等しく独立している場合、領域内のそのような暗い粒子の数は二項分布でランダムになります。確率が低い領域では、この分布はショットノイズの古典的なポアソン分布に近くなります。十分に正確なモデルとして、単純なガウス分布がよく使用されます。[10]
フィルム粒子は通常、ほぼ等方性（無指向性）のノイズ源とみなされます。フィルム内のハロゲン化銀粒子の分布もランダムであるため、その影響はさらに悪化します。[17]
異方性ノイズ
いくつかのノイズ源は画像に顕著な方向で現れる。例えば、画像センサーは行ノイズや列ノイズの影響を受けることがある。[18]
周期的なノイズ
画像内の周期的ノイズの一般的な発生源は、画像キャプチャ処理中の電気的干渉です。[7]周期的ノイズの影響を受けた画像は、元の画像の上に繰り返しパターンが追加されたように見えます。周波数領域では、このタイプのノイズは離散的なスパイクとして見られます。このノイズは、周波数領域でノッチフィルターを適用することで大幅に低減できます。[7]次の画像は、周期的ノイズの影響を受けた画像と、周波数領域フィルタリングを使用してノイズを低減した結果を示しています。フィルタリングされた画像には、境界にまだノイズが残っていることに注意してください。さらにフィルタリングすると、この境界ノイズが低減される可能性がありますが、画像の細部の一部も低減される可能性があります。ノイズ低減と細部の保持とのトレードオフは、アプリケーションによって異なります。たとえば、城の細部が重要ではないと考えられる場合、ローパスフィルタリングが適切なオプションになる可能性があります。城の細部が重要であると考えられる場合、実行可能な解決策は、画像の境界を完全に切り取ることです。
デジタルカメラ
低照度下では、適正露出を得るためには、シャッタースピードを遅くする（つまり、露出時間を長くする）か、絞りを開く（F値を低くする）、またはその両方を行って、捕捉される光（光子）の量を増やし、ショットノイズの影響を減らす必要がある。シャッター（動き）と絞り（被写界深度）の限界に達しても、結果として得られる画像がまだ十分に明るくない場合は、ゲイン（ISO感度）を高くして読み取りノイズを減らす必要がある。ほとんどのカメラでは、シャッタースピードを遅くすると、フォトダイオードの リーク電流によるごま塩ノイズが増える。読み取りノイズの分散が2倍になる（読み取りノイズの標準偏差が41%増加する）という代償を払って、このごま塩ノイズはダークフレーム減算によってほぼ除去できる。バンディングノイズは、シャドウノイズに似ており、シャドウを明るくしたり、カラーバランス処理を行ったりすることで発生することがある。[19]
ノイズを読む
デジタル写真では、入射光子は電子の形で電荷に変換されます。この電圧はデジタルカメラの信号処理チェーンを通過し、アナログ-デジタルコンバーターによってデジタル化されます。信号処理チェーン内の電圧変動は、光子数に比例して理想値からの偏差に寄与し、読み取りノイズと呼ばれます。[20]
センサーサイズの影響
露光中にセンサー全体に集められる光の量は、ショットノイズの信号対雑音比、ひいては見かけのノイズレベルを決定する信号レベルの最大の決定要因です。
F値は、焦点面の光密度(たとえば、1 平方ミクロンあたりの光子数)を示します。F 値が一定の場合、焦点距離が長くなると、レンズの絞り径が大きくなり、レンズは被写体からより多くの光を集めます。特定の画角でシーンを撮影するために必要な焦点距離は、センサーの幅にほぼ比例するため、F 値を指定すると、集められる光の量はセンサーの面積にほぼ比例し、結果として、センサーが大きいほど信号対雑音比が向上します。絞り径が一定の場合、集められる光の量とショット ノイズの信号対雑音比は、どちらもセンサー サイズに依存しません。ショット ノイズ制限領域になるほど明るい画像の場合、画像を画面上で同じサイズに拡大したり、同じサイズで印刷したりすると、ピクセル数は知覚できるノイズ レベルにほとんど影響しません。ノイズは、主にセンサー領域全体の総光量によって決まり、この領域がピクセルに分割される方法によって決まるのではありません。読み取りノイズ (ノイズ フロア) が顕著な低信号レベル (高 ISO 設定) の画像の場合、ピクセルあたりの読み取りノイズが同じであれば、特定のセンサー領域内のピクセル数が増えると、画像のノイズが多くなります。
例えば、フォーサーズセンサーでISO 800で生成されるノイズレベルは、フルフレームセンサー（面積が約4倍）でISO 3200で生成されるノイズレベルとほぼ同等であり、1/2.5インチコンパクトカメラセンサー（面積が約1/16）でISO 100で生成されるノイズレベルとほぼ同等です。すべてのカメラは、同じシャッタースピードと同じf値で特定のシーンに対してほぼ同じISO設定になり、フルフレームカメラではノイズが大幅に少なくなります。逆に、すべてのカメラが同じ絞り径のレンズを使用している場合、ISO設定はカメラ間で異なりますが、ノイズレベルはほぼ同じになります。[21]
センサー充填率
イメージセンサーには、特定の領域から光を集めるための個別のフォトサイトがあります。他の回路のため、センサーのすべての領域が光を集めるために使用されるわけではありません。センサーのフィルファクターが高いほど、より多くの光が集められ、センサーサイズに基づいてISOパフォーマンスが向上します。[22]裏面照射型CMOSセンサーでは、フィルファクターは100％に近くなります。[23]
センサー熱
温度は、リークによりイメージセンサーから発生するノイズの量にも影響を与える可能性があります。この点を考慮すると、DSLRは冬よりも夏にノイズが多くなることが知られています。[14]
ノイズ低減
画像とは、絵や写真、あるいはあらゆる場面を2次元で表現したその他の形式のことである。[24]カメラ内蔵であれコンピュータ上であれ、画像センサーのデータを画像に変換するアルゴリズムのほとんどは、何らかの形のノイズ低減を含んでいる。[25] [26]これには多くの手順があるが、そのすべてにおいて、実際のピクセル値の差がノイズなのか実際の写真のディテールなのかを判断し、前者を平均化して後者を保持しようとする。しかし、どんなアルゴリズムも（すべてのケースで）この判断を完璧に行えるわけではないため、ノイズ除去と、ノイズに似た特性を持つ可能性のある微細で低コントラストのディテールの保持との間でトレードオフが行われることが多い。
明確なノイズ低減が不可能であることを示す簡単な例: 画像内の均一な赤の領域に、ごく小さな黒い部分がある場合があります。これが 1 つのピクセルである場合、それは偽のノイズである可能性が高い (ただし確実ではありません)。それが完全に規則的な形でいくつかのピクセルを覆っている場合、それは画像撮影センサーのピクセル グループの欠陥である可能性があります (偽の不要なものですが、厳密にはノイズではありません)。それが不規則な場合、それは画像の真の特徴である可能性が高いです。ただし、決定的な答えはありません。
この決定は、ソース画像と人間の視覚の特性を知ることで助けになります。ほとんどのノイズ低減アルゴリズムは、失われるリスクのある重要な微細な彩度ディテールがほとんどないため、より積極的な彩度ノイズ低減を実行します。さらに、輝度ノイズの質感はフィルム粒子の外観を模倣しているため、多くの人は輝度ノイズを目にそれほど不快に感じません。
特定のカメラ (または RAW 現像ワークフロー) の高感度画像の品質は、ノイズ低減に使用されるアルゴリズムの品質に大きく依存する場合があります。ISO 感度が上がるとノイズ レベルが上がるため、ほとんどのカメラ メーカーは、高感度時に自動的にノイズ低減の強度を上げます。これにより、ノイズ レベルが上がり、より積極的なノイズ低減によって細かいディテールが滑らかになるという 2 つの方法で、高感度時の画像品質が低下します。
非常に遠くの物体の天体画像など、ノイズが極端に多い場合、ノイズ低減の問題というよりは、大量のノイズに埋もれたわずかな情報を抽出することが問題となります。手法は異なり、大量のランダムなデータ内の小さな規則性を探します。
ビデオノイズ
ビデオやテレビでは、ノイズとは、電子ノイズの結果として画像に重ね合わされるランダムなドット パターン、つまりテレビの受信状態が悪い (アナログ) 場合や VHS テープで見られる「ノイズ」を指します。干渉や静電気も、ランダムではないものの望ましくないという意味で、ラジオやテレビの信号に影響を及ぼす可能性があるノイズの別の形態です。
MPEG-2 形式でエンコードされたビデオには、圧縮アーティファクトとしてデジタル ノイズが現れることがあります。
有用なノイズ
ノイズレベルが高いことはほとんどの場合望ましくありませんが、離散化アーティファクト (カラー バンディングやポスタリゼーション) を防ぐ場合など、ある程度のノイズが役立つ場合があります。ノイズによっては、アキュータンス(見かけの鮮明度) も増加します。このような目的で意図的に追加されたノイズはディザと呼ばれ、信号対ノイズ比は低下しますが、画像の知覚的品質が向上します。
低ISOノイズと高ISOノイズの例
- Canon 400Dデジタル カメラで ISO 100 と ISO 1600 で撮影した花の画像。両方の画像は同様の照明条件で撮影され、ISO 設定とシャッター スピードのみが変化しました。
-
ISO 100、f /5.6、1/350 秒
(画像をクリックすると拡大表示されます) -
ISO 1600、f /5.6、1/4000 秒
(画像をクリックすると拡大表示されます) -
両方の画像の比較。これは、100% で表示された各画像の小さなセクションを切り取ったものです。上部は 100 ISO で撮影され、下部は 1600 ISO で撮影されました。
低ISOおよび高ISO技術検査
デジタルカメラの画像センサーには、一定数のピクセル（カメラの宣伝されているメガピクセル数を定義する）が含まれています。これらのピクセルには、ウェル深度と呼ばれるものがあります。 [27]ピクセルウェルはバケツと考えることができます。[28]
デジタルカメラのISO設定は、信号処理チェーンにおける最初の（そして場合によっては唯一の）ユーザー調整可能な（アナログ）ゲイン設定です。これは、イメージセンサーからの電圧出力に適用されるゲインの量を決定し、読み取りノイズに直接影響します。デジタルカメラシステム内のすべての信号処理ユニットにはノイズフロアがあります。信号レベルとノイズフロアの差は、信号対雑音比と呼ばれます。信号対雑音比が高いほど、画像の品質が向上します。[29]
明るい日差しの下で、シャッタースピードが遅い、絞りが大きく開いている、またはこれら 3 つすべてが組み合わさっている場合、十分な光子がイメージ センサーに当たり、ピクセル ウェルが完全に満たされるか、またはピクセル ウェルの容量に近づくことがあります。ピクセル ウェルの容量を超えると、露出オーバーになります。ピクセル ウェルが容量に近づくと、イメージ センサーに照射された光子自体が、イメージ センサー内で電子の放出を励起するのに十分なエネルギーを生成し、イメージ センサー出力で十分な電圧を生成します。[20]これは、ISO ゲイン (カメラの基本設定よりも高い ISO) が必要ないことに相当します。これは、残りの信号処理電子機器を通過する十分な信号レベル (イメージ センサーから) に相当し、高い信号対雑音比、または低ノイズ、または最適な露出をもたらします。
逆に、暗い状況、シャッタースピードが速い、絞りが閉じている、またはこれら3つすべてが組み合わさっている場合、イメージセンサーに当たる光子が不足して、イメージセンサーから適切な電圧を生成し、信号チェーンのノイズフロアを克服することができず、信号対雑音比が低くなったり、ノイズ（主に読み取りノイズ）が高くなったりすることがあります。このような状況では、ISOゲインを上げる（ISO設定を高くする）と、出力画像の画質が向上します[30] 。これは、ISOゲインがイメージセンサーからの低電圧を増幅し、残りの信号処理電子機器を通じてより高い信号対雑音比を生成するためです。
高い ISO 設定 (正しく適用) は、それ自体ではノイズ レベルが高くなるわけではなく、逆に高い ISO 設定は読み取りノイズを低減することがわかります。高い ISO 設定を使用した場合によく見られるノイズの増加は、ショット ノイズの増幅と、現在のテクノロジの技術的制限による ダイナミック レンジの低下の結果です。
参照
参考文献
- ^ ストロベル、レスリー、ザキア、リチャード D. (1995)。フォーカル写真百科事典。フォーカル プレス。p. 507。ISBN 978-0-240-51417-8。
- ^ Philippe Cattin (2012-04-24). 「画像修復：信号と画像処理入門」 MIAC、バーゼル大学。 2016年9月18日時点のオリジナルよりアーカイブ。 2013年10月11日閲覧。
- ^ 太田 淳 (2008). スマート CMOS イメージセンサーとアプリケーション. CRC Press. ISBN 978-0-8493-3681-2。
- ^ 中村純一 (2005). デジタルスチルカメラ用イメージセンサーと信号処理. CRC Press. ISBN 0-8493-3545-0。
- ^ abc リンゼイ・マクドナルド (2006). デジタルヘリテージ. バターワース・ハイネマン. ISBN 0-7506-6183-6。
- ^ Mehdi Mafi、Harold Martin、Jean Andrian、Armando Barreto、Mercedes Cabrerizo、Malek Adjouadi、「デジタル画像用のインパルスおよびガウスノイズ除去フィルターに関する包括的な調査」、Signal Processing、vol. 157、pp. 236-260、2019年。
- ^ abc ラファエル・C・ゴンザレス、リチャード・E・ウッズ（2007年）。デジタル画像処理。ピアソン・プレンクティス・ホール。ISBN 978-0-13-168728-8。
- ^ Alan C. Bovik (2005). 画像およびビデオ処理ハンドブック. Academic Press. ISBN 0-12-119792-1。
- ^ Linda G. Shapiro ; George C. Stockman (2001). コンピュータビジョン. Prentice-Hall. ISBN 0-13-030796-3。[永久リンク切れ ]
- ^ abc Boncelet, Charles (2005). 「画像ノイズモデル」。Alan C. Bovik (編) 著。画像およびビデオ処理ハンドブック。Academic Press。ISBN 0-12-119792-1。
- ^ Mehdi Mafi、Hoda Rajaei、Mercedes Cabrerizo、Malek Adjouadi、「適応型中央値フィルタリングと固定加重平均フィルタリングの切り替えによる高インパルス強度の存在下での堅牢なエッジ検出アプローチ」、IEEE Transactions on Image Processing、vol. 27、issue. 11、2018、pp. 5475-5490。
- ^ Charles Boncelet (2005)、Alan C. Bovik。画像およびビデオ処理ハンドブック。Academic Press。ISBN 0-12-119792-1
- ^ ジェーンシック、ジェームズ R. (2001)。科学的電荷結合デバイス。SPIE プレス。ISBN 0-8194-3698-4。
- ^ ab Michael A. Covington (2007). デジタル一眼レフ天体写真. ケンブリッジ大学出版局. ISBN 978-0-521-70081-8。
- ^ RE Jacobson、SF Ray、GG Attridge、NR Axford (2000)。写真マニュアル。Focal Press。ISBN 0-240-51574-9。
- ^ Thomas S. Huang (1986)。コンピュータビジョンと画像処理の進歩。JAI Press。ISBN 0-89232-460-0。
- ^ Brian W. Keelan、Robert E. Cookingham (2002)。イメージ品質ハンドブック。CRC Press。ISBN 0-8247-0770-2。
- ^ Joseph G. Pellegrino 他 (2006)。「赤外線カメラの特性評価」。Joseph D. Bronzino (編)。バイオメディカル エンジニアリングの基礎。CRC プレス。ISBN 0-8493-2122-0。
- ^ McHugh, Sean. 「デジタルカメラ: ピクセルサイズは重要ですか? パート 2: さまざまなピクセルサイズを使用したサンプル画像 (センサーサイズは重要ですか?)」。2010 年 6 月 3 日閲覧。
- ^ ab Martinec, Emil (2008-05-22). 「デジタル一眼レフカメラのノイズ、ダイナミックレンジ、ビット深度（読み取りノイズ）」。2020年11月24日閲覧。
- ^ RN、Clark (2008-12-22)。「デジタルカメラ：ピクセルサイズは重要ですか？パート2：さまざまなピクセルサイズを使用したサンプル画像（センサーサイズは重要ですか？）」。2010年6月3日閲覧。
- ^ Wrotniak, J. Anderzej (2009-02-26). 「Four Thirds センサーのサイズとアスペクト比」。2010-06-03閲覧。
- ^ Taverni, Gemma (2018). 「前面および背面照射型ダイナミックおよびアクティブピクセルビジョンセンサーの比較」。IEEE Transactions on Circuits and Systems II: Express Briefs。65 ( 5): 677–681。doi :10.1109/TCSII.2018.2824899 。
- ^ シン、アカンシャ;シン、KK (2012)。デジタル画像処理。ウメッシュ出版。ISBN 978-93-80117-60-7。
- ^ Priyadarshini, Neha; Sarkar, Mukul (2021年1月). 「低照度イメージング用のピクセル内1/ fノイズ低減および変換ゲイン変調を備えた2e rms − 時間ノイズCMOSイメージセンサー」. IEEE Transactions on Circuits and Systems I: Regular Papers . 68 (1): 185–195. doi :10.1109/TCSI.2020.3034377. ISSN 1549-8328. S2CID 229251410.
- ^ Chervyakov, Nikolay; Lyakhov, Pavel; Nagornov, Nikolay (2020-02-11). 「3D医療画像のための離散ウェーブレット変換フィルタの量子化ノイズの分析」.応用科学. 10 (4): 1223. doi : 10.3390/app10041223 . ISSN 2076-3417.
- ^ 「天体写真、ピクセル単位：パート1 - ウェル深度、ピクセルサイズ、量子効率」。Cloudbreak Optics 。 2020年11月24日閲覧。
- ^ Clark, Roger N. (2012-07-04). 「露出とデジタルカメラ、パート1。デジタルカメラのISOとは？カメラがISOレスになるのはいつ？ISO神話とデジタルカメラ」。2020年11月24日閲覧。
- ^ Martinec, Emil (2008-05-22). 「デジタル一眼レフのノイズ、ダイナミックレンジ、ビット深度（S/N比と露出、ダイナミックレンジ）」。2020年11月24日閲覧。
- ^ Martinec, Emil (2008-05-22). 「デジタル一眼レフカメラのノイズ、ダイナミックレンジ、ビット深度（S/Nと露出の決定）」。2020年11月24日閲覧。
外部リンク
ウィキメディア・コモンズには、画像ノイズに関連するメディアがあります。
- dpreview 用語集のノイズ
- コンパクトカメラの高ISOモード：誇大広告と事実を区別する
- Nikon D700 の騒音測定
- 画像処理に関する講義、Alan Peters 著。ヴァンダービルト大学。2016 年 1 月 7 日更新。