構造類似性指標の測定

構造類似性 指数測定( SSIM ) は、デジタルテレビや映画の画像、その他の種類のデジタル画像やビデオの知覚品質を予測する方法です。また、2 つの画像間の類似性を測定する場合にも使用されます。SSIM 指数は完全な参照メトリックです。つまり、画像品質の測定または予測は、参照として圧縮されていない、または歪みのない初期の画像に基づきます。

SSIM は、画像の劣化を構造情報の知覚される変化と見なす知覚ベースのモデルであり、輝度マスキングとコントラストマスキングの両方の項を含む重要な知覚現象も組み込んでいます。この点で、SSIM は、絶対誤差を推定する平均二乗誤差(MSE) やピーク信号対雑音比(PSNR)などの他の手法とは区別されます。構造情報とは、ピクセルが空間的に近い場合に特に強い相互依存関係があるという考え方です。これらの依存関係は、視覚シーン内のオブジェクトの構造に関する重要な情報を伝えます。輝度マスキングは、画像の歪み (このコンテキストでは) が明るい領域で目立ちにくくなる現象であり、コントラスト マスキングは、画像内に大きなアクティビティまたは「テクスチャ」がある場合に歪みが目立ちにくくなる現象です。

SSIMの前身はUniversal Quality Index (UQI)、またはWang–Bovik Indexと呼ばれ、2001年にZhou WangとAlan Bovikによって開発されました。これはHamid SheikhとEero Simoncelliとの共同作業を通じて、2004年4月にIEEE Transactions on Image Processingで発表された現在のバージョンのSSIMに進化しました。^[1]この論文では、SSIM品質指標の定義に加えて、人間の視覚神経生物学と知覚との関連、および被験者の評価に対する指標の直接的な検証など、知覚品質測定の開発と評価に関する一般的な背景が提供されています。

基本モデルは、テキサス大学オースティン校の画像およびビデオ工学研究所 (LIVE) で開発され、ニューヨーク大学の計算視覚研究所 (LCV) と共同でさらに開発されました。このモデルのさらなるバリエーションは、ウォータールー大学の画像および視覚コンピューティング研究所で開発され、市販されています。

SSIMはその後、画像処理コミュニティやテレビ、ソーシャルメディア業界で広く採用されました。2004年のSSIM論文はGoogle Scholarによると5万回以上引用されており^[2]、画像処理とビデオエンジニアリングの分野で最も引用されている論文の1つとなっています。 2009年にはIEEE信号処理学会最優秀論文賞を受賞しました^[3]。また、2016年にはIEEE信号処理学会持続的インパクト賞も受賞しており、発表後少なくとも10年間は​​異例の高い影響力を持った論文であることを示しています。テレビ業界での採用率の高さから、オリジナルのSSIM論文の著者はそれぞれ2015年にテレビアカデミーからプライムタイムエンジニアリングエミー賞を受賞しました。

SSIM指数は画像の様々なウィンドウで計算されます。共通サイズの2つのウィンドウ間の測定値は次のとおりです: ^[4]${\displaystyle x}$${\displaystyle y}$${\displaystyle N\times N}$

$${\displaystyle {\hbox{SSIM}}(x,y)={\frac {(2\mu _{x}\mu _{y}+c_{1})(2\sigma _{xy}+c_{2})}{(\mu _{x}^{2}+\mu _{y}^{2}+c_{1})(\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2})}}}$$

と：

• ${\displaystyle \mu_{x}}$のピクセルサンプル平均;${\displaystyle x}$
• ${\displaystyle \mu_{y}}$のピクセルサンプル平均;${\displaystyle y}$
• ${\displaystyle \sigma_{x}^{2}}$の分散;​${\displaystyle x}$
• ${\displaystyle \sigma _{y}^{2}}$の分散;​${\displaystyle y}$
• ${\displaystyle \sigma_{xy}}$との共分散;${\displaystyle x}$${\displaystyle y}$
• ${\displaystyle c_{1}=(k_{1}L)^{2}}$、弱い分母での除算を安定させるための 2 つの変数。${\displaystyle c_{2}=(k_{2}L)^{2}}$
• ${\displaystyle L}$ピクセル値のダイナミックレンジ（通常は）。${\displaystyle 2^{\#ビット\ per\ ピクセル}-1}$
• ${\displaystyle k_{1}=0.01}$そしてデフォルトで。${\displaystyle k_{2}=0.03}$

SSIMの式は、とサンプル間の3つの比較測定、すなわち輝度（）、コントラスト（）、構造（）に基づいています。個々の比較関数は次のとおりです。^[4]${\displaystyle x}$${\displaystyle y}$${\displaystyle l}$${\displaystyle c}$${\displaystyle s}$

$${\displaystyle l(x,y)={\frac {2\mu _{x}\mu _{y}+c_{1}}{\mu _{x}^{2}+\mu _{y}^{2}+c_{1}}}}$$

$${\displaystyle c(x,y)={\frac {2\sigma _{x}\sigma _{y}+c_{2}}{\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2}}}}$$

$${\displaystyle s(x,y)={\frac {\sigma _{xy}+c_{3}}{\sigma _{x}\sigma _{y}+c_{3}}}}$$

上記の定義に加えて、

• ${\displaystyle c_{3}=c_{2}/2}$

SSIM は、これらの比較尺度の加重組み合わせです。

${\displaystyle {\text{SSIM}}(x,y)=l(x,y)^{\alpha }\cdot c(x,y)^{\beta }\cdot s(x,y)^{\gamma }}$

重みを1 に設定すると、式は上記の形式に簡略化されます。 ${\displaystyle \alpha,\beta,\gamma}$

SSIMは、識別不能な要素の恒等式と対称性を満たしますが、三角不等式や非負性を満たさないため、距離関数ではありません。ただし、特定の条件下では、SSIMは距離関数である正規化ルートMSE測度に変換される場合があります。^[5]このような関数の2乗は凸ではありませんが、局所的に凸かつ準凸であるため、^[5] SSIMは最適化の実行可能なターゲットになります。

画質を評価するために、この式は通常、輝度のみに適用されますが、色 (例: RGB ) 値や彩度 (例: YCbCr ) 値にも適用されます。結果として得られる SSIM インデックスは -1 から 1 までの 10 進数値で、1 は完全な類似性、0 は類似性がないこと、-1 は完全な反相関を示します。画像の場合、これは通常、サイズが 11x11 のスライディング ガウス ウィンドウまたはサイズが 8x8 のブロック ウィンドウを使用して計算されます。ウィンドウを画像上でピクセルごとに移動して、画像の SSIM 品質マップを作成できます。ビデオ品質評価の場合、^{[6] の}著者らは、計算の複雑さを軽減するために、可能なウィンドウのサブグループのみを使用することを提案しています。

SSIMのより高度な形式であるマルチスケールSSIM（MS-SSIM）^[4]は、初期の視覚システムにおけるマルチスケール処理を彷彿とさせる、複数段階のサブサンプリングプロセスを通じて複数のスケールで実行されます。さまざまな主観画像やビデオデータベースでSSIMと同等かそれ以上の性能を発揮することが示されています。^{[4] [7] [8]}

3 成分 SSIM (3-SSIM) は、人間の目は滑らかな領域よりもテクスチャやエッジ領域でより正確に違いを認識できるという事実を考慮した SSIM の一種です。 ^[9]結果として得られるメトリックは、エッジ、テクスチャ、滑らかな領域の 3 つのカテゴリの領域に対する SSIM の加重平均として計算されます。提案されている加重は、エッジの場合は 0.5、テクスチャと滑らかな領域の場合は 0.25 です。著者らは、1/0/0 の加重 (エッジの歪み以外を無視) により、主観的な評価に近い結果が得られると述べています。これは、エッジ領域が画質の知覚において支配的な役割を果たしていることを示唆しています。

3-SSIMの著者らはモデルを次のように拡張した。4成分SSIM（4-SSIM）。エッジタイプは、歪みの状態によって保存エッジと変化エッジにさらに細分化されます。提案されている重みは、4つのコンポーネントすべてに対して0.25です。 ^[10]

構造的非類似度 (DSSIM) は SSIM から導出できますが、三角不等式が必ずしも満たされるわけではないため、距離関数を構成するものではありません。

$${\displaystyle {\hbox{DSSIM}}(x,y)={\frac {1-{\hbox{SSIM}}(x,y)}{2}}}$$

注目すべきは、SSIMのオリジナルバージョンは静止画像の品質を測定するために設計されたもので、人間の知覚や判断の時間的影響に直接関連するパラメータは含まれていないことです。^[7]一般的な方法は、ビデオシーケンスのすべてのフレームの平均SSIM値を計算することです。ただし、SSIMの時間的変種がいくつか開発されています。^{[11] [6] [12]}

SSIM の複素ウェーブレット変換バリアント (CW-SSIM) は、画像のスケーリング、変換、回転の問題に対処するように設計されています。このような条件の画像に低いスコアを与える代わりに、CW-SSIM は複素ウェーブレット変換を利用して、これらの画像に高いスコアを与えます。CW-SSIM は次のように定義されます。

$${\displaystyle {\text{CW-SSIM}}(c_{x},c_{y})={\bigg (}{\frac {2\sum _{i=1}^{N}|c_{x,i}||c_{y,i}|+K}{\sum _{i=1}^{N}|c_{x,i}|^{2}+\sum _{i=1}^{N}|c_{y,i}|^{2}+K}}{\bigg )}{\bigg (}{\frac {2|\sum _{i=1}^{N}c_{x,i}c_{y,i}^{*}|+K}{2\sum _{i=1}^{N}|c_{x,i}c_{y,i}^{*}|+K}}{\bigg )}}$$

ここで、は信号の複素ウェーブレット変換であり、は信号に対する複素ウェーブレット変換です。また、は関数の安定性の目的で使用される小さな正の数です。理想的には、ゼロであるべきです。SSIMと同様に、CW-SSIMの最大値は1です。最大値1は2つの信号が完全に構造的に類似していることを示し、値0は構造的に類似していないことを示します。^[13]${\displaystyle c_{x}}$${\displaystyle x}$${\displaystyle c_{y}}$${\displaystyle y}$${\displaystyle K}$

SSIMPLUSインデックスはSSIMに基づいており、市販のツールです。^[14] SSIMの機能を拡張し、主にビデオアプリケーションを対象としています。人間の主観的な評価に線形一致する0〜100の範囲のスコアを提供します。また、スコアを目的の視聴デバイスに適応させ、さまざまな解像度やコンテンツのビデオを比較することもできます。

作者によると、SSIMPLUS は他の画像およびビデオ品質メトリックよりも高い精度と高速性を実現します。ただし、アルゴリズム自体は公開されていないため、SSIMPLUS の独立した評価は行われていません。

標準的な離散SSIMを理論的観点からさらに研究するために、連続SSIM（cSSIM）^{[15]が導入され、}ラジアル基底関数補間の文脈で研究されました。

SSIMULACRAとSSIMULACRA2は、主観的意見データに適合させることを目的としてCloudinaryによって開発されたSSIMの変種です。これらの変種はXYB色空間で動作し、MS-SSIMと、一般的な圧縮アーティファクトであるブロックノイズ/リンギングとスムージング/ぼかしの2種類の非対称エラーマップを組み合わせています。SSIMULACRA2は、 JPEG XLのリファレンス実装であるlibjxlの一部です。^{[16] [17]}

r*相互相関指標はSSIMの分散指標に基づいています。r *( x , y ) = ⁠と定義されます。σxy _.../_σxσy σx ..._​⁠ σ _x σ _y ≠ 0のときは1、両方の標準偏差がゼロのときは 1、一方だけがゼロのときは0 となる。これは、コントラスト詳細ファントムに対する人間の反応を分析する際に使用されている。 ^[18]

SSIMは画像の勾配にも使用され、「G-SSIM」と呼ばれています。G-SSIMは特にぼやけた画像に有効です。^[19]

上記の修正は組み合わせることもできます。たとえば、4-Gr*は4-SSIM、G-SSIM、r*を組み合わせたものです。これは、テストされた他のSSIMバリアントよりも、画像に対する放射線科医の好みをはるかによく反映することができます。^[20]

SSIM はさまざまな問題に応用できます。例をいくつか挙げます。

• 画像圧縮: 非可逆画像圧縮では、画像や動画の保存スペースを減らすために情報が意図的に破棄されます。このような圧縮方式では、通常、MSEが使用されます。著者によると、解凍された画像でより良い結果を得るには、MSEの代わりにSSIMを使用することが推奨されています。^[13]
• 画像復元:画像復元は、復元すべきぼやけた画像、ぼかしカーネル、加法ノイズ、復元したい元の画像という問題の解決に重点を置いています。この問題を解決するために使用される従来のフィルターはウィーナーフィルターです。ただし、ウィーナーフィルターの設計は MSE に基づいています。アルゴリズムの作者によると、SSIM バリアント、具体的には Stat-SSIM を使用すると、より優れた視覚的結果が得られると言われています。^[13]${\displaystyle y=h*x+n}$${\displaystyle y}$${\displaystyle h}$${\displaystyle n}$${\displaystyle x}$
• パターン認識：SSIMは人間の知覚の側面を模倣しているため、パターン認識に使用できます。画像の拡大縮小、平行移動、回転などの問題に直面した場合、アルゴリズムの著者は、これらの変動に鈍感で、トレーニングサンプルを使用せずにテンプレートマッチングによって直接適用できるCW-SSIM ^[21]を使用する方が良いと主張しています。データ駆動型パターン認識アプローチは、トレーニングに大量のデータが利用できる場合に優れたパフォーマンスを発揮する可能性があるため、著者はデータ駆動型アプローチでCW-SSIMを使用することを提案しています。^[21]

SSIMは人気があるため、MSEやPSNRなどのより単純な指標や、他の知覚画像およびビデオ品質指標など、他の指標と比較されることが多い。SSIMは、その著者らの研究や他の研究者による研究を含め、精度においてMSEおよびその派生指標を大幅に上回ることが繰り返し示されている。^{[7] [22] [23] [24] [25] [26]}

Dosselmann と Yang の論文では、SSIM のパフォーマンスは、通常想定されているよりも「MSE のそれに非常に近い」と主張しています。彼らは SSIM が MSE より優れていることに異論はありませんが、2 つのメトリックの間には分析的および機能的な依存関係があると述べています。^[8]彼らの研究によると、SSIM は、SSIM の作成者のデータベース以外の主観的データベースでも、MSE ベースの方法と同様に相関することがわかっています。例として、彼らは Reibman と Poole を挙げています。彼らは、パケット損失による障害のあるビデオを含むデータベースでは、MSE が SSIM よりも優れていることを発見しました。 ^[27]別の論文では、PSNR と SSIM の間に分析的なリンクが特定されました。^[28]

• 平均二乗誤差
• ピーク信号対雑音比
• ビデオマルチメソッド評価フュージョン (VMAF)
• ビデオ品質

• ホームページ
• Rust 実装
• C/C++ 実装
• DSSIM C++ 実装
• Chris Lomont の C# 実装
• qpsnr 実装 (マルチスレッド C++)
• VQMTソフトウェアへの実装
• Pythonでの実装
• 「類似度測定法 MSE と SSIM の背後にある謎」、Gintautas Palubinskas、2014 年