視覚情報の忠実性

視覚情報忠実度（VIF）は、自然シーンの統計と人間の視覚システムによって抽出された画像情報の概念に基づいた完全な参照画像品質評価指標です。^[1]これは、2006年にテキサス大学オースティン校の画像およびビデオ工学研究所（LIVE）の Hamid R SheikhとAlan Bovikによって開発されました。これは、Netflixによってストリーミングされるすべてのエンコードされたビデオの画質を制御するNetflix VMAFビデオ品質監視システムの中核に導入されています。

3 次元視覚環境の画像とビデオは、共通のクラス、つまり自然シーンのクラスから得られます。自然シーンは、すべての可能な信号の空間内の小さなサブスペースから得られ、研究者はこれらの統計を特徴付ける高度なモデルを開発しました。ほとんどの現実世界の歪みプロセスは、これらの統計を乱し、画像またはビデオ信号を不自然にします。VIF インデックスは、自然シーン統計(NSS) モデルと歪み(チャネル) モデルを組み合わせて、テスト画像と参照画像の間で共有される情報を定量化します。さらに、VIF インデックスは、この共有情報は、視覚品質とよく関連する忠実度の側面であるという仮説に基づいています。人間の視覚システム(HVS) のエラー感度と構造の測定に基づく従来のアプローチとは対照的に、 ^[2]情報理論的設定で使用されるこの統計アプローチは、 HVS またはビューイングジオメトリパラメーターや最適化を必要とする定数に依存せず、最先端の QA 方法と競合する完全な参照(FR) 品質評価 (QA) 方法を生み出します。^[3]

具体的には、参照画像は、HVS チャネルを通過し、その後脳によって処理される確率的な「自然な」ソースの出力としてモデル化されます。参照画像の情報コンテンツは、HVS チャネルの入力と出力の間の相互情報として定量化されます。これは、脳が HVS の出力から理想的に抽出できる情報です。次に、同じ測定が、HVS チャネルを通過する前に自然なソースの出力を歪める画像歪みチャネルの存在下で定量化され、脳がテスト画像から理想的に抽出できる情報を測定します。これは、図 1 に示されています。次に、2 つの情報測定が組み合わされて、視覚品質を相対的な画像情報に関連付ける視覚情報忠実度測定が形成されます。

ガウススケール混合（GSM）は、画像のステアラブルピラミッド分解のウェーブレット係数を統計的にモデル化するために使用されます。 ^[4]このモデルは、マルチスケールマルチ方向分解の特定のサブバンドについて以下で説明されており、同様に他のサブバンドに拡張できます。特定のサブバンドのウェーブレット係数を とします。ここで、 はサブバンド全体の空間インデックスのセットを表し、それぞれが次元ベクトルです。サブバンドは、各係数の重複しないブロックに分割され、各ブロックは に対応します。GSMモデルによると、 は正のスカラーで、 は平均ゼロで共分散 のガウスベクトルです。さらに、重複しないブロックは互いに独立しており、ランダムフィールドは に依存しないと想定されます。 ${\displaystyle {\mathcal {C}}=\{{\bar {C}}_{i}:i\in {\mathcal {I}}\}}$${\displaystyle {\mathcal {I}}}$${\displaystyle {\bar {C}}_{i}}$${\displaystyle M}$${\displaystyle M}$ ${\displaystyle {\bar {C}}_{i}}$$${\displaystyle {\mathcal {C}}={\mathcal {S}}\cdot {\mathcal {U}}=\{S_{i}{\bar {U}}_{i}:i\in {\mathcal {I}}\},}$$${\displaystyle S_{i}}$${\displaystyle {\bar {U}}_{i}}$ ${\displaystyle \mathbf {C} _{U}}$${\displaystyle {\mathcal {S}}}$${\displaystyle {\mathcal {U}}}$

歪みのプロセスは、ウェーブレット領域における信号減衰と加法性ノイズの組み合わせを使用してモデル化されます。数学的には、歪んだ画像の特定のサブバンドからのランダムフィールドを が表す場合、は決定論的なスカラーフィールドであり、 は共分散 を持つ平均ゼロのガウスベクトルである場合、 ${\displaystyle {\mathcal {D}}=\{{\bar {D}}_{i}:i\in {\mathcal {I}}\}}$${\displaystyle {\mathcal {G}}=\{g_{i}:i\in {\mathcal {I}}\}}$${\displaystyle {\mathcal {V}}=\{{\bar {V}}_{i}:i\in {\mathcal {I}}\}}$${\displaystyle {\bar {V}}_{i}}$${\displaystyle \mathbf {C} _{V}=\sigma _{v}^{2}\mathbf {I} }$

${\displaystyle {\mathcal {D}}={\mathcal {G}}{\mathcal {C}}+{\mathcal {V}}.}$

さらに、はおよびから独立するようにモデル化されます。 ${\displaystyle {\mathcal {V}}}$${\displaystyle {\mathcal {S}}}$${\displaystyle {\mathcal {U}}}$

HVS モデルと NSS の双対性は、HVS のいくつかの側面がソース モデルですでに考慮されていることを意味します。ここで、HVS は、視覚信号の知覚における不確実性が、ソースと歪んだ画像から抽出できる情報量を制限するという仮説に基づいてさらにモデル化されます。この不確実性の原因は、 HVS モデルで視覚ノイズとしてモデル化できます。特に、ウェーブレット分解の特定のサブバンドの HVS ノイズは、加法性ホワイト ガウス ノイズとしてモデル化されます。およびをランダム フィールドとし、およびは共分散が および であるゼロ平均ガウス ベクトルです。さらに、およびはHVS の出力における視覚信号を表すものとします。数学的には、およびとなります。およびは、、およびに依存しないランダム フィールドであることに注意してください。 ${\displaystyle {\mathcal {N}}=\{{\bar {N}}_{i}:i\in {\mathcal {I}}\}}$${\displaystyle {\mathcal {N}}'=\{{\bar {N}}_{i}':i\in {\mathcal {I}}\}}$${\displaystyle {\bar {N}}_{i}}$${\displaystyle {\bar {N}}_{i}'}$${\displaystyle \mathbf {C} _{N}}$${\displaystyle \mathbf {C} _{N}'}$${\displaystyle {\mathcal {E}}}$${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {E}}={\mathcal {C}}+{\mathcal {N}}}$${\displaystyle {\mathcal {F}}={\mathcal {D}}+{\mathcal {N}}'}$${\displaystyle {\mathcal {N}}}$${\displaystyle {\mathcal {N}}'}$${\displaystyle {\mathcal {S}}}$${\displaystyle {\mathcal {U}}}$${\displaystyle {\mathcal {V}}}$

与えられたサブバンドからのすべてのブロックのベクトルを とします。およびも 同様に定義されます。およびの最大尤度推定をととします。参照から抽出される情報量は次のように得られます。 ${\displaystyle {\bar {C}}^{N}=({\bar {C}}_{1},{\bar {C}}_{2},\ldots ,{\bar {C}}^{N})}$${\displaystyle S^{N},{\bar {D}}^{N},{\bar {E}}^{N}}$${\displaystyle {\bar {F}}^{N}}$${\displaystyle s^{N}}$${\displaystyle S^{N}}$${\displaystyle C^{N}}$${\displaystyle \mathbf {C} _{U}}$

${\displaystyle I({\bar {C}}^{N};{\bar {E}}^{N}|{\bar {S}}^{N}=s^{N})={\frac {1}{2}}\sum _{i=1}^{N}\log _{2}\left({\frac {|s_{i}^{2}\mathbf {C} _{U}+\sigma _{n}^{2}\mathbf {I} |}{|\sigma _{n}^{2}\mathbf {I} |}}\right),}$

一方、テスト画像から抽出される情報量は次のように表される。

${\displaystyle I({\bar {C}}^{N};{\bar {F}}^{N}|{\bar {S}}^{N}=s^{N})={\frac {1}{2}}\sum _{i=1}^{N}\log _{2}\left({\frac {|g_{i}^{2}s_{i}^{2}\mathbf {C} _{U}+(\sigma _{v}^{2}+\sigma _{n}^{2})\mathbf {I} |}{|(\sigma _{v}^{2}+\sigma _{n}^{2})\mathbf {I} |}}\right).}$

ウェーブレット分解のサブバンドのブロックを で表し、他の変数についても同様に、VIFインデックスは次のように定義されます。 ${\displaystyle N}$${\displaystyle j}$${\displaystyle {\bar {C}}^{N,j}}$

${\displaystyle {\textrm {VIF}}={\frac {\sum _{j\in {\textrm {subbands}}}I({\bar {C}}^{N,j};{\bar {F}}^{N,j}\mid S^{N,j}=s^{N,j})}{\sum _{j\in {\textrm {subbands}}}I({\bar {C}}^{N,j};{\bar {E}}^{N,j}\mid S^{N,j}=s^{N,j})}}.}$

LIVE画像品質評価データベース上の歪んだ画像のVIF指数スコアとそれに対応する人間の意見スコアとの間のスピアマン順位相関係数（SROCC）は0.96と評価されている。^{[引用が必要]}

• テキサス大学画像・映像工学研究所
• VIFインデックスの実装
• LIVE画像品質評価データベース