Loading article…
ビデオマルチメソッド評価フュージョン( VMAF ) は、Netflixが南カリフォルニア大学、ナント大学のIPI/LS2N ラボ、テキサス大学オースティン校の画像およびビデオ工学研究所 (LIVE)と共同で開発した客観的なフルリファレンスビデオ品質メトリックです。リファレンスおよび歪んだビデオシーケンスに基づいて主観的なビデオ品質を予測します。このメトリックは、さまざまなビデオコーデック、エンコーダー、エンコード設定、または伝送バリアント の品質を評価するために使用できます。
歴史
この指標は、南カリフォルニア大学の C.-C. Jay Kuo 教授のグループによる初期の研究に基づいています。[1] [2] [3]ここでは、サポートベクターマシン(SVM)を使用したさまざまなビデオ品質指標の融合の適用可能性が調査され、「FVQA (融合ベースのビデオ品質評価) インデックス」が導き出されました。このインデックスは、主観的なビデオ品質データベースで既存の画像品質指標よりも優れていることが示されています。
この手法は、Netflix と共同で、Netflix 所有のデータセット (「NFLX」) を含むさまざまな主観的ビデオ データセットを使用してさらに開発されました。その後、「Video Multimethod Assessment Fusion」と改名され、2016 年 6 月にNetflix TechBlogで発表されました[4]。また、リファレンス実装のバージョン 0.3.1 は、許容オープンソース ライセンスの下で利用可能になりました。[5]
2017 年に、この指標は携帯電話の画面表示への適応を含むカスタム モデルをサポートするように更新され、同じ入力素材に対してより高い品質スコアが生成されました。2018 年には、最大4K解像度のコンテンツの品質を予測するモデルがリリースされました。これらのモデルをトレーニングしたデータセットは、一般には公開されていません。
2021年、Beamr、Netflix、南カリフォルニア大学、ナント大学、テキサス大学オースティン校、SSIMWAVE、ディズニー、Google、Brightcove、ATEMEは、ビデオエンコーディング最適化のためのオープン知覚メトリクスの開発により、テクノロジーおよびエンジニアリングエミー賞を受賞しました。大学がエミー賞を受賞したのは20年で2度目であり、フランスの大学が受賞したのも初めてでした。[6] [7]
コンポーネント
VMAF は、既存の画像品質メトリックやその他の機能を使用してビデオ品質を予測します。
- 視覚情報忠実度（VIF）：4つの異なる空間スケールでの情報忠実度の損失を考慮する
- ディテールロスメトリック（DLM）[8]は、ディテールの損失や視聴者の注意をそらす障害を測定する。
- 平均共存ピクセル差（MCPD）：輝度成分のフレーム間の時間差を測定
上記の特徴は、SVM ベースの回帰を使用して融合され、ビデオ フレームごとに 0 ～ 100 の範囲の単一の出力スコアを提供します。100 は参照ビデオと同じ品質です。これらのスコアは、算術平均を使用してビデオ シーケンス全体で時間的にプールされ、全体的な差分平均オピニオン スコア(DMOS) が提供されます。
トレーニング ソース コード (「VMAF 開発キット」、VDK) が公開されているため、さまざまなビデオ データセットと機能に基づいて融合方法を再トレーニングして評価できます。
アンチノイズ信号対雑音比（AN-SNR）は、VMAFの初期バージョンでは品質指標として使用されていましたが、その後廃止されました。[9]
パフォーマンス
VMAFの初期バージョンは、主観的評価と比較した場合、4つのデータセットのうち3つで予測精度の点でSSIM、PSNR -HVS、VQM-VFDなどの他の画像およびビデオ品質メトリクスよりも優れていることが示されています。[4]そのパフォーマンスは別の論文でも分析されており、ビデオデータセットではVMAFがSSIMやMS-SSIMよりも優れたパフォーマンスを発揮しないことがわかりました。[10] 2017年、RealNetworksのエンジニアは、Netflixのパフォーマンス調査結果の再現性が良好であると報告しました。[11] MSUビデオ品質メトリクスベンチマークでは、さまざまなバージョン（VMAF NEGを含む）がテストされ、VMAFはすべての圧縮標準（H.265、VP9、AV1、VVC）で他のすべてのメトリクスを上回りました。
VMAFスコアは、ビデオを歪ませる前または後にさまざまな操作を適用することで、知覚される品質を向上させることなく人為的に増加させることができ、一般的なPSNRメトリックに影響を与えないこともあります。[12] [13]
ソフトウェア
CとPythonで書かれたリファレンス実装（「VMAF開発キット、VDK」）は、BSD +特許ライセンスの条件の下でフリーソフトウェアとして公開されています。 [14]ソースコードと追加資料はGitHubで入手できます。[5]
参照
- ビデオ品質の知覚評価(PEVQ)
- VQuad-HD
参考文献
- ^ Liu, Tsung-Jung; Lin, Joe Yuchieh; Lin , Weisi; Kuo, C.-C. Jay (2013). 「視覚品質評価: 最近の動向、コーディングアプリケーション、および将来の動向」. APSIPA Transactions on Signal and Information Processing . 2. doi : 10.1017/atsip.2013.5 . hdl : 10356/106287 . ISSN 2048-7703.
- ^ Lin, Joe Yuchieh; Liu, TJ; Wu, ECH; Kuo, CCJ (2014 年 12 月)。「融合ベースのビデオ品質評価 (Fvqa) インデックス」。信号および情報処理協会年次サミットおよび会議 (APSIPA)、2014 アジア太平洋。pp. 1–5。doi :10.1109 / apsipa.2014.7041705。ISBN 978-6-1636-1823-8. S2CID 7742774。
- ^ Lin, Joe Yuchieh; Wu, Chi-Hao; Ioannis, Katsavounidis; Li, Zhi; Aaron, Anne; Kuo, C.-C. Jay (2015 年 6 月)。「EVQA: アンサンブル学習ベースのビデオ品質評価インデックス」。2015 IEEE 国際マルチメディア会議およびエクスポ ワークショップ (ICMEW) 。pp . 1–5。doi :10.1109/ ICMEW.2015.7169760。ISBN 978-1-4799-7079-7. S2CID 6996075。
- ^ ab Blog、Netflix Technology ( 2016-06-06 )。「実用的な知覚的ビデオ品質メトリックに向けて」Netflix TechBlog。2017-07-15閲覧。
- ^ ab vmaf: マルチメソッド融合に基づく知覚的ビデオ品質評価、Netflix, Inc.、2017-07-14、2017-07-15取得
- ^ 「第72回テクノロジー＆エンジニアリング・エミー賞受賞者 – エミー賞」theemmys.tv 2021年1月25日2021年2月8日閲覧。
- ^ パトロン、ジュリアン。 「テクノロジー：ナント大学でエミー賞を受賞！」。UNNEWS (フランス語) 。2021年2月8日閲覧。
- ^ Li, S.; Zhang, F.; Ma , L.; Ngan, KN (2011 年 10 月)。「ディテール損失と付加的劣化を個別に評価することによる画像品質評価」。IEEE Transactions on Multimedia。13 ( 5): 935–949。doi : 10.1109 /tmm.2011.2152382。ISSN 1520-9210。S2CID 8618041 。
- ^ Zhili, Henry. 「AN-SNR の削除」。Github。
- ^ バンピス、クリストス G.ボビック、アラン C. (2017-03-02)。 「ストリーミング ビデオ QoE の予測の学習: 歪み、再バッファリング、メモリ」。arXiv : 1703.00633 [cs.MM]。
- ^ Rassool, Reza (2017). 「VMAF 再現性: 知覚的実用ビデオ品質メトリックの検証」(PDF) . 2017 IEEE 国際ブロードバンドマルチメディアシステムおよび放送シンポジウム (BMSB) . pp. 1–2. doi :10.1109/BMSB.2017.7986143. ISBN 978-1-5090-4937-0. S2CID 5449498 . 2017年11月30日閲覧。
- ^ ズベズダコワ、アナスタシア;ズベズダコフ、セルゲイ。クリコフ、ドミトリー。バトリン、ドミトリー (2019-04-29)。 「ビデオの色とコントラストの歪みによる VMAF のハッキング」。arXiv : 2107.04510 [cs.MM]。
- ^ シニュコフ、マクシム;アンツィフェロワ、アナスタシア。クリコフ、ドミトリー。ドミトリー・バトリン（2021）。 「VMAF および VMAF NEG のハッキング: さまざまな前処理方法に対する脆弱性」。arXiv : 2107.04510 [cs.MM]。
- ^ 「BSD+Patent | Open Source Initiative」。2017年5月18日。
外部リンク
- リファレンス実装