ビデオ品質

ビデオ品質とは、ビデオ伝送または処理システムを通過するビデオの特性であり、知覚されるビデオの劣化を表します (通常は元のビデオと比較)。ビデオ処理システムにより、ビデオ信号に歪みやアーティファクトが生じ、ユーザーのシステムに対する認識に悪影響を与える場合があります。ビデオの制作と配信に携わる多くの関係者にとって、ビデオ品質の確保は重要なタスクです。

ビデオ品質評価は、調査対象のビデオ シーケンス セットの品質を説明するために実行されます。ビデオ品質は、客観的に (数学モデルによって) または主観的に (ユーザーに評価を依頼することによって) 評価できます。また、システムの品質は、オフライン (新しいコーデックやサービスを開発するための実験室環境など) またはインサービス(一定レベルの品質を監視して確保するため) で 決定できます。

世界初のビデオ シーケンスが記録され、伝送されて以来、多くのビデオ処理システムが設計されてきました。このようなシステムは、ビデオ ストリームをエンコードし、さまざまな種類のネットワークまたはチャネルを介して伝送します。アナログ ビデオシステムの時代には、テスト信号 (カラー バーと円の集合など) を使用してシステムの周波数応答を計算することで、ビデオ処理システムの品質面を評価することができました。

デジタルビデオシステムはアナログシステムをほぼ完全に置き換え、品質評価方法も変化しました。デジタルビデオ処理および伝送システムのパフォーマンスは大きく変化する可能性があり、入力ビデオ信号の特性（動きの量や空間の詳細など）、エンコードと伝送に使用される設定、チャネルの忠実度やネットワークのパフォーマンスなど、多くの要因に依存します。

客観的ビデオ品質モデルは、主観的品質評価の結果を近似する数学モデルであり、主観的品質評価では、人間の観察者にビデオの品質を評価するよう求められます。^[1]この文脈では、モデルという用語は、いくつかの独立変数（ネットワーク上のパケット損失率やビデオコーディングパラメータなど）を回帰技術を使用した主観的品質評価テストで得られた結果に適合させる単純な統計モデルを指す場合があります。モデルは、ソフトウェアまたはハードウェアで実装されたより複雑なアルゴリズムである場合もあります。

モデルとメトリックという用語は、品質の指標となる記述統計を意味するため、現場ではしばしば互換的に使用されます。「客観的」という用語は、一般的に、品質モデルは客観的に測定できる基準、つまり人間の解釈が不要な基準に基づいているという事実を指します。品質モデルは、コンピューター プログラムによって自動的に評価できます。人間の観察者パネルとは異なり、客観的モデルは、特定の入力パラメーター セットに対して常に決定論的に同じ品質スコアを出力する必要があります。

客観的品質モデルは、計測機器としての応用を強調するために、機器（品質）モデルと呼ばれることもあります^{[2] [3]}。一部の著者は、「客観的」という用語は「機器測定が客観性を持つことを意味するが、それは一般化できる場合にのみ客観性を持つ」ため誤解を招くと指摘しています^{[4] 。}

客観モデルは、元の信号、受信信号、あるいは信号が存在するかどうかに関する情報の量によって分類することができる。^[5]

• フル リファレンス メソッド (FR): FR モデルは、元のビデオ信号と受信したビデオ信号を比較して品質の違いを計算します。通常、ソースのすべてのピクセルは、受信したビデオの対応するピクセルと比較されますが、その間のエンコードまたは送信プロセスについては考慮されません。より複雑なアルゴリズムでは、ピクセル ベースの推定と、以下で説明するような他のアプローチを組み合わせる場合があります。FR モデルは通常、最も正確ですが、計算量が多くなります。送信またはコーディングの前に元のビデオが利用可能である必要があるため、すべての状況で使用できるわけではありません (品質がクライアント デバイスから測定される場合など)。
• 縮小参照法 (RR): RR モデルは、両方のビデオからいくつかの特徴を抽出し、比較して品質スコアを算出します。元のビデオがすべて利用できない場合や、帯域幅が制限された送信など、実際に利用できない場合に使用されます。これにより、精度は低くなりますが、FR モデルよりも効率的になります。
• 非参照方式 (NR): NR モデルは、元の信号を参照せずに、歪んだビデオの品質を評価しようとします。元の信号がないため、FR または RR アプローチよりも精度が低くなる可能性がありますが、計算はより効率的です。ビデオ品質専門家グループには、非参照メトリック (NORM と呼ばれる) の開発に特化したワーキング グループがあります。
  • ピクセルベースの方法 (NR-P):ピクセルベースのモデルは、信号のデコードされた表現を使用し、ピクセル情報に基づいて品質を分析します。これらの一部は、ぼやけやその他のコーディングアーティファクトなど、特定の劣化タイプのみを評価します。
  • パラメトリック/ビットストリーム方式 (NR-B):これらのモデルは、 MPEG-TSパケット ヘッダー、モーション ベクトル、量子化パラメーターなど、送信コンテナーやビデオ ビットストリームから抽出された機能を使用します。元の信号にアクセスせず、ビデオのデコードも不要なため、より効率的です。NR-P モデルとは対照的に、最終的なデコード信号にはアクセスしません。場合によっては、ビットストリーム ベースのメトリックの予測精度は、参照を必要とせずに 1 つの完全な参照に達することがあります。^[6]
  • ハイブリッド方式（ハイブリッドNR-PB）：ハイブリッドモデルは、ビットストリームから抽出されたパラメータとデコードされたビデオ信号を組み合わせます。^[7]したがって、NR-PモデルとNR-Bモデルを組み合わせたものになります。

ビデオ品質評価に使用されるモデル（ PSNRやSSIMなど）は、ビデオシーケンスの各フレームごとに出力が計算される単純な画質モデルです。最近の参照不要の画質モデルの概要は、Shahidらによる論文でも紹介されています。^[5]

ビデオ内の各フレームの品質測定値（画質モデルによって決定）を記録し、時間の経過とともに蓄積することで、ビデオ シーケンス全体の品質を評価できます。この方法は実装が簡単ですが、パケット損失とその隠蔽によって生じる動くアーティファクトなど、時間の経過とともに発生する特定の種類の劣化は考慮されません。VQM やMOVIE Indexなど、品質劣化の時間的側面を考慮したビデオ品質モデルを使用すると、人間が知覚する品質をより正確に予測できる可能性があります。

視覚的なアーティファクトの推定は、ビデオ全体の品質を推定するためのよく知られた手法です。これらのアーティファクトの大部分は、非可逆圧縮によって生じる圧縮アーティファクトです。ピクセルベースのメトリックによって通常推定される属性には、次のものがあります。

空間

• ぼやけ— 通常は鋭いエッジ部分における高空間周波数の画像詳細の損失の結果です。
• ブロッキング— ブロックサイズが8、16、または32の画像の内部表現のため、複数のアルゴリズムによって発生します。特定のパラメータを使用すると、ブロック内のピクセルを平均化してブロックを区別することができます。
• リンギング、エコー、ゴーストは、鋭いエッジの近くで「ハロー」、バンド、または「ゴースト」の形をとります。
• 色のにじみ— 画像内の1つの色の端が意図せず別の色ににじんだり重なったりするときに発生します。
• 階段ノイズは、対角線または曲線のエッジに沿ったブロックの特殊なケースです。滑らかにレンダリングされるのではなく、階段のように見えます。

時間的

• ちらつき— 通常、時間軸に沿って明るさや色が頻繁に変化します。これは、細粒度のちらつきと粗粒度のちらつきに分類されることが多いです。
• モスキート ノイズ— ちらつきの一種で、高周波コンテンツ (前景エンティティと背景またはハード エッジ間の急激な遷移) の周囲にぼやけや揺らめきが生じるのが特徴です。
• 浮遊— 特定の領域が動いているように見えるが、周囲の領域は静止している。視覚的には、これらの領域は周囲の背景の上に浮いているように見える。
• ジャーキネスまたはジャダーは、フレーム サンプリングによって不均一または不安定な動きとして認識される現象です。これは、24 fps ムービーを 30 または 60 fps のビデオ形式に変換することによって発生することがよくあります。

このセクションでは、ビデオ品質メトリックの例を示します。

客観的なビデオ品質モデルは、人間の観察者によって与えられた結果を予測することが期待されるため、主観的なテスト結果を活用して開発されます。客観的なモデルの開発中は、客観的に予測された値と、多くの場合平均オピニオンスコア(MOS)として利用できる主観的なスコアとの間の最良の相関関係を達成するために、そのパラメータをトレーニングする必要があります。

最も広く使用されている主観的テスト材料はパブリックドメインであり、静止画、動画、ストリーミングビデオ、高解像度、3D（立体視）、および特殊用途の画質関連のデータセットが含まれます。^[18]これらのいわゆるデータベースは、世界中のさまざまな研究機関によって作成されています。その一部は事実上の標準となっており、画像およびビデオエンジニアリング研究所（LIVE）によって作成および管理されているいくつかのパブリックドメイン主観的画質データベースや、タンペレ画像データベース2008などがあります。データベースのコレクションは、QUALINETデータベースリポジトリにあります。消費者デジタルビデオライブラリ（CDVL）は、モデル開発用の無料で利用できるビデオテストシーケンスをホストしています。

一部のデータベースでは、事前に計算されたメトリックスコアも提供しており、他のユーザーが新しいメトリックを既存のメトリックと比較できるようにしています。例を下の表に示します。

理論上、モデルはデータセットで完全に一致するスコアを生成するようにデータセットでトレーニングできます。ただし、このようなモデルは過剰にトレーニングされるため、新しいデータセットではうまく機能しません。したがって、新しいデータに対してモデルを検証し、その結果のパフォーマンスをモデルの予測精度の実際の指標として使用することを お勧めします。

モデルのパフォーマンスを測定するためによく使用される指標には、線形相関係数、スピアマンの順位相関係数、および二乗平均平方根誤差(RMSE) などがあります。その他の指標には、カッパ係数と外れ値比率があります。ITU-T 勧告 P.1401 では、客観的なモデルを評価および比較するための統計手順の概要が示されています。

客観的なビデオ品質モデルは、さまざまなアプリケーション分野で使用できます。ビデオコーデックの開発では、コーデックのパフォーマンスは PSNR または SSIM の観点から評価されることがよくあります。サービスプロバイダーの場合、客観的なモデルはシステムの監視に使用できます。たとえば、IPTVプロバイダーは、ユーザーに意見を聞いたり、ビデオ品質が悪いという顧客からの苦情を待ったりするのではなく、客観的なモデルを使用してサービス品質を監視することを選択できます。これらの標準のうち、PEVQやVQuad-HDなど、商用アプリケーションになっているものはほとんどありません。SSIMは、市販のビデオ品質ツールセット (SSIMWAVE) の一部でもあります。VMAFは、 Netflixによってエンコードおよびストリーミング アルゴリズムを調整し、すべてのストリーミング コンテンツの品質管理に使用されています。^{[19] [20]また、} Bitmovin ^[21]などの他のテクノロジー企業でも使用されており、 FFmpegなどのソフトウェアに統合されています。

客観的なモデルは、それが開発されたコンテキストでのみ使用する必要があります。たとえば、特定のビデオ コーデックを使用して開発されたモデルは、別のビデオ コーデックでも正確であるとは限りません。同様に、大型のテレビ画面で実行されるテストでトレーニングされたモデルは、携帯電話で視聴されるビデオの品質を評価するために使用しないでください。

ビデオコーデックの品質を推定する場合、前述の客観的な方法はすべて、必要な視覚品質レベルを満たすエンコードパラメータを決定するためにエンコード後のテストを繰り返す必要があるため、時間がかかり、複雑で、実際の商用アプリケーションに実装するには非現実的です。実際のエンコードを実行する前に、エンコードされたビデオの知覚品質レベルを予測できる新しい客観的評価方法の開発が進行中です。^[22]

多目的ビデオ品質メトリクスの主な目的は、システムによって処理されたビデオの品質に関する平均的なユーザー (視聴者) の意見を自動的に推定することです。主観的なビデオ品質測定の手順は、 ITU-R勧告 BT.500 および ITU-T 勧告 P.910 に記載されています。このようなテストでは、ビデオ シーケンスが視聴者のグループに示されます。視聴者の意見が記録され、平均意見スコアに平均化されて、各ビデオ シーケンスの品質が評価されます。ただし、テスト手順は、テストするシステムの種類によって異なる場合があります。

• ビデオ用語集
• ＭＤＩ
• 平均オピニオンスコア
• 映画インデックス
• ＰＳＮ比
• シーエム
• 主観的なビデオ品質
• ビデオコーデック
• VMAF
• 視覚情報の忠実性

• 主観的ビデオ品質に関するITU-Rの勧告
• 客観的および主観的なビデオ品質に関するITU-T勧告