ビデオ圧縮画像タイプ

ビデオ圧縮の分野では、ビデオフレームは、主にデータ圧縮量を中心に、長所と短所が異なるさまざまなアルゴリズムを使用して圧縮されます。ビデオフレームのこれらのさまざまなアルゴリズムは、ピクチャタイプまたはフレームタイプと呼ばれます。さまざまなビデオアルゴリズムで使用される3つの主要なピクチャタイプは、 I、P、およびBです。^[1] それらは次の特性が異なります。

• Iフレームは圧縮性が最も低いですが、デコードに他のビデオ フレームを必要としません。
• Pフレームは、前のフレームのデータを使用して解凍できるため、I フレームよりも圧縮性に優れています。
• Bフレームは、データ参照に前のフレームと次のフレームの両方を使用して、最大限のデータ圧縮を実現できます。

ビデオ圧縮では、I フレーム、P フレーム、B フレーム の 3 種類の画像(またはフレーム) が使用されます。

I フレーム( Intra -coded picture ) は、 JPGまたはBMP画像ファイルのような完全な画像です。

Pフレーム(予測画像) には、前のフレームからの画像の変更のみが保持されます。たとえば、車が静止した背景を横切るシーンでは、車の動きのみをエンコードする必要があります。エンコーダーは、変化しない背景ピクセルを P フレームに保存する必要がないため、スペースを節約できます。P フレームはデルタ フレームとも呼ばれます。

Bフレーム(双方向予測画像) は、現在のフレームと前後のフレームの差分を使用してコンテンツを指定することで、さらに多くのスペースを節約します。

P フレームと B フレームはインター フレームとも呼ばれます。I、P、B フレームが配置される順序は、グループ オブ ピクチャと呼ばれます。

「フレーム」と「画像」という用語はよく同じ意味で使われますが、画像はフレームまたはフィールドのどちらかであるため、画像という用語はより一般的な概念です。フレームは完全な画像であり、フィールドは部分的な画像を構成する奇数または偶数の走査線のセットです。たとえば、HD 1080 画像には 1080 行のピクセルがあります。奇数フィールドは、行 1、3、5...1079 のピクセル情報で構成されます。偶数フィールドは、行 2、4、6...1080 のピクセル情報です。ビデオがインターレース スキャン形式で送信される場合、各フレームは 2 つのフィールドで送信されます。奇数行のフィールドの後に偶数行のフィールドが続きます。

他のフレームを予測するための基準として使用されるフレームを参照フレームと呼びます。

他のフレームからの情報なしでエンコードされたフレームは、I フレームと呼ばれます。単一の先行参照フレーム (または各領域の予測に単一のフレーム) からの予測を使用するフレームは、P フレームと呼ばれます。B フレームは、1 つは先行し、もう 1 つは後続する 2 つの参照フレームの (場合によっては加重された) 平均からの予測を使用します。

H.264/MPEG-4 AVC標準では、予測タイプの粒度は「スライス レベル」まで下げられています。スライスとは、同じフレーム内の他の領域とは別にエンコードされる、空間的に区別されたフレームの領域です。I スライス、P スライス、B スライスは、I、P、B フレームの代わりに使用されます。

通常、画像 (フレーム) はマクロブロックに分割され、次のように、画像全体で同じではなく、マクロブロックごとに個別の予測タイプを選択できます。

• Iフレームにはイントラマクロブロックのみを含めることができます
• Pフレームには、イントラマクロブロックと予測マクロブロックの両方を含めることができます。
• Bフレームには、イントラ、予測、およびバイ予測のマクロブロックを含めることができます。

さらに、H.264ビデオ コーディング標準では、フレームをスライスと呼ばれるマクロブロックのシーケンスに分割することができ、I、B、P フレーム タイプの選択を使用する代わりに、エンコーダーは各スライスごとに予測スタイルを個別に選択できます。また、H.264 には、フレーム/スライスのその他のタイプもいくつかあります。

• SI フレーム/スライス (スイッチング I): コード化されたストリーム間の切り替えを容易にします。SI マクロブロック (特殊なタイプのイントラコード化マクロブロック) が含まれます。
• SPフレーム/スライス（スイッチングP）：コード化ストリーム間の切り替えを容易にします。Pおよび/またはIマクロブロックが含まれます。
• マルチフレームモーション推定（最大16参照フレームまたは32参照フィールド）

マルチフレームの動き予測により、同じ圧縮率を維持しながらビデオの品質が向上します。SI フレームと SP フレーム (拡張プロファイル用に定義) により、エラー訂正が向上します。このようなフレームをスマート デコーダーとともに使用すると、破損した DVD の放送ストリームを復元できます。

• I フレームには画像全体が含まれます。I フレームは、自分自身 (の一部) 以外の他のフレームを参照せずにコード化されます。
• ランダム アクセス ポイントを作成するためにエンコーダーによって生成される場合があります (デコーダーがその画像の位置から最初から適切にデコードを開始できるようにするため)。
• 画像の詳細を区別することで有効な P フレームまたは B フレームの生成が禁止される場合にも生成されることがあります。
• 通常、他のフレーム タイプよりも多くのビットをエンコードする必要があります。

多くの場合、I フレームはランダム アクセスに使用され、他の画像のデコード用の参照として使用されます。デジタル テレビ放送やDVDストレージなどのアプリケーションでは、0.5 秒のイントラ リフレッシュ期間が一般的です。環境によっては、より長いリフレッシュ期間が使用されることもあります。たとえば、ビデオ会議システムでは、I フレームを非常にまれに送信するのが一般的です。

• デコードするには、事前に他の画像をデコードする必要があります。
• 画像データとモーション ベクトル変位の両方、またはこれら 2 つの組み合わせが含まれる場合があります。
• デコード順に前の画像を参照できます。
• 古い標準設計 ( MPEG-2など) では、デコード中に参照として以前にデコードされた 1 つの画像のみを使用し、その画像も表示順序で P 画像より前にする必要があります。
• H.264 では、デコード中に以前にデコードされた複数の画像を参照として使用でき、予測に使用される画像に対して任意の表示順序関係を持つことができます。
• 通常、I フレームと比較して、エンコードに必要なビット数が少なくなります。

• 後続のフレームを表示するには、事前にデコードする必要があります。
• 画像データやモーション ベクトル変位が含まれる場合があります。古い規格では、フレーム全体に対して1 つのグローバル モーション補償ベクトルのみ、またはマクロブロックごとに 1 つのモーション補償ベクトルのみが許可されます。
• 以前にデコードされた 2 つの異なる参照領域を使用して得られた予測を平均化することにより、動き領域 (マクロブロックまたはより小さな領域など) の予測を形成するいくつかの予測モードを含めます。一部の標準では、マクロブロックごとに 2 つの動き補償ベクトル (二重予測) が許可されます。
• 古い標準規格 (MPEG-2 など) では、B フレームは他の画像の予測の参照として使用されることはありません。その結果、詳細が失われても後続の画像の予測品質が損なわれることはないため、このような B フレームには低品質のエンコード (必要なスペースが少ない) を使用できます。
• H.264 ではこの制限が緩和され、エンコーダの裁量で B フレームを他のフレームのデコードの参照として使用できるようになりました。
• 古い標準 (MPEG-2 など) では、デコード中に参照として、以前にデコードされた 2 つの画像が正確に使用され、それらの画像の 1 つが表示順序で B フレームの前にあり、もう 1 つが B フレームの後にあることが要求されます。
• H.264 では、デコード中に 1 枚、2 枚、または 2 枚以上の以前にデコードされた画像を参照として使用でき、予測に使用される画像に対して任意の表示順序関係を持つことができます。
• 情報検索の柔軟性が高まるということは、通常、B フレームでは I フレームや P フレームよりもエンコードに必要なビット数が少なくなることを意味します。

• アニメーションにおけるキーフレーム用語
• ビデオ圧縮
• イントラフレーム
• インターフレーム
• フレームタイプの画像グループアプリケーション
• データモッシュ
• ビデオ

• SP および SI フレームによるビデオストリーミング