インターレース解除

デインターレースは、インターレース ビデオを非インターレース形式またはプログレッシブ形式に変換するプロセスです。インターレース ビデオ信号は、アナログ テレビ、VHS、レーザーディスク、 1080i形式のデジタル テレビ ( HDTV ) 、一部のDVDタイトル、および少数のBlu-rayディスクでよく使用されます。

インターレースビデオフレームは、順番に撮影された 2 つのフィールドで構成されます。最初のフィールドには画像の奇数ラインがすべて含まれ、2 番目のフィールドには偶数ラインがすべて含まれます。アナログ テレビでこの手法が採用されたのは、伝送帯域幅を小さくしながら、フレーム レートを高く保って、よりスムーズでリアルな動きを実現できるためです。同じ帯域幅を使用する非インターレース (またはプログレッシブ スキャン) 信号では、ディスプレイの更新頻度が半分になるため、ちらつきやスタッターが生じることが分かりました。CRT ベースのディスプレイは、完全にアナログであるため、交互のラインをシームレスにブレンドしてインターレース ビデオを正しく表示できました。ただし、2000 年代初頭以降、テレビやコンピューター モニターなどのディスプレイはほぼ完全にデジタル化され、ディスプレイが個別のピクセルで構成されるようになりました。このようなディスプレイでは、インターレースが目立つようになり、目障りな視覚的欠陥として現れることがあります。インターレース解除プロセスでは、これらを最小限に抑えるようにする必要があります。

したがって、インターレース解除は必要なプロセスであり、ほとんどの最新の DVD プレーヤー、Blu-ray プレーヤー、LCD/LED テレビ、デジタル プロジェクター、テレビ セットトップ ボックス、プロ用放送機器、コンピューター ビデオ プレーヤーおよびエディターに組み込まれています (ただし、品質レベルはそれぞれ異なります)。

デインターレースは数十年にわたって研究されており、複雑な処理アルゴリズムを採用していますが、一貫した結果を得ることは非常に困難でした。^{[1] [2]}

ビデオフィルムと写真フィルムは、一連のフレーム(静止画像) を高速で連続してキャプチャしますが、テレビ システムでは、イメージ センサーをライン (行) ごとにシリアル スキャンしてキャプチャした画像を読み取ります。アナログ テレビでは、各フレームは 2 つの連続するフィールドに分割され、1 つはすべて偶数ラインを含み、もう 1 つは奇数ラインを含みます。フィールドは、公称フレーム レートの 2 倍の速度で連続してキャプチャされます。たとえば、PALおよびSECAMシステムのレートは 25 フレーム/秒または 50 フィールド/秒ですが、NTSCシステムは 29.97 フレーム/秒または 59.94 フィールド/秒です。フレームをフレーム レートの 2 倍で半分の解像度のフィールドに分割するこのプロセスは、インターレースと呼ばれます。

インターレース信号には、2 つの異なる時間に撮影されたビデオ フレームの 2 つのフィールドが含まれているため、視覚効果の残像を利用して、視聴者の動きの認識が強化され、ちらつきが軽減されます。これにより、非インターレース映像と比較して、時間解像度が実質的に 2 倍になります (フレーム レートがフィールド レートと同じ場合)。ただし、インターレース信号には、個々のフィールドを順番に表示できるネイティブ機能を備えたディスプレイが必要であり、電子スキャンと固定解像度の欠如のため、従来のCRTベースのテレビ セットのみがインターレース信号を表示できます。

LCD、DLP、プラズマ ディスプレイなどの最新のディスプレイのほとんどは、解像度が固定されており、プログレッシブ スキャンのみをサポートしているため、インターレース モードで動作できません。このようなディスプレイでインターレース信号を表示するには、インターレース解除と呼ばれるプロセスを使用して、2 つのインターレース フィールドを 1 つのプログレッシブフレームに変換する必要があります。ただし、異なる時点で取得された 2 つのフィールドを再結合して一度に表示されるフル フレームにすると、画像内の移動オブジェクトにインターレース アーティファクトまたはコーミングと呼ばれる視覚的な欠陥が発生します。優れたインターレース解除アルゴリズムは、インターレース アーティファクトを可能な限り回避し、プロセスで画質を犠牲にしないようにする必要がありますが、これを一貫して実現するのは困難です。欠落した画像情報を推定する手法はいくつかありますが、それらはむしろインテリジェント フレーム作成のカテゴリに分類され、複雑なアルゴリズムとかなりの処理能力を必要とします。

デインターレース技術は複雑な処理を必要とするため、ビデオ フィードに遅延が生じる可能性があります。通常は目立ちませんが、古いビデオ ゲームの表示がコントローラの入力より遅れることがあります。そのため、多くのテレビには「ゲーム モード」があり、画質を犠牲にして速度を最大化するために最小限の処理が行われます。デインターレースはこのような遅延の原因の一部にすぎません。スケーリングにも、実行に数ミリ秒かかる複雑なアルゴリズムが関係しています。

一部のインターレース ビデオは元々プログレッシブ映像から作成されたものである可能性があり、インターレース解除プロセスではこの点も考慮する必要があります。

典型的な映画素材は、24 フレーム/秒のフィルムで撮影されます。フィルムをインターレース ビデオに変換するには、通常、各フレームを複数のフィールドに変換するテレシネと呼ばれるプロセスを使用します。場合によっては、各フィルム フレームが正確に 2 つのプログレッシブ セグメント フレーム(PsF)で表され、この形式では、各フィールドにまったく同じプログレッシブ フレームの一部が含まれているため、複雑なデインターレース アルゴリズムは必要ありません。ただし、50 フィールド インターレース PAL/SECAM または 59.94/60 フィールド インターレース NTSC 信号に一致させるには、さまざまな「プルダウン」手法を使用してフレーム レートを変換する必要があります。ほとんどの高度なテレビ セットでは、逆テレシネプロセスを使用して元の 24 フレーム/秒の信号を復元できます。もう 1 つのオプションは、PAL/SECAM 変換のために 24 フレーム フィルムを 4% (25 フレーム/秒) 高速化することです。この方法は、DVD や PAL 市場のテレビ放送 (SD および HD) で今でも広く使用されています。

DVD は、これらの方法のいずれかを使用してムービーをエンコードするか、元の 24 フレーム/秒のプログレッシブ ビデオを保存し、MPEG-2 デコーダ タグを使用してビデオ プレーヤーにインターレース形式に変換する方法を指示します。Blu -rayのほとんどのムービーは、元の非インターレース 24 フレーム/秒のモーション フィルム レートを保持しており、変換の必要なく、プログレッシブ 1080p24 形式でディスプレイ デバイスに直接出力できます。

一部の 1080i HDV ビデオカメラは、映画のようなフレーム レートである 24 または 25 フレーム/秒の PsF モードも提供しています。テレビ制作チームは、意図したビデオ システム形式で放送するためにフレーム レート変換を必要としない素材の場合、25 または 30 フレーム/秒で動作する特殊なフィルム カメラを使用することもできます。

インターレース解除では、ディスプレイが 1 つ以上のフィールドをバッファリングし、それらを完全なフレームに再結合する必要があります。理論上は、1 つのフィールドをキャプチャし、次に受信するフィールドと結合して 1 つのフレームを作成するのと同じくらい簡単です。ただし、元々記録された信号は、異なる時点の 2 つのフィールドから生成されたものであり、特別な処理を行わないと、フィールド間の動きによって通常、交互のラインが互いにわずかにずれる「コーミング」効果が発生します。

ビデオのインターレースを解除する方法はいろいろありますが、それぞれに異なる問題やアーティファクトが生じます。アーティファクトが他の方法よりはるかにきれいな方法もあります。

ほとんどのデインターレース技術は、次の 3 つの大きなグループに分類されます。

1. フィールド結合デインターレースは、偶数フィールドと奇数フィールドを 1 つのフレームに結合します。これにより、認識されるフレーム レート (時間解像度) が半分になり、50i または 60i が 25p または 30p に変換されます。
2. フィールド拡張デインターレースは、各フィールド（ラインの半分のみ）を画面全体に拡張してフレームを作成します。これにより、画像の垂直解像度が半分になりますが、元のフィールド レートは維持されます（50i または 60i は 50p または 60p に変換されます）。
3. 動き補正デインターレースは、より高度なアルゴリズムを使用してフィールド間の動きを検出し、必要に応じて手法を切り替えます。これにより、最高品質の結果が得られますが、最も多くの処理能力が必要になります。

そのため、現代のデインターレースシステムは、複数のフィールドをバッファリングし、エッジ検出などの技術を使用してフィールド間の動きを検出します。これにより、元のフィールドから欠落しているラインを補間し、コーミング効果を軽減します。^[3]

これらの方法では、偶数フィールドと奇数フィールドを 1 つのフレームに組み合わせます。時間解像度 (認識されるフレーム レート) を犠牲にして垂直解像度を完全に保持するため、50i/60i は 24p/25p/30p に変換され、元の滑らかで流れるような感覚が失われる場合があります。ただし、インターレース信号が元々フィルムなどの低フレーム レート ソースから生成されたものである場合は、情報が失われることはなく、これらの方法で十分です。

• ウィービングは、連続するフィールドを 1 つのフレームにインターリーブ (「ウィービング」) することによって実行される、最も単純で基本的な方法です。この方法では、フィールド間で画像が変化していない場合は問題は発生しませんが、動きがあると、1 つのフィールドのピクセルが他のフィールドのピクセルと揃わず、ギザギザのエッジが形成される、「コーミング」と呼ばれるアーティファクトが発生します。

• ブレンディングは、連続するフィールドをブレンディング、つまり平均化して1 つのフレームとして表示することによって行われます。画像が重なり合うため、コーミングは回避されます。代わりに、ゴーストと呼ばれるアーティファクトが残ります。画像は垂直解像度と時間解像度の両方を失います。この手法で作成されたビデオは垂直方向に半分のピクセル数しか必要としませんが、出力で垂直ピクセルの数値的な損失がないように、垂直方向のサイズ変更と組み合わせられることがよくあります。補間を使用すると、画像がさらにソフトになることがあります。ブレンディングでは、2 つのモーション フィールドが 1 つのフレームに結合されるため、時間解像度も半分に失われます。
• 選択的ブレンディング、またはスマートブレンディング、あるいはモーションアダプティブブレンディングは、ウィービングとブレンディングを組み合わせたものです。フレーム間で変化していない領域は処理を必要としないため、フレームはウィービングされ、必要な領域のみがブレンドされます。これにより、垂直解像度は完全に維持され、時間解像度は半分になります。また、両方の手法を選択的に組み合わせるため、ウィービングやブレンディングよりもアーティファクトが少なくなります。
• 逆テレシネ:テレシネは、毎秒 30 フレームの NTSC ビデオ システムを使用する国で、毎秒 24 フレームの動画ソースをインターレース TV ビデオに変換するために使用されます。毎秒 25 フレームの PAL を使用する国では、テレシネは必要ありません。動画ソースは、必要な毎秒 25 フレームを達成するために 4% 高速化されるだけです。テレシネを使用した場合、アルゴリズムを逆にして、フレーム レートが遅い元の非インターレース映像を取得できます。これが機能するには、正確なテレシネ パターンを知っているか推測する必要があります。他のほとんどのデインターレース方法とは異なり、逆テレシネは、機能すると、元のプログレッシブ ビデオ ストリームを完全に復元できます。
• テレシネ スタイルのアルゴリズム: インターレース フッテージがプログレッシブ フレームから低速フレーム レートで生成された場合 (「カートゥーン プルダウン」など)、一致する前/次のフレームから欠落しているフィールドをコピーすることで、元のフレームを正確に復元できます。一致しない場合 (フレーム レートが高い短いカートゥーン シーケンスなど)、フィルターはブレンディングやライン ダブリングなどの別のデインターレース方法にフォールバックします。つまり、テレシネの最悪のケースは、ゴーストや解像度の低下したフレームが時々発生することです。対照的に、より高度なモーション検出アルゴリズムが失敗すると、元の素材に忠実でないピクセル アーティファクトが発生する可能性があります。テレシネビデオの場合、フレーム レートを下げるために後処理としてデシメーションを適用できます。この組み合わせは、異なるインターレース フッテージをつなぎ合わせると失敗する単純な逆テレシネよりも一般的に堅牢です。

これらの方法では、各フィールド (ライン数は半分のみ) を画面全体に拡張してフレームを作成します。これにより、画像の垂直解像度は半分になりますが、元のフィールド レートは維持されます (50i または 60i は 50p または 60p に変換されます)。

• ハーフサイズ化では、インターレースされた各フィールドが単独で表示されるため、元のビデオの垂直解像度が半分になり、スケーリングされません。この方法では、元のピクセルと時間解像度がすべて保持されますが、アスペクト比が間違っているため、通常の視聴には使用されません。ただし、隣接するピクセルの情報を利用するフィルター (シャープニングなど) など、非インターレース フレームを想定するビデオ フィルターを適用する場合は、この方法が有効です。

• ライン ダブリングまたは「ボビング」は、各インターレース フィールド (偶数または奇数ラインのみで構成) のラインを 2 倍にして、フレーム全体を埋めます。この結果、ビデオのフレーム レートは元のフィールド レートと同じになりますが、各フレームの垂直解像度は半分、つまりフレームが作成された各フィールドの解像度と同じになります。ライン ダブリングは、コーミング アーティファクトを防ぎ、スムーズな動きを維持しますが、垂直解像度の損失や、奇数ラインと偶数ラインが交互になるにつれて静止したオブジェクトが上下に揺れるように見える視覚異常によって、画質が著しく低下する可能性があります。このため、これらの手法はボブ デインターレースおよびリニア デインターレースとも呼ばれます。この方法のバリエーションでは、各フレームから 1 つのフィールドを破棄して、時間解像度を半分にします。

ラインダブリングは、一般的なデインターレースや、空間フィルタリングを使用して余分なラインを生成し、あらゆるタイプのディスプレイ上のピクセル化の可視性を低減する補間（画像スケーリング）と混同されることがあります。 ^[4]「ラインダブラー」という用語は、ハイエンドの民生用電子機器でより頻繁に使用され、「デインターレース」は、コンピューターとデジタルビデオの分野でより頻繁に使用されます。

より高度なデインターレース アルゴリズムでは、従来のフィールド結合方法 (ウィービングとブレンディング) とフレーム拡張方法 (ボブまたはライン ダブリング) を組み合わせて、高品質のプログレッシブ ビデオ シーケンスを作成します。動きの方向と量に関する基本的なヒントの 1 つは、インターレース信号内のコーミング アーティファクトの方向と長さです。

最も優れたアルゴリズムは、2 つのフィールドをより適切にブレンドするために、後続のフィールド間の画像の動きの方向と量を予測しようとします。ビデオ圧縮で使用されるブロック モーション補正に似たアルゴリズムを使用する場合もあります。たとえば、2 つのフィールドで人物の顔が左に動いている場合、ウィービングによってコーミングが生成され、ブレンドによってゴーストが生成されます。高度なモーション補正では (理想的には)、複数のフィールドの顔が同じ画像であり、別の位置に移動しただけであると認識し、そのような動きの方向と量を検出しようとします。次に、アルゴリズムは、検出された動きの量だけ検出された方向に沿って各フィールドの部分を動かしながら、画像を結合して、両方の出力フレームの顔の完全な詳細を再構築しようとします。この手法を使用するデインターレース ツールは、1 つまたは 2 つのフィールドではなく、多くのフィールドからの情報を使用できるため優れていることがよくありますが、これをリアルタイムで実現するには強力なハードウェアが必要です。

モーション補正は、シーン変更検出(独自の課題あり)と組み合わせる必要があります。そうしないと、まったく異なる 2 つのシーン間でモーションを検出しようとします。モーション補正アルゴリズムが適切に実装されていないと、自然なモーションが妨げられ、静止またはスムーズに動くはずの画像に「ジャンプ」する部分として現れる視覚的なアーティファクトが発生する可能性があります。

インターレース解除方法によって、品質と速度の特性が異なります。

通常、デインターレース方式の品質を測定するには、次の方法が使用されます。

1. プログレッシブビデオのセットが構成されている
2. これらのビデオはすべてインターレースです
3. インターレースビデオはそれぞれ特定のデインターレース方式でデインターレースされます
4. すべてのデインターレースビデオは、PSNR、SSIM、VMAFなどの客観的なビデオ品質メトリックを使用して、対応するソースビデオと比較されます。

主な速度測定基準はフレーム/秒 (FPS)です。これは、デインターレース装置が 1 秒あたりに処理できるフレームの数です。FPS について言えば、すべてのフレームの解像度とハードウェア特性を指定する必要があります。特定のデインターレース方法の速度は、この 2 つの要素に大きく依存するためです。

このベンチマークでは、合成ビデオで 8 つの異なるデインターレース方法を比較しました。ビデオには3 次元のリサージュ曲線が動いており、最新のデインターレース方法では難しいものになっています。著者らはMSEとPSNR を客観的な指標として使用しました。また、処理速度をFPSで測定しています。一部の方法では視覚的な比較のみが行われ、他の方法では客観的な比較のみが行われています。^[5]

このベンチマークでは、40本のビデオシーケンスで20以上の方法を比較しました。シーケンスの合計長さは834フレームです。著者らは、このベンチマークの主な特徴は、視覚的な比較ツール、パフォーマンスプロット、パラメータ調整による包括的な方法の比較であると述べています。著者らは、客観的な指標としてPSNRとSSIMを使用しました。 ^[7]

VapourSynth TDeintMod の作者は、これが双方向モーション適応型デインターレース装置であると述べています。NNEDI 方式は、ニューラル ネットワークを使用してビデオ シーケンスをデインターレースします。FFmpeg Bob Weaver デインターレース フィルターは、ビデオおよびオーディオ処理用のよく知られたフレームワークの一部です。Vapoursynth EEDI3 は「enhanced edge directed interpolation 3」の略語で、この方式の作者は、コスト関数に従って 2 行間の最適な非減少ワーピングを見つけることで機能すると述べています。Real-Time Deep Video Deinterlacer の作者は、Deep CNN を使用して、出力ビデオの最高品質を実現します。

インターレース ビデオ信号のデインターレースは、テレビ制作チェーンのさまざまなポイントで実行できます。

EDTV 576p や HDTV 720p50 放送、またはモバイル DVB-H 放送のように、放送形式またはメディア形式がプログレッシブである場合、インターレース アーカイブ プログラムではインターレース解除が必要です。これを実現するには 2 つの方法があります。

• 制作– インターレース ビデオ素材は、プログラム制作中にプログレッシブ スキャンに変換されます。ビデオ制作者は高価で強力なデインターレース装置とソフトウェアにアクセスでき、おそらく各フレームに最適なデインターレース方法を手動で選択して、可能な限り最高の品質でデインターレースできるため、通常はこれにより可能な限り最高の品質が得られます。
• 放送– リアルタイムのデインターレース ハードウェアは、放送の直前にインターレース プログラムをプログレッシブ スキャンに変換します。処理時間はフレーム レートによって制限され、人間による入力が利用できないため、変換の品質はプリプロダクション方式よりも劣る可能性が高くなります。ただし、高価で高性能なデインターレース装置でも、適切に調整すれば良好な結果が得られる可能性があります。

放送フォーマットまたはメディア フォーマットがインターレースされている場合、セットトップ ボックス、テレビ、外部ビデオ プロセッサ、DVD または DVR プレーヤー、または TV チューナー カードの組み込み回路によってリアルタイムのインターレース解除を実行する必要があります。民生用電子機器は、通常、プロ仕様のインターレース解除機器に比べてはるかに安価で、処理能力がかなり低く、アルゴリズムも単純なため、インターレース解除の品質は大きく異なる可能性があり、ハイエンドの機器でも結果が劣ることがよくあります。^{[引用が必要]}

再生や処理にコンピュータを使用すると、組み込みの民生用電子機器が提供する品質に制限されない、より幅広いビデオ プレーヤーや編集ソフトウェアを選択できるようになるため、少なくとも理論的には、より高いデインターレース品質が可能になります。特に、ユーザーが再生前にインターレース ビデオをプログレッシブ スキャンに事前変換し、高度で時間のかかるデインターレース アルゴリズム (つまり、「制作」方法を採用) を使用できれば、さらに高品質になります。

ただし、無料および商用の消費者向けソフトウェアの品質は、プロ仕様のソフトウェアや機器のレベルに達していない可能性があります。また、ほとんどのユーザーはビデオ制作の訓練を受けていないため、多くの人がデインターレースについてあまり知らず、フレーム レートがフィールド レートの半分であることに気付いていないため、結果が悪くなることがよくあります。多くのコーデック/プレーヤーは、デインターレース自体を実行せず、適切なデインターレースを行うためにグラフィック カードとビデオ アクセラレーション API に依存しています。

欧州放送連合は、制作や放送におけるインターレースビデオの使用に反対し、当時の制作フォーマットとして720p 50 fps （フレーム/秒）を推奨し、2010年代初頭まで業界と協力して、より高い垂直解像度、より低いビットレートでのより良い品質、720p50や1080i50などの他のフォーマットへのより簡単な変換を提供する1080p 50を将来を見据えた制作標準として導入した。^{[14] [15]}主な議論は、デインターレースアルゴリズムがいかに複雑であっても、フレーム間で一部の情報が失われるため、インターレース信号のアーティファクトを除去することはできないというものであった。

ファロウジャ・ラボの創設者であり、デインターレース技術の功績によりエミー賞を受賞したイヴ・ファロウジャは、「インターレースからプログレッシブへの変換は機能しない」と述べ、インターレース信号の使用を控えるよう勧告した。^{[2] [16]}

• インターレースビデオ
• プログレッシブセグメントフレーム：インターレース機器とメディアを使用してプログレッシブスキャンビデオを取得、保存、変更、配信するために設計された方式
• DCDi by Faroudja
• モーションブラーを表示
• リフレッシュレート
• ハイビジョン

• 3:2 プルダウンとデインターレース (theprojectorpros.com)
• ストリームインターレースとデインターレース 2006 年 7 月 19 日にWayback Machineにアーカイブされました(planetmath.org)
• 「フォーマット戦争」 – EBU ドキュメント (インターレースを示すアニメーション付き)
• DVDプログレッシブスキャン - DVDのインターレース解除とフィルムからビデオへの変換
• インターレース解除に関するよくある質問
• 100fps インターレース解除に関する事実、解決策、および例。
• インターレース解除 - VideoLAN Wiki
• 「インターレース、デインターレース、そしてその間のすべて」。Nicole Express。2021年4月16日。