2Dプラス深度

2D-plus-Depth は、Philips WOWvxなどの 3D ディスプレイで使用される立体ビデオ コーディング形式です。Philips は、2009 年に「現在の市場動向」を理由に WOWvx ラインの開発を中止しました。^[1]現在、この Philips の技術は、Philips の元主要 3D エンジニアと科学者が率いる SeeCubic 社によって使用されています。同社は、3D ビデオ入力に 2D-plus-Depth 形式を使用する自動立体 3D ディスプレイを提供しています。^[2]

2D-plus-Depthフォーマットについては、フィリップスのホワイトペーパー^{[3]と記事[4]}で説明されています。

各 2D 画像フレームには、2D 画像内の特定のピクセルをディスプレイの前 (白) に表示する必要があるか、画面の後ろ (黒) に表示する必要があるかを示すグレースケールの深度マップが補足されています。256 のグレースケールにより、画像内に滑らかな深度グラデーションを作成できます。モニター内の処理では、この入力を使用してマルチビュー画像をレンダリングします。

ディスプレイ業界のさまざまな企業のサポートを受けて、2D-plus-DepthはISO/IEC FDIS 23002-3:2007(E)に基づいて3Dの拡張機能としてMPEGで標準化されました。 ^[5]

2D プラス デプス フォーマットには、WOWvx Declipse フォーマットと呼ばれる拡張機能もあります。これは、同じ Philips のホワイト ペーパー「3D インターフェイス仕様」で説明されています。この高度なフォーマットでは、元の 2D 画像と各フレームのデプス マップに、さらに 2 つの平面が追加されます。つまり、前景オブジェクトによって覆われた背景領域と、それぞれのデプス マップです。したがって、Declipse フォーマットの各フレームは、4 つの部分、つまり象限を含む画像で説明されます。この拡張機能は、マルチビュー生成プロセス中に前景オブジェクトを移動することによって作成された、覆われていないオクルージョン領域をより正確かつ精密に埋めるためのデータを提供することで、潜在的な視覚品質を向上させます。

2D-plus-Depth の利点は、 2D と比較して帯域幅の増加が限られているため (圧縮されたグレースケールでは帯域幅が 5～20% 増加)、既存の配信インフラストラクチャで使用できることです。

2D-plus-Depthは、既存の生産設備や圧縮ツールとの柔軟性と互換性を提供します。^{[6] [7]}

これにより、アプリケーションは同じシステム内で異なる 3D ディスプレイ画面のサイズとデザインを使用できるようになります。

もう1つの利点は、2Dからステレオ3Dへの変換の過程で、このビデオ変換に対するほぼすべてのアプローチを使用して深度マップが作成されることです。^[8]そのため、ほとんどの場合、変換されたステレオ映像にはそれぞれ2Dプラス深度表現があります。ステレオで撮影された3Dコンテンツの不足と変換された3D映画の数を考えると、これは大きな利点です。

2D-plus-Depth は、既存の 2D または 3D-Ready ディスプレイと互換性がありません。この形式は、8 ビット グレースケールで表示できる深度の量が限られているため、批判されてきました。

2d-plus-Depthは、透明度（シーン内の半透明のオブジェクト）とオクルージョン（他のオブジェクトの視界を遮るオブジェクト）を処理できません。2d plus DOTフォーマットはこれらの要素を考慮に入れます。^[9]さらに、反射、屈折（単純な透明度を超える）およびその他の光学現象も処理できません。

正確な2Dプラス深度画像の作成はコストがかかり困難ですが、近年のレンジイメージングの進歩により、このプロセスはよりアクセスしやすくなりました。^{[10] [11]}

2d-plus-Depth では、2 つの完全な画像を使用することで解像度が向上する可能性がありません。

ほとんどの場合、単眼ビデオの深度は確実に推定できません。注目すべき例外は、オブジェクトの動きが静止しているかほとんどない場合のカメラの動きのシーンと、深度マップを勾配で十分に近似できる風景のシーンです。これにより、深度を自動的に推定できます。^{[12] [13]一般的なケースでは、2D から 2D プラス深度への変換には半自動アプローチのみが実行可能です。Philips は、BlueBox [14]}という 3D コンテンツ作成ソフトウェア スイートを開発しました。これには、2D コンテンツを 2D プラス深度形式に半自動変換し、ステレオから 2D プラス深度を自動的に生成する機能が含まれています。高品質の 2D から 2D プラス深度への変換に対する同様の半自動アプローチは、YUVsoft の 2D to 3D Suite に実装されており、After Effects および NUKE ビデオ合成ソフトウェア用のプラグイン セットとして利用できます。^[15]

立体映像から2D+深度映像への変換には、シーンチェンジ検出、セグメンテーション、モーション推定、画像マッチングなどのアルゴリズムがいくつか必要となる。新しい高性能ソフトウェアとGPU技術により、ライブリアルタイムモードでも自動立体映像から2D+深度映像への変換が可能となった。^[16]

その他の 3D 形式には、ステレオ (左右または交互フレーム)、マルチビュー 3D 形式 (マルチビュー ビデオ コーディングやスケーラブル ビデオ コーディングなど)、および2D プラス デルタがあります。