2D＋奥行き

2D-plus-Depthは、 Philips WOWvxなどの 3D ディスプレイで使用される立体視ビデオ コーディングフォーマットです。Philips は、「現在の市場動向」を理由に 2009 年に WOWvx ラインの開発を中止しました。 ^{[ 1 ]}現在、この Philips の技術は、Philips の元主要 3D エンジニアおよび科学者が率いる SeeCubic 社によって使用されています。同社は、3D ビデオ入力に 2D-plus-Depth フォーマットを使用するオートステレオスコピック 3D ディスプレイを提供しています。^{[ 2 ]}

2D+Depthフォーマットについては、Philipsのホワイトペーパー^{[ 3 ]および記事[ 4 ]}で説明されています。

各2D画像フレームには、グレースケール深度マップが付加されており、2D画像内の特定のピクセルをディスプレイの前面（白）に表示する必要があるか、画面の背面（黒）に表示する必要があるかを示します。256段階のグレースケールにより、画像内に滑らかな深度グラデーションを表現できます。モニター内部の処理では、この入力情報を使用してマルチビュー画像をレンダリングします。

ディスプレイ業界のさまざまな企業に支持され、2D-plus-Depthは、ISO/IEC FDIS 23002-3:2007(E)の下で登録された3Dの拡張機能としてMPEGで標準化されています。 ^{[ 5 ]}

2D+Depthフォーマットには、WOWvx Declipseフォーマットと呼ばれる拡張機能もあります。これは、同じPhilipsのホワイトペーパー「3Dインターフェース仕様」で説明されています。この高度なフォーマットでは、各フレームの元の2D画像とその深度マップに、さらに2つの平面が追加されます。それは、前景オブジェクトによって覆われた背景領域と、それぞれの深度マップです。したがって、Declipseフォーマットの各フレームは、4つの部分、つまり象限を含む画像で記述されます。この拡張機能により、マルチビュー生成プロセス中に前景オブジェクトが移動することによって生じる、覆われていないオクルージョン領域をより正確かつ精密に埋めるためのデータが提供されるため、潜在的な視覚品質が向上します。

2Dプラス深度方式の利点は、 2D方式と比較して帯域幅の増加が限定的であることです（圧縮グレースケールでは帯域幅が5～20%増加します）。そのため、既存の配信インフラで使用できます。

2D-plus-Depthは、既存の制作機器や圧縮ツールとの柔軟性と互換性を提供します。^{[ 6 ] [ 7 ]}

これにより、アプリケーションは同一システム内で異なる3Dディスプレイ画面サイズやデザインを使用できるようになります。

もう1つの利点は、このビデオ変換のほぼすべての方法を使用して、2Dからステレオ3Dへの変換の過程で深度マップが作成されることです。 ^{[ 8 ]}そのため、ほぼすべての場合において、変換されたステレオ映像の対応する2D+深度表現が存在します。ステレオで撮影された3Dコンテンツの不足と、変換された3D映画の数を考慮すると、これは大きな利点です。

2Dプラス深度は、既存の2Dディスプレイや3D対応ディスプレイとは互換性がありません。このフォーマットは、8ビットグレースケールで表示できる深度が限られているため、批判を受けています。

2d-plus-Depth は、透明度 (シーン内の半透明オブジェクト) や遮蔽 (オブジェクトが別のオブジェクトの視界を遮る) を処理できません。2d plus DOTフォーマットはこれらの要素を考慮に入れています。^{[ 9 ]}さらに、反射、屈折 (単純な透明度を超える)、その他の光学現象を処理できません。

正確な 2D+深度の作成はコストがかかり難しい場合があるが、最近の距離イメージングの進歩により、このプロセスはより利用しやすくなっている。^{[ 10 ] [ 11 ]}

2D+Depth方式は、2つの完全な画像を使用することで得られる解像度の向上という潜在的なメリットを欠いている。

ほとんどの場合、単眼ビデオの深度を確実に推定することはできません。注目すべき例外は、オブジェクトの動きが静止しているかほとんどないカメラの動きのあるシーンと、深度マップを勾配で十分に近似できる風景シーンです。これにより、深度の自動推定が可能になります。^{[ 12 ] [ 13 ]}一般的には、2D から 2D-plus-Depth への変換には、半自動アプローチのみが有効です。Philips は、2D コンテンツを 2D-plus-Depth 形式に半自動で変換し、ステレオから 2D-plus-Depth を自動生成する機能を含む BlueBox ^{[ 14 ]}という 3D コンテンツ作成ソフトウェア スイートを開発しました。高品質の 2D から 2D-plus-Depth への変換に対する同様の半自動アプローチは、After Effects および NUKE ビデオ合成ソフトウェアのプラグイン セットとして利用可能な YUVsoft の 2D to 3D Suite に実装されています。^{[ 15 ]}

立体視から2D+深度への変換には、シーン変化検出、セグメンテーション、動き推定、画像マッチングなど、いくつかのアルゴリズムが含まれます。新しい高性能ソフトウェアとGPUテクノロジーにより、ライブリアルタイムモードでも自動的な立体視から2D+深度への変換が可能になりました。^{[ 16 ]}

その他の3Dフォーマットには、ステレオ（左右または交互のフレーム）とマルチビュー3Dフォーマット（マルチビュービデオコーディングやスケーラブルビデオコーディングなど）、および2Dプラスデルタがあります。