2Dから3Dへの変換

2D から 3D へのビデオ変換( 2D からステレオ 3D への変換、ステレオ変換とも呼ばれる) は、2D (「フラット」) フィルムを3D形式に変換するプロセスです。ほとんどの場合、 3D 形式はステレオであるため、1 つの 2D 画像から各目用の画像を作成するプロセスです。

2D から 3D への変換では、脳が知覚するデジタル画像に両眼視差の奥行き手がかりが追加されるため、適切に行われれば、2D ビデオと比較してステレオ ビデオを視聴する際の没入感が大幅に向上します。ただし、変換が成功するには、十分な精度と正確さで行われる必要があります。つまり、元の 2D 画像の品質が低下してはならず、導入された視差手がかりが脳が奥行き知覚に使用する他の手がかりと矛盾してはなりません。適切かつ徹底的に行われれば、変換によってステレオで撮影され、ポストプロダクションで正確に調整および調整された「ネイティブ」ステレオ ビデオと同等の品質のステレオ ビデオが生成されます。^[1]

ステレオ変換には、映画や高品質の 3DTV 向けの高品質な半自動変換と、安価な3DTV、VODなどのアプリケーション向けの低品質の自動変換という 2 つのアプローチを大まかに定義できます。

3Dモデルで作られたコンピュータアニメーションの2D映画は、元のデータがまだ利用可能な場合、2台目の仮想カメラを追加することで立体3Dで再レンダリングできます。これは技術的には変換ではないため、このように再レンダリングされた映画は、もともと立体3Dで制作された映画と同じ品質になります。この技術の例として、トイストーリーとトイストーリー2の再リリースがあります。2つの映画の元のコンピュータデータを再度検討するのに4か月かかり、3Dを追加するのにさらに6か月かかりました。^[2]ただし、コスト、所要時間、熟練したリソースの不足、コンピュータデータの欠落などの理由で、すべてのCGI映画が3Dの再リリース用に再レンダリングされるわけではありません。

3Dで公開される映画が増えるにつれ、2Dから3Dへの変換がより一般的になってきた。CGIを使わないステレオ3D大ヒット作の大半は、2D映像から完全に、あるいは少なくとも部分的に変換されている。ステレオ撮影を多用したことで知られる『アバター』でさえ、2Dで撮影され、ポストプロダクションでステレオに変換されたシーンがいくつか含まれている。^[3]ステレオではなく2Dで撮影する理由は、金銭的、技術的、時には芸術的である。^{[1] [4]}

• ステレオのポストプロダクション ワークフローは 2D ワークフローよりもはるかに複雑で、十分に確立されていないため、より多くの作業とレンダリングが必要になります。
• プロ仕様の立体撮影装置は、従来の単眼カメラよりもはるかに高価でかさばります。特にアクション シーンなどの一部のショットは、比較的小型の 2D カメラでしか撮影できません。
• ステレオカメラは、ステレオ画像にさまざまな不一致（垂直視差、傾き、色の変化、さまざまな位置での反射やグレアなど）を引き起こす可能性があります。これらは 3D 効果を損なうため、いずれにしてもポストプロダクションで修正する必要があります。この修正は、ステレオ変換に匹敵する複雑さを伴う場合があります。
• ステレオカメラは、撮影中に使用された実際の効果を明らかにすることがあります。たとえば、ロード オブ ザ リングの映画三部作のいくつかのシーンは、2 人の俳優の体格が異なって見えるように、強制遠近法を使用して撮影されました。同じシーンをステレオで撮影すると、俳優がカメラから同じ距離にいなかったことがわかります。
• ステレオ カメラには、その性質上、撮影対象からカメラまでの距離に制限があり、許容できるステレオ分離を実現できます。たとえば、建物の側面を舞台にしたシーンを撮影する最も簡単な方法は、ズーム レンズを使用して、通りの反対側にある隣の建物にカメラ リグを設置することです。ただし、ズーム レンズは許容できる画質を提供しますが、そのような距離ではステレオ分離は事実上ゼロになります。

ステレオ撮影の場合でも、変換が必要になることがよくあります。撮影が難しいシーンのほか、調整するには大きすぎるステレオビューの不一致が発生する可能性があり、ステレオビューの 1 つを元の 2D ソースとして扱い、2D からステレオへの変換を実行する方が簡単です。

特定のアルゴリズムに関係なく、すべての変換ワークフローは次のタスクを解決する必要があります。^{[4] [5]}

1. 「深度予算」の割り当て- 許容される視差または深度の範囲、スクリーン位置に対応する深度値 (いわゆる「収束点」位置)、スクリーン外効果およびスクリーン背後の背景オブジェクトの許容距離範囲を定義します。ステレオ ペアのオブジェクトが両眼でまったく同じ場所にある場合、そのオブジェクトはスクリーン表面に表示され、視差はゼロになります。スクリーンの前のオブジェクトは負の視差にあると言われ、スクリーンの後ろの背景画像は正の視差にあります。左目と右目の画像には、オブジェクトの位置に対応する負または正のオフセットがあります。
2. シーンの種類や動きに応じて快適な視差を制御- 視差が大きすぎたり、奥行きの手がかりが矛盾したりすると、目の疲れや吐き気を引き起こす可能性があります。
3. 覆われていない領域の塗りつぶし- 左または右のビュー画像は異なる角度からのシーンを示し、元の 2D 画像で前景に覆われていたオブジェクトの一部または全体がステレオペアで表示されるようになります。背景の表面が既知であるか推定できる場合、覆われていない領域の塗りつぶしにそれらを使用する必要があります。そうでない場合、正確な再構築は不可能であるため、未知の領域はアーティストによって塗りつぶされるか、または修復される必要があります。

高品質な変換方法では、次のような多くの典型的な問題にも対処する必要があります。

• 半透明の物体
• 反射
• ぼやけた半透明の物体の境界 - 髪の毛、毛皮、前景の焦点が合っていない物体、細い物体など
• フィルムグレイン（本物または人工）および類似のノイズ効果
• 動きが速く不規則なシーン
• 小さな粒子 – 雨、雪、爆発など。

ステレオ変換の半自動方式のほとんどは、深度マップと深度画像ベースのレンダリングを使用します。^{[4] [5]}

その考え方は、各フレームまたは一連の均質なフレームに対して「深度マップ」と呼ばれる別の補助画像を作成し、シーン内に存在するオブジェクトの深度を示すというものです。深度マップは、元の 2D 画像と同じ寸法を持つ別のグレースケール画像で、フレームの各部分の深度を示すためにさまざまなグレーの濃淡があります。深度マッピングは、ビデオ内に 3D オブジェクトのかなり強力な錯覚を生み出すことができますが、本質的に半透明のオブジェクトや領域をサポートしておらず、遮蔽された表面も表現しません。この制限を強調するために、深度ベースの 3D 表現は、明示的に2.5Dと呼ばれることがよくあります。^{[6] [7]} これらの問題やその他の同様の問題は、別の方法で対処する必要があります。^{[6] [8] [9]}

深度ベースの変換方法の主な手順は次のとおりです。

1. 深度予算の割り当て - シーン内の合計深度とスクリーン プレーンの位置。
2. 画像のセグメンテーション、マットまたはマスクの作成（通常はロトスコープを使用）。重要な各サーフェスは分離する必要があります。詳細レベルは、必要な変換品質と予算によって異なります。
3. 深度マップの作成。分離された各サーフェスには深度マップを割り当てる必要があります。個別の深度マップは、シーン深度マップに合成する必要があります。これは、オブジェクト、形状、深度の調整、およびステレオでの中間結果の視覚化を必要とする反復プロセスです。深度マイクロレリーフ、3D 形状が最も重要なサーフェスに追加され、ステレオ画像が異なる深度に設定された平面画像の組み合わせのように見える場合に「段ボール」効果を防ぎます。
4. 2D+Depthをベースに、クリーン プレート、復元された背景、透明マップなどの補足情報を使用してステレオ生成を行います。プロセスが完了すると、左右の画像が作成されます。通常、元の 2D 画像は中央の画像として扱われ、2 つのステレオ ビューが生成されます。ただし、変換コストを最小限に抑えるために、元の画像を片目の画像として使用し、もう一方の目の画像のみを生成する方法もあります。^[4]ステレオ生成中、元の画像のピクセルは、深度マップ、選択された最大視差、および画面表面の位置に応じて左または右にシフトされます。
5. ステレオ ジェネレーターによって埋められなかった未カバー領域の再構築とペイント。

ステレオは、アナグリフを含むプレビューの目的で任意の形式で表示できます。

時間のかかる手順は、画像のセグメンテーション/ロトスコープ、深度マップの作成、およびカバーされていない領域の塗りつぶしです。最後のステップは、最高品質の変換を行うために特に重要です。

深度マップの作成と背景の再構築にはさまざまな自動化技術があります。たとえば、自動深度推定を使用して、特定のフレームやショットの初期深度マップを生成することができます。^[11]

このような仕事に従事する人々は深層芸術家と呼ばれることもある。^[12]

深度マッピングの発展形であるマルチレイヤリングは、グレースケール深度マスクの複数のレイヤーを導入して限定的な半透明を実現することで、深度マッピングの制限を回避します。単純な手法と同様に、^[13]マルチレイヤリングでは、平面画像の複数の「スライス」に深度マップを適用し、深度と突出の近似値を大幅に向上させます。フレームごとに個別に処理されるレイヤーが多いほど、3D 錯覚の品質が高くなる傾向があります。

3D 再構成と再投影は、ステレオ変換に使用できます。これには、シーンの 3D モデルの作成、3D オブジェクトのテクスチャとしての元の画像表面の抽出、最後に 2 台の仮想カメラから 3D シーンをレンダリングしてステレオ ビデオを取得することが含まれます。このアプローチは、建物のある都市のショットや屋内ショットなど、静的で剛性のあるオブジェクトを含むシーンでは十分に機能しますが、非剛性ボディや柔らかくぼやけたエッジでは問題があります。^[3]

もう 1 つの方法は、左右両方の仮想カメラを設定し、両方を元のカメラからオフセットしてオフセットの差を分割し、分離されたオブジェクトとキャラクターのオクルージョン エッジをペイントすることです。基本的には、複数の背景、中景、前景の要素をクリーン プレーティングします。

両眼視差は単純な幾何学から導き出すこともできる。^[14]

さまざまなタイプの動きを利用して、自動的に深度を推定することができます。カメラの動きの場合、シーン全体の深度マップを計算できます。また、物体の動きを検出し、移動領域に背景よりも小さい深度値を割り当てることができます。オクルージョンは、移動面の相対位置に関する情報を提供します。^{[15] [16]}

このタイプのアプローチは、「デフォーカスからの深度」や「ぼかしからの深度」とも呼ばれます。^{[15] [17]}「デフォーカスからの深度」（DFD）アプローチでは、深度情報は対象オブジェクトのぼかしの量に基づいて推定されますが、「フォーカスからの深度」（DFF）アプローチでは、カメラまでの距離を調べるために、異なる焦点距離で撮影された画像の範囲にわたってオブジェクトの鮮明度を比較する傾向があります。DFDが適切に機能するには、異なる焦点の2つまたは3つの画像のみが必要ですが、DFFは少なくとも10〜15枚の画像が必要ですが、以前の方法よりも正確です。

処理された画像に空が検出された場合、より遠くの物体は霞んでいるだけでなく、厚い空気層のために彩度が低くなり、より青みがかっていることも考慮に入れることができます。^[17]

この方法のアイディアは、線路や道路などの平行線が距離とともに収束し、最終的には地平線の消失点に達するという事実に基づいています。この消失点を見つけることで、画像全体の最も遠い点が得られます。^{[15] [17]}

線が収束するほど、線は遠くにあるように見えます。したがって、深度マップの場合、2 つの隣接する消失線の間の領域は、勾配平面で近似できます。

• 段ボール効果とは、異なる奥行きにある3Dオブジェクトが、オブジェクト間の相対的な奥行きは維持されたまま、まるで段ボールでできているかのように、観客には平らに見える現象である。
• エッジのシャープネスの不一致- このアーティファクトは、オブジェクトの境界の深度マップがぼやけているために発生することがあります。境界は、あるビューでは鮮明ですが、別のビューではぼやけています。エッジのシャープネスの不一致アーティファクトは、通常、次の原因で発生します。
  • 「ラバーシート」技法の使用。これは、オクルージョン領域の周囲のピクセルを歪ませて、オクルージョンの明示的な塗りつぶしを回避することと定義されます。このような場合、変位マップのエッジがぼやけ、前景領域と背景領域の間の遷移が滑らかになります。エッジ/モーション ブラーによって占められる領域は、オブジェクトの変位方向に応じて、「引き伸ばされる」か「引き込まれる」かのいずれかになります。当然、このアプローチでは、ビュー間のエッジの鮮明度に不一致が生じます。
  • 半透明のエッジが適切に処理されていないため、エッジが二重になったりゴーストが発生したりする可能性があります。
  • 単純なオクルージョン充填技術により、オブジェクトのエッジ付近でアーティファクトが引き伸ばされる可能性があります。

• 背景オブジェクトにくっついてしまう- 前景オブジェクトを背景に「くっつけてしまう」というエラー

PQM ^[18]はHVSを模倣しており、得られた結果は主観テストから得られる平均オピニオンスコア（MOS）と非常によく一致しています。PQMは、輝度の歪みとコントラストの歪みを、各ピクセルブロックの平均で重み付けされた近似値（分散）を使用して定量化し、画像の歪みを取得します。この歪みを1から減算して、客観的な品質スコアを取得します。

HV3D ^[19]品質指標は、人間の視覚的な3D知覚を念頭に置いて設計されています。個々の右ビューと左ビューの品質、サイクロプスビュー（右ビューと左ビューの融合、視聴者が知覚するもの）の品質、および深度情報の品質を考慮に入れています。

VQMT3Dプロジェクト^[20]には、段ボール効果、エッジの鮮明さの不一致、背景に貼り付いたオブジェクト、2Dバージョンとの比較に基づいて2Dから3Dへの変換の品質を評価するためのいくつかの開発された指標が含まれています。

• 自動立体視
• クロストーク（電子機器）
• デジタル3D
• 映画のカラー化- オブジェクトのエッジの識別/認識など、3D変換に伴う多くの問題は、カラー化でも発生します。
• レジェンド3D
• 3D映画のリスト
• 立体視ビデオゲーム- 多くの S-3D ビデオゲームは実際には 2 つの画像をレンダリングするのではなく、2D + 深度レンダリング変換技術も採用しています。
• 動きからの構造
• 2Dプラス深度
• 3Dディスプレイ
• 複数の画像からの3D再構築

• Mansi Sharma、Santanu Chaudhury、Brejesh Lall (2014)。Kinect -Variety Fusion: アーティファクトのない 3DTV コンテンツ生成のための新しいハイブリッドアプローチ。第 22 回国際パターン認識会議 (ICPR)、ストックホルム、2014 年。doi :10.1109 / ICPR.2014.395。