ディープイメージ合成

ディープ イメージ合成は、 2010 年代半ばに登場したデジタル イメージの合成とレンダリングの方法です。通常の色と不透明度のチャネルに加えて、空間深度の概念が作成されます。これにより、イメージの深度内の複数のサンプルから最終的な色を構成できます。この手法により、高品質の結果が得られ、他の方法では対処できなかったエッジ周辺のアーティファクトが除去されます。

ディープ データは、高度な 3D レンダラーによって、仮想カメラから空間を外側に伸びるZ 軸に沿って各レンダリングピクセルがたどるパスに関する情報をサンプリングする画像にエンコードされます。パスには、パス中に通過するすべての不透明でない表面またはボリュームの色と不透明度、および隣接するサンプルが含まれます。これは、レイ トレーシングがそのような媒体を通過するシミュレートされた光子パスを生成する方法と多少似ていると考えられます。ただし、レイ トレーシングやその他の従来のレンダリング手法では、通常、ピクセルあたり 3 つまたは 4 つの色と不透明度のチャネルのみを含む画像が生成され、2 次元フレームに平坦化されます。

一方、深度マップには、グレースケール画像にエンコードされた Z 軸情報が含まれています。各グレー レベルは、Z 空間の異なるスライスを表します。各スライスの「厚さ」はレンダリング時に決定され、シーンの深度に応じて深度の忠実度が増減します。深度マップは、 3D レンダリングをライブ アクションや実際の要素とブレンドする合成者にとって大きなメリットです。マップが役立つためには、カメラに近いオブジェクトと無限遠に近いオブジェクトとの分離をエンコードできるほどのビット深度が必要です。現在、ほとんどの 3D ソフトウェア パッケージは、16 ビットおよび 32 ビットの深度マップを生成でき、最大 20 億の深度レベルを提供します。ただし、深度マップには、不透明でない表面またはボリュームに関する透明度情報は含まれません。そのため、これらの半透明または完全に透明なオブジェクトを越えたオブジェクトや、それらを通して表示されるオブジェクトには、独自の深度情報がなく、正しく合成またはぼかしが行われない可能性があります。多くのポストプロダクションやVFXスタジオのパイプラインによく追加されるクリプトマットは、レンダリングされたシーン内の個々の要素に個別の色分けされた ID シェイプを提供して、CGIと合成の間のギャップをさらに埋めますが、ディープ データのようにほぼ自動化され、完全に非線形なワークフローは実現できません。これは、ディープ イメージが十分な 3D 情報をカプセル化しているため、通常は時間のかかるタスク (移動するキャラクターと煙や水などの半透明の環境ボリュームとの複雑な相互作用のための多数のホールドアウト マットを使用したロトスコープなど) が、基本的に簡単になるためです。そのプロセスを経る代わりに、1 セットのディープ イメージから複数のマットを簡単に生成でき、ケースごとにすべてのマット要素と背景を再レンダリングする必要はありません。その効率性と柔軟性に加えて、ディープ データ イメージは、髪の毛などの半透明の要素を持つキャラクターのモーション ブラー エッジなど、従来のレンダリングでは困難だった一般的な領域で、本質的にはるかに高い視覚品質を提供します。

ディープ イメージを使用する場合の欠点の 1 つは、 OpenEXRなどのマルチチャネル形式と比較してもフレームごとに比較的膨大な量のデータをエンコードするため、ファイル サイズがかなり大きくなることです。

データは深さの関数として保存されます。これにより、任意の深さでデータを検索するために使用できる関数曲線が作成されます。データの操作はより困難になります。

各サンプルは独立したピースとして扱われるため、簡単に操作できます。データが正しい詳細を表していることを確認するには、追加の展開値を導入する必要があります。

3Dレンダラーは、レンダリング パイプラインの一部として必要なデータを生成します。サンプルは深度で収集され、その後結合されます。深度データは、これが行われる前に書き出すことができるため、プロセスにとって新しいものではありません。カメラ データから深度データを生成するには、適切な深度マップが必要です。これはいくつかのケースで使用されますが、詳細な表現にはまだ十分ではありません。ただし、基本的なホールドアウト タスクではこれで十分です。

ディープ イメージは、通常のイメージと同様に合成できます。深度コンポーネントにより、レイヤーの順序を簡単に決定できます。従来、これはユーザーが入力する必要がありました。ディープ イメージにはその情報が含まれているため、ユーザー入力は必要ありません。透明ピクセルには処理できるデータが多くあるため、エッジ アーティファクトが軽減されます。

ディープ イメージは、 3D レンダリングパッケージでかなり前から使用されています。ホールドアウトでの使用は、最初にいくつかの VFX ハウスでシェーダーで行われました。ホールドアウト マットはレンダリング時に生成できます。最近では、いくつかの企業でよりインタラクティブな方法での使用が開始され、SideFX はこれを Houdini ソフトウェアに統合し、Industrial Light & Magic、DreamWorks Animation、Weta、AnimalLogic、DRD スタジオなどの施設ではインタラクティブなソリューションを実装しています。

2014 年、映画芸術科学アカデミーは、毎年恒例の SciTech 賞でこの技術を表彰しました。受賞者は、ディープ コンポジット用の革新的で堅牢かつ完全なツールセットの長期にわたる開発と継続的な進歩に対して Peter Hillman 博士、ディープ コンポジット用の技術とワークフローの開発、プロトタイピング、推進に対して Colin Doncaster、Johannes Saam、Areito Echevarria、Janne Kontkanen、Chris Cooper です。

• ピクサーペーパー
• ディープイメージペーパー
• ディープイム
• 2012 年の映画「猿の惑星: 創世記」で使用されたディープ イメージングのビデオ チュートリアル、Nuke 合成ソフトウェア
• ディープコンポジティングコース
• Google Codeの Deep Image ファイル形式
• アカデミー技術賞