Loading article…
デジタル合成とは、複数の画像をデジタル的に組み立てて、通常は印刷、映画、または画面表示用の最終画像を作成するプロセスです。これは、光学フィルム合成のデジタル版です。これは、 VFX処理の一部です。
数学
デジタル合成で使用される基本的な操作はアルファ ブレンディングと呼ばれ、不透明度値「α」を使用して 2 つの入力ピクセル値の比率を制御し、最終的に 1 つの出力ピクセルを生成します。
簡単な例として、同じサイズの画像が 2 つあり、それらを合成するとします。入力画像は、前景画像と背景画像と呼ばれます。各画像は、同じ数のピクセルで構成されます。合成は、2 つの入力画像の対応するピクセルの情報を数学的に組み合わせ、その結果を合成画像と呼ばれる 3 番目の画像に記録することによって実行されます。
3 つのピクセルを考えてみましょう。
- 前景ピクセル、f
- 背景ピクセル、b
- 合成されたアデットピクセル、c
そして
次に、3 つのカラー チャネルすべてを考慮し、カラー チャネルが γ = 1 カラー空間で表現されている (つまり、測定値が光の強度に比例している) と仮定すると、次のようになります。
- c r = α f r + (1 − α) b r
- c g = α f g + (1 − α) b g
- c b = α f b + (1 − α) b b
γ が 1 でない色空間で操作を実行すると、マットの鋭いエッジに沿ってエイリアシングアーティファクト (または「ジャギー」) として表示される可能性がある非線形効果が生じることに注意してください。より一般的には、アルファ チャネルの影響は非線形であるため、非線形合成では合成オブジェクトの周囲に「ハロー」などの効果が生じる可能性があります。合成アーティストは、非線形空間での合成の効果を補正できます。
アルファ ブレンディングは、画像全体または 3D シーンに対して実行すると、コストのかかる操作です。この操作をリアルタイム ビデオ ゲームで実行する必要がある場合、パフォーマンスを向上させる簡単な方法があります。
- c出力= α f入力+ (1 − α) b入力
- c出力= α f入力+ b入力− α b入力
- c出力= b入力+ α (f入力− b入力)
数式を書き直すだけで、必要な乗算を 50% 削減できます。
代数的性質
部分的に透明なレイヤーを多数合成する必要がある場合、使用する合成演算子の代数的特性を考慮する価値があります。具体的には、結合性と可換性によって、繰り返し計算を回避できるかどうかが決まります。
最終画像を生成するために 4 つのレイヤーをブレンドする場合を考えてみましょう。 F=A*(B*(C*D)) で、A、B、C、D は部分的に透明な画像レイヤーで、「*」は合成演算子 (左のレイヤーが右のレイヤーの上にある) を示します。レイヤー C だけが変わる場合は、F を計算するときにすべてのレイヤーが再ブレンドされないようにする方法を見つける必要があります。特別な考慮がなければ、4 つのフル イメージ ブレンドが必要になります。加算ブレンドなどの可換な合成演算子の場合は、ブレンド操作の順序を変更しても問題ありません。この場合、T=A*(B*D) を 1 回だけ計算し、T*C をブレンドして F (単一の操作) を生成するだけで済みます。残念ながら、ほとんどの演算子は可換ではありません。ただし、多くの演算子は結合的であるため、操作を F=(A*B)*(C*D) に再グループ化しても安全です。つまり、順序を変更せずに済みます。この場合、S:=A*B を一度計算し、その結果を保存します。結合演算子を使用して F を形成するには、F:=S*(C*D) を計算して、新しいレイヤー S を統合するための追加の合成操作を 2 つだけ実行する必要があります。この式は、1 つの手順で C とその下にあるすべてのレイヤーを合成し、2 番目の手順でその上にあるすべてのレイヤーを前の結果とブレンドして最終画像を生成することを示しています。
画像のすべてのレイヤーが定期的に変更されるが、多くのレイヤーを合成する必要がある場合 (分散レンダリングなど)、事前計算によるメリットがない場合でも、合成演算子の可換性を利用して並列処理によって計算を高速化できます。もう一度、画像 F=A*(B*(C*D)) について考えます。この式の各合成操作は、次の合成操作に依存しているため、シリアル計算になります。ただし、結合性により、F=(A*B)*(C*D) を書き直すことができます。ここでは、明らかに相互に依存しない 2 つの操作があり、並列で実行できます。一般に、レイヤー数の対数となる高さのペアワイズ合成操作のツリーを構築できます。
ソフトウェア
最も歴史的に重要な非線形合成システムはCineonであり、これは対数色空間で動作し、フィルム乳剤の自然な光応答をより厳密に模倣します ( Kodak製の Cineon システムは現在は製造されていません)。処理速度とメモリの制限により、合成アーティストは通常、合成ステップでシステムに線形空間への中間変換を行わせるという贅沢をすることはできませんでした。時が経つにつれて、この制限はそれほど重要ではなくなり、現在では、ソース画像が対数色空間にある場合でも、ほとんどの合成は線形色空間で行われます。
合成には、多くの場合、画像の 拡大縮小、レタッチ、色補正も含まれます。
ノードベースとレイヤーベースの合成
デジタル合成ワークフローには、ノードベースの合成とレイヤーベースの合成という、まったく異なる 2 つのワークフローがあります。
ノードベースの合成では、合成全体を有向非巡回グラフとして表し、メディア オブジェクトとエフェクトをプロシージャ マップでリンクして、ソース入力から最終出力までの進行を直感的にレイアウトします。これは、実際にすべての合成アプリケーションが内部的に合成を処理する方法です。このタイプの合成インターフェイスでは、以前の画像処理ステップのパラメータを「コンテキスト内」で変更する機能など、大きな柔軟性が得られます (最終的な合成を表示しながら)。ノードベースの合成パッケージでは、レイヤーベースの合成パッケージのようにワークフローがタイムラインから直接派生しないため、キーフレームや時間エフェクトの処理が不十分になることがよくあります。ノードベースのインターフェイスを組み込んでいるソフトウェアには、 Natron、Shake、Blender、Blackmagic Fusion、Nuke などがあります。ノードは、細かい詳細を把握しながら複雑なショットのエフェクトを整理するのに最適な方法です。
レイヤーベースの合成では、合成内の各メディア オブジェクトがタイムライン内の個別のレイヤーとして表され、各レイヤーには独自の時間境界、エフェクト、およびキーフレームがあります。すべてのレイヤーは、任意の順序で 1 つずつ積み重ねられます。通常、最下層のレイヤーは結果イメージのベースとしてレンダリングされ、上位の各レイヤーは、以前に合成されたレイヤーの上に段階的にレンダリングされ、すべてのレイヤーが最終的な合成にレンダリングされるまで上に移動します。レイヤーベースの合成は、モーション グラフィックスなどの高速2Dエフェクトや限定的な3Dエフェクトに非常に適していますが、多数のレイヤーを伴うより複雑な合成には不向きです。この問題の部分的な解決策は、一部のプログラムがフローチャートと呼ばれる視覚的な図を使用して要素 (イメージ、エフェクト、またはその他の属性など) の合成順序を表示し、合成 (または「コンプ」) を他の合成に直接ネストする機能です。これにより、最初の合成で最初にレイヤーを合成し、次にその結果のイメージを前の合成のレイヤー化されたイメージと組み合わせるなど、レンダリング順序が複雑になります。
参照
外部リンク
- デジタル コンポジター フォトモンタージュを作成するための簡素化されたオンライン デジタル コンポジター。
さらに読む
- Mansi Sharma、Santanu Chaudhury、Brejesh Lall (2014)。コンテンツを考慮したシームレスな立体 3D 合成。2014 Indian Conference on Computer Vision Graphics and Image Processing、ACM New York、NY、USA の議事録。doi : 10.1145/2683483.2683555。
- T. PorterおよびT. Duff、「デジタル画像の合成」、SIGGRAPH '84 会議論文集、18 (1984)。
- デジタル合成の芸術と科学 ( ISBN 0-12-133960-2 )
- サミュエル・コレット、「ノードベースの合成の説明（ビデオ）」（2023）