
クロマキー合成、またはクロマキーイングは、色相(クロマ範囲)に基づいて2 つ以上の画像またはビデオストリームを合成(重ね合わせる)する視覚効果およびポスト プロダクション技術です。この技術は、写真やビデオの被写体から背景を取り除くために多くの分野で使用されており、特にニュース放送、映画、ビデオゲーム業界で使用されています。前景の映像の色範囲を透明にすることで、別々に撮影された背景映像や静止画像をシーンに挿入できます。クロマキーイング技術は、ビデオ制作およびポスト プロダクションで一般的に使用されています。この技術は、カラー キーイング、カラー 分離オーバーレイ( CSO、主に BBC [ 3 ]による)、またはグリーン スクリーンやブルー スクリーンなどの特定の色関連のバリエーションを表すさまざまな用語でも呼ばれます。クロマキーイングは、均一で明確な任意の色の背景で実行できますが、緑と青の背景は人間の肌の色と色相が最も明確に異なるため、より一般的に使用されます。撮影または写真撮影される被写体のどの部分も、背景として使用されている色と重複してはならず、また、その部分が背景の一部であると誤って識別される可能性がある。[ 4 ]
クロマキー合成は、ニュースキャスターが大きな青や緑の背景ではなく、CGマップの前に立っている様子を映し出す生放送の天気予報 などでよく用いられます。また、映画やビデオゲームの視覚効果など、エンターテインメント業界でも広く利用されています。一方、ロトスコピーは、グリーン(またはブルー)スクリーンの前にいない被写体に対しても行うことができます。さらに、モーション・トラッキングをクロマキー合成と組み合わせて使用することで、被写体の動きに合わせて背景を動かすことも可能です。
トラベリングマットやオプティカルプリントが導入される以前は、二重露光を使用して、最初の露光では存在しない要素をシーンに追加していました。これは、今日ではグリーンスクリーンが使用される場所に黒い布を張って行っていました。ジョージ・アルバート・スミスが1898年にこの手法を初めて使用しました。1903年、エドウィン・S・ポーターの『大列車強盗』では、撮影時に黒かった窓に背景シーンを追加するために二重露光が使用され、ガベージマットを使用して窓の部分だけを露光しました。[ 5 ]

一方の露光で人物が他方の露光で置き換えられた背景の前を実際に移動するようにするには、各フレームで背景の適切な部分を遮蔽するトラベリングマットが必要だった。1918年、フランク・ウィリアムズは、やはり黒い背景を使用するトラベリングマット技術の特許を取得した。これは『透明人間』など多くの映画で使用された。[ 6 ]: 4
1920年代、ウォルト・ディズニーは、自身の作品『アリス・コメディーズ』において、白い背景幕を用いて人間の俳優と漫画のキャラクターや背景を融合させた。[ 6 ]: 5
ブルースクリーン法は1930年代にRKOラジオ・ピクチャーズで開発されました。RKOでは、リンウッド・ダンが初期のトラベリングマットを使用して「ワイプ」を作成しました。これは、 『フライング・ダウン・トゥ・リオ』 (1933年)などの映画で、フロントガラスのワイパーのようなトランジションがあるシーンです。ラリー・バトラーのクレジットにある、ランプから精霊が脱出するシーンは、 『バグダッドの盗賊』(1940年)でトラベリングマットを作成するために本格的なブルースクリーン処理が初めて使用された作品で、同作品はその年のアカデミー特殊効果賞を受賞しました。1950年、ワーナー・ブラザースの従業員で元コダックの研究者であるアーサー・ウィドマーは、紫外線トラベリングマット処理に取り組み始めました。彼はまた、ブルースクリーン技術の開発も開始しました。この技術を使用した最初の映画の1つは、スペンサー・トレイシー主演のアーネスト・ヘミングウェイの小説『老人と海』 (1958年)の映画化作品です。[ 7 ]
「クロマキー」という名称は、RCAがNBCテレビ放送で使用したこのプロセスの商標名であり、RCAのアルバート・N・ゴールドスミスに付与された特許を組み込んでいた。 [ 8 ]非常に初期の放送での使用例は、1957年秋のNBCのジョージ・ゴベル・ショーである。[ 9 ]
ペトロ・ヴラホスは、 1964年にこれらの技術を改良した功績でアカデミー賞を受賞しました。彼の技術は、現実世界のほとんどの物体は、青色成分の強度が緑色成分の強度と似ているという事実を利用しています。ズビグニエフ・リブチンスキーもブルースクリーン技術に貢献しました。2台のプロジェクター、フィルムカメラ、および「ビームスプリッター」を備えた光学プリンターを使用して、ブルースクリーンの前に立つ俳優と背景映像を1フレームずつ合成しました。1970年代初頭、アメリカとイギリスのテレビネットワークは、ニュース番組で青色の代わりに緑色の背景を使用し始めました。1980年代には、ミニコンピュータが光学プリンターの制御に使用されました。映画『スター・ウォーズ エピソード5/帝国の逆襲』では、リチャード・エドランドが「クワッド光学プリンター」を開発し、処理を大幅に高速化し、コストを削減しました。彼はその革新性で特別アカデミー賞を受賞しました。
数十年にわたり、移動マットショットは「固定」して撮影する必要があり、マット処理された被写体も背景もカメラの視点を一切動かすことができませんでした。その後、コンピューター制御のモーションコントロールカメラが登場し、前景と背景を同じカメラワークで撮影できるようになったことで、この問題は解消されました。
テレビの気象予報士は、背景画像に手を置く位置を確認するために、画面の横に設置されたフィールドモニターをよく使用する。より新しい技術としては、画面に薄い画像を投影する方法がある。
映画によっては、クロマキー合成を多用して、コンピュータグラフィックス(CGI)のみで構成された背景を追加することがあります。異なるテイクの演技を合成することで、俳優を別々に撮影し、同じシーンに配置することが可能になります。クロマキー合成を使えば、出演者はスタジオから出ることなく、あらゆる場所にいるように見せることができます。
コンピュータ技術の進歩により、手持ちカメラを使用する場合でも、合成ショットに動きを取り入れることが容易になりました。塗装されたグリッド、テープでマークされたX印、壁に等間隔に取り付けられたテニスボールなどの基準点を、マーカーとして色付きの背景上に配置できます。ポストプロダクションでは、コンピュータがこれらのマーカーを使用してカメラの位置を計算し、前景の遠近感と動きに完全に一致する画像をレンダリングできます。ソフトウェアと計算能力の最近の進歩により、マーカーを正確に配置する必要がなくなりました。ソフトウェアが空間内の位置を計算します。この方法の潜在的な欠点は、カメラの動きが必要になることであり、カメラが常に動いている現代の映画撮影技術の一因となっている可能性があります。

主要被写体は、単色または比較的狭い範囲の色(通常は青または緑。これらの色は肌の色から最も遠いと考えられているため)で構成された背景に対して撮影または撮影されます。[ 4 ]事前に選択された色に一致するビデオの部分は、別の背景ビデオに置き換えられます。このプロセスは一般的に「キーイング」、「キーアウト」、または単に「キー」として知られています。
テレビや電子映画の背景色として緑色が他のどの色よりも多く使われているのは、テレビの天気予報キャスターが青いスーツを着る傾向があったためです。クロマキー合成がテレビ制作で初めて使われ始めた頃は、映画業界では当時標準だったブルースクリーンが習慣的に使われていましたが、他の実用的な理由からテレビ業界もブルースクリーンからグリーンスクリーンへと移行しました。放送品質のカラーテレビカメラは、赤、緑、青の別々のイメージセンサーを使用しており、初期のアナログテレビのクロマキーヤーは、確実に動作するためにRGBコンポーネントビデオを必要としました。技術的には、青チャンネルと緑チャンネルのどちらを使用しても構いませんでしたが、青い服が常に課題であったため、グリーンスクリーンが一般的に使われるようになりました。ニュースキャスターはクロマキーのドレスコードを忘れることがあり、背景と同じ色の服にキーを適用すると、人物がキーの中に消えてしまうように見えました。緑の服は青よりも一般的ではないため、出演者の服装を常に監視するよりも、グリーンのマットスクリーンを使用する方が簡単であることがすぐに明らかになりました。また、人間の目は可視光スペクトルの真ん中に位置する緑色の波長に敏感であるため、緑色のアナログビデオチャンネルは通常、他のコンポーネントビデオチャンネルと比較して信号強度が高く、信号対雑音比が優れているため、グリーンスクリーンキーは最もクリーンなキーを生成することができました。デジタルテレビと映画の時代では、高品質のキーを作成するために必要な調整の多くが自動化されています。しかし、唯一変わらないのは、前景の被写体がキーアウトされないようにするためのある程度の色調整です。[ 10 ]
電子クロマキー合成が普及する以前は、合成は(化学)フィルムで行われていました。カメラのカラーネガを、フィルターまたは高コントラストフィルムの感色性を利用して、青(およびそれ以上の周波数)のみを露光し、高コントラストの白黒ネガにプリントしていました。青色の光は、シーンに青色がない部分のみをカラーネガに透過するため、ブルースクリーンがあった部分はフィルムが透明になり、それ以外の部分は不透明になりました。ただし、白い物体も青色を含んでいるため、透明になってしまいました。これらの部分を除去するには、カラーポジとの適切な二重露光(これにより、赤または緑を含む領域が不透明になる)や、その他多くの技術を用いることができました。その結果、ブルースクリーンがあった部分は透明で、それ以外の部分は不透明なフィルムが得られました。これは、デジタルキー合成におけるアルファマットに似た、メスマットと呼ばれています。このフィルムを別の高コントラストネガにコピーすると、反対のオスマットが得られます。背景ネガにメスマットを詰め込み、最終フィルムに露光した後、カメラネガにオスマットを詰め込み、同じフィルムに二重露光しました。この2つの画像を組み合わせることで、最終的な効果が得られます。
キーイングにおいて最も重要な要素は、前景(被写体)と背景(スクリーン)の色分離です 。カメラは緑色の光に感度が高いにもかかわらず、被写体が主に緑色(例えば植物)の場合は、ブルースクリーンが使用されます。
アナログテレビでは、色は基準発振器に対するクロマサブキャリアの位相によって表現されます。クロマキーは、ビデオの位相をあらかじめ選択された色に対応する位相と比較することによって実現されます。ビデオの位相が一致する部分は、別の背景ビデオに置き換えられます。
デジタルカラーテレビでは、色は3つの数値(赤、緑、青の輝度レベル)で表されます。クロマキーは、映像と事前に選択された色との単純な数値比較によって実現されます。画面上の特定の位置の色が一致する場合(完全に一致する場合も、ある範囲内で一致する場合も)、その位置の映像は別の背景に置き換えられます。
撮影された人物や物体が意図した背景シーンに存在しているかのような錯覚を生み出すためには、2つのシーンの照明を適切に一致させる必要があります。屋外シーンの場合、曇りの日は拡散した均一な色の光を作り出すため、スタジオで照明を合わせやすい一方、直射日光は時間帯に応じて方向と全体的な色の両方を一致させる必要があります。
グリーンスクリーンの前で撮影されたスタジオショットでは、光の散乱により、周囲の光がスクリーンと同じ色になるのは当然です。この効果はスピルとして知られています。[ 6 ]: p20これは不自然に見えたり、キャラクターの一部が消えたりする可能性があるため、補正するか、俳優から離れた場所に大きなスクリーンを配置することで回避する必要があります。[ 11 ]
カラースクリーンの前のシーンを記録する際に使用する被写界深度は、背景の被写界深度と一致させる必要があります。これは、俳優を通常よりも深い被写界深度で記録することを意味します。[ 12 ]
クロマキーの被写体は、クロマキーの色と似た色の服を着ることを避ける必要があります(意図的な場合、例えば、被写体に体がないように見せるために緑色のトップスを着る場合を除く)。これは、服が背景画像/ビデオに置き換えられる可能性があるためです。この意図的な使用例としては、俳優が体の部分を青い覆いで覆って、最終ショットで見えなくする場合が挙げられます。このテクニックは、ハリー・ポッター映画で透明マントの効果を作成するために使用されたものと同様の効果を得るために使用できます。俳優をクロマキーの背景の前で撮影し、歪み効果を加えて背景ショットに挿入することで、かろうじて検出できるマントを作成することもできます。[ 13 ]
ブルースクリーンを使う際に問題が生じるのは、スーパーマンの伝統的な青い衣装のように、特殊効果シーンで衣装を青色にする必要がある場合です。2002年の映画『スパイダーマン』では、スパイダーマンとグリーンゴブリンが空中にいるシーンで、スパイダーマンはグリーンスクリーンの前で、グリーンゴブリンはブルースクリーンの前で撮影する必要がありました。色の違いは、スパイダーマンの衣装が赤と青の組み合わせであるのに対し、グリーンゴブリンの衣装は全体が緑色であるためです。もし両方を同じスクリーンの前で撮影すると、一方のキャラクターの一部が画面から消えてしまうことになります。
前景と背景をきれいに分離するためには、前景の衣服や髪の毛のシルエットが比較的単純であることも重要です。縮れた髪などの細かいディテールは適切に解像されない可能性があるためです。同様に、衣装の半透明な部分も問題を引き起こします。[ 12 ]

青色はもともと映画産業で使用されていました。なぜなら、色分解を行うにはスクリーンカラーにのみ反応するフィルムが必要であり、青色とそれより高い周波数(紫外線など)にのみ反応するフィルムは、スクリーンカラーよりも高い周波数と低い周波数の両方を何らかの方法で排除するフィルムよりも、製造がはるかに容易で信頼性が高かったからです。
しかし、テレビやデジタル映画制作においては、どの色でも簡単に抽出できるため、緑がすぐに好まれる色となった。明るい緑は前景の被写体に写り込む可能性が低く、カラーフィルムの乳剤は通常、緑色の部分の粒子が非常に細かく、アナログビデオ信号やデジタル画像・動画に使用される非可逆圧縮では、緑色チャンネルのディテールがより多く保持される。また、屋外では光の色温度が著しく青みがかった色になるため、緑も使用できる。赤は人間の肌の色と同じであるため避けられ、その他の色は原色の混合であるため、抽出結果が不鮮明になる。
いわゆる「イエロースクリーン」は、白い背景幕を用いて実現される。通常の舞台照明と明るい黄色のナトリウムランプを組み合わせて使用する。ナトリウムランプの光はほぼ完全に狭い周波数帯域に集中しており、プリズムを用いて他の光から分離し、カメラ内の別の同期されたフィルムキャリアに投影する。この2番目のフィルムは高コントラストの白黒フィルムであり、処理されてマットが生成される。[ 6 ]: 16
より新しい技術としては、背景に再帰反射カーテンを使用し、カメラレンズの周囲に明るいLEDのリングを配置する方法がある。この方法では、LED以外の光を背景に照射する必要がなく、大型の舞台照明とは異なり、消費電力と設置スペースが非常に少なく、特別な装置も不要となる。この技術革新は、1990年代に実用的な青色LEDが発明されたことで可能になったもので、エメラルドグリーンLEDも開発されている。
人間の目には見えない光スペクトルを使用するカラーキーイングの形式もあります。サーモキーと呼ばれるこの方式では、赤外線をキーカラーとして使用し、後処理中に背景画像に置き換えられることはありません。[ 14 ] [ 15 ]
『新スタートレック』では、 CISハリウッドのドン・リーが紫外線マット処理を提案し、ゲイリー・ハッツェルとイメージGのスタッフが開発した。この処理では蛍光オレンジの背景幕を使用することで、ホールドアウトマットの生成が容易になり、エフェクトチームは他の方法に比べて4分の1の時間でエフェクトを制作することができた。[ 16 ]
原則として、単色の代わりにクロマキーとしてあらゆる種類の静止背景を使用できます。まず、俳優やその他の前景要素のない背景を撮影し、次にシーンを記録します。背景の画像を使用して、実際の映像の背景をキャンセルします。たとえば、デジタル画像では、各ピクセルに異なるクロマキーが割り当てられます。これは、差分マットと呼ばれることもあります。[ 17 ]ただし、この方法では、背景に似ているオブジェクトが誤って削除されたり、カメラのノイズや参照映像からわずかに変化した場合に背景が残ってしまう可能性があります。[ 18 ]繰り返しパターンの背景は、これらの問題の多くを軽減し、単色の背景よりも衣装の色に敏感ではありません。[ 19 ]
デジタルカラー画像では、特定のフルインテンシティのマゼンタ色#FF00FFを使用して(1 ビット) の透明度をエンコードすることがあります。これは「マジックピンク」と呼ばれることもあります。[ 20 ]これは写真技術ではなく、背景から前景を抽出するのは簡単です。

ブルースクリーンやグリーンスクリーンをセットアップする際の最大の課題は、均一な照明と影の回避です。これは、置き換える色の範囲をできるだけ狭くすることが最善だからです。影はカメラには暗い色として映り、置き換えに認識されない可能性があります。これは、エラーを手動で修正したり、シーンを撮り直したりできない低予算や生放送で見られることがあります。使用する素材は、均一な照明の品質と容易さに影響します。光沢のある素材は、そうでない素材よりもはるかに成功しません。光沢のある表面では、光を反射して白っぽく見える部分と、暗くなる部分があります。マットな表面は反射光を拡散し、より均一な色の範囲になります。グリーンスクリーン撮影で最もクリーンなキーを得るには、被写体とグリーンスクリーンの間に明度差を作る必要があります。被写体とスクリーンを区別するために、2ストップの差を使用できます。グリーンスクリーンを被写体より2ストップ高くするか、その逆です。
影を利用して視覚効果を生み出すことがあります。ブルースクリーンやグリーンスクリーンの影のある部分を、目的の背景ビデオ画像の暗いバージョンに置き換えることで、人物が影を落としているように見せることができます。クロマキーの色が少しでもはみ出すと、結果が不自然になります。使用するレンズの焦点距離の違いも、クロマキーの成功に影響を与える可能性があります。
ブルースクリーンやグリーンスクリーンにおけるもう一つの課題は、適切なカメラ露出です。カラー背景の露出不足や露出過多は、彩度の低下につながります。ビデオカメラの場合、露出不足の画像にはノイズが多く含まれることもあります。背景は、カメラが明るく彩度の高い画像を生成できるように、十分な明るさが必要です。
ソフトウェアでカラーキーイングを実装するための、品質と速度を最適化したさまざまな手法があります。[ 21 ] [ 22 ]
ほとんどのバージョンでは、関数f ( r , g , b ) → αが画像内のすべてのピクセルに適用されます。α (アルファ)は、アルファ合成 技術における意味と同様です。α ≤ 0 はピクセルが完全にグリーンスクリーン内にあることを意味し、α ≥ 1はピクセルが完全に前景オブジェクト内にあることを意味し、中間値はピクセルが前景オブジェクトによって部分的に覆われている (または透明である) ことを示します。前景オブジェクト上のグリーンのにじみを除去するには、さらに関数g ( r , g , b ) → ( r , g , b ) が必要です。
グリーンスクリーン用の非常にシンプルなf () 関数はA ( r + b ) − Bgで、AとBはユーザーが調整可能な定数で、デフォルト値は 1.0 です。非常にシンプルなg () は ( r , min( g , b ), b ) です。これは、アナログおよびフィルムベースのスクリーンプル機能にかなり近いものです。
これらの関数の現代的な例[ 22 ]は、3D RGB 空間内の 2 つの閉じた入れ子面によって最もよく説明され、多くの場合、非常に複雑です。内側の表面内の色はグリーンスクリーンと見なされます。外側の表面の外側の色は不透明な前景です。表面間の色は部分的に覆われており、外側の表面に近いほど不透明になります。グリーン スピルを除去する方法を決定するために、より閉じた表面が使用されることもあります。また、f () が現在のピクセルの色だけでなく、( x、y ) 位置、近くのピクセルの値、参照画像からの値、シーンの統計的カラー モデル[ 23 ]、およびユーザーが描画したマスクからの値にも依存することが非常に一般的です。これらは、3 次元を超える空間で閉じた表面を生成します。
別の種類のアルゴリズムでは、前景と背景を分離する2次元パスを特定しようとします。このパスをそのまま出力とすることもできますし、最終ステップとしてパスをα = 1で塗りつぶして画像を描画することもできます。このようなアルゴリズムの一例として、アクティブコンターが挙げられます。近年の研究のほとんどは、これらのアルゴリズムに関するものです。
前景が人物の場合は、青または緑の背景色が推奨されます。これらの色は人間の肌の色素には含まれていないためです。実際、人間の肌の色は、人種に関係なく、すべての人で70%が赤です。