マット（映画制作）

マットは、写真撮影や特殊効果 映画制作で、2 つ以上の画像要素を 1 つの最終画像に結合するために使用されます。通常、マットは前景画像 (セット上の俳優など) と背景画像 (風景や惑星のある星空など) を結合するために使用されます。この場合、マットは背景画です。映画や舞台では、マットは物理的にペイントされたキャンバスの巨大な部分であり、広大な風景の広がりを描写します。

映画では、マットの原理により、フィルム乳剤の特定の領域をマスクして、どの領域を露出するかを選択的に制御する必要があります。ただし、多くの複雑な特殊効果シーンには、数十の個別の画像要素が含まれており、非常に複雑なマットの使用と、マットの重ね合わせが必要になります。単純なマットの例として、監督は、店の前にいる俳優のグループと、店の屋根の上に見える巨大な都市と空を描写したい場合があります。セットにいる俳優と都市の画像の 2 つの画像があり、それらを 3 番目の画像に結合する必要があります。これには 2 つのマスク/マットが必要です。1 つは店の屋根より上のすべてのものをマスクし、もう 1 つは屋根より下のすべてのものをマスクします。これらのマスク/マットを使用してこれらの画像を 3 番目の画像にコピーすると、ゴーストのような二重露光を作成せずに画像を組み合わせることができます。映画では、これは静的マットの例であり、マスクの形状はフレームごとに変化しません。他のショットでは、人間や宇宙船などの動く物体の形を隠すために、変化するマットが必要になる場合があります。これらはトラベリングマットと呼ばれます。トラベリングマットを使用すると、構図や動きの自由度が高まりますが、実現がより困難になります。

クロマキーイングと呼ばれる合成技術は、録画から特定の色の領域をすべて削除します。これは、よく使用される色にちなんで「ブルースクリーン」または「グリーンスクリーン」とも呼ばれ、トラベリングマットを作成するための最新の技術としておそらく最もよく知られ、広く使用されていますが、ロトスコープや複数のモーションコントロールパスも過去に使用されていました。コンピューターで生成された画像(静止画またはアニメーション) は、透明な背景でレンダリングされ、マットと同じ原理 (デジタル画像マスク)を使用して、最新のフィルム録画の上にデジタルでオーバーレイされることもよくあります。

マットは非常に古い技法で、リュミエール兄弟の時代まで遡ります。元々、マットショットは、映画製作者がフィルムの背景部分を切り抜きカードで隠すことで作成されていました。シーンの実写（前景）部分を撮影する際、フィルムの背景部分は露光されませんでした。次に、実写部分の上に別の切り抜きが配置されます。フィルムは巻き戻され、映画製作者は新しい背景を撮影します。この技法はインカメラマットと呼ばれ、1880年代後半には本格的な特殊効果というよりも目新しいものと考えられていました。^[1]初期のアメリカの良い例は、映画「大列車強盗」（1903年）で、切符売り場の窓の外に列車を配置するために使用され、後に列車の「セット」の荷物車の外に動く背景を配置するために使用されています。この頃、グラスショットと呼ばれる別の技法も使用されていました。ガラスショットはガラス片に細部を描いて作られ、それを実写映像と組み合わせることで精巧なセットの外観を作り出した。最初のガラスショットはエドガー・ロジャースによるものとされている。^[1]

マットショットの最初の大きな開発は、1900年代初頭にノーマン・ドーン ASCによって行われた。ドーンは、映画『ミッション・オブ・カリフォルニア』^[2]の崩れかけたカリフォルニア・ミッションなど、多くの映画にガラスショットをシームレスに織り込んでおり、ガラスショットを使用してカメラ内マットに革命をもたらした。これで、映画製作者は、実写映像を実際の場所に持ち込む代わりに、切り抜きカードをそのままにして実写を撮影し、フィルムを巻き戻して、振動が最小限に抑えられるよう設​​計されたカメラに転送する。次に、映画製作者は、実写の背景の代わりにガラスショットを撮影する。結果として得られる合成画像はかなり高品質で、マットライン (実写からペイントされた背景への移行部分) の飛びがはるかに少なくなった。さらに、新しいカメラ内マットは、実写の撮影日にガラスを準備する必要がなかったため、コスト効率がはるかに高かった。この方法の欠点は、フィルムが 2 回露光されるため、誤ってフィルムを露出オーバーにして、以前に撮影した映像を台無しにしてしまう危険性が常にあることです。^{[引用が必要]}

インカメラ マット ショットは、1920 年代にフィルムの品質が向上し始めるまで使用され続けました。この間に、バイパックカメラ メソッドと呼ばれる新しい技術が開発されました。これはインカメラ マット ショットに似ていますが、バックアップとして 1 つのマスター ポジに依存していました。この方法により、何かが失われても、マスターはそのまま残ります。1925 年頃に、マットを作成する別の方法が開発されました。古いマットの欠点の 1 つは、マット ラインが固定されていたことです。ライブ アクションとマット バックグラウンドを直接接触させることができませんでした。トラベリング マットはこれを変えました。トラベリング マットは、マット ラインがフレームごとに変わることを除けば、インカメラ マットまたはバイパック マットに似ています。映画製作者は、バイパック メソッドに似た技術を使用して、ライブ アクション部分自体をマットにし、俳優を背景やシーン内で移動させて完全に統合することができました。『バグダッドの盗賊』（1940年）はトラベリングマットの大きな進歩を表し、ラリー・バトラーが発明したブルースクリーン技法を初めて本格的に導入した作品で、同年アカデミー視覚効果賞を受賞したが、そのプロセスは依然として非常に時間がかかり、各フレームを手作業で処理する必要がありました。

20世紀後半には、コンピューターがこの工程を支援するようになった。1960年代には、ペトロ・ヴラホスがブルースクリーンにおけるモーションコントロールカメラの使用を改良し、その工程でアカデミー賞を受賞した。1980年代には、初のデジタルマットとブルースクリーン工程が発明され、ビデオ用の初のコンピューター化された非線形編集システムも発明された。アニメーションのセルが自然な状態であるのと同じようにデジタル画像を部分的に透明にできるアルファ合成は、1970年代後半に発明され、1980年代にブルースクリーン工程に統合された。『スター・ウォーズ エピソード5 /帝国の逆襲』のデジタル計画は1980年に始まり、マットを合成するための空中画像光学プリンターを開発したリチャード・エドランドがアカデミー賞を受賞したが、この工程はまだアナログであった。最初の完全デジタルマットショットは、1985年に画家のクリス・エヴァンスが『ヤング・シャーロック・ホームズ』でステンドグラスの窓から騎士が飛び降りるコンピュータグラフィックス（CG）アニメーションのシーンのために作成したものである。エヴァンスは最初に窓をアクリル絵の具で描き、その後、その絵をルーカスフィルムのピクサーシステムにスキャンしてデジタル加工を施した。コンピュータアニメーションはデジタルマットと完璧に融合し、これは従来のマットペインティングでは実現できなかったことである。^[3]

2020 年現在^{[アップデート]}、ほぼすべての最新のマットはデジタルビデオ編集で行われ、ブルースクリーンの電子的一般化で あるクロマキーと呼ばれる合成技術は、家庭用コンピューターでも可能になりました。

カメラ内マットショットは、ドーンプロセス^[4]としても知られ、最初にガラス片をカメラの前に取り付けることによって作成されます。背景を置き換えるガラス部分には、黒い塗料が塗られます。次に、俳優は最小限のセットで撮影されます。監督は、テストストリップとして使用する数分の追加映像を撮影します。次に、マットペインターがテストストリップ（ショット内の黒く塗りつぶされた領域を含む）を現像し、「マット」ショットのフレームをイーゼルに取り付けられたガラスに投影します。このテスト映像クリップは、新しいガラス片にマット加工する背景または風景を描くための参照として使用されます。ガラスの実写部分を黒く塗り、さらにテスト映像を露出させて、色の一致とエッジのラインアップを調整および確認します。次に、マット加工された実写シーンの重要な部分（目的のアクションと俳優が配置されている）をスレッドアップし、ペイントされた要素を黒い領域に焼き付けます。ガラスに塗られたフラットな黒い塗料は、その塗料が覆うフィルムの部分からの光を遮断し、潜在的な実写シーンの二重露光の発生を防ぎます。

バイパックマット撮影では、まず実写部分を撮影する。フィルムを装填し、最初に黒く、次に白く塗られたガラスの上に投影する。マットアーティストはマットラインの位置を決めてガラスにトレースし、追加する背景や風景を描き込む。描き終わると、マットアーティストはガラスの実写部分の塗料を削り取る。^[5]オリジナル映像とクリーンなリールをバイパックに装填し、オリジナル映像はクリーンなフィルムの前のシャッターを通過するように通す。ガラスは後ろから照らされるため、両方のリールを回すと、実写部分だけがクリーンなフィルムに転写される。次に、オリジナル映像のリールを取り外し、ガラスの後ろに黒い布を置く。ガラスは前から照らされ、新しいリールが巻き戻されて再び回される。黒い布は、すでに露光された映像が再度露光されるのを防ぐ。背景風景は実写に追加されているのである。

ロトスコープは、アーティストの参考資料としてキャンバスにフィルム（実写映像）を投影するために使用される装置でした。

ウォルト・ディズニーは、人間のキャラクターの動きをよりリアルにするために、白雪姫と七人の小人でこの手法を多用した。この映画はアニメーションの複雑さのために予算を大幅に超過した。 ^[6]

この技法は他にもいくつか使われた。例えば『2001年宇宙の旅』では、アーティストが各フレームのアルファマットを手作業でトレースしてペイントした。ロトスコープは『プリンス・オブ・ペルシャ』の流動的なアニメーションにも使われ、当時としては印象的だった。残念ながら、この技法は非常に時間がかかり、半透明を表現するのは困難だった。今日ではロトスコープのデジタル版が存在し、ソフトウェアによってユーザーは退屈な作業の一部を回避できる。例えば、数フレーム間のマットを補間するなどである。^[7]

多くの場合、1 つの画像から 2 つ以上のマットを抽出することが望ましいです。このプロセスは「マット化」または「マットの引き抜き」と呼ばれ、画像の前景と背景の要素を分離するために最も一般的に使用されます。これらの画像は、多くの場合、ビデオ ファイルの個々のフレームです。ビデオの場合、マット化方法では、時間関係を追加情報として使用できます。合成技術は、マットを引き抜く比較的簡単な方法です。たとえば、グリーン シーンの前景を任意の背景シーンに重ねることができます。この技術を使用しない画像をマット化しようとすると、はるかに困難になります。この課題に対処するために、いくつかのアルゴリズムが設計されています。^[7]

理想的には、このマッティングアルゴリズムは、入力ビデオストリームI _rgb​​ を、プリマルチプライされたアルファ（アルファ合成）を含むフルカラーの前景のみのストリームαF _rgb、フルカラーの背景ストリームB _rgb、および前景ストリームのピクセルを部分的にカバーする単一チャネルストリームの 3 つの出力ストリームに分割します。この理想的なアルゴリズムは、前景と背景が動的であるビデオ、背景に複数の深度があるビデオ、背景と前景の間に同じ色を共有してテクスチャがない重なりがあるビデオ、およびこのようなアルゴリズムが従来処理するのが難しいその他のさまざまな機能を含む任意のビデオを入力として受け取ることができます。残念ながら、このアルゴリズムを実現することは、現実世界のシーンを 2 次元ビデオに変換する際に発生する情報の損失のために不可能です。^[7]スミスとブリンは 1996 年にこれを正式に証明しました。 ^[8]

マット処理には、他にも基本的な制限があります。この処理では、前景によって隠されている背景部分を再現することができず、近似値も制限されます。さらに、画像の前景と背景は、影が投影され、その間で光が反射されるため、互いに影響を及ぼし合います。異なるソースのマットから画像やビデオを合成する場合、影やその他の光の詳細が欠落または過剰になると、新しい画像のインパクトが損なわれる可能性があります。^[要出典]

マッティングのプロセス自体は解決が難しい問題です。1950 年代から研究されてきましたが、最もよく使われているのは映画製作で、古典的だが制約のある合成方法が使われています。具体的には、一種のグローバル カラー モデルが使われています。この手法は、背景全体が緑色であるなど、グローバル カラーの仮定に基づいています (ちなみに、天気予報士が目に見えないネクタイをしているように見えるのは、このためです。ネクタイの色が背景の色に似ているため、アルゴリズムはネクタイを背景ストリームの一部として分類します)。理論上はどの色でも使用できますが、最も一般的なのは緑と青です。輝度マッティング (ブラック スクリーン マッティングとも呼ばれます) は、グローバル カラー モデルの別のバリエーションです。色とは対照的に、背景はユーザー定義の値よりも暗いと仮定します。^[要出典]

もう 1 つのアプローチは、ローカル カラー モデルを使用することです。このモデルでは、背景は静的で既知の画像であると想定されるため、この場合は背景ストリームが与えられます。実際のビデオ ストリームと既知の背景ストリームを比較することで、単純なマットを取得できます。グローバル カラー モデルとは異なり、照明とカメラの角度の要件は非常に厳格ですが、前景ストリームで使用可能な色に制限はありません。^{[引用が必要]}

ユーザーの支援を受けてマットを抽出できる機械学習ツールも存在します。多くの場合、これらのツールではユーザーによる反復処理が必要です。アルゴリズムはトレーニング セットに基づいて結果を提供し、ユーザーはアルゴリズムが目的の結果を提供するまでセットを調整します。この例として、手動で作成した粗いマットをトリマップセグメンテーションで使用することが挙げられます。トリマップ セグメンテーションは、画像を既知の背景、既知の前景、および未知の領域の 3 つの領域に分割するため、このように呼ばれます。この場合、アルゴリズムはユーザーの入力に基づいて未知の領域にラベルを付けようとし、ユーザーは複数のトリマップを反復処理してより良い結果を得ることができます。Adobe Photoshopのプラグイン ツールである Knockout は、このプロセスの実装です。^[要出典]

もう 1 つのデジタル マッティング アプローチは、McGuire らによって提案されました。このアプローチでは、同じ光軸に沿って 2 つのイメージング センサーを使用し、両方のデータを使用します (ビーム スプリッターやピクセルごとの偏光フィルターを使用するなど、これを実現する方法はさまざまです)。このシステムは、背景ピクセルのダイナミック レンジが約半分異なるが、前景ピクセルでは同じである 2 つのフレームを同時にキャプチャします。2 つの画像の背景の違いを使用して、McGuire らはシーンから高解像度の前景マットを抽出できます。この方法では、合成技術の欠点 (つまり、背景は比較的ニュートラルで均一でなければならない) がいくつか残っていますが、正確なサブピクセル結果、自然光のサポートの向上、合成技術が背景マットの一部として識別する色を前景にできるなど、いくつかの利点があります。ただし、これは、背景と同じ色でコーティングして前景の何かを意図的にマスクすることが不可能であることを意味します。^[9]

デジタルマットの3つ目のアプローチは、焦点距離と被写界深度が異なる3つのビデオストリームを使用することです。前の方法と同様に、3つの画像センサーはすべて共通の光軸を共有しますが、アルゴリズムは、どのビデオフィードで画像のどの部分に焦点が合っているかに関する情報を使用して、前景マットを生成します。この技術では、前景と背景の両方に動的なコンテンツを含めることができ、背景の色や複雑さに制限はありません。^[10]

これらのアプローチにはすべて、1つの顕著な弱点があります。それは、任意のビデオを入力として受け取ることができないことです。映画とは異なり、ビデオでは、クロマキーは元のビデオの背景が単色である必要があります。他の2つの手法では、同期されているがわずかに異なるビデオの形でより多くの情報が必要です。^[11]

映画製作におけるマットのもう 1 つの用途は、ワイドスクリーン効果を生み出すことです。このプロセスでは、標準フレームの上部と下部がマット化またはマスクされ、黒いバーが表示されます。つまり、フィルム プリントには太いフレーム ラインがあります。次に、フル フレーム内のフレームが拡大され、劇場で上映されるときにスクリーン全体に表示されます。^{[引用が必要]}

したがって、「マスク ワイドスクリーン」では、標準の 1.37:1 フレームを使用して上部と下部をマット処理することで、アスペクト比1.85:1 の画像が作成されます。撮影中に画像がマット処理されると、エッジがシャープになるため、ハード マットと呼ばれます。対照的に、撮影中にフレーム全体が埋め尽くされ、劇場で映写技師が上部と下部をマット処理することになっている場合は、絞りプレートが焦点面上になく、エッジがソフトになるため、ソフト マットと呼ばれます。 ^{[引用が必要]}

ビデオでは、ワイドスクリーン映画を従来の 1.33:1 テレビ画面で表示するために、同様の効果がよく使用されます。この場合、このプロセスはレターボックスと呼ばれます。ただし、レターボックスでは、実際の画像の上部と下部はマット化されません。画像は画面のさらに後ろに「押し出され」、いわば「小さく」なるため、ワイドスクリーン映画では、視聴者は、映画をテレビでフルスクリーンで表示した場合に通常は省略される画像の左右を見ることができ、正方形のテレビ画面で一種の「ワイドスクリーン」効果が得られます。レターボックスでは、画像の上部は通常よりもわずかに低く、下部は高く、画面の未使用部分は黒いバーで覆われます。ビデオ転送の場合、「ソフト マット」フィルムをフル フレームが露出された状態でホーム ビデオ形式に転送し、上部と下部のマットを削除することを「オープン マット転送」と呼びます。対照的に、「ハードマット」フィルムを劇場用マットをそのままに家庭用ビデオ形式に転送することを「クローズドマット転送」と呼びます。^{[引用が必要]}

「ガベージ マット」は、多くの場合手描きで、時には急いで作られ、ブルー スクリーンなどの別のプロセスでは削除できない画像の一部を除外するために使用されます。この名前は、マットが手順的に生成された画像から「ガベージ」を削除するという事実に由来しています。「ガベージ」には、モデルを保持するリグや、ブルー スクリーンの上端の上の照明グリッドが含まれる場合があります。^{[引用が必要]}

反対に、光沢のあるモデルに反射する青色が多すぎる場合 (「ブルー スピル」) など、キーヤーによって削除される可能性のある画像の一部を強制的に含めるマットは、「ホールドアウト マット」と呼ばれることが多く、同じツールで作成できます。^{[引用が必要]}

• アルファ合成
• アナモフィック形式
• バイパック
• クロマキー（ビデオ）
• 合成
• 吊り下げミニチュア
• カメラ内エフェクト
• 実写
• 光学式プリンター
• リアプロジェクション
• シュッフタン法
• 特殊効果
• ワイドスクリーン

• マーク・コッタ・ヴァズ、クレイグ・バロン：『The Invisible Art: The Legends of Movie Matte Painting』、クロニクル・ブックス、2002年、ISBN 0-8118-4515-X 
• ピーター・エレンショー;エレンショー・アンダー・グラス - ディズニーのためにマットへ
• リチャード・リキット：『特殊効果：歴史とテクニック』。ビルボードブックス、第 2 版、2007 年、ISBN 0-8230-8408-6。（第 5 章では、映画のマット ペインティングの歴史とテクニックについて説明します。）