マッチムービング

視覚効果において、マッチムービングとは、2D 要素、その他のライブアクション要素、または CGコンピュータグラフィックスを、ショット内の撮影されたオブジェクトに対する正確な位置、スケール、方向、および動きで、ライブアクション映像に挿入できるようにする手法です。また、ライブアクションショットからライブアクション要素を削除することもできます。この用語は、映画からカメラモーション情報を抽出するいくつかの異なる方法を説明するために緩く使用されています。モーショントラッキングまたはカメラソルビングとも呼ばれるマッチムービングは、ロトスコープおよび写真測量に関連しています。マッチムービングは、カメラではなくオブジェクト (多くの場合、人間の俳優) の動きを記録するモーションキャプチャと混同されることがあります。通常、モーションキャプチャには、特殊なカメラとセンサー、および制御された環境が必要です (ただし、KinectカメラやAppleのFace IDなどの最近の開発により、この点は変わり始めています)。マッチムービングは、機械的なハードウェアを使用して複数の同一のカメラモーションを実行するモーションコントロール写真とも異なります。対照的に、マッチムービングは通常、ソフトウェアベースの技術であり、制御されていない環境で通常のカメラを使用して記録された通常の映像に 事後に適用されます。

マッチムービングは主に、ショット中のカメラの動きを追跡して、3D アニメーションプログラムで同一の仮想カメラの動きを再現するために使用します。新しいアニメーション要素を元のライブアクションショットに合成すると、完全に一致する視点で表示されるため、シームレスに見えます。

マッチムービングは主にソフトウェアベースであるため、コンピュータのコストが下がるにつれて、ますます手頃な価格になってきています。現在では視覚効果ツールとして定着しており、アメリカンフットボールの黄色の仮想ダウンラインなどの効果を提供する一環として、テレビの生放送でも使用されています。

マッチムービングのプロセスは 2 つのステップに分けられます。

最初のステップは、特徴を識別して追跡することです。特徴とは、追跡アルゴリズムがロックして複数のフレームにわたって追跡できる画像内の特定のポイントです (SynthEyes ではこれをブリップと呼びます)。多くの場合、特徴は、特定の追跡アルゴリズムに応じて、明るい/暗いスポット、エッジ、またはコーナーであるため選択されます。一般的なプログラムは、NCC スコアとRMS エラーに基づくテンプレート マッチングを使用します。重要なことは、各特徴が実際のオブジェクトの表面上の特定のポイントを表すことです。特徴が追跡されると、一連のフレームにわたる特徴の位置を表す一連の 2 次元座標になります。この一連の座標は「トラック」と呼ばれます。トラックが作成されると、すぐに 2-D モーション トラッキングに使用することも、3-D 情報を計算するために使用することもできます。

2 番目のステップでは、3D モーションを解決します。このプロセスでは、カメラの位置に対する 2D パスの逆投影を解くことで、カメラのモーションを導出しようとします。このプロセスは、キャリブレーションと呼ばれます。

3 次元オブジェクトの表面上の点を撮影すると、2 次元フレーム内のその位置は3 次元投影関数によって計算できます。カメラは、現実世界または仮想世界でカメラをモデル化するために必要なすべてのパラメータを保持する抽象概念と考えることができます。したがって、カメラは、カメラの位置、方向、焦点距離、およびカメラがフィルム面上に光を焦点に当てる方法を定義するその他のパラメータを要素として含むベクトルです。このベクトルがどのように構築されるかは、互換性のある投影関数Pがある限り重要ではありません。

投影関数P は、カメラ ベクトル (カメラと表記) と空間内の 3D ポイントの位置を表す別のベクトル ( xyzと表記) を入力として受け取り、カメラの前の平面に投影された 2D ポイント ( XYと表記) を返します。これは次のように表すことができます。

XY = P(カメラ、 xyz )

投影関数は 3D ポイントを変換し、奥行きの要素を取り除きます。要素の奥行きがわからない場合、逆投影関数は、カメラ レンズのノード ポイントから発せられ、投影された 2D ポイントを通過する線を形成する可能性のある 3D ポイントのセットを返すことしかできません。逆投影は次のように表すことができます。

xyz ∈ P'(カメラ, XY )

または

{ xyz :P(カメラ, xyz ) = XY }

追跡している特徴が建物などの剛体の表面にある状況を考えてみましょう。実空間では、実点xyz が画像の 1 つのフレームから次のフレームまで同じ場所に留まることがわかっているので、その点がどこにあるかはわからなくても、その点を定数にすることができます。つまり、

xyz _i = xyz _j

ここで、添え字iとj は、分析しているショット内の任意のフレームを指します。これは常に真であるため、次のことがわかります。

P'(カメラ_i、XY _i ) ∩ P'(カメラ_j、XY _j ) ≠ {}

追跡プログラムによって特徴が追跡されるすべてのフレームについてXY _iの値が決定されているため、 P'( camera _i、XY _i ) ∩ P'( camera _j、XY _j ) が小さな集合である限り、任意の 2 つのフレーム間の逆投影関数を解くことができます。 i と j で方程式を解く可能性のあるカメラベクトルの集合(C _ijで示される)。

C _ij = {(カメラ_i、カメラ_j ):P'(カメラ_i、XY _i ) ∩ P'(カメラ_j、XY _j ) ≠ {})

したがって、 2 つの点XY _iとXY _jの逆投影の交差が、理論上の静止点xyz を中心とした空でない、できれば小さい集合となるカメラ ベクトル ペア C _ijの集合が存在します。

言い換えると、白い空間に浮かぶ黒い点とカメラを想像してください。カメラを配置する空間内の任意の位置に対して、その黒い点をまったく同じように撮影する一連の対応するパラメータ (方向、焦点距離など) があります。Cには無限の数の要素があるため、1 つの点だけでは実際のカメラの位置を決定するのに十分ではありません。

追跡ポイントを追加し始めると、可能なカメラ位置を絞り込むことができます。たとえば、ポイントのセット { xyz _i,0 ,..., xyz _i,n } と { xyz _j,0 ,..., xyz _j,n } があるとします。ここで、i と j はフレームを参照し、n は追跡している多数の追跡ポイントの 1 つへのインデックスです。カメラ ベクトル ペア セットのセット {C _i,j,0 ,...,C _i,j,n } を導出できます。

このように複数のトラックを使用すると、可能なカメラ パラメータを絞り込むことができます。適合する可能性のあるカメラ パラメータのセット F は、すべてのセットの共通部分です。

F = C _i,j,0 ∩ ... ∩ C _i,j,n

このセット内の要素が少ないほど、カメラの実際のパラメータを抽出しやすくなります。実際には、追跡プロセスで発生したエラーに対して、各フレームの適切なカメラ ベクトルを決定するために、より統計的なアプローチが必要となり、最適化アルゴリズムとバンドル ブロック調整が頻繁に使用されます。残念ながら、カメラ ベクトルには多くの要素があるため、すべてのパラメータが自由である場合、追跡する特徴の数に関係なく、F を 1 つの可能性に絞り込むことができない可能性があります。さまざまなパラメータ、特に焦点距離を制限できるほど、ソリューションを正確に特定しやすくなります。

全体として、3D 解決プロセスは、作成しようとしている合成のニーズに合うものに到達するまで、カメラの動きに対する可能な解決策を絞り込むプロセスです。

各フレームのカメラ位置が決定したら、逆投影によって実空間の各フィーチャの位置を推定できます。 結果として得られるポイント セットは、星雲のような生の外観のため、ポイント クラウドと呼ばれることがよくあります。 ポイント クラウドは 3D シーンの形状の一部を明らかにすることが多いため、合成オブジェクトを配置するための参照として使用したり、再構築プログラムで実際のシーンの 3D バージョンを作成したりできます。

カメラとポイント クラウドは、何らかの空間に向ける必要があります。したがって、キャリブレーションが完了したら、グラウンド プレーンを定義する必要があります。通常、これは投影された空間のスケール、方向、および原点を決定する単位プレーンです。一部のプログラムではこれを自動的に実行しようとしますが、多くの場合、ユーザーがこのプレーンを定義します。グラウンド プレーンをシフトすると、すべてのポイントが単純に変換されるため、プレーンの実際の位置は実際には利便性の問題です。

3D 再構築は、追跡データを使用して撮影されたオブジェクトを再現するインタラクティブなプロセスです。この技術は写真測量法に関連しています。この特定のケースでは、マッチ ムービング ソフトウェアを使用して偶発的な映像からシーンを再構築することを指します。

再構成プログラムは、撮影されたシーンから実際のオブジェクトを模倣した 3 次元オブジェクトを作成できます。プログラムはポイント クラウドのデータとユーザーの推定を使用して仮想オブジェクトを作成し、映像からテクスチャを抽出して、仮想オブジェクトに表面テクスチャとして投影できます。

マッチムーブには 2 つの形式があります。Shake 、Adobe Substance、Adobe After Effects、Discreet Combustionなどの一部の合成プログラムには、2 次元モーション トラッキング機能が含まれています。2 次元マッチムーブは、カメラの動きや歪みを考慮せずに、2 次元空間内のフィーチャのみをトラッキングします。これを使用して、映像にモーション ブラーやイメージ安定化効果を追加できます。元の映像でカメラの視点が大きく変化していない場合は、この手法でリアルな効果を作成できます。たとえば、ショットの背景の奥にある看板は、2 次元トラッキングを使用して置き換えることができることがよくあります。

3 次元マッチ ムービング ツールを使用すると、2 次元の写真から 3 次元情報を推定できます。これらのツールを使用すると、任意の映像からカメラの動きやその他の相対的な動きを導き出すことができます。追跡情報は、コンピューター グラフィックス ソフトウェアに転送して、仮想カメラやシミュレートされたオブジェクトをアニメーション化するために使用できます。3 次元マッチ ムービングが可能なプログラムには、次のものがあります。

• Science.D.Visionsの3DEqualizer（技術業績でアカデミー賞を受賞）^[1]
• Blender (オープンソース、libmv を使用)
• ブードゥー
• ACTSは、画像/ビデオシーケンスを処理するための高密度深度回復システムを備えた自動カメラトラッキングです。
• LS-ACTS は、大規模な画像/ビデオシーケンスデータセットをほぼリアルタイムで処理し、困難なケース（ループバックシーケンスや複数のシーケンスなど）でも堅牢に動作できる、堅牢で効率的な構造からモーションを抽出できるシステムです。
• ヴィスコダ ヴォーキャット
• イカロス (マンチェスター大学の研究プロジェクト。現在は中止されているが、依然として人気がある)
• マヤマッチムーバー
• ピクセルファーム PFTrack、PFMatchit、PFHoe (PFTrack アルゴリズムに基づく)
• KeenTools ジオトラッカー、ピンツール
• Andersson Technologies の SynthEyes
• ブージュ（2002年にエミー賞を受賞）
• The Foundry のNukeX
• The Foundry のCameraTracker ( Adobe After Effects用プラグイン)。
• Punchcard の VideoTrace (ビデオや画像から 3D モデルを生成するソフトウェア)
• IXIR 2Dトラックエディタは、3Dイコライザー、PFTrack、Boujou、SynthEyes、Matchmover、Movimento、Nuke、Shake、Fusion、After Effects、Combustion、Mocha、Silhouetteなどのソフトウェアの2Dトラックとマスクファイルに対応しています。
• Imagineer Systems の mocha Pro、ポストプロダクション用の Planar Tracker ベースのユーティリティ
• fayIN は、fayteq のAdob​​e After Effects用プラグインです(2017 年に Facebook が買収)
• Alicevision の Meshroom は、シーンの 3D 再構築とともにアニメーション カメラをエクスポートできる無料のオープンソース写真測量アプリケーションです。

画像からモーション情報を抽出する方法は 2 つあります。インタラクティブ トラッキング (「教師ありトラッキング」とも呼ばれる) では、ユーザーがシーン内の特徴を追跡します。自動トラッキングでは、コンピューターアルゴリズムを使用してショット内の特徴を識別し、追跡します。追跡されたポイントの動きは、「ソリューション」を計算するために使用されます。このソリューションは、モーション、焦点距離、レンズの歪みなど、カメラのすべての情報で構成されます。

自動追跡の利点は、コンピューターが人間よりも速く多くのポイントを作成できることです。統計を使用して多数のポイントを分析し、最も信頼性の高いデータを決定できます。自動追跡の欠点は、アルゴリズムによっては、シーン内のオブジェクトを追跡するときにコンピューターが簡単に混乱する可能性があることです。自動追跡方法は、手持ちカメラで見られるような高速カメラの動きを含むショットや、小さなタイルや 1 つの領域があまり明確でない規則的なパターンなどの反復的な主題を含むショットでは特に効果がありません。この追跡方法は、ショットに大量のモーション ブラーが含まれる場合にも効果がなく、必要な小さな詳細を区別するのが難しくなります。

インタラクティブ トラッキングの利点は、人間のユーザーがシーン全体にわたって特徴を追跡でき、固定されていない特徴によって混乱することがないことです。人間のユーザーは、モーション ブラーの影響を受けるショット内の特徴の位置を特定することもできます。自動トラッカーがモーション ブラーの大きい特徴を正確に見つけるのは非常に困難です。インタラクティブ トラッキングの欠点は、ユーザーがシーン全体でオブジェクトを追跡するときに、必然的に小さなエラーが発生し、いわゆる「ドリフト」が発生する可能性があることです。

プロレベルのモーション トラッキングは、通常、インタラクティブなテクニックと自動テクニックを組み合わせて実現されます。アーティストは、明らかに異常なポイントを削除し、「トラッキング マット」を使用して、自動トラッキング プロセスから混乱を招く情報をブロックできます。トラッキング マットは、俳優や回転する天井ファンなどの動く要素を含むショットの領域をカバーするためにも使用されます。

トラッキング マットは、トラベリング マット合成で使用されるガベージ マットと概念的に似ています。ただし、トラッキング マットの目的は、トラッキング アルゴリズムが信頼性の低い、無関係な、または非固定のトラッキング ポイントを使用しないようにすることです。たとえば、俳優が背景の前を歩くシーンでは、トラッキング アーティストは、俳優の動きによって計算が狂うことがわかっているため、背景のみを使用してシーン内でカメラを追跡します。この場合、アーティストは、シーン内で俳優を追跡するためのトラッキング マットを作成し、その情報をトラッキング プロセスからブロックします。

キャリブレーション プロセスには複数の解決策が考えられ、かなりの量のエラーが蓄積される可能性があるため、移動を一致させるための最終ステップでは、手作業で解決策を微調整することがよくあります。これは、カメラの動き自体を変更したり、キャリブレーション メカニズムにヒントを与えたりすることを意味します。この対話型キャリブレーションは、「微調整」と呼ばれます。

ほとんどのマッチムービング アプリケーションは、追跡と調整に類似したアルゴリズムに基づいています。多くの場合、最初に得られる結果は類似しています。ただし、各プログラムには異なる調整機能があります。

映画制作現場では、ポストプロダクションで挿入される要素を現場でライブで視覚化できるように、リアルタイムのカメラ トラッキングが広く使用されるようになっています。これには、監督や俳優がテイク中 (またはテイク直後) にセットの拡張部分や CGI キャラクターを実際に確認することで、パフォーマンスを向上させるのに役立つという利点があります。グリーン/ブルー スクリーンで演技する必要がなくなり、結果のフィードバックも得られません。視線の参照、俳優の配置、CGI のやり取りを現場でライブで実行できるようになり、ショットが正しく、最終的な合成で機能することを誰もが確信できます。

これを実現するには、ハードウェアからソフトウェアまで、さまざまなコンポーネントを組み合わせる必要があります。ソフトウェアは、PhaseSpace のアクティブ LED マーカー ベース システムなどのモーション キャプチャ システム、Motion Analysis や Vicon などのパッシブ システム、Technocranes や Fisher Dollies などのカメラ クレーンやドリーに取り付けられたロータリー エンコーダー、カメラに直接取り付けられた慣性センサーとジャイロ センサーなど、さまざまな種類のハードウェア デバイスから、カメラの 360 度の自由度の動きと、ズーム、フォーカス、絞り、シャッター要素などのメタデータを収集します。また、ステディカムなど、あらゆるものに取り付けて、最大 30 メートル離れた雨天の屋外カメラを追跡できるレーザー ベースの追跡システムもあります。

モーション コントロール カメラは、3D カメラ データのソースまたは宛先としても使用できます。カメラの動きを事前に視覚化して、モーション コントロール データに変換し、3D カメラとまったく同じ経路に沿ってカメラ クレーンを駆動できます。クレーンのエンコーダーを現場でリアルタイムで使用して、このプロセスを逆にしてライブ 3D カメラを生成することもできます。データはさまざまな 3D アプリケーションに送信できるため、3D アーティストは現場で CGI 要素をライブで修正することもできます。主な利点は、後で時間とコストがかかるセット設計の問題を撮影プロセス中に解決できるため、俳優が演技中に各ショットの各環境に「適合」できることです。

リアルタイム モーション キャプチャ システムをカメラ データ ストリーム内にミックスして、セット上のライブ ショットに仮想キャラクターを挿入することもできます。これにより、プレートと CGI のパフォーマンスを一緒に振り付けることができるため、実際のモーション キャプチャ駆動キャラクターと非実際のモーション キャプチャ駆動キャラクター間の相互作用が劇的に改善されます。

• 1st & Ten (グラフィック システム)
• PVI バーチャルメディアサービス
• 動きからの構造
• バーチャルスタジオ

• マッチムービング：カメラトラッキングの見えない芸術、ティム・ドバート著、Sybex、2005年2月、ISBN  0-7821-4403-9
• 3D 推定とマッチムーブへの応用 - マッチムーブに関する初期の論文で、数学について詳細に説明しています。
• マッチムービングとトラッキングアプリケーションの比較
• トラッキングと 3D マッチムービングのチュートリアル*リンク切れ*

• FLIP Animation ブログで説明されているマッチムービング 2013 年 5 月閲覧