ビデオマット

ビデオマッティングは、ビデオを 2 つ以上のレイヤー (通常は前景と背景) に分割し、レイヤーのブレンドを決定するアルファマットを生成する手法です。この手法は、背景を置き換えたり、レイヤーを個別に処理したりできるため、ビデオ編集で非常に人気があります。

ビデオマット法

問題の定義

2 つの画像を結合するときには、アルファマット (透明マップとも呼ばれる) が使用されます。デジタルビデオの場合、アルファマットは画像のシーケンスです。マットはバイナリマスクとして機能し、画像のどの部分を表示するかを定義します。より複雑なケースでは、画像をスムーズにブレンドできるようにするために、アルファマットは上部画像の透明マップとして使用されます。映画制作では、映画制作が始まった当初からアルファマットが使用されてきました。マットは手で描かれていました。今日では、このプロセスはコンピューターアルゴリズムで自動化できます。

左から右へ: 入力画像、背景、前景、アルファマット。

基本的なマッティング問題は、次のように定義されます。画像が与えられた場合、方程式が成り立つように前景、背景、アルファマットを計算します。この方程式には自明な解があり、は任意の画像です。したがって、通常は追加のtrimap を入力として提供する必要があります。trimap は背景、前景、および不確実なピクセルを指定します。これらは、マッティング方法によって前景と背景に分解されます。 $I$ $F$ $B$ $A$ $I=AF+(1-A)B$ $A=1$ $F=I$ $B$

ユーザーの観点から見たビデオマット方法の主な基準は次のとおりです。

正確なエッジ処理
時間安定性
ユーザーの介入は最小限

方法の説明

最初のビデオマッティング法^[1]は2001年に開発されました。この方法では、トライマップ伝播のためのオプティカルフローと、各画像に個別に適用されるベイズ画像マッティング技術を利用します。

Video SnapCut ^[2]は、後にAdobe After Effectsにロトブラシツールとして組み込まれ、2009年に開発されました。この手法では、対象物体の境界付近のバイナリ画像セグメンテーションにローカル分類器を使用します。セグメンテーションの結果はオプティカルフローを使用して次のフレームに伝播され、画像マットアルゴリズム^[3]が適用されます。

2011年の手法^[4]もAdobe After Effectsのエッジ調整ツールとして組み込まれました。オプティカルフローによるトライマップの伝播は、オブジェクトのエッジに沿った制御点によって強化されました。この手法では画像ごとのマッティングを使用しますが、時間的一貫性は時間フィルターによって改善されました。

最後に、 2017年に画像マット処理のためのディープラーニング手法^[5]が開発されました。これはほとんどの従来の手法を克服しています。^[6]

ベンチマーク

ビデオマッティングは、多くの実用的なアプリケーションを持つ急速に進化している分野です。ただし、方法の品質を比較するには、ベンチマークでテストする必要があります。ベンチマークは、テストシーケンスと結果比較方法を含むデータセットで構成されます。現在、クロマキーとストップモーションを使用してグラウンドトゥルース推定を行う主要なビデオマッティングオンラインベンチマークが1つあります^[6]。メソッドの提出後、各メソッドの評価は客観的な指標から導出されます。客観的な指標は人間の品質の認識を反映していないため、適切な比較を行うには主観的な調査が必要です。

実用

オブジェクトの切り抜き

ビデオ編集ソフトウェアでは、ビデオマッティングメソッドが必要です。最も一般的な用途は、オブジェクトを切り取って別のシーンに転送することです。このツールを使用すると、オブジェクトに属する必要がある領域または属さない領域をインタラクティブにペイントしたり、完全なトライマップを入力として指定したりすることで、移動するオブジェクトを切り取ることができます。ソフトウェア実装には、次のようなものがあります。

インタラクティブビデオカットアウトシステム^[10]
Adobe After Effectsのロトブラシツール^[2]
Adobe After Effectsのエッジ調整ツール^[4]
Adobe After Effects用YUVSoftマットプラグイン^[11]

マット化の速度と品質を向上させるために、いくつかの方法では追加データを使用します。たとえば、飛行時間カメラはリアルタイムマット化システムで研究されてきました。^[12]

背景の置き換え

ビデオマットのもう一つの用途は背景マットで、オンラインビデオ通話で非常に人気があります。Zoomプラグインが開発され、^[13] Skypeは2020年6月に背景の置き換えを発表しました。^[14]ビデオマット方法では、背景または前景にのみビデオ効果を適用することもできます。

3Dビデオ編集

ビデオマットは2D から 3D への変換に非常に重要で、アルファマットは透明なオブジェクトを正しく処理するために使用されます。また、ステレオからマルチビューへの変換にも使用されます。

ビデオの完了

マッティングと密接に関連しているのは、ビデオ内のオブジェクトを削除した後のビデオ補完^{[15]です。マッティングはビデオを複数のレイヤーに分割するために使用されますが、補完はレイヤーの1つを削除した後、ビデオからもっともらしいコンテンツでギャップを埋めることを可能にします。}

参照

前景検出 – コンピュータビジョンの概念
オプティカルフロー – 観察者の相対的な動きによる視覚シーン内の動きのパターン
ビデオ処理 – 入力信号と出力信号がビデオファイルまたはビデオストリームである画像処理の特定のケース
アルファ合成 – コンピュータグラフィックスにおける操作

参考文献

^ ab Chuang, Yung-Yu; Agarwala, Aseem; Curless, Brian; Salesin, David H.; Szeliski, Richard (2002). 「複雑なシーンのビデオマッティング」ACM Transactions on Graphics . 21 (3): 243–248. doi :10.1145/566654.566572. ISSN 0730-0301.
^ ab Bai, Xue; Wang, Jue; Simons, David; Sapiro, Guillermo (2009). 「Video SnapCut」. ACM Transactions on Graphics . 28 (3): 1–11. doi :10.1145/1531326.1531376. ISSN 0730-0301.
^ ab Levin, A.; Lischinski, D.; Weiss, Y. (2008). 「自然な画像マッティングに対する閉形式のソリューション」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 30 (2): 228–242. doi :10.1109/TPAMI.2007.1177. ISSN 0162-8828. PMID 18084055.
^ ab Bai, Xue; Wang, Jue; Simons, David (2011). 「時間的にコヒーレントなビデオマッティングに向けて」。コンピュータビジョン/コンピュータグラフィックスコラボレーションテクニック。コンピュータサイエンスの講義ノート。第6930巻。pp . 63–74。doi : 10.1007/978-3-642-24136-9_6。ISBN 978-3-642-24135-2. ISSN 0302-9743.
^ Xu , Ning; Price, Brian; Cohen, Scott; Huang, Thomas (2017). 「Deep Image Matting」。2017 IEEE コンピュータビジョンおよびパターン認識会議 (CVPR)。pp. 311–320。doi :10.1109/ CVPR.2017.41。ISBN 978-1-5386-0457-1. S2CID 14061786。
^ abc Erofeev, Mikhail; Gitman, Yury; Vatolin, Dmitriy; Fedorov, Alexey; Wang, Jue (2015). 「ビデオマッティングの知覚的動機付けベンチマーク」。2015年英国マシンビジョン会議の議事録。pp. 99.1–99.12。doi : 10.5244 /C.29.99。ISBN 978-1-901725-53-7。
^ Cao, Guangying; Li, Jianwei; Chen, Xiaowu; He , Zhiqiang (2017). 「高解像度画像とビデオのためのパッチベースの自己適応型マッティング」。The Visual Computer。35 ( 1): 133–147。doi : 10.1007 /s00371-017-1424-3。ISSN 0178-2789。S2CID 24625947 。
^ Kambhamettu, Chandra (2009). 「学習ベースのデジタルマッティング」2009 IEEE 第 12 回国際コンピュータビジョン会議IEEE. pp. 889–896. doi :10.1109/iccv.2009.5459326. ISBN 978-1-4244-4420-5。
^ Karacan, Levent; Erdem, Aykut ; Erdem, Erkut (2015). 「KL ダイバージェンスベースのスパースサンプリングによる画像マッティング」。2015 IEEE 国際コンピュータビジョン会議 (ICCV)。pp. 424–432。doi :10.1109/ ICCV.2015.56。ISBN 978-1-4673-8391-2. S2CID 2174306。
^ Wang, Jue; Bhat, Pravin; Colburn, R. Alex; Agrawala, Maneesh; Cohen, Michael F. (2005). 「インタラクティブビデオカットアウト」. ACM Transactions on Graphics . 24 (3): 585–594. doi :10.1145/1073204.1073233. ISSN 0730-0301.
^ 「Adobe After Effects用マッティングプラグイン」。2021年3月2日閲覧。
^ Wang, Liang; Gong, Minglun; Zhang, Chenxi; Yang, Ruigang; Zhang, Cha; Yang, Yee-Hong (2011-06-15). 「飛行時間カメラとマルチチャンネルポアソン方程式を使用した自動リアルタイムビデオマッティング」。International Journal of Computer Vision。97 ( 1). Springer Science and Business Media LLC: 104–121. doi :10.1007/ s11263-011-0471 -x. ISSN 0920-5691. S2CID 255108880.
^ 「リアルタイム高解像度背景マッティング」。 2021年3月2日閲覧。
^ 「Skype の背景の置き換えの紹介」。2021年 3 月 2 日閲覧。
^ 「ビデオ完了ベンチマーク」。2021年3月10日閲覧。

外部リンク

ビデオマットベンチマーク
画像マットベンチマーク

[ChuangAgarwala2002-1] Chuang, Yung-Yu; Agarwala, Aseem; Curless, Brian; Salesin, David H.; Szeliski, Richard (2002). 「複雑なシーンのビデオマッティング」ACM Transactions on Graphics . 21 (3): 243–248. doi :10.1145/566654.566572. ISSN 0730-0301.

[BaiWang2009-2] Bai, Xue; Wang, Jue; Simons, David; Sapiro, Guillermo (2009). 「Video SnapCut」. ACM Transactions on Graphics . 28 (3): 1–11. doi :10.1145/1531326.1531376. ISSN 0730-0301.

[LevinLischinski2008-3] Levin, A.; Lischinski, D.; Weiss, Y. (2008). 「自然な画像マッティングに対する閉形式のソリューション」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 30 (2): 228–242. doi :10.1109/TPAMI.2007.1177. ISSN 0162-8828. PMID 18084055.

[BaiWang2011-4] Bai, Xue; Wang, Jue; Simons, David (2011). 「時間的にコヒーレントなビデオマッティングに向けて」。コンピュータビジョン/コンピュータグラフィックスコラボレーションテクニック。コンピュータサイエンスの講義ノート。第6930巻。pp . 63–74。doi : 10.1007/978-3-642-24136-9_6。ISBN 978-3-642-24135-2. ISSN 0302-9743.

[XuPrice2017-5] Xu , Ning; Price, Brian; Cohen, Scott; Huang, Thomas (2017). 「Deep Image Matting」。2017 IEEE コンピュータビジョンおよびパターン認識会議 (CVPR)。pp. 311–320。doi :10.1109/ CVPR.2017.41。ISBN 978-1-5386-0457-1. S2CID 14061786。

[ErofeevGitman2015-6] Erofeev, Mikhail; Gitman, Yury; Vatolin, Dmitriy; Fedorov, Alexey; Wang, Jue (2015). 「ビデオマッティングの知覚的動機付けベンチマーク」。2015年英国マシンビジョン会議の議事録。pp. 99.1–99.12。doi : 10.5244 /C.29.99。ISBN 978-1-901725-53-7。

[CaoLi2017-7] ^ Cao, Guangying; Li, Jianwei; Chen, Xiaowu; He , Zhiqiang (2017). 「高解像度画像とビデオのためのパッチベースの自己適応型マッティング」。The Visual Computer。35 ( 1): 133–147。doi : 10.1007 /s00371-017-1424-3。ISSN 0178-2789。S2CID 24625947 。

[Kambhamettu_2009_p.-8] Kambhamettu, Chandra (2009). 「学習ベースのデジタルマッティング」2009 IEEE 第 12 回国際コンピュータビジョン会議IEEE. pp. 889–896. doi :10.1109/iccv.2009.5459326. ISBN 978-1-4244-4420-5。

[KaracanErdem2015-9] ^ Karacan, Levent; Erdem, Aykut ; Erdem, Erkut (2015). 「KL ダイバージェンスベースのスパースサンプリングによる画像マッティング」。2015 IEEE 国際コンピュータビジョン会議 (ICCV)。pp. 424–432。doi :10.1109/ ICCV.2015.56。ISBN 978-1-4673-8391-2. S2CID 2174306。

[WangBhat2005-10] Wang, Jue; Bhat, Pravin; Colburn, R. Alex; Agrawala, Maneesh; Cohen, Michael F. (2005). 「インタラクティブビデオカットアウト」. ACM Transactions on Graphics . 24 (3): 585–594. doi :10.1145/1073204.1073233. ISSN 0730-0301.

[11] 「Adobe After Effects用マッティングプラグイン」。2021年3月2日閲覧。

[Wang_Gong_Zhang_Yang_pp._104–121-12] Wang, Liang; Gong, Minglun; Zhang, Chenxi; Yang, Ruigang; Zhang, Cha; Yang, Yee-Hong (2011-06-15). 「飛行時間カメラとマルチチャンネルポアソン方程式を使用した自動リアルタイムビデオマッティング」。International Journal of Computer Vision。97 ( 1). Springer Science and Business Media LLC: 104–121. doi :10.1007/ s11263-011-0471 -x. ISSN 0920-5691. S2CID 255108880.

[13] 「リアルタイム高解像度背景マッティング」。 2021年3月2日閲覧。

[14] 「Skype の背景の置き換えの紹介」。2021年 3 月 2 日閲覧。

[15] 「ビデオ完了ベンチマーク」。2021年3月10日閲覧。