Loading article…
コンピュータビジョンと画像処理において、動き推定とは、ある 2D 画像から別の 2D 画像への変換を記述する動きベクトルを決定するプロセスであり、通常はビデオシーケンス内の隣接するフレームから行われます。動きは 3 次元 (3D) で発生しますが、画像は 3D シーンを 2D 平面に投影したものであるため、これは不適切設定問題です。動きベクトルは、画像全体 (グローバル動き推定) または特定の部分 (長方形ブロック、任意の形状のパッチ、またはピクセルごと) に関係する場合があります。動きベクトルは、並進モデル、または 3 次元すべてでの回転と並進、ズームなど、実際のビデオカメラの動きを近似できる他の多くのモデルによって表すことができます。
関連用語
多くの場合、モーション推定という用語とオプティカルフローという用語は互換的に使用されます。[要出典]また、概念的には画像登録やステレオ対応にも関連しています。[1]実際、これらの用語はすべて、 2 つの画像またはビデオ フレーム間の対応点を見つけるプロセスを指します。実際のシーンまたはオブジェクトの 2 つのビュー (画像またはフレーム) で互いに対応する点は、「通常」そのシーンまたはそのオブジェクト上の同じ点です。モーション推定を行う前に、対応の測定、つまり 2 つの画像ポイントがどの程度類似しているかを測定するマッチング メトリックを定義する必要があります。ここでは正しいも間違っているもありません。マッチング メトリックの選択は、通常、推定された最終的なモーションの使用目的と推定プロセスでの最適化戦略に関連しています。
各動きベクトルは、参照画像と呼ばれる別の画像内のこのマクロブロック (または類似のマクロブロック) の位置に基づいて、画像内の マクロブロックを表すために使用されます。
H.264/MPEG-4 AVC規格では、動きベクトルを次のように定義しています。
動きベクトル：インター予測に使用される2次元ベクトルで、デコードされた画像の座標から参照画像の座標までのオフセットを提供します。[2] [3]
アルゴリズム
動きベクトルを見つける方法は、ピクセルベースの方法（「直接」）と特徴ベースの方法（「間接」）に分類できます。有名な議論の結果、反対派から結論を出すために2つの論文が発表されました。[4] [5]
直接的な方法
- ブロックマッチングアルゴリズム
- 位相相関法と周波数領域法
- ピクセル再帰アルゴリズム
- オプティカルフロー
間接的な方法
間接的な方法では、コーナー検出などの機能を使用し、通常はローカル領域またはグローバル領域に統計関数を適用して、フレーム間の対応する機能を一致させます。統計関数の目的は、実際の動きに対応しない一致を削除することです。
これまでに成功裏に使用されている統計関数には、RANSACが含まれます。
分類に関する追加情報
ほとんどすべての方法では、何らかのマッチング基準の定義が必要であると言えます。違いは、最初にローカル画像領域を要約してから要約を比較するか（特徴ベースの方法など）、最初に各ピクセルを比較して（差を二乗するなど）、次にローカル画像領域を要約するか（ブロック ベース モーションとフィルター ベース モーション）だけです。新しいタイプのマッチング基準では、最初にすべてのピクセル位置についてローカル画像領域を要約し（ラプラシアン変換などの何らかの特徴変換を使用）、要約された各ピクセルを比較して、再びローカル画像領域を要約します。[6]一部のマッチング基準では、実際には対応していないポイントを除外して良好なマッチング スコアを生成することができますが、他のマッチング基準にはこの機能はありませんが、それでもマッチング基準であることに変わりはありません。
アフィン動き推定
アフィン動き推定は、コンピューター ビジョンと画像処理で 2 つの画像またはフレーム間の動きを推定するために使用される手法です。動きは、線形変換の後に平行移動が行われるアフィン変換 (平行移動 + 回転 + ズーム) としてモデル化できることを前提としています。
アプリケーション
ビデオコーディング
動きベクトルを画像に適用して次の画像への変換を合成することを動き補償と呼ぶ。[7]符号化がブロック単位で実行されるため、離散コサイン変換（DCT）ベースのビデオ符号化規格に最も簡単に適用できる。[8]
時間的冗長性を活用する方法として、動き推定と補正はビデオ圧縮の重要な部分です。最新のHEVCを含むMPEGシリーズなど、ほぼすべてのビデオコーディング標準では、ブロックベースの動き推定と補正が使用されています。
3D再構築
同時位置推定とマッピングでは、移動するカメラからの画像を使用してシーンの3Dモデルを再構築します。[9]
参照
参考文献
- ^ John X. Liu (2006). コンピュータビジョン とロボティクス。Nova Publishers。ISBN 978-1-59454-357-9。
- ^ H.264/MPEG-4 AVC の最新ワーキングドラフト。Wayback Machineに 2004-07-23 にアーカイブされています。2008-02-29 に取得。
- ^ 「hhi.fraunhofer.de の H.264/MPEG-4 AVC の最新のワーキングドラフト」(PDF)。[永久リンク切れ ]
- ^ Philip HS Torr と Andrew Zisserman: 構造と動きの推定のための特徴ベースの方法、ICCV 視覚アルゴリズム ワークショップ、278-294 ページ、1999
- ^ Michal Irani および P. Anandan: 直接法について、ICCV ビジョンアルゴリズムワークショップ、267-277 ページ、1999 年。
- ^ Rui Xu、David Taubman、Aous Thabit Naman、「相互情報量と適応型マルチスケールしきい値処理に基づく動き推定」、IEEE Transactions on Image Processing、vol. 25、no. 3、pp. 1095-1108、2016年3月。
- ^ Borko Furht、Joshua Greenberg、Raymond Westwater (2012 年 12 月 6 日)。ビデオ圧縮のための動き推定アルゴリズム。Springer Science & Business Media。ISBN 978-1-4615-6241-2。
- ^ スワーツ、チャールズ S. (2005)。デジタルシネマを理解する: プロフェッショナルハンドブック。テイラー&フランシス。p. 143。ISBN 9780240806174。
- ^ Kerl, Christian, Jürgen Sturm、Daniel Cremers。「RGB-D カメラ向けの高密度ビジュアル SLAM」。2013 IEEE/RSJ 国際インテリジェントロボットおよびシステム会議。IEEE、2013 年。