ビデオトラッキング

ビデオトラッキングとは、カメラを使用して時間経過とともに移動する物体（または複数の物体）の位置を特定するプロセスです。ビデオトラッキングにはさまざまな用途があり、その一部は、人間とコンピュータのインタラクション、セキュリティと監視、ビデオ通信と圧縮、拡張現実、交通管制、医療画像処理^{[ 1 ]}、ビデオ編集^{[ 2 ] [ 3 ]}です。ビデオトラッキングは、ビデオに含まれるデータ量が多いため、時間のかかるプロセスになる可能性があります。さらに複雑さを増すのは、トラッキングに物体認識技術を使用する必要がある場合があることです。これはそれ自体が困難な問題です。

ビデオトラッキングの目的は、連続するビデオフレーム内のターゲットオブジェクトを関連付けることです。オブジェクトがフレームレートに対して高速で移動している場合、関連付けは特に困難になります。問題の複雑さを増すもう1つの状況は、追跡対象オブジェクトの向きが時間とともに変化する場合です。このような状況では、ビデオトラッキングシステムは通常、オブジェクトのさまざまな動きに対してターゲットの画像がどのように変化するかを記述するモーションモデルを使用します。

単純な動作モデルの例としては、以下のようなものがあります。

• 平面物体を追跡する場合、モーションモデルは、物体の画像（例えば初期フレーム）の2次元変換（アフィン変換またはホモグラフィ）です。
• 対象が剛体3Dオブジェクトの場合、モーションモデルは、その3D位置と向きに基づいて、対象物の外観を定義します。
• ビデオ圧縮では、キーフレームはマクロブロックに分割されます。モーションモデルはキーフレームの分割であり、各マクロブロックはモーションパラメータによって与えられるモーションベクトルによって移動されます。
• 変形可能な物体の画像はメッシュで覆うことができ、物体の動きはメッシュのノードの位置によって定義される。

ビデオトラッキングを実行するには、アルゴリズムが連続するビデオフレームを分析し、フレーム間のターゲットの動きを出力します。アルゴリズムにはさまざまな種類があり、それぞれに長所と短所があります。どのアルゴリズムを使用するかを選択する際には、使用目的を考慮することが重要です。ビジュアルトラッキングシステムには、ターゲットの表現と位置特定、フィルタリング、データ関連付けという2つの主要な構成要素があります。

Target representation and localization is mostly a bottom-up process. These methods give a variety of tools for identifying the moving object. Locating and tracking the target object successfully is dependent on the algorithm. For example, using blob tracking is useful for identifying human movement because a person's profile changes dynamically.^[6] Typically the computational complexity for these algorithms is low. The following are some common target representation and localization algorithms:

• Kernel-based tracking (mean-shift tracking^[7]): an iterative localization procedure based on the maximization of a similarity measure (Bhattacharyya coefficient).
• Contour tracking: detection of object boundary (e.g. active contours or Condensation algorithm). Contour tracking methods iteratively evolve an initial contour initialized from the previous frame to its new position in the current frame. This approach to contour tracking directly evolves the contour by minimizing the contour energy using gradient descent.

Filtering and data association is mostly a top-down process, which involves incorporating prior information about the scene or object, dealing with object dynamics, and evaluation of different hypotheses. These methods allow the tracking of complex objects along with more complex object interaction like tracking objects moving behind obstructions.^[8] Additionally the complexity is increased if the video tracker (also named TV tracker or target tracker) is not mounted on rigid foundation (on-shore) but on a moving ship (off-shore), where typically an inertial measurement system is used to pre-stabilize the video tracker to reduce the required dynamics and bandwidth of the camera system.^[9] The computational complexity for these algorithms is usually much higher. The following are some common filtering algorithms:

• Kalman filter: an optimal recursive Bayesian filter for linear functions subjected to Gaussian noise. It is an algorithm that uses a series of measurements observed over time, containing noise (random variations) and other inaccuracies, and produces estimates of unknown variables that tend to be more precise than those based on a single measurement alone.^[10]
• Particle filter: useful for sampling the underlying state-space distribution of nonlinear and non-Gaussian processes.^[11][12][13]

• マッチムーブメント
• モーションキャプチャ
• 動き推定
• オプティカルフロー
• スイストラック
• 単一粒子追跡
• テクノモ・フェルナンデスアルゴリズム

• – 興味深い歴史的事例（1980年）として、迷路の中を進むボールを追跡するために使用されたクロメムコ・サイクロプス・カメラ。