前景検出

前景検出は、画像シーケンスの変化を検出することを目的とした、コンピューター ビジョンと画像処理の分野における主要なタスクの 1 つです。背景減算は、画像の前景を抽出して、さらに処理 (オブジェクト認識など) できるようにする手法です。

多くのアプリケーションでは、ビデオ シーケンス内の動きの展開についてすべてを知る必要はなく、シーンの変化に関する情報のみが必要です。これは、画像の関心領域が前景にあるオブジェクト (人間、車、テキストなど) であるためです。画像の前処理段階 (画像のノイズ除去、形態学などの後処理などを含む場合があります) の後、この手法を利用できるオブジェクトの位置特定が必要になります。

前景検出は、前景で発生する変化に基づいて前景と背景を分離します。これは通常、固定カメラで リアルタイムに記録されたビデオ シーケンスを分析する一連の技術です。

すべての検出技術は、画像の背景のモデリング、つまり背景を設定し、どのような変化が起こるかを検出することに基づいています。背景に形状、影、および移動する物体が含まれている場合、背景の定義は非常に困難になる可能性があります。背景を定義する際には、静止した物体の色と強度が時間の経過とともに変化する可能性があると想定されます。

これらの技術が適用されるシナリオは、非常に多様です。照明、室内、屋外、品質、ノイズが大きく異なる画像など、シーケンスには非常にばらつきがあります。リアルタイムで処理するだけでなく、システムはこれらの変化に適応できる必要があります。

非常に優れた前景検出システムには、次の機能が必要です。

• 背景（推定）モデルを開発します。
• 照明の変化、反復的な動き（葉、波、影）、長期的な変化に対して堅牢であること。

背景減算は、静止カメラのビデオで動く物体を検出するために広く使用されているアプローチです。このアプローチの原理は、現在のフレームと参照フレーム (「背景画像」または「背景モデル」と呼ばれることが多い) の差から動く物体を検出することです。背景減算は、問題の画像がビデオ ストリームの一部である場合に主に行われます。背景減算は、監視追跡や人間の姿勢推定など、コンピューター ビジョンのさまざまなアプリケーションに重要な手がかりを提供します。^{[引用が必要]}

背景差分法は、一般的に静的背景仮説に基づいていますが、実際の環境では適用できないことがよくあります。屋内シーンでは、画面上の反射やアニメーション画像によって背景が変化します。同様に、天候による風、雨、照明の変化により、静的背景法は屋外シーンでは困難を伴います。^[1]

時間平均フィルタは、Velastin で提案された方法です。このシステムは、多数の以前の画像のすべてのピクセルの中央値から背景モデルを推定します。システムは、最後のフレームのピクセル値を含むバッファを使用して、各画像の中央値を更新します。

背景をモデル化するために、システムはトレーニング時間と呼ばれる特定の期間内のすべての画像を調べます。この時点では、画像のみを表示し、今回は背景にあるすべてのプロットのピクセルごとに中央値を見つけます。

各新しいフレームのトレーニング期間の後、各ピクセル値は、以前に計算された資金の入力値と比較されます。入力ピクセルがしきい値内にある場合、ピクセルは背景モデルに一致するとみなされ、その値は pixbuf に含められます。そうでない場合、値がこのしきい値外にある場合、ピクセルは前景として分類され、バッファーに含められません。

この方法は、厳密な統計的根拠が提示されておらず、計算コストの高いバッファを必要とするため、あまり効率的とは言えません。

堅牢な背景減算アルゴリズムは、照明の変化、乱雑な物体からの反復的な動き、および長期的なシーンの変化に対処できなければなりません。^[2]以下の分析では、ビデオシーケンスとしてV ( x、y、t )の関数を使用します。ここで、 tは時間の次元、xとy はピクセル位置の変数です。たとえば、V (1,2,3) は、ビデオシーケンスのt = 3における画像の (1,2) ピクセル位置でのピクセル強度です 。

モーション検出アルゴリズムは、前景または移動するオブジェクトを背景から分割する分割部分から始まります。これを実装する最も簡単な方法は、背景として画像を取得し、時刻 t で取得されたフレーム (I(t) で示される) を取得して、背景画像 (B) と比較することです。ここでは、簡単な算術計算を使用して、コンピューター ビジョンの画像減算技術を使用してオブジェクトを簡単に分割できます。つまり、I(t) の各ピクセルについて、P[I(t)] で示されるピクセル値を取得し、背景画像 (P[B] で示される) の同じ位置にある対応するピクセルから減算します。

数式では次のように表されます。

${\displaystyle P[F(t)]=P[I(t)]-P[B]}$

背景は時刻tのフレームであると仮定します。この差分画像では、2 つのフレームで変化したピクセル位置の強度のみが示されます。一見背景が除去されているように見えますが、このアプローチは、前景のピクセルがすべて動いていて、背景のピクセルがすべて静止している場合にのみ機能します。^[2]この差分画像には、減算を改善するためにしきい値「しきい値」が設定されます (画像のしきい値設定を参照)。

${\displaystyle |P[F(t)]-P[F(t+1)]|>\mathrm {閾値} }$

これは、差分画像のピクセルの強度がしきい値に基づいて「しきい値処理」またはフィルタリングされることを意味します。 ^[3]このアプローチの精度は、シーン内の動きの速度に依存します。動きが速いほど、より高いしきい値が必要になる場合があります。

背景のみを含む画像を計算するには、一連の前の画像を平均化します。瞬間 t における背景画像を計算するには、次の操作を行います。

${\displaystyle B(x,y,t)={1 \over N}\sum _{i=1}^{N}V(x,y,ti)}$

ここで、Nは平均化のために撮影された先行画像の数です。この平均化とは、与えられた画像内の対応するピクセルを平均化することです。Nはビデオ速度（ビデオ内の1秒あたりの画像数）とビデオ内の動きの量に依存します。^[4]背景B（x、y、t ）を計算した後、それを時間t = tで画像V（x、y、t ）から減算し 、しきい値を設定します。したがって、前景は次のようになります。

${\displaystyle |V(x,y,t)-B(x,y,t)|>\mathrm {Th} }$

ここで、Thは閾値です。同様に、上記のB ( x , y , t )の計算では、平均値の代わりに中央値を使用することもできます。

グローバル閾値と時間に依存しない閾値（画像内のすべてのピクセルに対して同じTh値）を使用すると、上記2つのアプローチの精度が制限される可能性があります。^[2]

この手法では、Wrenら^[5]は、最新のフレームにガウス確率密度関数（pdf）を当てはめることを提案している。新しいフレーム時間ごとに最初からpdfを当てはめるのを避けるために、実行中（またはオンライン累積）平均が計算される。 ${\displaystyle n}$${\displaystyle t}$

各ピクセルの pdf は平均 と分散によって特徴付けられます。以下は、考えられる初期条件です (最初は各ピクセルが背景であると仮定)。 ${\displaystyle \mu_{t}}$ ${\displaystyle \sigma_{t}^{2}}$

${\displaystyle \mu _{0}=I_{0}}$

${\displaystyle \sigma _{0}^{2}=\langle {\text{デフォルト値}}\rangle }$

ここで、 は時刻におけるピクセルの強度の値です。分散を初期化するために、たとえば、各ピクセルの周囲の小さなウィンドウからの x と y の分散を使用できます。 ${\displaystyle I_{t}}$${\displaystyle t}$

背景は時間の経過とともに変化する可能性があることに注意してください (例: 照明の変化や非静的な背景オブジェクトによる)。その変化に対応するには、フレームごとに、すべてのピクセルの平均と分散を次のように更新する必要があります。 ${\displaystyle t}$

${\displaystyle \mu_{t}=\rho I_{t}+(1-\rho )\mu_{t-1}}$

${\displaystyle \sigma _{t}^{2}=d^{2}\rho +(1-\rho )\sigma _{t-1}^{2}}$

${\displaystyle d=|(I_{t}-\mu _{t})|}$

ここで、 はpdf を適合するために使用される時間ウィンドウのサイズ (通常は) を決定し、 はピクセルの平均値と値の間のユークリッド距離です。 ${\displaystyle \rho}$${\displaystyle \rho =0.01}$${\displaystyle d}$

現在の強度が分布の平均の 信頼区間内にある場合、ピクセルを背景として分類できるようになりました。

${\displaystyle {\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}>k\longrightarrow {\text{foreground}}}$

${\displaystyle {\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}\leq k\longrightarrow {\text{background}}}$

ここで、パラメータは自由しきい値（通常は）です。 の値が大きいほど背景のダイナミックさが増し、 が小さいほど微妙な変化によって背景から前景への遷移の可能性が高まります。 ${\displaystyle k}$${\displaystyle k=2.5}$${\displaystyle k}$${\displaystyle k}$

この方法のバリエーションでは、ピクセルの分布は背景として分類された場合にのみ更新されます。これは、新しく導入された前景オブジェクトが背景にフェードインするのを防ぐためです。平均値の更新式はそれに応じて変更されます。

${\displaystyle \mu _{t}=M\mu _{t-1}+(1-M)(I_{t}\rho +(1-\rho )\mu _{t-1})}$

ここで、が前景とみなされる場合、 がそうでない場合は です。したがって、 の場合、つまりピクセルが前景として検出される場合、平均は同じままになります。結果として、ピクセルは、一度前景になると、強度値が前景になる前の強度値に近づいたときにのみ、再び背景になることができます。ただし、この方法にはいくつか問題があります。すべてのピクセルが最初から背景ピクセルである（または前景ピクセルがそのように注釈されている）場合にのみ機能します。また、段階的な背景の変化には対応できません。ピクセルが長期間前景として分類されている場合、その場所の背景強度は変化している可能性があります（照明の変化などにより）。結果として、前景オブジェクトがなくなると、新しい背景強度は背景として認識されなくなる可能性があります。 ${\displaystyle M=1}$${\displaystyle I_{t}}$${\displaystyle M=0}$${\displaystyle M=1}$

ガウス混合法は、各ピクセルをガウス混合としてモデル化し、オンライン近似を使用してモデルを更新します。この手法では、ビデオ内のすべてのピクセルの強度値は、ガウス混合モデルを使用してモデル化できると想定されています。^{[6]単純なヒューリスティックによって、どの強度が背景である可能性が最も高いかが決定されます。次に、これらと一致しないピクセルは前景ピクセルと呼ばれます。前景ピクセルは、2D}接続コンポーネント分析を使用してグループ化されます。^[6]

任意の時刻 t における特定のピクセル ( ) の履歴は次のようになります。 ${\displaystyle x_{0},y_{0}}$

${\displaystyle X_{1},\ldots ,X_{t}=\{V(x_{0},y_{0},i):1\leqslant i\leqslant t\}}$

この履歴は、 K個のガウス分布 の混合によってモデル化されます。

${\displaystyle P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)}$

どこ：

${\displaystyle N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)}$

まず、各ピクセルは RGB 色空間における強度によって特徴付けられます。次に、現在のピクセルを観測する確率は、多次元の場合、次の式で与えられます。

${\displaystyle P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}\eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)}$

ここで、K は分布の数、ω は時刻 t における i 番目のガウス分布に関連付けられた重み、μ、Σ はそれぞれそのガウス分布の平均と標準偏差です。

${\displaystyle \eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)}$

パラメータの初期化が完了すると、最初のフォアグラウンド検出が行われ、パラメータが更新されます。しきい値Tを超える最初の B ガウス分布は、バックグラウンド分布として保持されます。

${\displaystyle B=\operatorname {argmin} \left(\Sigma _{i=1}^{B}\omega _{i,t}>T\right)}$

その他の分布は、前景分布を表すものと見なされます。次に、新しいフレームが の時点で入力されると、各ピクセルの一致テストが行​​われます。マハラノビス距離がの場合、ピクセルはガウス分布と一致します。 ${\displaystyle t+1}$

${\displaystyle \left(\left(X_{t+1}-\mu _{i,t}\right)^{T}\sigma _{i,t}^{-1}\left(X_{t+1}-\mu _{i,t}\right)\right)^{0.5}<k\cdot \sigma _{i,t}}$

ここで、k はに等しい定数しきい値です。この場合、次の 2 つのケースが考えられます。 ${\displaystyle 2.5}$

ケース1: k個のガウス分布のうちの1つと一致するものが見つかった場合、一致した成分については、次のように更新が行われる: ^[7]

${\displaystyle \sigma _{i,t+1}^{2}=\left(1-\rho \right)\sigma _{i,t}^{2}+\rho \left(X_{x+1}-\mu _{x+1}\right)\left(X_{x+1}-\mu _{x+1}\right)^{T}}$

PowerとSchoonees[3]は同じアルゴリズムを使用して画像の前景をセグメント化しました。

${\displaystyle \sigma _{i,t+1}=\left(1-\alpha \right)\omega _{i,t}+\alpha P\left(k\mid X_{t},\varphi \right)}$

の本質的な近似は次のように与えられる：^[8]${\displaystyle P\left(k\mid \ X_{t},\varphi \right)}$${\displaystyle M_{k,t}}$

${\displaystyle M_{k,t}={\begin{cases}1&{\text{match}},\\0&{\text{otherwise}}.\end{cases}}}$

ケース 2: どのガウス分布とも一致しません。この場合、最も確率の低い分布は、次のパラメータを持つ新しい分布に置き換えられます。 ${\displaystyle K}$${\displaystyle K}$

${\displaystyle k_{i.t}={\text{low prior weight}}}$

${\displaystyle \mu _{i,t+1}=X_{t+1}}$

${\displaystyle \sigma _{i.t+1}^{2}={\text{large initial variance}}}$

パラメータのメンテナンスが完了すると、前景の検出などが可能になります。ガウス分布の更新には、オンラインK 平均法近似が使用されます。Stauffer とGrimson ^[6]によって開発されたこのオリジナルの方法には、数多くの改良が提案されており、完全な調査は Bouwmans ら^[7]で見つけることができます。適応型背景化の標準的な方法は、時間の経過とともに画像を平均化し、動きが発生する場所を除いて現在の静的シーンに似た背景近似を作成することです。

モデルのカテゴリまたはサブカテゴリに関するいくつかの調査は、次のとおりです。

• MOGバックグラウンド減算 ^[7]
• サブスペース学習背景減算^[9]
• 統計的背景減算^{[10] [11]}
• ファジー背景減算^[12]
• RPCA背景減算^[13]（詳細についてはロバスト主成分分析を参照）
• 背景/前景分離のための動的RPCA ^[14]（詳細についてはロバスト主成分分析を参照）
• 背景/前景分離のための低ランクプラス加法行列への分解 ^[15]
• 背景差分法におけるディープニューラルネットワークの概念^[16]
• 背景差分法の従来のアプローチと最近のアプローチ^{[17] [18]}

• ビデオ監視
• 光学式モーションキャプチャ
• 人間とコンピュータの相互作用
• コンテンツベースのビデオコーディング
• 交通監視
• リアルタイムのモーションジェスチャー認識

^{詳細については[19]}を参照。

• 3Dデータの取得とオブジェクトの再構築
• ガウス適応
• 関心領域
• テクノモ・フェルナンデスアルゴリズム
• バイブ

文献にはいくつかの比較/評価論文が掲載されています。

• A. Sobral、A. Vacavant。「合成ビデオと実際のビデオで評価した背景減算アルゴリズムの包括的なレビュー^{[リンク切れ‍ ]}」。コンピューター ビジョンと画像理解、CVIU 2014、2014 年。
• A. Shahbaz、J. Hariyono、K. Jo、「ビデオ監視用背景減算アルゴリズムの評価」、FCV 2015、2015 年。
• Y. Xu、J. Dong、B. Zhang、D. Xu、「ビデオ分析における背景モデリング手法: レビューと比較評価」、CAAI Transactions on Intelligence Technology、43～60 ページ、第 1 巻、第 1 号、2016 年 1 月。

• T. Bouwmans、F. Porikli、B. Horferlin、A. Vacavant、「ビデオ監視の背景モデリングと前景検出: 従来と最近のアプローチ、実装、ベンチマーク、評価」ハンドブック、CRC Press、Taylor and Francis Group、2014 年 6 月。(詳細については、http://www.crcpress.com/product/isbn/9781482205374 を参照してください)
• T. Bouwmans、N. Aybat、E. Zahzah。堅牢な低ランクおよびスパース行列分解ハンドブック: 画像およびビデオ処理への応用、CRC Press、Taylor and Francis Group、2016 年 5 月。(詳細については、http://www.crcpress.com/product/isbn/9781498724623 を参照してください)

• T. Bouwmans、L. Davis、J. Gonzalez、M. Piccardi、C. Shan、「現実世界の動的シーンでの前景検出のための背景モデリング」特集号、マシンビジョンとアプリケーションの特集号、2014 年 7 月。
• A. Vacavant、L. Tougne、T. Chateau、「背景モデルの比較」に関する特別セクション、Computer Vision and Image Understanding、CVIU 2014、2014 年 5 月。
• A. Petrosino、L. Maddalena、T. Bouwmans、「シーン背景のモデリングと初期化」特集号、Pattern Recognition Letters、2017 年 9 月。
• T. Bouwmans、「移動物体の検出」特集号、MDPI Journal of Imaging、2018 年。

• RGB ビデオからの検出と追跡のための背景学習 (RGBD 2017) ICIAP 2017 と連携したワークショップ。(詳細については、http://rgbd2017.na.icar.cnr.it/ を参照してください)
• シーン背景モデリングと初期化 (SBMI 2015) ワークショップは ICIAP 2015 と連動しています。(詳細については、http://sbmi2015.na.icar.cnr.it/ を参照してください)
• CVPR 2014 と連携した IEEE 変更検出ワークショップ。(詳細については、http://www.changedetection.net/ を参照してください)
• ACCV 2012 と連動した背景モデルの課題に関するワークショップ (BMC 2012)。(詳細については、http://bmc.iut-auvergne.com/ を参照してください)

• IEEE シーン背景モデリング コンテスト (SBMC 2016) は ICPR 2016 と連携して開催されます (詳細については、http://pione.dinf.usherbrooke.ca/sbmc2016/ をご覧ください。2019 年 8 月 10 日にWayback Machineにアーカイブされています)

• R. Venkatesh Babuによる背景差分
• 前景と背景のモデリング技術に基づく前景のセグメンテーションとトラッキング (Jaume Gallego 著)
• マーク・ガルシアとラミスによるビデオのシーケンスを検出します

• 背景差分ウェブサイト

背景差分法の Web サイト (T. Bouwmans、ラ・ロシェル大学、フランス) には、この分野の参考文献の包括的なリストと、利用可能なデータセットおよびソフトウェアへのリンクが含まれています。

• ChangeDetection.net (詳細については、http://www.changedetection.net/ を参照してください)
• 背景モデルチャレンジ (詳細については、http://bmc.iut-auvergne.com/ をご覧ください)
• シュトゥットガルト人工背景減算データセット (詳細については、http://www.vis.uni-stuttgart.de/index.php?id=sabs を参照してください。2015 年 3 月 27 日にWayback Machineにアーカイブされました)
• SBMI データセット (詳細については、http://sbmi2015.na.icar.cnr.it/ を参照してください)
• SBMnet データセット (詳細については、http://pione.dinf.usherbrooke.ca/dataset/ を参照してください。2018 年 10 月 31 日にWayback Machineにアーカイブされました)

• 背景減算器CNT

BackgroundSubtractorCNT ライブラリは、OpenCV に基づいて C++ で記述された非常に高速で高品質のアルゴリズムを実装します。低スペックのハードウェアを対象としていますが、最新の Linux や Windows でも同様に高速に動作します。(詳細については、https://github.com/sagi-z/BackgroundSubtractorCNT を参照してください)。

• BGS ライブラリ

BGS ライブラリ (A. Sobral、フランス、ラ・ロシェル大学) は、背景減算アルゴリズムを実行するための C++ フレームワークを提供します。コードは Windows でも Linux でも動作します。現在、ライブラリは 30 を超える BGS アルゴリズムを提供しています。(詳細については、https://github.com/andrewssobral/bgslibrary を参照してください)

• LRS ライブラリ – 動画の背景モデリングと減算のための低ランクおよびスパース ツール LRSLibrary (A. Sobral、フランス、ラ ロシェル大学) は、MATLAB の低ランクおよびスパース分解アルゴリズムのコレクションを提供します。このライブラリは動画のモーション セグメンテーション用に設計されていますが、他のコンピューター ビジョンの問題にも使用または適応できます。現在、LRSLibrary には 100 を超える行列ベースおよびテンソルベースのアルゴリズムが含まれています。(詳細については、https://github.com/andrewssobral/lrslibrary を参照してください)
• OpenCV – OpenCV ライブラリは、さまざまな背景/前景セグメンテーション アルゴリズムを提供します。