Loading article…
コンピュータビジョンにおいて、オブジェクトのコセグメンテーションは画像セグメンテーションの特殊なケースであり、複数の画像やビデオフレーム内の意味的に類似したオブジェクトを共同でセグメンテーションすることとして定義されます。[2] [3]
課題
ノイズの多い画像やビデオフレームのコレクションからターゲット/オブジェクトのセグメンテーションマスクを抽出することは、多くの場合困難であり、オブジェクトの検出とセグメンテーションの組み合わせが必要です。ノイズの多いコレクションは、オブジェクト/ターゲットが画像セット内に散発的に存在するか、オブジェクト/ターゲットが対象のビデオ全体で断続的に消えることを意味します。初期の方法[4] [5]では、通常、オブジェクト提案などの中間レベルの表現が使用されます。
動的マルコフネットワークベースの方法
最近、結合された動的マルコフネットワークに基づく共同オブジェクト検出および共同セグメンテーション法が提案され、[1]無関係な/ノイズの多いビデオフレームに対する堅牢性が大幅に改善されたと主張しています。
入力ビデオ全体にわたってターゲット オブジェクトが一貫して存在すると都合よく想定するこれまでの取り組みとは異なり、この結合されたデュアル ダイナミック マルコフ ネットワーク ベースのアルゴリズムは、信念伝播によって共同で更新される 2 つのそれぞれのマルコフ ネットワークを使用して、検出タスクとセグメンテーション タスクの両方を同時に実行します。
具体的には、セグメンテーションを担当するマルコフ ネットワークはスーパーピクセルで初期化され、オブジェクト検出タスクを担当するマルコフ ネットワークに情報を提供します。逆に、検出を担当するマルコフ ネットワークは、時空間セグメンテーション チューブを含む入力を使用してオブジェクト提案グラフを構築します。
グラフカットベースの方法
グラフカット最適化は、コンピュータビジョン、特に初期の画像セグメンテーションアプリケーションでよく使われるツールです。通常のグラフカットの拡張として、マルチレベルハイパーグラフカットが提案されており、典型的なペアワイズ相関を超えた、ビデオグループ間のより複雑な高次対応を考慮しています [6] 。
このようなハイパーグラフの拡張により、低レベルの外観、顕著性、一貫した動き、およびオブジェクト領域などの高レベルの特徴を含む、複数のモダリティの対応をハイパーエッジの計算にシームレスに組み込むことができます。さらに、共起ベースのアプローチに対する主な利点として、ハイパーグラフは、その頂点間のより複雑な対応を暗黙的に保持し、ハイパーエッジの重みはラプラシアン行列の固有値分解によって便利に計算されます。
CNN/LSTMベースの方法
アクションローカリゼーションアプリケーションでは、オブジェクトのコセグメンテーションは、セグメントチューブ時空間検出器としても実装されています。 [7]チューブレット（バウンディングボックスのシーケンス）を使用した最近の時空間アクションローカリゼーションの取り組みに触発されて、Leらは、フレームごとのセグメンテーションマスクのシーケンスで構成される新しい時空間アクションローカリゼーション検出器セグメントチューブを提示しています。このセグメントチューブ検出器は、トリミングされていないビデオで前後の干渉アクションがある場合でも、各アクションカテゴリの開始/終了フレームを時間的に正確に特定できます。同時に、セグメントチューブ検出器はバウンディングボックスの代わりにフレームごとのセグメンテーションマスクを生成するため、チューブレットよりも優れた空間精度が得られます。これは、時間的アクションローカリゼーションと空間アクションセグメンテーションの間で反復的な最適化を交互に行うことで実現されます。
提案されたセグメント チューブ検出器は、右側のフローチャートに示されています。サンプル入力は、ペア フィギュア スケート ビデオのすべてのフレームを含むトリミングされていないビデオであり、これらのフレームの一部のみが関連カテゴリ (たとえば、デススパイラル) に属しています。個々のフレームの顕著性に基づく画像セグメンテーションで初期化されたこの方法は、最初にカスケードされた 3D CNNとLSTMを使用して時間的アクション ローカリゼーション ステップを実行し、粗いものから細かいものへの戦略を使用してターゲット アクションの開始フレームと終了フレームを正確に特定します。次に、セグメント チューブ検出器は、時間的アクション ローカリゼーション ステップで識別された関連フレームに焦点を当てて、グラフ カットを使用してフレームごとの空間セグメンテーションを改良します。最適化では、時間的アクション ローカリゼーションと空間的アクション セグメンテーションが交互に反復的に実行されます。実際の収束時に、最終的な時空間アクション ローカリゼーションの結果が、正確な開始/終了フレームを含むフレームごとのセグメンテーション マスクのシーケンス (フローチャートの一番下の行) の形式で得られます。
参照
参考文献
- ^ abcd Liu, Ziyi; Wang, Le; Hua, Gang; Zhang, Qilin; Niu, Zhenxing; Wu, Ying; Zheng, Nanning (2018). 「結合された動的マルコフネットワークによるビデオオブジェクトの共同検出およびセグメンテーション」(PDF) . IEEE Transactions on Image Processing . 27 (12): 5840–5853. Bibcode :2018ITIP...27.5840L. doi : 10.1109/tip.2018.2859622 . ISSN 1057-7149. PMID 30059300. S2CID 51867241.
- ^ ビセンテ、サラ;ロザー、カールステン。コルモゴロフ、ウラジミール (2011)。 「オブジェクトの共分割」。CVPR 2011。 IEEE。 2217–2224ページ。土井：10.1109/cvpr.2011.5995530。ISBN 978-1-4577-0394-2。
- ^ Chen, Ding-Jie; Chen, Hwann-Tzong; Chang, Long-Wen (2012). 「ビデオオブジェクトのコセグメンテーション」。第 20 回 ACM国際マルチメディア会議議事録 - MM '12。米国ニューヨーク州ニューヨーク: ACM プレス。p. 805。doi : 10.1145 /2393347.2396317。ISBN 978-1-4503-1089-5。
- ^ Lee, Yong Jae; Kim, Jaechul; Grauman, Kristen (2011). 「ビデオオブジェクトセグメンテーションのためのキーセグメント」2011 International Conference on Computer Vision . IEEE. pp. 1995–2002. CiteSeerX 10.1.1.269.2727 . doi :10.1109/iccv.2011.6126471. ISBN 978-1-4577-1102-2。
- ^ Ma, Tianyang; Latecki, Longin Jan (2012).ビデオオブジェクトセグメンテーションのためのミューテックス制約付き最大重みクリーク。IEEE CVPR 2012。pp. 670–677。doi :10.1109 / CVPR.2012.6247735。ISBN 978-1-4673-1228-8。
- ^ Wang, Le; Lv, Xin; Zhang, Qilin; Niu, Zhenxing; Zheng, Nanning; Hua, Gang (2020). 「マルチレベルハイパーグラフによるノイズの多いビデオのオブジェクトコセグメンテーション」(PDF) . IEEE Transactions on Multimedia . 23 . IEEE: 1. doi :10.1109/tmm.2020.2995266. ISSN 1520-9210. S2CID 219410031.
- ^ abc Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-05-22). 「セグメントチューブ：フレームごとのセグメンテーションによるトリミングされていないビデオの空間的・時間的アクションローカリゼーション」（PDF） .センサー. 18 (5). MDPI AG: 1657. Bibcode :2018Senso..18.1657W. doi : 10.3390/s18051657 . ISSN 1424-8220. PMC 5982167 . PMID 29789447.
資料はこのソースからコピーされたもので、Creative Commons Attribution 4.0 International License に基づいて利用可能です。