Loading article…
視覚的時間的注意は、視覚的注意の特殊なケースであり、特定の瞬間に注意を向けることを含みます。空間的な対応物である視覚的空間的注意と同様に、これらの注意モジュールは、コンピュータービジョンのビデオ分析に広く実装されており、深層学習モデルのパフォーマンスの向上と人間が解釈できる説明[3]を提供しています。
視覚空間注意機構により、人間やコンピュータビジョンシステムは空間内の意味的により重要な領域に集中することができるようになるのと同様に、視覚時間注意モジュールにより、機械学習アルゴリズムは人間の行動認識などのビデオ分析タスクにおいて重要なビデオフレームをより重視することができるようになる。畳み込みニューラルネットワークベースのシステムでは、注意機構によって導入される優先順位付けは、ラベル付けされたトレーニングデータによって決定されるパラメータを持つ線形重み付け層として通常実装されている。[3]
アクション認識におけるアプリケーション
最近のビデオセグメンテーションアルゴリズムは、多くの場合、空間的注意メカニズムと時間的注意メカニズムの両方を活用します。[2] [4]畳み込みニューラルネットワーク（CNN）などの強力なツールの導入以来、人間の行動認識の研究は大幅に加速しています。 ただし、時間情報をCNNに組み込むための効果的な方法は、まだ積極的に研究されています。自然言語処理における一般的な再帰的注意モデルに動機付けられて、ビデオにおける注意を考慮した時間的重み付けCNN（ATW CNN）が提案されています[4]。これは、視覚注意モデルを時間的重み付けマルチストリームCNNに埋め込みます。 この注意モデルは時間的重み付けとして実装され、ビデオ表現の認識パフォーマンスを効果的に向上させます。 さらに、提案されたATW CNNフレームワークの各ストリームは、ネットワークパラメータと時間的重みの両方がバックプロパゲーションによる確率的勾配降下法（SGD）によって最適化されたエンドツーエンドのトレーニングが可能です。実験結果によると、ATW CNN アテンション メカニズムは、より関連性の高いビデオ セグメントに焦点を当てることで、より識別力の高いスニペットのパフォーマンス向上に大きく貢献することが示されています。
文学
- Seibold VC、Balke J、Rolke B (2023):時間的注意。Front。Cognit。2:1168320。doi: 10.3389/fcogn.2023.1168320。
参照
参考文献
- ^ Center, UCF (2013-10-17). 「UCF101 - 動作認識データセット」. CRCV . 2018-09-12閲覧。
- ^ ab Zang, Jinliang; Wang, Le; Liu, Ziyi; Zhang, Qilin; Hua, Gang; Zheng, Nanning (2018). 「動作認識のための注意ベースの時間重み付き畳み込みニューラルネットワーク」。IFIP情報通信技術の進歩。Cham : Springer International Publishing。pp. 97–108。arXiv : 1803.07179。doi : 10.1007 / 978-3-319-92007-8_9。ISBN 978-3-319-92006-1. ISSN 1868-4238. S2CID 4058889.
- ^ ab "NIPS 2017". Interpretable ML Symposium . 2017-10-20 . 2018-09-12閲覧。
- ^ abc Wang, Le; Zang, Jinliang; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-06-21). 「注意を考慮した時間的重み付け畳み込みニューラルネットワークによる動作認識」(PDF) .センサー. 18 (7). MDPI AG: 1979. Bibcode :2018Senso..18.1979W. doi : 10.3390/s18071979 . ISSN 1424-8220. PMC 6069475 . PMID 29933555.
資料はこのソースからコピーされたもので、Creative Commons Attribution 4.0 International License に基づいて利用可能です。