ビデオの概要

ビデオ概要は、ビデオの短くて有益な要約を自動的に合成する方法です。従来のビデオ要約とは異なり、概要は元のビデオのフレームだけで構成されているわけではありません。^[1]このアルゴリズムは、オブジェクトとアクティビティのデータベースで動くオブジェクト（イベントとも呼ばれる）を検出、追跡、分析します。^[2]最終的な出力は、元々は異なる時間に発生したオブジェクトとアクティビティが同時に表示される新しい短いビデオクリップであり、可能な限り短い時間で情報を伝達します。ビデオ概要は、ビデオ分析とビデオ監視の分野で具体的に使用されています。これらの分野では、技術の進歩と CCTV（閉回路テレビ）カメラの導入の増加にもかかわらず、^[3]録画された映像の表示と分析は依然としてコストのかかる労働集約的で時間のかかる作業です。

テクノロジーの概要

ビデオ概要は、保存されたビデオの視覚的な概要とインデックス作成メカニズムを組み合わせたものです。

要約が必要な場合、対象期間のすべてのオブジェクトが収集され、時間的にシフトされて、最大のアクティビティを示すはるかに短い概要ビデオが作成されます。概要ビデオクリップはリアルタイムで生成され、元々異なる時間に発生したオブジェクトとアクティビティが同時に表示されます。^[4]

このプロセスは、関心のあるオブジェクトを検出して追跡することから始まります。各オブジェクトは、すべてのビデオフレームの時空間内でチューブとして表されます。オブジェクトはほぼリアルタイムで検出され、データベースに保存されます。

期間を要約するリクエストに応じて、希望する時間のすべてのオブジェクトがデータベースから抽出され、インデックス付けされて、最大限のアクティビティを含む、はるかに短い要約ビデオが作成されます。

リアルタイムレンダリングは、オブジェクトの再タイミング後に概要ビデオを生成するために使用されます。これにより、エンドユーザーはオブジェクト/イベントの密度を制御できます。

ビデオ概要技術は、イスラエルのエルサレム・ヘブライ大学のシュムエル・ペレグ教授^[5]によって発明され、BriefCam, Ltd. ^[6]によって商用ライセンスの下で開発されています。BriefCam は、この技術の特許を所有するYissum からこの技術を使用するライセンスを取得しました。2018 年 5 月、BriefCam は日本のデジタルイメージング大手であるキヤノン株式会社に推定 9,000 万ドルで買収されました。^[7]同社への投資家には、モトローラソリューションズベンチャーキャピタル、アビブベンチャーキャピタル、アワクラウドが含まれています。^[8]

分類

ビデオ概要技術には、共通する標準化された特性がいくつかあり、次のように定量化できます。(a) ビデオ概要には、最小限の冗長性で最大限のアクティビティが含まれる必要があります。(b) 空間と時間におけるオブジェクトの時系列順序と空間の一貫性が保持される必要があります。(c) 結果として得られる概要ビデオでは、衝突が最小限に抑えられる必要があります。(d) 概要ビデオは滑らかで、関心領域を失うことなく視聴できる必要があります。^[11]

キーフレームベースの概要
オブジェクトベースの概要
アクションベースの概要
衝突グラフベースの概要
異常な内容に基づく概要

参照

参考文献

^ Mademlis, Ioannis; Tefas, Anastasios; Pitas, Ioannis (2018). 「キーフレーム抽出によるアクティビティビデオ要約のための顕著な辞書学習フレームワーク」(PDF) . Information Sciences . 432 . Elsevier: 319–331. doi :10.1016/j.ins.2017.12.020 . 2022年12月4日閲覧。
^ Y. Pritch、S. Ratovitch、A. Hendel、および S. Peleg、「監視ビデオのクラスター化概要」、第 6 回 IEEE 国際会議「高度なビデオおよび信号ベースの監視 (AVSS'09)」、ジェノバ、イタリア、2009 年 9 月 2 ～ 4 日
^ Y. Pritch、A. Rav-Acha、A. Gutman、および S. Peleg、「Webcam Synopsis: Peeking Around the World」、ICCV'07、2007 年 10 月、8 ページ。
^ Y. Pritch、A. Rav-Acha、S. Peleg、「非時系列ビデオ概要と索引付け」、IEEE Trans. PAMI、Vol 30、No 11、2008年11月、pp. 1971-1984。
^ A. Rav-Acha、Y. Pritch、S. Peleg、「長いビデオを短くする：ダイナミックビデオ概要」、CVPR'06、2006 年 6 月、435-441 ページ。
^ S. Peleg、Y. Caspi、BriefCam ホワイトペーパー
^ Yablonko, Yasmin (2018年5月9日). 「キヤノン、イスラエルのビデオソリューション会社BriefCamを9000万ドルで買収」Globes (ヘブライ語) . 2018年12月5日閲覧。
^ CB Insights. 「BriefCam Funding & Investors - CB Insights」www.cbinsights.com . 2018年12月5日閲覧。
^ ムハンマド・アジマル、ムハンマド・フスナイン・アシュラフ、ムハンマド・シャキール、ヤシル・アッバス、ファイズ・アリ・シャー、「ビデオ要約：テクニックと分類」[1]
^ Zheng Lu、Kristen Grauman [2] 自己中心的ビデオのストーリー主導型要約。IEEE コンピュータービジョンおよびパターン認識会議の議事録 - 2013。
^ Ingle, PYおよびKim, YG、2023。「ビデオ概要アルゴリズムとフレームワーク：調査と比較評価」。システム、11(2)、p.108。

特許

米国特許 8,311,277 - ビデオ索引付けおよびビデオ概要のための方法およびシステム。オーストラリア特許 AU2007345938。さらに 9 か国で出願済み
米国特許 8,102,406 - ビデオ概要を作成する方法とシステム。欧州特許 EP1955205 および日本特許 JP4972095。さらに 7 か国で出願済み
米国特許 7,852,370 - 時空間ビデオワーピングの方法とシステム。イスラエル特許 IL182006 も取得。欧州出願: PCT/IL2005/001150
特許の所有者は、BriefCam に技術使用のライセンスを付与したYissumです。

外部リンク

ビデオ概要と索引付けプロジェクトエルサレム・ヘブライ大学コンピュータサイエンス学部の詳細情報、公開論文、ビデオクリップ
BriefCam 社の Web サイトには、ビデオ概要テクノロジの使用に関するデモビデオが含まれています。
Yissumのウェブサイト
ヘブライ語のビデオ概要論文 - 2008
[3] 論文のデモビデオ: 自己中心的ビデオのためのストーリー主導型要約 - Zheng Lu と Kristen Grauman - CVPR 2013

[Mademlis2018-1] Mademlis, Ioannis; Tefas, Anastasios; Pitas, Ioannis (2018). 「キーフレーム抽出によるアクティビティビデオ要約のための顕著な辞書学習フレームワーク」(PDF) . Information Sciences . 432 . Elsevier: 319–331. doi :10.1016/j.ins.2017.12.020 . 2022年12月4日閲覧。

[2] Y. Pritch、S. Ratovitch、A. Hendel、および S. Peleg、「監視ビデオのクラスター化概要」、第 6 回 IEEE 国際会議「高度なビデオおよび信号ベースの監視 (AVSS'09)」、ジェノバ、イタリア、2009 年 9 月 2 ～ 4 日

[3] Y. Pritch、A. Rav-Acha、A. Gutman、および S. Peleg、「Webcam Synopsis: Peeking Around the World」、ICCV'07、2007 年 10 月、8 ページ。

[4] Y. Pritch、A. Rav-Acha、S. Peleg、「非時系列ビデオ概要と索引付け」、IEEE Trans. PAMI、Vol 30、No 11、2008年11月、pp. 1971-1984。

[5] A. Rav-Acha、Y. Pritch、S. Peleg、「長いビデオを短くする：ダイナミックビデオ概要」、CVPR'06、2006 年 6 月、435-441 ページ。

[6] S. Peleg、Y. Caspi、BriefCam ホワイトペーパー

[7] Yablonko, Yasmin (2018年5月9日). 「キヤノン、イスラエルのビデオソリューション会社BriefCamを9000万ドルで買収」Globes (ヘブライ語) . 2018年12月5日閲覧。

[8] CB Insights. 「BriefCam Funding & Investors - CB Insights」www.cbinsights.com . 2018年12月5日閲覧。

[9] ムハンマド・アジマル、ムハンマド・フスナイン・アシュラフ、ムハンマド・シャキール、ヤシル・アッバス、ファイズ・アリ・シャー、「ビデオ要約：テクニックと分類」[1]

[10] Zheng Lu、Kristen Grauman [2] 自己中心的ビデオのストーリー主導型要約。IEEE コンピュータービジョンおよびパターン認識会議の議事録 - 2013。

[11] Ingle, PYおよびKim, YG、2023。「ビデオ概要アルゴリズムとフレームワーク：調査と比較評価」。システム、11(2)、p.108。

テクノロジーの概要

最近の進歩

分類

参照

参考文献

特許

外部リンク