動画ブラウジング(探索的動画検索とも呼ばれる)は、情報ニーズを満たすため、または動画コンテンツが関連性があるかどうかを対話的に確認するために、動画コンテンツをざっと見る対話的なプロセスです。元々は視覚的なサムネイルを通してユーザーが単一の動画を検査するのを支援するために提案されましたが、[ 1 ]最新の動画ブラウジングツールは、探索的検索アプローチによる反復的な人間とコンピュータの対話によって、ユーザーが動画アーカイブ内の目的の情報をすばやく見つけることを可能にします。[ 2 ] [ 3 ]これらのツールの多くは、動画コンテンツを対話的に検査する機能と自動コンテンツフィルタリング機能を求める賢いユーザーを想定しています。そのため、動画内の高度なナビゲーションやコンテンツベースのクエリによる検索など、いくつかの動画インタラクション機能[ 4 ]が通常提供されます。動画ブラウジングツールは、ショット遷移検出、キーフレーム抽出、意味概念検出などの低レベルの動画コンテンツ分析に基づいて構築され、動画ファイルまたは動画アーカイブの構造化されたコンテンツ概要を作成します。さらに、高度なタイムライン[ 5 ] 、ビジュアルシーカーバー、選択されたサムネイルのリストなどの洗練されたナビゲーション機能や、コンテンツクエリの手段も通常提供されます。コンテンツクエリの例としては、視覚的な概念によるショットのフィルタリング(例:車が写っているショットのみ)、特定の特性によるフィルタリング(例:色や動きによるフィルタリング)、ユーザーが提供するスケッチによるフィルタリング(例:視覚的に描かれたスケッチ)、またはコンテンツベースの類似性検索などがあります。
ビデオブラウジングは、イラン人エンジニアのファルシッド・アルマン、台湾人コンピュータ科学者のアーディング・シュー、コンピュータ科学者のミン・イー・チウがシーメンスで働いていたときに最初に提案し、 1993 年 8 月にACM 国際会議で発表されました。[ 1 ] [ 6 ]彼らは、JPEG、MPEG、H.26xなどの離散コサイン変換(DCT)ビデオ符号化規格でエンコードされた圧縮ビデオのショット検出アルゴリズムについて説明しました。[ 7 ]基本的な考え方は、DCT 係数は空間領域と数学的に関連しており、各フレームの内容を表すため、ビデオ フレーム間の違いを検出するために使用できるということです。このアルゴリズムでは、フレーム内のブロックのサブセットと各ブロックの DCT 係数のサブセットが、フレームの動きベクトル表現として使用されます。圧縮された DCT 表現を操作することで、このアルゴリズムは解凍の計算要件を大幅に削減し、効果的なビデオブラウジングを可能にします。[ 8 ]このアルゴリズムは、動画シーケンスの個々のショットを、モーション追跡領域で囲まれたショットのサムネイルであるrフレームで表現します。この概念のバリエーションは後にQBIC動画コンテンツのモザイクに採用され、各rフレームはそれが表すショットからの目立つ静止画になります。[ 9 ]
最新のビデオ閲覧ソリューションには、マイク・ランザが2021年に設立したメンローパークのスタートアップ企業であるVideo Notebookがあります。これは、コンピュータビジョンを使用してスライドを抽出し、光学文字認識と音声認識を使用してビデオ検索を容易にします。このソフトウェアは、クライアント側(ブラウザ拡張機能を使用)で使用することも、サーバー側で使用することもできます。クライアント側では、ビデオを視聴しながらスライドとテキストが抽出されます(たとえば、 YouTubeやUdemyなどのビデオプラットフォーム上)[ 10 ] [ 11 ] 。処理されたビデオは、Video NotebookのWebアプリで表示でき、抽出されたタイムスタンプ付きスライド、ビデオ(またはビデオのコレクション)を検索するための検索バー、およびテキストの章を備えたビデオ閲覧ユーザーインターフェイスを備えています。Video Notebookの顧客には、 Ernst & Youngなどの組織が含まれます。[ 12 ]
ビデオブラウザーショーダウン(VBS)[ 13 ]は、探索的ビデオ検索ツールの年次ライブ評価コンペティションであり、国際的な研究者がビデオブラウジングツールを使用して、中規模データセットでアドホックなビデオ検索タスクをできるだけ速く解決します。2012年に国際マルチメディアモデリング会議(MMM)で始まったVBSの主な目標は、ビデオブラウジングツールのパフォーマンスを向上させることです。2016年以降、VBSはTRECVIDとも協力しています。[ 14 ] VBSの目的は、他のツールと直接比較して、明確に定義されたデータセットを使用して、既知アイテム検索(KIS)タスクでのビデオブラウジングツールの効率を評価することです。[ 15 ]
{{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)