Loading article…
マルチメディア検索では、テキストやその他のマルチメディア形式を含む複数のデータ タイプでクエリを使用して情報を検索できます。マルチメディア検索は、マルチモーダル検索インターフェイス、つまり、テキスト リクエストとしてだけでなく他のメディアを介しても検索クエリを送信できるインターフェイスを通じて実装できます。マルチメディア検索には 2 つの方法論があります。
- メタデータ検索:メタデータのレイヤー上で検索が行われます。
- 例によるクエリ: このインタラクションでは、類似のマルチメディア アイテムを見つける目的で、情報 (ビデオ、画像、オーディオなど) を送信します。
メタデータ検索
検索は、マルチメディア ファイルのコンテンツの情報を含むメタデータのレイヤーを使用して行われます。メタデータ検索は、オーディオ、ビデオ、画像などの複雑な素材を扱う代わりにテキストを使用して検索するため、より簡単、高速、かつ効果的です。
この方法で実行する必要があるプロセスは 3 つあります。
- メディアコンテンツの要約（特徴抽出）。特徴抽出の結果が説明になります。
- メディア記述のフィルタリング（例えば、冗長性の排除）
- メディアの説明をクラスに分類します。
例によるクエリ
例によるクエリでは、検索に使用される要素はマルチメディアコンテンツ (画像、音声、動画) です。つまり、クエリはメディアです。多くの場合、オーディオビジュアル インデックスが使用されます。メタデータの作成に使用する基準を選択する必要があります。検索のプロセスは、次の 3 つの部分に分けられます。
- クエリとして使用するメディアの記述子と、データベース内のメディアの記述子を生成します。
- クエリの記述子とデータベースのメディアを比較します。
- 最大の一致度でソートされたメディアを一覧表示します。
マルチメディア検索エンジン
コンテンツの機能に応じて、2 つの大きな検索ファミリがあります。
ビジュアル検索エンジン
このファミリーでは、画像検索と動画検索という2つのトピックを区別することができます。
- 画像検索: 通常は単純なメタデータ検索が使用されますが、例によるクエリを使用してユーザーのクエリ結果をより正確にするためのインデックス作成方法がますます使用されるようになっています。たとえば、 QR コードなどです。
- ビデオ検索: ビデオは、単純なメタデータまたはインデックスによって生成された複雑なメタデータで検索できます。ビデオに含まれるオーディオは通常、オーディオ検索エンジンによってスキャンされます。
オーディオ検索エンジン
オーディオ検索にはさまざまな方法があります。
- 音声検索エンジン: テキストの代わりに音声を使って検索できるようにします。音声認識アルゴリズムを使用します。この技術の例としては、Google Voice Searchがあります。[1]
- 音楽検索エンジン：音楽を検索するアプリケーションのほとんどは単純なメタデータ（アーティスト、トラック名、アルバム名など）に基づいて動作しますが、Shazam [2]やSoundHoundなど、音楽を認識するプログラムもいくつかあります。
参照
参考文献
- ^ 「Google 音声検索で複数の言語を簡単に処理できるようになりました」Engadget 2024年4月17日閲覧。
- ^ 「ShazamがResonate TV販売プラットフォームを開始」Billboard。2024年4月17日閲覧。