
コンテンツベースの画像検索は、画像コンテンツによるクエリ( QBIC ) やコンテンツベースの視覚情報検索( CBVIR )とも呼ばれ、コンピュータビジョン技術を画像検索問題、つまり大規模データベース内のデジタル画像を検索する問題に応用したものです(CBIR 分野の科学的概要については、この調査[1]を参照してください)。コンテンツベースの画像検索は、従来の概念ベースのアプローチとは対照的です(概念ベースの画像インデックス作成を参照)。
「コンテンツ ベース」とは、画像に関連付けられたキーワード、タグ、説明などのメタデータではなく、画像のコンテンツを分析する検索を意味します。このコンテキストでの「コンテンツ」という用語は、色、形状、テクスチャ、または画像自体から得られるその他の情報を指す場合があります。メタデータのみに依存する検索は注釈の品質と完全性に依存するため、CBIR が望ましいです。
メタデータ検索との比較
画像メタ検索では、人間がキーワードやメタデータを大規模なデータベースに入力して手動で画像に注釈を付ける必要がありますが、これは時間がかかり、画像を説明するために必要なキーワードを捕捉できない可能性があります。キーワード画像検索の有効性の評価は主観的であり、明確に定義されていません。同様に、CBIR システムも成功の定義において同様の課題を抱えています。[2]「キーワードは、クエリの範囲を事前に決定された基準のセットに制限します。」および「設定されている」は、コンテンツ自体を使用するよりも信頼性が低くなります。[3]
歴史
「コンテンツベースの画像検索」という用語は、1992年に日本の電気技術研究所の技術者である加藤敏一氏が、データベースから画像の色や形に基づいて画像を自動的に検索する実験を説明するために使用したのが始まりのようです。[2] [4]それ以来、この用語は、構文的な画像の特徴に基づいて大規模なコレクションから目的の画像を検索するプロセスを説明するために使用されています。使用される技術、ツール、アルゴリズムは、統計、パターン認識、信号処理、コンピュータービジョンなどの分野に由来しています。[1]
キュービック- 画像コンテンツによる検索
最も初期の商用CBIRシステムはIBMによって開発され、QBIC(Q uery B y I mage C ontent)と呼ばれていました。[5] [6]最近のネットワークベースおよびグラフベースのアプローチは、既存の方法に代わるシンプルで魅力的な代替手段を提示しています。[7]
複数の画像を単一のエンティティの一部として保存する機能はBLOB(バイナリラージオブジェクト)という用語が使われる前から存在していましたが、[8]説明ではなくコンテンツで完全に検索できる機能はIBMのQBICまで待たなければなりませんでした。[3]
ビジュアルランク
VisualRank は、画像名、Web リンク、その他のテキストを検索するのではなく、その内容を分析および比較することで画像を 検索し、ランク付けするシステムです。Googleの科学者は、2008 年に北京で開催された国際ワールド ワイド ウェブ カンファレンスで、PageRank をGoogle 画像検索に適用する方法について説明した論文で VisualRank の研究成果を公開しました。
[9]技術の進歩
CBIR への関心が高まっているのは、メタデータベースのシステムに固有の制限と、効率的な画像検索の幅広い用途が考えられるためです。画像に関するテキスト情報は既存の技術を使用して簡単に検索できますが、そのためには人間がデータベース内の各画像を手動で記述する必要があります。これは、非常に大規模なデータベースや、監視カメラの画像など自動的に生成される画像では非現実的です。また、説明に異なる同義語を使用している画像を見逃す可能性もあります。「猫」を「動物」のサブクラスとして分類するなど、画像を意味クラスに分類するシステムは、誤分類の問題を回避できますが、「猫」である可能性があるが「動物」としてのみ分類されている画像を見つけるために、ユーザーの労力が必要になります。画像を分類するための多くの標準が開発されていますが、いずれもスケーリングと誤分類の問題に直面しています。[2]
初期の CBIR システムは、画像の色、テクスチャ、形状の特性に基づいてデータベースを検索するために開発されました。これらのシステムが開発された後、ユーザーフレンドリーなインターフェースの必要性が明らかになりました。そのため、CBIR 分野での取り組みには、検索を実行するユーザーのニーズを満たすことを目的とした人間中心設計が含まれるようになりました。これは通常、記述的セマンティクスを可能にするクエリ方法、ユーザーからのフィードバックを含むクエリ、機械学習を含むシステム、およびユーザー満足度を理解するシステムを含めることを意味します。[1]
テクニック
多くのCBIRシステムが開発されているが、2006年時点では[アップデート]、ピクセルの内容に基づいて画像を検索するという問題はほとんど解決されていない。[1] [更新が必要]
さまざまなクエリ手法と CBIR の実装では、さまざまな種類のユーザー クエリが使用されます。
例によるクエリ
QBE(Q uery B y Example )は、CBIRシステムに検索のベースとなるサンプル画像を提供するクエリ技術[10]です。基礎となる検索アルゴリズムはアプリケーションによって異なる場合がありますが、結果の画像はすべて、提供されたサンプルと共通の要素を共有している必要があります。[11]
システムにサンプル画像を提供するためのオプションは次のとおりです。
- 既存の画像は、ユーザーが提供することも、ランダムなセットから選択することもできます。
- ユーザーは、例えば色の塊や大まかな形などを使って、探しているイメージの大まかな近似値を描きます。[11]
このクエリ手法により、言葉を駆使して画像を説明する際に生じる可能性のある困難が解消されます。
意味検索
セマンティック検索は、ユーザーが「エイブラハム・リンカーンの写真を探して」といったリクエストを出すことから始まります。この種のオープンエンドのタスクは、コンピューターにとっては非常に難しいものです。リンカーンは常にカメラの方を向いているとは限らず、同じポーズをとっているとも限りません。そのため、多くの CBIR システムでは、テクスチャ、色、形状などの低レベルの特徴が一般的に利用されています。これらの特徴は、基準の入力を容易にするインターフェースと組み合わせて使用されるか、特徴のマッチング (顔、指紋、形状のマッチングなど) が既にトレーニングされているデータベースと組み合わせて使用されます。ただし、一般的に、画像検索では、より高レベルの概念を識別するために人間のフィードバックが必要です。[6]
関連性フィードバック(人間とのやり取り)
利用可能な CBIR 検索技術を幅広い潜在的ユーザーとその意図と組み合わせることは困難な作業です。CBIR を成功させるには、ユーザーの意図を理解する能力に完全に依存します。[12] CBIR システムでは関連性フィードバック を利用できます。関連性フィードバックでは、ユーザーは結果内の画像を検索クエリに対して「関連」、「関連なし」、「中立」としてマークし、新しい情報を使用して検索を繰り返すことで、検索結果を徐々に絞り込みます。このタイプのインターフェイスの例が開発されています。[13]
反復学習/機械学習
CBIRでは機械学習と反復技術の応用が一般的になりつつある。[14]
その他のクエリ方法
その他の検索方法としては、サンプル画像の閲覧、カスタマイズされた/階層化されたカテゴリのナビゲート、画像全体ではなく画像領域による検索、複数のサンプル画像による検索、視覚的なスケッチによる検索、画像の特徴の直接指定による検索、マルチモーダル検索(タッチ、音声などの組み合わせなど)などがあります。[15]
画像距離測定によるコンテンツ比較
コンテンツベースの画像検索で 2 つの画像 (通常はサンプル画像とデータベースの画像) を比較する最も一般的な方法は、画像距離測定を使用することです。画像距離測定は、色、テクスチャ、形状などのさまざまな次元で 2 つの画像の類似性を比較します。たとえば、距離が 0 の場合、考慮された次元に関してクエリと完全に一致することを意味します。直感的にわかるように、0 より大きい値は、画像間の類似性の程度がさまざまであることを示します。検索結果は、クエリされた画像との距離に基づいて並べ替えることができます。[11]画像距離の測定 (類似性モデル) は数多く開発されています。[16]
色
色の類似性に基づく距離測定の計算は、各画像の色ヒストグラムを計算することによって実現されます。このヒストグラムは、画像内の特定の値を持つピクセルの割合を識別します。[2]画像をその色に基づいて調べることは、画像のサイズや向きに関係なく実行できるため、最も広く使用されている手法の1つです。[6] ただし、研究では、領域別および複数の色領域間の空間関係別に色の割合を分割することも試みられています。[15]
テクスチャ
テクスチャ測定は、画像内の視覚パターンとそれが空間的にどのように定義されているかを調べます。テクスチャはテクセルで表され、画像内で検出されたテクスチャの数に応じて、いくつかのセットに配置されます。これらのセットはテクスチャを定義するだけでなく、画像内のテクスチャの位置も定義します。[11]
テクスチャは表現が難しい概念です。画像内の特定のテクスチャの識別は、主にテクスチャを2次元のグレーレベルの変化としてモデル化することによって実現されます。ピクセルのペアの相対的な明るさを計算して、コントラスト、規則性、粗さ、方向性の程度を推定します。[6] [17]問題は、ピクセル間の変化のパターンを識別し、それを絹のような、またはざらざらしたなどの特定のテクスチャのクラスに関連付けることです。
テクスチャを分類する他の方法は次のとおりです。
- 共起マトリックス
- 法則テクスチャエネルギー
- ウェーブレット変換
- 直交変換(離散チェビシェフモーメント)
形
形状は画像の形状ではなく、探索されている特定の領域の形状を指します。形状は、多くの場合、画像にセグメンテーションまたはエッジ検出を適用して最初に決定されます。他の方法では、形状フィルターを使用して画像の特定の形状を識別します。[18] 形状記述子は、平行移動、回転、およびスケールに対して不変である必要がある場合もあります。[6]
形状記述子には次のようなものがある: [6]
脆弱性、攻撃、防御
認識や検出などのコンピュータビジョンの他のタスクと同様に、最近のニューラルネットワークベースの検索アルゴリズムは、候補攻撃とクエリ攻撃の両方において敵対的攻撃の影響を受けやすい。 [19]人間には知覚できない小さな摂動だけで、検索されたランキングが劇的に変化する可能性があることが示されている。さらに、モデルに依存しない転送可能な敵対的サンプルも可能であり、これにより、基礎となる実装にアクセスすることなく、ディープランキングシステムに対するブラックボックスの敵対的攻撃が可能になる。[19] [20]
逆に言えば、このような攻撃に対する抵抗力は、マドリ防御のような敵対的防御によって向上させることができる。[21]
画像検索評価
画像検索の尺度は精度と再現率で定義できるが、他の方法も検討されている。[22]
異なる技術によるCBIRシステムでの画像検索の同時実行
CBIRシステムでは、ピクセルクラスターインデックスの統合、ヒストグラム交差、離散ウェーブレット変換法などの複数の技術を同時に採用して画像を取得します。[23]
アプリケーション
CBIRの潜在的な用途としては以下が挙げられる: [2]
- 建築およびエンジニアリング設計
- アートコレクション
- 犯罪防止
- 地理情報とリモートセンシングシステム
- 知的財産
- 医療診断
- 軍隊
- 写真アーカイブ
- 小売カタログ
- ヌード検出フィルター[24]
- 顔探し
- 繊維産業[13]
開発された商用システムには以下のものがある: [2]
- IBMのQBIC
- VirageのVIRイメージエンジン
- Excalibur の画像検索ウェア
- VisualSEEk と WebSEEk
- ネトラ
- 火星
- ヴォト
- ピクソリューション
実験システムには以下のものがある: [2]
- MITの写真集
- コロンビア大学のWebSEEk
- カーネギーメロン大学のインフォメディア
- iSearch - PICT
参照
参考文献
- ^ abcd コンテンツベースのマルチメディア情報検索: 最新技術と課題 (オリジナル ソース、404'd)コンテンツベースのマルチメディア情報検索: 最新技術と課題 Archived 2007-09-28 at the Wayback Machine、Michael Lew他著、ACM Transactions on Multimedia Computing, Communications, and Applications、pp. 1–19、2006 年。
- ^ abcdefg Eakins, John; Graham, Margaret. 「コンテンツベースの画像検索」。ノーサンブリア大学ニューカッスル校。2012年2月5日時点のオリジナルよりアーカイブ。 2014年3月10日閲覧。
- ^ ab Julie Anderson (1996 年 4 月 29 日)。「Search Images / Object Design Inc - Bargain of the year Stock Discussion Forums (1996 年 8 月 6 日)」。Information Week (Silicon Investor の Stock Discussion Forums (1996 年 8 月 6 日) にオンラインで再掲載)。p. 69 (IW)。
今月初めにサンフランシスコで開催された DB Expo で...
[永久リンク切れ ] - ^ 加藤俊一 (1992 年 4 月). Jamberdino, Albert A.; Niblack, Carlton W. (編). 「コンテンツベースの画像検索のためのデータベース アーキテクチャ」.画像ストレージおよび検索システム. 1662.国際光学およびフォトニクス協会: 112–123. Bibcode :1992SPIE.1662..112K. doi :10.1117/12.58497. S2CID 14342247.
- ^ Flickner, M.; Sawhney, H.; Niblack, W.; Ashley, J.; Qian Huang; Dom, B.; Gorkani, M.; Hafner, J.; Lee, D.; Petkovic, D.; Steele, D.; Yanker, P. (1995). 「画像とビデオコンテンツによるクエリ: QBIC システム」。Computer . 28 ( 9): 23–32. doi :10.1109/2.410146.
要約: 画像データベースのクエリ方法を拡張および改善する方法の研究は広範に行われています。私たちは QBIC (Query by Image Content) を開発しました...
- ^ abcdef Rui, Yong; Huang, Thomas S.; Chang, Shih-Fu (1999). 「画像検索: 現在の技術、有望な方向性、および未解決の問題」Journal of Visual Communication and Image Representation . 10 : 39–62. CiteSeerX 10.1.1.32.7819 . doi :10.1006/jvci.1999.0413. S2CID 2910032. [永久リンク切れ ]
- ^ Banerjee, SJ; et al. (2015). 「多次元イメージングにおける情報検索と診断に向けた複雑ネットワークの利用」. Scientific Reports . 5 : 17271. arXiv : 1506.02602 . Bibcode :2015NatSR...517271B. doi :10.1038/srep17271. PMC 4667282. PMID 26626047 .
- ^ 「BLOB の真実の物語」。2011 年 7 月 23 日時点のオリジナルよりアーカイブ。
- ^ Yushi Jing および Baluja , S. (2008)。「VisualRank: PageRank の大規模画像検索への適用」。IEEE Transactions on Pattern Analysis and Machine Intelligence。30 ( 11): 1877–1890。CiteSeerX 10.1.1.309.741。doi : 10.1109 / TPAMI.2008.121。ISSN 0162-8828。PMID 18787237。S2CID 10545157 。 。
- ^ 「Query-by-Example」。IBM.com KnowledgeCenter。QBEは
クエリ用の言語です...
- ^ abcd シャピロ、リンダ、ジョージ・ストックマン (2001)。コンピュータビジョン。アッパーサドルリバー、ニュージャージー州:プレンティスホール。ISBN 978-0-13-030796-5。
- ^ Datta, Ritendra; Dhiraj Joshi; Jia Li ; James Z. Wang (2008). 「画像検索: 新時代のアイデア、影響、トレンド」ACM Computing Surveys 40 ( 2): 1–60. doi :10.1145/1348246.1348248. S2CID 7060187.
- ^ ab Bird, CL; PJ Elliott; E. Griffiths (1996). 「コンテンツベースの画像検索のためのユーザー インターフェイス」。IEEインテリジェント画像データベース コロキウム。IET。doi :10.1049/ic:19960746。
- ^ Cardoso, Douglas; et al. 「複数の SVM アンサンブルを使用したコンテンツベースの画像検索の反復手法」(PDF)。パラナ連邦大学 (ブラジル) 。2014 年 3 月 11 日閲覧。
- ^ ab Liam M. Mayron. 「視覚的注意を用いた画像検索」(PDF) . Mayron.net . 2012年10月18日閲覧。
- ^ アイデンベルガー、ホルスト (2011). 『メディアの基礎知識』アットプレス。ISBN 978-3-8423-7917-6。
- ^ 田村秀之、森俊二、山脇隆 (1978)。「視覚知覚に対応するテクスチャ特徴」IEEE Transactions on Systems, Man, and Cybernetics 8 (6): 460, 473. doi :10.1109/tsmc.1978.4309999. S2CID 32197839。
- ^ Tushabe, F.; MHF Wilkinson (2008). 「複合 2D 属性パターン スペクトルを使用したコンテンツベースの画像検索」。多言語およびマルチモーダル情報検索の進歩( PDF)。コンピュータ サイエンスの講義ノート。第 5152 巻。pp. 554–561。doi : 10.1007/978-3-540-85760-0_69。ISBN 978-3-540-85759-4. S2CID 18566543。
- ^ ab 周、莫;牛真興。王、楽。張、希林。フア、ガン(2020)。 「敵対者ランキング攻撃力と防御力」。arXiv : 2002.11293v2 [cs.CV]。
- ^ リー、ジエ;ジー・ロンロン。劉、ホン。ホン・シャオペン。ガオ、ユエ。ティアン、チー (2019) 「画像検索に対するユニバーサル摂動攻撃」。 4899–4908ページ。arXiv : 1812.00552 [cs.CV]。
- ^ Madry, Aleksander; Makelov, Aleksandar; Schmidt, Ludwig; Tsipras, Dimitris; Vladu, Adrian (2017-06-19). 「敵対的攻撃に耐性のあるディープラーニングモデルに向けて」. arXiv : 1706.06083v4 [stat.ML].
- ^ Deselaers, Thomas; Keysers, Daniel; Ney, Hermann (2007). 「画像検索のための特徴: 実験的比較」(PDF) . RWTH Aachen University . 2014 年3 月 11 日閲覧。
- ^ Bhattacharjee, Pijush kanti (2010)。「カラー画像コンテンツベース画像検索システムのためのピクセルクラスタインデックス、ヒストグラム交差、離散ウェーブレット変換法の統合」(PDF)。International Journal of Computer and Electrical Engineering [IJCEE]、シンガポール、第2巻、第2号、pp. 345-352、2010年。
- ^ Wang, James Ze; Jia Li ; Gio Wiederhold; Oscar Firschein (1998). 「不快な画像をスクリーニングするためのシステム」. Computer Communications . 21 (15): 1355–1360. CiteSeerX 10.1.1.78.7689 . doi :10.1016/s0140-3664(98)00203-5.
さらに読む
関連研究論文
- 画像とビデオコンテンツによるクエリ: QBIC システム(Flickner、1995)
- 裸の人を見つける (Fleck et al., 1996)
- Virage ビデオ エンジン[永久リンク切れ ]、(Hampapur、1997)
- ライブラリベースのコーディング: 効率的なビデオ圧縮と検索のための表現(Vasconcelos & Lippman、1997)
- 不快な画像をスクリーニングするシステム(Wang et al., 1998)
- コンテンツベースの画像検索( JISC技術応用プログラムレポート 39) (Eakins & Graham 1999)
- Windsurf: ウェーブレットを使用した領域ベースの画像検索(Ardizzoni、Bartolini、Patella、1999)
- コンテンツベースの画像検索のための確率的アーキテクチャ(Vasconcelos & Lippman、2000)
- 画像の類似性の統一的見解(Vasconcelos & Lippman、2000)
- ビジュアルコンテンツのための次世代ウェブ検索(Lew、2000)
- 混合階層による画像インデックス作成(Vasconcelos、2001)
- SIMPLIcity: 画像ライブラリのセマンティクスを考慮した統合マッチング(Wang、Li、Wiederhold、2001)
- Web 画像検索への概念的アプローチ(Popescu および Grefenstette、2008)
- FACERET: 自己組織化マップに基づくインタラクティブな顔検索システム(Ruiz-del-Solar 他、2002)
- 統計的モデリングアプローチによる画像の自動言語索引付け(Li and Wang、2003)
- ビデオ グーグル: ビデオ内のオブジェクト マッチングのためのテキスト検索アプローチ(Sivic & Zisserman、2003)
- 最小エラー確率画像検索(Vasconcelos、2004)
- 画像検索のための確率的類似度関数の効率的な評価について(Vasconcelos, 2004)
- 図形のシソーラスによる画像検索システムの拡張(Hove、2004)
- ニュースに出てくる名前と顔(Berg et al., 2004)
- Cortina: 大規模なコンテンツベースの Web 画像検索システム(Quack 他、2004)
- 視覚情報検索に関する新たな視点(Eidenberger 2004)
- 拡張可能なオントロジーに基づく画像コレクションの言語ベースのクエリ(Town and Sinclair、2004)
- PIBE パーソナライズ可能な画像閲覧エンジン(Bartolini、Ciaccia、Patella、2004)
- Costume: 自動ビデオコンテンツインデックス作成の新機能(Jaffre 2005)
- 長編映画における映画キャラクター検索のための自動顔認識(Arandjelovic & Zisserman、2005)
- 意味のある画像空間(Rouw、2005)
- コンテンツベースのマルチメディア情報検索: 最新技術と課題(Lew他2006)
- PIBE による画像データベースの適応的ブラウジング(Bartolini、Ciaccia、Patella、2006)
- Retrievr (Flickr 検索) と imgSeek のベースとなるアルゴリズム(Jacobs、Finkelstein、Salesin)
- 想像力: 正確な画像注釈のためのリンク分析の活用(Bartolini および Ciaccia、2007)
- ビジュアルクエリ仕様のインターフェースの使用の評価(Hove、2007)
- ピクセルからセマンティック空間へ: コンテンツベースの画像検索の進歩(Vasconcelos、2007)
- ランダムツリーによるランダムサブウィンドウのインデックス作成によるコンテンツベースの画像検索(Maree et al., 2007)
- 画像検索: 新時代のアイデア、影響、トレンド(Datta 他、2008)
- リアルタイムのコンピュータによる画像注釈(Li and Wang、2008)
- 地域ベースの画像データベースにおけるクエリ処理の問題(Bartolini、Ciaccia、Patella、2010)
- 指圧: カットを使用したセグメンテーションによるビデオのセマンティックベースの階層的自動タグ付け(Bartolini、Patella、Romani、2010)
- 効率的かつ効果的な類似性に基づくビデオ検索(Bartolini および Romani、2010)
- 多次元キーワードベースの画像注釈と検索(Bartolini と Ciaccia、2010)
- マルチメディア階層データの効率的な検索のための Windsurf ライブラリ(Bartolini、Patella、Stromei、2011)
- 「Pl@ntNet: ソーシャル画像データに基づくインタラクティブな植物識別」(Joly、Alexis 他)
- 「コンテンツベースの画像検索(Tyagi Vipin、2017年)」
- Superimage: インデックス作成と検索のための意味関連画像のパッキング(Luo、Zhang、Huang、Gao、Tian、2014)
- Map-Reduce を使用した 1 億枚の画像のインデックス作成と検索(Moise、Shestakov、Gudmundsson、Amsaleg、2013)
外部リンク
- Alkhazraj, Huthaefa (2017-08-09). 「定数ベースの画像相対の研究:レビュー」。IET画像処理。IEEE (画像処理)。ISSN 1751-9659。2019 年1 月 22 日閲覧。- オリジナル記事
- IJMIR CBIR関連記事多数
- 図面で検索
- 画像のビジュアル検索エンジンのデモンストレーション。(サンプル画像または色による検索)2.242654
