自動画像注釈

自動画像注釈（自動画像タグ付けまたは言語インデックス作成とも呼ばれる）とは、コンピュータシステムがキャプションやキーワードといったメタデータをデジタル画像に自動的に割り当てるプロセスです。このコンピュータビジョン技術の応用は、画像検索システムにおいて、データベースから目的の画像を整理・検索するために用いられます。

この方法は、語彙サイズと同じくらい多くのクラスを持つ多クラス画像分類の一種と見なすことができます。通常、機械学習技術では、抽出された特徴ベクトルとトレーニング注釈語の形式での画像分析を使用して、新しい画像に注釈を自動的に適用しようとします。^{[ 1 ]}最初の方法は、画像の特徴とトレーニング注釈の間の相関関係を学習しました。その後、機械翻訳を使用して、テキスト語彙をブロブとして知られるクラスタ化された領域で表される「視覚語彙」に翻訳しようとする技術が開発されました。その後の研究には、分類アプローチ、関連性モデル、およびその他の関連方法が含まれています。

自動画像注釈とコンテンツベース画像検索（CBIR）の利点は、ユーザーがクエリをより自然に指定できることです。^{[ 2 ]}現在、コンテンツベース画像検索（CBIR）では、一般的にユーザーは色や質感などの画像コンセプトで検索するか、例となるクエリを見つける必要があります。しかし、例となる画像に含まれる特定の画像特徴が、ユーザーが本当に注目しているコンセプトを上書きしてしまう可能性があります。図書館などで使用されているような従来の画像検索方法は、手動で注釈を付けた画像に依存していますが、これは特に大規模で絶えず増加している画像データベースが存在することを考えると、コストと時間がかかります。

• コンテンツベース画像検索
• 画像検索によるオブジェクトの分類
• 物体検出
• 物体認識の概要

• Datta, Ritendra; Dhiraj Joshi; Jia Li ; James Z. Wang (2008). "画像検索: 新時代のアイデア、影響、トレンド" . ACM Computing Surveys . 40 (2): 1– 60. doi : 10.1145/1348246.1348248 . S2CID 7060187 . 
• Nicolas Hervé; Nozha Boujemaa (2007). 「画像注釈 ：現実的なデータベースにはどの手法が適しているか ？」(PDF) . ACM International Conference on Image and Video Retrieval . 2011年5月20日にオリジナル(PDF)からアーカイブされました。
• 井上正人（2004）。「注釈に基づく画像検索の必要性について」（PDF）。コンテキストにおける情報検索に関するワークショップ。pp. 44–46 。2014年8月8日にオリジナル（PDF）からアーカイブ。 

• 単語共起モデル

Y Mori、H Takahashi、R Oka (1999)「画像を単語で分割およびベクトル量子化することに基づく画像から単語への変換」。マルチメディアインテリジェントストレージおよび検索管理に関する国際ワークショップの議事録。CiteSeerX 10.1.1.31.1704。 

• 機械翻訳としての注釈

P Duygulu、K Barnard、N de Fretias、D Forsyth (2002) 「機械翻訳としての物体認識：固定画像語彙のための語彙学習」欧州コンピュータビジョン会議議事録、pp. 97–112 。2005年3月5日にオリジナルからアーカイブ。 

• 統計モデル

J Li & JZ Wang (2006). 「画像のリアルタイムコンピュータ化注釈」 . ACM Multimedia 論文集. pp. 911–920 . 

JZ Wang & J Li (2002). "2次元MHMMを用いた画像の学習ベースの言語インデックス作成" . Proc. ACM Multimedia . pp. 436–445 . 

• 画像の自動言語インデックス作成

J Li & JZ Wang (2008). 「画像のリアルタイムコンピュータ化注釈」 . IEEE Transactions on Pattern Analysis and Machine Intelligence .

J Li & JZ Wang (2003). "統計モデリングアプローチによる画像の自動言語インデックス作成" . IEEE Transactions on Pattern Analysis and Machine Intelligence . pp. 1075–1088 . 

• 階層的側面クラスタモデル

K Barnard; DA Forsyth (2001). 「単語と画像の意味論の学習」 .国際コンピュータビジョン会議議事録. pp. 408–415 . 2007年9月28日にオリジナルからアーカイブ。 

• 潜在的ディリクレ配分モデル

D Blei、A Ng、M Jordan (2003)。「潜在的ディリクレ配分」(PDF)。Journal of Machine Learning Research。pp .  3:993–1022。 2005年3月16日にオリジナル(PDF)からアーカイブされました。

• 教師ありマルチクラスラベル付け

G Carneiro、AB Chan、P Moreno、N Vasconcelos (2006) 「画像注釈と検索のための意味クラスの教師あり学習」(PDF) IEEE Transactions on Pattern Analysis and Machine Intelligence pp. 394–410。 

• テクスチャ類似性

RW Picard & TP Minka (1995). 「注釈のための視覚テクスチャ」 .マルチメディアシステム.

• サポートベクターマシン

C・クザーノ。 G チョッカ & R セッティーニ (2004)。サンティーニ、シモーネ、スケッティーニ、ライモンド (編)。 「SVMを使用した画像アノテーション」。インターネット イメージング V . 5304 : 330– 338。Bibcode : 2003SPIE.5304..330C。土井: 10.1117/12.526746。S2CID 16246057。 

• 決定木とランダムサブウィンドウのアンサンブル

R Maree、P Geurts、J Piater、L Wehenkel (2005) 「ロバストな画像分類のためのランダムサブウィンドウ」 IEEE国際コンピュータビジョンおよびパターン認識会議議事録、pp.  1:34–30。

• 最大エントロピー

J Jeon; R Manmatha (2004). 「最大エントロピーを用いた自動画像アノテーション」(PDF) .国際画像・動画検索会議 (CIVR 2004) . pp. 24–32 . 

• 関連性モデル

J Jeon、V Lavrenko、R Manmatha (2003) 「クロスメディア関連性モデルを用いた自動画像注釈および検索」(PDF) ACM SIGIR 情報検索研究開発会議議事録、pp. 119–126。 

• 連続確率密度関数を用いた関連性モデル

V Lavrenko、R Manmatha、J Jeon (2003) 「画像の意味論を学習するためのモデル」(PDF) .第16回ニューラル情報処理システム進歩会議議事録 NIPS .

• 一貫性のある言語モデル

R Jin; JY Chai; L Si (2004). 「一貫性のある言語モデルとアクティブラーニングによる効果的な自動画像アノテーション」(PDF) . MM'04 論文集.

• 推論ネットワーク

D Metzler & R Manmatha (2004). 「画像検索のための推論ネットワークアプローチ」(PDF) .国際画像・動画検索会議議事録. pp. 42–50 . 

• 多重ベルヌーイ分布

S Feng、R Manmatha、V Lavrenko (2004) 「画像およびビデオ注釈のための複数のベルヌーイ関連性モデル」(PDF) IEEE Con​​ference on Computer Vision and Pattern Recognition pp . 1002–1009。 

• 複数のデザインオプション

JY Pan; HJ Yang; P Duygulu; C Faloutsos (2004). 「自動画像キャプション生成」(PDF) . 2004 IEEE International Conference on Multimedia and Expo (ICME'04) 論文集. 2004年12月9日にオリジナル(PDF)からアーカイブ済み。

• 画像キャプション

Quan Hoang Lam; Quang Duy Le; Kiet Van Nguyen; Ngan Luu-Thuy Nguyen (2020). "UIT-ViIC: ベトナム語画像キャプションの最初の評価のためのデータセット" . 2020年国際計算集合知会議（ICCCI 2020）議事録. arXiv : 2002.00175 . doi : 10.1007/978-3-030-63007-2_57 .

• 自然シーンの注釈

J Fan; Y Gao; H Luo; G Xu (2004). 「概念に敏感な顕著なオブジェクトを用いた画像コンテンツ表現による自動画像注釈」 .第27回情報検索研究開発国際会議議事録. pp. 361–368 . 

• 関連する低レベルグローバルフィルタ

A Oliva & A Torralba (2001). "シーンの形状のモデリング：空間エンベロープの全体的表現" (PDF) . International Journal of Computer Vision . pp.  42:145–175.

• グローバル画像特徴とノンパラメトリック密度推定

A Yavlinsky、E Schofield、S Rüger (2005)。「グローバル特徴と堅牢なノンパラメトリック密度推定を用いた自動画像注釈」(PDF)。国際画像・動画検索会議(CIVR、シンガポール、2005年7月) 。2005年12月20日にオリジナル(PDF)からアーカイブ。

• ビデオの意味論

N Vasconcelos & A Lippman (2001). "コンテンツ分析と特性評価のためのビデオ構造の統計モデル" (PDF) . IEEE Transactions on Image Processing . pp. 1–17 . 

Ilaria Bartolini、Marco Patella、Corrado Romani (2010)。「Shiatsu: セグメンテーションによるカットを用いたビデオのセマンティックベースの階層的自動タグ付け」。第3回ACM国際マルチメディアワークショップ「メディア制作における自動情報抽出」（AIEMPro10）。

• 画像注釈の改良

Yohan Jin、Latifur Khan、Lei Wang、Mamoun Awad (2005) 「複数の証拠とWordNetを組み合わせた画像注釈」。第13回ACM国際マルチメディア会議（MM 05）。pp. 706–715。 

Changhu Wang; Feng Jing; Lei Zhang & Hong-Jiang Zhang (2006). "画像注釈の改良（ランダムウォークと再起動を使用）" .第14回ACM国際マルチメディア会議（MM 06） .

Changhu Wang; Feng Jing; Lei Zhang & Hong-Jiang Zhang (2007). "コンテンツベースの画像注釈の改良". IEEE Con​​ference on Computer Vision and Pattern Recognition (CVPR 07) . doi : 10.1109/CVPR.2007.383221 .

Ilaria Bartolini & Paolo Ciaccia (2007). "Imagination: Exploiting Link Analysis for Accurate Image Annotation". Springer Adaptive Multimedia Retrieval . doi : 10.1007/978-3-540-79860-6_3 .

Ilaria Bartolini & Paolo Ciaccia (2010). "多次元キーワードベースの画像アノテーションと検索" .第2回ACM構造化データキーワード検索国際ワークショップ（KEYS 2010） .

• 視覚記述子の集合による自動画像注釈

Emre Akbas & Fatos Y. Vural (2007). "視覚記述子のアンサンブルによる自動画像注釈".国際コンピュータビジョン会議 (CVPR) 2007、マルチメディアにおける意味学習アプリケーションに関するワークショップ. doi : 10.1109/CVPR.2007.383484 . hdl : 11511/16027 .

• 画像注釈のための新たな基準

Ameesh Makadia、Vladimir Pavlovic、Sanjiv Kumar (2008) 「画像アノテーションのための新しいベースライン」(PDF)。欧州コンピュータビジョン会議 (ECCV)。

画像分類と注釈の同時実行

Chong Wang、David Blei、Li Fei-Fei (2009) 「同時画像分類と注釈」(PDF) .コンピュータビジョンとパターン認識に関する会議 (CVPR) .

• TagProp：画像自動アノテーションのための最近傍モデルにおける識別的メトリック学習

Matthieu Guillaumin、Thomas Mensink、Jakob Verbeek、Cordelia Schmid (2009)。「TagProp: 画像自動アノテーションのための最近傍モデルにおける識別的メトリック学習」(PDF)。国際コンピュータビジョン会議 (ICCV)。

• 意味近傍におけるメトリック学習を用いた画像アノテーション

Yashaswi Verma & CV Jawahar (2012). "意味近傍におけるメトリック学習を用いた画像アノテーション" (PDF) .欧州コンピュータビジョン会議 (ECCV) . 2013年5月14日にオリジナル(PDF)からアーカイブ済み。 2014年2月26日取得。

• 深層学習表現を用いた自動画像アノテーション

Venkatesh N. Murthy、Subhransu Maji、R. Manmatha (2015) 「深層学習表現を用いた自動画像注釈」(PDF)国際マルチメディア会議(ICMR)。

• 顕著な領域と背景画像情報を用いた包括的な画像注釈

Sarin, Supheakmungkol; Fahrmair, Michael; Wagner, Matthias & Kameyama, Wataru (2012). Leveraging Features from Background and Salient Regions for Automatic Image Annotation . Journal of Information Processing. Vol.  20. pp. 250–266 . 

• ベイズネットワークとアクティブラーニングを用いた医用画像アノテーション

NB Marvasti、E. Yörük、B. Acar (2018) 「コンピュータ支援医療画像アノテーション：CTにおける肝病変の予備的結果」 IEEE Journal of Biomedical and Health Informatics。