シーンテキスト

シーンテキストとは、屋外環境でカメラによって撮影された画像に表示されるテキストのことです。

カメラで撮影した画像からシーン内のテキストを検出・認識することは、高性能カメラを搭載したスマートフォンが普及して以来、重要性を増したコンピュータビジョンのタスクです。シーン画像内のテキストは、形状、フォント、色、位置などが様々です。さらに、照明や焦点が均一でない場合、シーン内のテキスト認識はより複雑になることがあります。

シーンテキスト認識を改善するために、国際文書解析認識会議（ICDAR）は2年に1度、堅牢な読解コンテストを実施しています。このコンテストは2003年、2005年に開催され^{[ 1 ] [ 2 ] [ 3 ]}、ICDAR会議のたびに開催されています^{[ 4 ] [ 5 ] [ 6 ]} 。国際パターン認識協会（IAPR）は、読解システムとしてデータセットのリストを作成しました^{[ 7 ] 。}

テキスト検出とは、画像内に存在するテキストを検出し、それを矩形の境界ボックスで囲む処理のことです。テキスト検出は、画像ベースの手法または周波数ベースの手法を用いて行うことができます。

画像ベースの手法では、画像は複数のセグメントに分割されます。各セグメントは、類似した特性を持つピクセルの連結成分です。連結成分の統計的特徴を利用して、それらをグループ化し、テキストを形成します。サポートベクターマシンや畳み込みニューラルネットワークなどの機械学習手法を用いて、これらの成分をテキストと非テキストに分類します。

周波数ベースの手法では、離散フーリエ変換（DFT）または離散ウェーブレット変換（DWT）を用いて高周波係数を抽出します。画像に含まれるテキストには高周波成分が含まれていると仮定し、高周波係数のみを選択することで、画像内のテキスト領域を非テキスト領域から分離します。

単語認識では、テキストは既に検出され、位置が特定されており、テキストを含む矩形の境界ボックスが利用可能であると仮定されます。認識する必要があるのは、その境界ボックス内に存在する単語です。単語認識を実行するために利用できる方法は、大きく分けてトップダウン方式とボトムアップ方式に分類できます。

トップダウン方式では、辞書から単語のセットを使用して、与えられた画像にどの単語が適しているかを特定します。^{[ 8 ] [ 9 ] [ 10 ]}これらの方法のほとんどでは、画像はセグメント化されません。そのため、トップダウン方式は、セグメンテーションフリー認識と呼ばれることもあります。

ボトムアップアプローチでは、画像が複数のコンポーネントに分割され、分割された画像が認識エンジンに渡されます。^{[ 11 ] [ 12 ] [ 13 ]}テキストの認識には、市販の光学文字認識（OCR）エンジン^{[ 14 ] [ 15 ] [ 16 ]}またはカスタムトレーニングされたエンジンのいずれかが使用されます。