光学文字認識

OCRソフトウェアは、認識の成功率を高めるために画像を前処理することがよくあります。その技術には以下が含まれます。^{[ 25 ]}

• 傾き補正–スキャン時に文書が正しく配置されていなかった場合、テキストの行が完全に水平または垂直になるように、文書を時計回りまたは反時計回りに数度傾ける必要がある場合があります。 
• 斑点除去–ポジティブスポットとネガティブスポットの除去、エッジの平滑化 
• 二値化とは、カラーまたはグレースケールの画像を白黒（2色しかないため二値画像と呼ばれる）に変換することです。このタスクは、テキスト（またはその他の必要な画像コンポーネント）を背景から分離する簡単な方法として実行されます。 ^{[ 26 ]}二値化タスクは、ほとんどの商用認識アルゴリズムが二値画像のみで動作するため必要です。これは、二値化の方が簡単だからです。^{[ 27 ]}さらに、二値化の有効性は文字認識の品質に大きく影響するため、特定の入力画像タイプに採用する二値化の選択には慎重な決定が行われます。これは、二値結果を取得するために使用される方法の品質が、画像タイプ（スキャンされた文書、シーンテキスト画像、劣化した歴史的文書など）に依存するためです。^{[ 28 ] [ 29 ]} 
• 線削除–グリフ以外のボックスと線をクリーンアップします 
• レイアウト分析またはゾーニング–列、段落、キャプションなどを個別のブロックとして識別すること。特に複数列のレイアウトや表において重要です。 
• 線と単語の検出–単語と文字の形状の基準線を設定し、必要に応じて単語を分離します。 
• 文字認識–多言語文書では、文字が単語レベルで変化する可能性があるため、特定の文字を処理するために適切な OCR を呼び出す前に、文字を識別する必要があります。^{[ 30 ]} 
• 文字の分離または分割–文字単位のOCRでは、画像アーティファクトによって連結された複数の文字は分離する必要があります。アーティファクトによって複数の断片に分割された単一の文字は連結されたままにする必要があります。 
• アスペクト比とスケールの正規化^{[ 31 ]}

固定ピッチフォントのセグメンテーションは、垂直グリッド線が黒領域と交差する頻度が最も低い位置に基づいて画像を均一グリッドに合わせることで比較的簡単に実現できます。プロポーショナルフォントの場合は、文字間の空白が単語間の空白よりも大きくなる場合があり、垂直線が複数の文字と交差する可能性があるため、より高度な技術が必要です。^{[ 32 ]}

コアOCRアルゴリズムには2つの基本的なタイプがあり、候補文字のランク付けリストを生成する可能性があります。^{[ 33 ]}

• マトリックスマッチングとは、画像と保存されたグリフをピクセル単位で比較する手法で、パターンマッチング、パターン認識、画像相関とも呼ばれます。この手法は、入力グリフが画像内の他の部分から正しく分離されていること、および保存されたグリフが類似のフォントで同じスケールであることを前提としています。この手法はタイプライターで打たれたテキストには最適ですが、新しいフォントにはうまく対応できません。これは、初期の光電セルベースのOCRが比較的直接的に実装していた手法です。
• 特徴抽出は、グリフを線、閉じたループ、線の方向、線の交点などの「特徴」に分解します。抽出された特徴は表現の次元を削減し、認識プロセスを計算効率化します。これらの特徴は、1 つ以上のグリフプロトタイプに縮小される可能性のある、文字の抽象的なベクトルのような表現と比較されます。コンピュータビジョンにおける特徴検出の一般的な手法は、この種の OCR に適用可能であり、「インテリジェント」な手書き認識や最新の OCR ソフトウェアのほとんどでよく見られます。^{[ 34 ]} k 近傍アルゴリズムなどの最近傍分類器は、画像の特徴を保存されたグリフの特徴と比較し、最も近い一致を選択するために使用されます。^{[ 35 ] [ 36 ]}

CuneiformやTesseractなどのソフトウェアは、文字認識に2段階のアプローチを採用しています。2段階目は適応型認識と呼ばれ、1段階目で高い信頼度で認識された文字の形状を利用して、2段階目で残りの文字をより正確に認識します。これは、特殊なフォントや、フォントが歪んでいる（ぼやけている、色あせているなど）低品質のスキャン画像に有効です。^{[ 32 ]}

2024年現在現代のOCRソフトウェアには、Google Docs OCR、ABBYY FineReader、Transym、およびTesseract 5（LSTMベースの認識エンジンを導入）^{[ 37 ]}、PaddleOCR（80以上の言語をサポートする多言語OCRツールキット）^{[ 38 ]}、TrOCR（手書きおよび印刷されたテキスト認識のためにMicrosoftが開発したトランスフォーマーベースのモデル）^{[ 39 ]}などのオープンソースエンジンが含まれます。^{[ 40 ]} OCRopusやTesseractなどの他のソフトウェアは、単一の文字に焦点を当てるのではなく、テキストの行全体を認識するようにトレーニングされたニューラルネットワークを使用します。

反復OCRと呼ばれる技術は、ページレイアウトに基づいて文書を自動的にセクションに分割します。次に、可変文字信頼度レベルの閾値を使用して各セクションに対して個別にOCRを実行し、ページレベルのOCR精度を最大化します。この方法については、米国特許庁から特許が発行されています。^{[ 41 ]}

OCRの結果は、米国議会図書館が管理する専用のXMLスキーマである標準化されたALTO形式で保存できます。その他の一般的な形式には、hOCRやPAGE XMLなどがあります。

光学文字認識ソフトウェアの一覧については、「光学文字認識ソフトウェアの比較」を参照してください。

OCR の精度は、出力が語彙集(文書内で使用が許可されている単語のリスト) によって制限されている場合に向上します。^{[ 25 ]}これは、たとえば英語のすべての単語、または特定の分野のより専門的な語彙集である可能性があります。この手法は、文書に固有名詞などの語彙集に含まれていない単語が含まれている場合に問題となる可能性があります。Tesseractは、精度を向上させるために、独自の辞書を使用して文字分割ステップに影響を与えます。^{[ 32 ]} 

出力ストリームはプレーンテキストストリームまたは文字ファイルである場合もあるが、より高度なOCRシステムはページの元のレイアウトを保持し、例えば、ページの元の画像と検索可能なテキスト表現の両方を含む注釈付きPDFを生成することができる。

近隣分析では、特定の単語が一緒によく見られることに着目することで、共起頻度を利用してエラーを修正することができます。^{[ 42 ]}例えば、「Washington, DC」は一般的に「Washington DOC」よりも英語でずっとよく使われます。

スキャン対象言語の文法に関する知識は、例えば単語が動詞か名詞かを判断するのに役立ち、より高い精度を可能にする。

レーベンシュタイン距離アルゴリズムは、OCR API からの結果をさらに最適化するために、OCR の後処理にも使用されています。^{[ 43 ]}

近年、主要なOCR技術プロバイダーは、特定の種類の入力データをより効率的に処理できるよう、OCRシステムの改良に着手しました。アプリケーション固有の語彙集に加え、ビジネスルール、標準表現、カラー画像に含まれる豊富な情報などを考慮に入れることで、パフォーマンスの向上を図ることができます。この手法は「アプリケーション指向OCR」または「カスタマイズOCR」と呼ばれ、ナンバープレート、請求書、スクリーンショット、IDカード、運転免許証、自動車製造などのOCRに適用されています。

ニューヨーク・タイムズはOCR技術を応用し、独自のツール「 Document Helper」を開発しました。これにより、インタラクティブニュースチームはレビューが必要な文書の処理を加速できます。同紙によると、このツールを使えば、記者が内容を確認する準備として、1時間に最大5,400ページもの文書を処理できるとのことです。 ^{[ 44 ]}

OCR-A、OCR-B、MICRフォントなどの特殊フォントは、サイズ、間隔、特徴的な文字形状が正確に指定されているため、銀行小切手処理における文字起こしの精度が向上します。いくつかの主要なOCRエンジンは、ArialやTimes New Romanなどの一般的なフォントのテキストをキャプチャするように設計されており、特殊で一般的に使用されているフォントとは大きく異なるこれらのフォントのテキストをキャプチャすることはできません。Google Tesseractは新しいフォントを認識するようにトレーニングできるため、OCR-A、OCR-B、MICRフォントを認識できます。^{[ 45 ]}

櫛形フィールドは、人間がより読みやすく書くように促す事前に印刷された枠で、 1つの枠に1つのグリフが印刷されます。^{[ 42 ]}これらは多くの場合、OCRシステムで簡単に除去できるドロップアウトカラーで印刷されます。 ^{[ 42 ]}この技術は、数字の郵便番号と、すべての封筒の下部にある標準化された枠があり、ユーザーがドットを結んで数字を印刷していた旧ソビエト連邦で使用されていました。^{[ 46 ]} 

Palm OSは、グラフィティと呼ばれる特殊な文字セットを使用していた。これは印刷された英語の文字に似ているが、プラットフォームの処理能力が限られたハードウェアでも認識しやすいように簡略化または変更されている。ユーザーはこれらの特殊な文字の書き方を習得する必要があった。

ゾーンベースOCRは、画像を文書の特定の部分に限定します。これは一般的にテンプレートOCRと呼ばれます。

クラウドソーシングで人間に文字認識を行わせると、コンピュータによるOCRのように画像を迅速に処理できますが、コンピュータで得られる画像認識よりも高い精度が得られます。実用的なシステムとしては、Amazon Mechanical TurkやreCAPTCHAなどがあります。フィンランド国立図書館は、ユーザーが標準化されたALTO形式でOCRされたテキストを修正するためのオンラインインターフェースを開発しました。^{[ 47 ]}クラウドソーシングは、文字認識を直接行うのではなく、ソフトウェア開発者に画像処理アルゴリズムを開発してもらうためにも使用されており、例えば、順位トーナメントの使用などが挙げられます。^{[ 48 ]}