手書き認識

手書き認識( HWR ) は手書きテキスト認識( HTR )とも呼ばれ、紙の文書、写真、タッチスクリーン、その他のデバイスなどのソースから理解可能な手書き入力を受信して​​解釈するコンピュータの機能です。^{[1] [2]書かれたテキストの画像は、光学スキャン (}光学文字認識) またはインテリジェント単語認識によって紙から「オフライン」で感知される場合があります。または、ペン先の動きは、たとえばペンベースのコンピュータ画面表面によって「オンライン」で感知される場合があります。これは、利用できる手がかりが多いため、一般的に簡単なタスクです。手書き認識システムは、書式設定を処理し、文字に正しく分割し、最も可能性のある単語を見つけます。

オフライン手書き認識では、画像内のテキストを、コンピュータやテキスト処理アプリケーションで使用できる文字コードに自動的に変換します。この形式で取得されたデータは、手書きの静的な表現とみなされます。オフライン手書き認識は、人によって手書きのスタイルが異なるため、比較的困難です。現在、OCR エンジンは主に機械で印刷されたテキストを対象としており、ICR は手書きの (大文字で書かれた) テキストを対象としています。

オフライン文字認識では、多くの場合、フォームまたは文書をスキャンする必要があります。つまり、スキャンした画像に含まれる個々の文字を抽出する必要があります。このステップを実行できるツールが存在します。^[3]ただし、このステップにはいくつかの一般的な欠陥があります。最も一般的なのは、連結された文字が両方の文字を含む単一のサブイメージとして返される場合です。これは認識段階で大きな問題を引き起こします。しかし、連結された文字のリスクを軽減するアルゴリズムは数多くあります。

個々の文字が抽出された後、認識エンジンを使用して対応するコンピュータ文字を識別します。現在、いくつかの異なる認識手法が利用可能です。

特徴抽出は、ニューラル ネットワーク認識装置と同様に機能します。ただし、プログラマーは重要と思われるプロパティを手動で決定する必要があります。このアプローチにより、認識装置は識別に使用されるプロパティをより細かく制御できます。ただし、このアプローチを使用するシステムは、プロパティが自動的に学習されないため、ニューラル ネットワークよりも大幅に長い開発時間を必要とします。

従来の技術は認識のために個々の文字を分割することに重点を置いていますが、最新の技術は分割されたテキスト行内のすべての文字を認識することに重点を置いています。特に、視覚的特徴を学習できる機械学習技術に重点を置いており、これまで使用されていた制限的な特徴エンジニアリングを回避しています。最先端の方法では、畳み込みネットワークを使用して、テキスト行画像の複数の重なり合うウィンドウから視覚的特徴を抽出し、リカレントニューラルネットワークがそれを使用して文字確率を生成します。^[4]

オンライン手書き認識では、特殊なデジタイザーまたはPDAに書き込まれたテキストを自動的に変換します。センサーがペン先の動きとペンの上げ下げを感知します。この種のデータはデジタル インクと呼ばれ、手書きのデジタル表現と見なすことができます。取得された信号は、コンピューターやテキスト処理アプリケーションで使用できる文字コードに変換されます。

オンライン手書き認識インターフェースの要素には通常、次のものが含まれます。

• ユーザーが書き込むためのペンまたはスタイラス
• 出力ディスプレイと統合されるか、または隣接しているタッチ感知面。
• 書き込み面上のスタイラスの動きを解釈し、その結果得られたストロークをデジタルテキストに変換するソフトウェア アプリケーション。

オンライン手書き認識のプロセスは、いくつかの一般的なステップに分けられます。

• 前処理、
• 特徴抽出と
• 分類

前処理の目的は、認識に悪影響を与える可能性のある、入力データ内の無関係な情報を削除することです。^[5]これは速度と精度に関係します。前処理は通常、2値化、正規化、サンプリング、スムージング、ノイズ除去で構成されます。^[6] 2番目のステップは特徴抽出です。前処理アルゴリズムから受け取った2次元以上のベクトルフィールドから、高次元のデータが抽出されます。このステップの目的は、認識モデルにとって重要な情報を強調することです。このデータには、筆圧、速度、筆記方向の変化などの情報が含まれます。最後の大きなステップは分類です。このステップでは、さまざまなモデルを使用して抽出された特徴をさまざまなクラスにマッピングし、特徴が表す文字や単語を識別します。

1980年代初頭には、キーボード入力の代わりとして手書き認識を組み込んだ商用製品が導入されました。例としては、Pencept Penpad ^[7] や Inforite POS 端末^[8]などの手書き端末があります。 パーソナルコンピュータの大規模な消費者市場の出現により、Pencept、^[9] 、 CIC ^[10]などの製品のように、パーソナルコンピュータのキーボードとマウスを単一のポインティング/手書きシステムに置き換える商用製品がいくつか導入されました。最初の市販のタブレット型ポータブルコンピュータは、1988年7月にリリースされた Linus Technologies のWrite-Topでした。そのオペレーティングシステムはMS-DOSに基づいていました。^{[11] [12]}

1990 年代初頭、NCR、IBM、EOなどのハードウェア メーカーが、GO Corp.が開発したPenPointオペレーティング システムを搭載したタブレット コンピュータをリリースしました。PenPoint は手書き認識とジェスチャーを全面的に採用し、サードパーティ ソフトウェアに機能を提供しました。IBM のタブレット コンピュータは、ThinkPad の名称を使用し、IBM の手書き認識を採用した最初の製品でした。この認識システムは、後に Microsoft Windows for Pen Computingと IBM の Pen for OS/2に移植されました。これらはいずれも商業的には成功しませんでした。

エレクトロニクスの進歩により、手書き認識に必要な計算能力をタブレットコンピュータよりも小さなフォームファクタに収めることができるようになり、手書き認識は携帯型PDAの入力方法としてよく使用されるようになりました。手書き入力を提供した最初の PDA はApple Newtonで、合理化されたユーザーインターフェイスの利点を一般の人々にもたらしました。しかし、ユーザーの筆記パターンを学習しようとするソフトウェアの信頼性の低さから、このデバイスは商業的には成功しませんでした。モードレスエラー修正など、現在の認識システムにはまだ見られない独自の機能を含め、手書き認識が大幅に改善されたNewton OS 2.0 のリリース時には、主に否定的な第一印象を与えていました。Apple Newtonの製造中止後、この機能は Mac OS X 10.2 にInkwellとして組み込まれました。

Palm はその後、Graffiti認識システムをベースにしたPDAシリーズを発売し、成功を収めました。Graffiti は、各文字に「ユニストローク」、つまり 1 ストローク フォームのセットを定義することで、使いやすさを向上させました。これにより、誤入力の可能性は減りましたが、ストローク パターンを記憶することで、ユーザーの学習曲線は長くなりました。Graffiti 手書き認識は Xerox が保有する特許を侵害していることが判明し、Palm は Graffiti を CIC 手書き認識のライセンス バージョンに置き換えました。このバージョンもユニストローク フォームをサポートしていましたが、Xerox の特許より前のものでした。裁判所による侵害の判決は控訴で覆され、その後の控訴でも再び覆されました。その後、関係者は、この特許とその他の特許に関する和解交渉を行いました。

タブレットPCは、デジタイザー タブレットとスタイラスを備えたノートブック コンピュータで、ユーザーはこれを使用してユニットの画面にテキストを手書きできます。オペレーティング システムは手書きを認識し、それをテキストに変換します。Windows VistaおよびWindows 7には、英語、日本語、中国語 (繁体字)、中国語 (簡体字)、韓国語のユーザーの書き方のパターンや語彙を学習するパーソナライゼーション機能が含まれています。この機能には、ユーザーの手書きのサンプルを要求し、それを使用してシステムを再トレーニングして認識精度を向上させる「パーソナライゼーション ウィザード」が含まれます。このシステムは、PDA 用の Windows Mobile OSで採用されている、それほど高度ではない手書き認識システムとは異なります。

手書き認識は一般の人々が慣れ親しんでいる入力形式ですが、デスクトップ コンピュータでもラップトップでも、広く使用されているわけではありません。キーボード入力の方が高速で信頼性が高いことは、今でも一般的に認められています。2006 年現在、多くの PDA が手書き入力に対応しており、自然な筆記体も受け付けますが、精度にはまだ問題があり、シンプルなオンスクリーン キーボードの^{[アップデート]}方が効率的だと考える人もいます。

初期のソフトウェアは、文字が分離している印刷体の手書き文字を理解できましたが、文字がつながっている筆記体の手書き文字は、文字の分割に関する困難さであるセイヤーのパラドックスを示しました。1962年、当時モスクワにいたシェリア・グーベルマンが、最初の応用パターン認識プログラムを作成しました。^[13]商用の例は、コミュニケーションズ・インテリジェンス・コーポレーションやIBMなどの企業から出ました。

1990年代初頭、ParaGraph InternationalとLexicusという2つの会社が、筆記体の手書き認識ができるシステムを考案しました。ParaGraphはロシアに拠点を置き、コンピュータ科学者のStepan Pachikovによって設立されました。一方、Lexicusはスタンフォード大学の学生だったRonjon NagとChris Kortgeによって設立されました。ParaGraph CalliGrapherシステムはApple Newtonシステムに導入され、Lexicus LonghandシステムはPenPointとWindowsオペレーティングシステム用に市販されました。Lexicusは1993年にMotorolaに買収され、Motorola向けに中国語の手書き認識と予測テキストシステムを開発しました。ParaGraphは1997年にSGIに買収され、その手書き認識チームはP&I部門を形成し、後にSGIからVademに買収されました。Microsoftは1999年にVademからCalliGrapher手書き認識とP&Iが開発したその他のデジタルインク技術を買収しました。

Wolfram Mathematica (8.0 以降) には、手書きまたはテキスト認識関数 TextRecognize も用意されています。

手書き認識には、それを研究する活発な学者のコミュニティがあります。手書き認識に関する最大の会議は、偶数年に開催される手書き認識の最前線に関する国際会議 (ICFHR) と、奇数年に開催される文書分析および認識に関する国際会議(ICDAR) です。これらの会議は両方とも、IEEE とIAPRによって承認されています。2021 年には、ICDAR の議事録がLNCS、Springer によって出版される予定です。

活発に研究されている分野は次のとおりです。

• オンラインでの認知
• オフライン認識
• 署名検証
• 郵便番号の解釈
• 銀行小切手処理
• 作家の認知

2009 年以来、スイスの AI ラボ IDSIAのJürgen Schmidhuberの研究グループで開発されたリカレント ニューラル ネットワークとディープフィードフォワードニューラル ネットワークは、いくつかの国際的な手書き文字コンテストで優勝しています。^[15]特に、Alex Graves らによる双方向で多次元のLong short-term memory (LSTM) ^{[16] [17]}は、学習する3 つの異なる言語 (フランス語、アラビア語、ペルシャ語)に関する事前知識がなくても、2009 年の国際文書分析認識会議 (ICDAR) で接続手書き文字認識の 3 つのコンテストで優勝しました。IDSIAの Dan Ciresan と同僚による最近のフィードフォワード ネットワーク向けのGPUベースのディープラーニング手法は、ICDAR 2011 オフライン中国語手書き文字認識コンテストで優勝しました。彼らのニューラルネットワークは、ニューヨーク大学のヤン・ルカンと同僚による有名なMNIST手書き数字問題^[19]において、人間に匹敵する性能^[18]を達成した最初の人工パターン認識装置でもありました。

ウォーリック大学のベンジャミン・グラハムは、畳み込みニューラルネットワークへのアプローチを使用して、2013年の中国語手書き認識コンテストで、わずか2.61%のエラー率で優勝しました。このコンテストでは、2017年までに「スパース畳み込みニューラルネットワーク」に進化しました。^{[20] [21]}

• AI効果
• 人工知能の応用
• 電子署名
• 電子書記
• 筆跡の動きの分析
• インテリジェントな文字認識
• ライブインク文字認識ソリューション
• ネオコグニトロン
• 光学文字認識
• ペンコンピューティング
• スケッチ認識
• スタイラス（コンピューティング）
• タブレットPC

• 人工知能の概要
• 新興技術のリスト

• ジェスチャーとペンコンピューティングに関する参考文献の注釈付き書誌
• ペンベースのコンピューティングの歴史に関するメモ – YouTubeのビデオ