Loading article…
文書処理は、アナログ文書をデジタル化することを目的とした研究分野および一連の生産プロセスです。文書処理は、単に文書を撮影またはスキャンしてデジタル画像を取得するだけでなく、文書をデジタルで理解可能にすることも目的としています。これには、文書の構造またはレイアウトを抽出し、次にテキストまたは画像の形をとるコンテンツを抽出することが含まれます。このプロセスには、従来のコンピュータービジョンアルゴリズム、畳み込みニューラルネットワーク、または手作業が含まれます。対処される問題は、セマンティックセグメンテーション、オブジェクト検出、光学式文字認識（OCR）、手書きテキスト認識（HTR）、およびより広義では、自動かどうかにかかわらず転写に関連しています。[1]この用語には、スキャナーを使用して文書をデジタル化する段階と、自然言語処理（NLP）または画像分類テクノロジーなどを使用して文書を解釈する段階も含まれる場合があります。これは、管理プロセス、メール処理、およびアナログアーカイブと歴史的文書のデジタル化の最適化のために、多くの産業および科学分野に適用されています。
背景
文書処理は当初から、ある程度は手紙や小包などの文書の取り扱いを扱う生産ライン作業の一種であり、データの仕分け、抽出、または大量抽出を目的としています。この作業は社内で行うこともあれば、ビジネスプロセスアウトソーシングを通じて行うこともあります。[2] [3]文書処理には、機械的なタークなどの外部化された手作業が含まれることもあります。
手作業による文書処理の例として、比較的最近の2007年には、[4] 「何百万ものビザおよび市民権申請書」の文書処理に「郵便室とデータ入力の管理」を行う「約1,000人の契約労働者」が使用されていました。
文書処理は、コンピュータのマウスやスキャナが使用されるずっと前からキーボードによるデータ入力を伴っていたが、1990年のニューヨークタイムズ紙の「ペーパーレスオフィス」に関する記事では、「文書処理はスキャナから始まる」と述べられていた。[5]これに関連して、元ゼロックス副社長のポール・ストラスマン氏は、コンピュータはオフィスの紙の量を減らすのではなく増やすだけだと批判的な意見を述べた。[5]飛行機の設計および保守文書は「飛行機自体よりも重い」と言われていた[要出典]。
自動文書処理
最先端の技術が進歩するにつれて、文書処理は「文書コンポーネントをデータベースエンティティとして」処理するようになりました。[6]
自動文書処理またはインテリジェント文書処理（IDP）と呼ばれる技術は、機械学習（ML）、自然言語処理（NLP）、インテリジェント文字認識（ICE）などの人工知能を組み合わせて、さまざまな種類の文書からデータを抽出し、インテリジェントプロセスオートメーション（IPA）の特定の形式として登場しました。[7] [8]インテリジェント文書処理とも呼ばれる自動文書処理の進歩により、例外が少なくなり、速度が向上し、非構造化データを処理する能力が向上しました。[9]
アプリケーション
自動文書処理は、構造化されているかどうかに関係なく、あらゆる種類の文書に適用されます。たとえば、ビジネスや金融の世界では、紙ベースの請求書、フォーム、注文書、契約書、紙幣を処理するためにテクノロジーが使用されることがあります。[10]金融機関は、規制フォームやローン文書などの大量のフォームを処理するためにインテリジェント文書処理を使用しています。IDは、手動のデータ入力に代わって、AIを使用して文書からデータを抽出して分類します。[11]
医療分野では、患者のフォローアップを容易にし、管理手続きを合理化するために、特に医療報告書や検査報告書をデジタル化することで文書処理方法が開発されてきた。また、医療データベースを標準化することも目標としている。 [12]アルゴリズムは、磁気共鳴画像[13] [ 14]や顕微鏡画像を分析するなど、医師の診断を支援するために直接使用されることもある。[15]
文書処理は、アーカイブや遺産コレクションから歴史的なビッグデータを抽出するため、人文科学やデジタル人文学の分野でも広く使用されています。新聞アーカイブなどのテキスト文書[16]だけでなく、画像[17]や地図[18]など、さまざまな情報源に対して特定のアプローチが開発されました。[ 19 ]
テクノロジー
1980年代以降、従来のコンピュータビジョンアルゴリズムは文書処理の問題を解決するために広く使用されていましたが、[20] [21]これらは2010年代に徐々にニューラルネットワーク技術に置き換えられました。[22]ただし、従来のコンピュータビジョン技術は、一部の分野ではニューラルネットワークと組み合わせて、今でも使用されています。
多くの技術がドキュメント処理の開発をサポートしていますが、特に光学文字認識(OCR) や手書きテキスト認識(HTR) では、テキストを自動的に転記できます。テキスト セグメントはインスタンスまたはオブジェクト検出アルゴリズムを使用して識別されますが、このアルゴリズムはドキュメントの構造を検出するためにも使用されることがあります。後者の問題の解決には、セマンティック セグメンテーションアルゴリズムも使用されることがあります。
これらの技術は、多くの場合、文書処理の中核を形成します。ただし、これらのプロセスの前または後に他のアルゴリズムが介入することもあります。実際、従来のスキャンまたは3次元スキャンの形式を問わず、文書のデジタル化技術も関係しています。 [23] 3D文書のデジタル化では、特に写真測量の派生物に頼ることができます。場合によっては、文書のサイズに適応するため、またはスキャンの人間工学上の理由から、特定の2Dスキャナーを開発する必要もあります。[17]文書処理は、適切なファイル形式での文書のデジタルエンコードにも依存します。さらに、異種データベースの処理では、画像分類技術に依存する場合があります。
チェーンのもう一方の端には、さまざまな画像補完、外挿、またはデータ クリーンアップ アルゴリズムがあります。テキスト ドキュメントの場合、解釈には自然言語処理(NLP) テクノロジを使用できます。
参照
参考文献
- ^ Len Asprey、Michael Middleton (2003)。統合ドキュメントおよびコンテンツ管理: エンタープライズ ナレッジを活用するための戦略。Idea Group Inc (IGI) 。ISBN 9781591400554。
- ^ Vinod V. Sople (2009-05-25). ビジネスプロセスアウトソーシング: 専門知識のサプライチェーン。PHI Learning Pvt. Ltd. ISBN 978-8120338159。
- ^マーク・コバヤシ・ヒラリー（ 2005年12月5日）。インドへのアウトソーシング：オフショアの優位性。Springer Science & Business Media。ISBN 9783540247944。
- ^ ジュリア・プレストン (2007 年 12 月 2 日)。「移民請負業者が賃金を削減」ニューヨーク・タイムズ。
- ^ ab Lawrence M. Fisher (1990 年 7 月 7 日)。「一度廃棄された紙は、オフィスに残り続ける」ニューヨーク タイムズ。
- ^ Al Young、Dayle Woolstein、Jay Johnson (1996 年 2 月)。「タイトル不明」。Object Magazine、p. 51。
- ^ 「インテリジェントなドキュメント処理」(PDF) .バーリ大学コンピューターサイエンス学部. 2005-04-07 . 2018-09-08に閲覧。
- ^ Floriana Esposito、Stefano Ferilli、Teresa MA Basile、Nicola Di Mauro (2005-04-01)。「インテリジェント ドキュメント処理」、議事録。第 8 回国際ドキュメント分析および認識会議、ソウル、韓国、2005 年、pp. 1100-1104。doi: 10.1109/ICDAR.2005.144。doi : 10.1109/ICDAR.2005.144。S2CID 17302169 。
{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク) - ^ 「インテリジェントドキュメント処理（IDP）」。keymarkinc.com 。 2024年7月12日閲覧。
- ^ 米国有効 US7873576B2、John E. Jones、William J. Jones、Frank M. Csultis、「金融文書処理システム」、2011-01-18 公開、2011-01-18 発行
- ^ ブリッジウォーター、エイドリアン。「Appian がローコード自動化ミックスに Google Cloud Intelligence を追加」。Forbes。2021年 4 月 21 日閲覧。
- ^ アダモ、フランチェスコ;アッティヴィッシモ、フィリッポ。ディ・ニシオ、アッティリオ。マウリツィオ州スパダヴェッキア（2015年2月）。 「医療データ抽出のための自動文書処理システム」。測定。61 : 88– 99。Bibcode :2015Meas...61...88A。土井：10.1016/j.measurement.2014.10.032 。2021 年1 月 31 日に取得。
- ^ Changwan, Kim; Seong-Il, Lee; Won Joon, Cho (2020年9月). 「3テスラ磁気共鳴画像の半自動セグメンテーションによる内側半月板後根断裂の押し出しの体積評価」.整形外科と外傷学：外科と研究. 101 (5): 963– 968. doi :10.1016/j.rcot.2020.06.003. S2CID 225215597. 2021年1月31日閲覧。
- ^ Despotović , Ivana ; Bart, Goossens; Wilfried, Philips (2015年3 月 1 日)。「人間の脳の MRI セグメンテーション: 課題、方法、およびアプリケーション」。Computational Intelligence Techniques in Medicine。2015 : 963–968。doi : 10.1155 / 2015 / 450341。PMC 4402572。PMID 25945121。
- ^ プツア、ロレンツォ;カオッチ、ジョバンニ。ディ・ルベルトア、セシリア（2014年11月）。 「画像処理技術を使用した白血病検出のための白血球分類」。医療における人工知能。63 (3): 179–191。土井:10.1016/j.artmed.2014.09.002。hdl : 11584/94592。PMID 25241903。
- ^ Ehrmann, Maud; Romanello, Matteo; Clematide, Simon; Ströbel, Phillip; Barman, Raphaël (2020). 「歴史的新聞のための言語リソース：Impressoコレクション」。第12回言語リソースおよび評価会議の議事録。フランス、マルセイユ 。pp.958–968。
- ^ ab Seguin, Benoit; Costiner, Lisandra; di Lenardo, Isabella; Kaplan, Frédéric (2018 年 4 月 1 日)。「美術史写真アーカイブのデジタル化のための新しい手法 - ヴェネツィアの Cini Foundation の事例」。Archiving 2018 最終プログラムおよび議事録。Society for Imaging Science and Technology。pp. 1– 5。doi :10.2352/issn.2168-3204.2018.1.0.2 。
- ^ Ares Oliveira, Sofia; di Lenardo, Isabella; Tourenc, Bastien; Kaplan, Frédéric (2019 年 7 月 11 日)。地籍コンピューティングへのディープラーニングアプローチ。デジタルヒューマニティーズカンファレンス。ユトレヒト、オランダ。
- ^ Petitpierre, Rémi (2020年7月). 歴史的都市地図の意味的セグメンテーションのためのニューラルネットワーク: 異文化パフォーマンスと比喩的多様性の影響 (MSc). arXiv : 2101.12478 . doi :10.13140/RG.2.2.10973.64484.
- ^ 藤沢 秀一; 中野 勇; 栗野 健一 (1992年7月). 「文字認識のためのセグメンテーション手法：セグメンテーションから文書構造解析まで」. Proceedings of the IEEE . 80 (7): 1079– 1092. doi :10.1109/5.156471 . 2021年2月3日閲覧。
- ^ Tang, Yuan Y.; Lee, Seong-Whan; Suen, Ching Y. (1996). 「自動文書処理：調査」.パターン認識. 29 (12): 1931– 1952. Bibcode :1996PatRe..29.1931T. doi :10.1016/S0031-3203(96)00044-1 . 2021年2月3日閲覧。
- ^ Ares Oliveira, Sofia; Seguin, Benoit; Kaplan, Frederic (2018 年 8 月 5 ～ 8 日)。dhSegment: 文書セグメンテーションのための汎用ディープラーニングアプローチ。2018 年 16 回国際手書き認識フロンティア会議 (ICFHR)。ナイアガラフォールズ、ニューヨーク州、米国: IEEE。arXiv : 1804.10371。doi : 10.1109 / ICFHR-2018.2018.00011 。
- ^ 「アートのための革命的なスキャン技術」Artmyn . 2021年2月3日閲覧。