深層言語処理は、理論言語学と記述言語学に基づいた自然言語処理フレームワークです。主に理論的な統語論/意味論(例: CCG、HPSG、LFG、TAG、プラハ学派)によって言語をモデル化します。深層言語処理のアプローチは、「浅層」の方法とは異なり、長距離の依存関係と基底の述語-引数構造を直接捉える、より表現力豊かで構造的な表現を生成します。[ 1 ] 深層言語処理の知識集約的なアプローチは、かなりの計算能力を必要とし、過去には扱いが困難であると判断されることもありました。しかし、2000年代初頭の研究により、深層処理の効率が大幅に向上しました。[ 2 ] [ 3 ]今日では、深層言語処理を使用するアプリケーションにとって、効率はもはや大きな問題ではありません。
従来、深層言語処理は、構文解析と生成の両方で使用するための計算文法の開発に重点を置いていました。これらの文法は手作業で開発、維持され、実行には計算コストがかかりました。近年、機械学習アプローチ(浅層言語処理とも呼ばれる)は、自然言語処理の分野を根本的に変革しました。堅牢で広範囲をカバーする機械学習NLPツールを迅速に作成するには、手作業が大幅に削減されます。そのため、深層言語処理手法への注目度は低下しています。
しかし、コンピュータが自然言語を理解したり推論したりするためには、詳細な構文的および意味的表現が必要であると考える計算言語学者もいる。さらに、人間は文とその意味を容易に理解できるが、浅い言語処理では人間の言語の「理解」が欠けている可能性がある。例えば:[ 4 ]
(a)の文では、浅い情報抽出システムであれば、マイクロソフトの本社がジョージア州にあったと誤って推測する可能性がある。しかし、人間であれば、マイクロソフトのオフィスがジョージア州にあったことは一度もないと、この文から理解できる。
文(b)では、浅いシステムではイスラエルが1971年5月に建国されたと誤って推論する可能性があります。人間は、1971年に設立されたのは国立精神生物学研究所であることを知っています。 深層言語処理と浅層言語処理の比較をまとめると、深層言語処理は、手動で開発された文法と言語リソースを通じて、知識豊富な言語分析を提供します。一方、浅層言語処理は、テキストや注釈付き言語リソースの統計的/機械学習操作を通じて、知識の少ない言語分析を提供します。
「深層」計算言語学者は、深層言語処理に採用した文法形式に基づいて、いくつかのサブコミュニティに分かれています。主なサブコミュニティには以下が含まれます。
上記の候補リストは、深層言語処理に取り組むすべてのコミュニティを網羅的に代表するものではありません。