言語カテゴリー

言語カテゴリーには以下が含まれる

• 語彙カテゴリ、名詞、前置詞などの品詞。
• 統語的範疇、句範疇も含む類似の概念
• 文法範疇、時制や性などの文法的な特徴。

言語カテゴリーの定義は言語理論の主要な関心事であり、そのためカテゴリーの定義と命名は、異なる言語の異なる理論的枠組みと文法的伝統によって異なります。辞書編集、計算言語学、自然言語処理、コーパス言語学、用語管理における言語カテゴリーの操作化には、通常、リソース、問題、またはアプリケーション固有の言語カテゴリーの定義が必要です。認知言語学では、言語カテゴリーは、言語の一般的な単語のカテゴリーのようなプロトタイプ構造を持っていると主張されてきました。 ^[1]

語彙リソース、言語注釈、注釈ツール間の相互運用性を促進し、異なる理論的枠組みにまたがる言語カテゴリの体系的な処理のために、言語カテゴリのインベントリが数多く開発され、使用されています。以下に例を示します。このようなインベントリの実際的な目的は、定量的評価(言語固有のインベントリの場合) の実行、NLP ツールのトレーニング、言語データの言語間評価、クエリ、注釈の促進です。理論レベルでは、人間の言語における普遍カテゴリの存在は、例えば普遍文法で仮定されていますが、厳しく批判もされています。

学校では一般的に、英語には名詞、動詞、冠詞、形容詞、前置詞、代名詞、副詞、接続詞、感動詞の 9 つの品詞があると教えられています。ただし、明らかにカテゴリとサブカテゴリははるかに多くあります。名詞については、複数形、所有格、単数形を区別できます。多くの言語では、単語には格(主語、目的語などの役割)、文法上の性別などもマークされ、動詞には時制、相などがマークされます。タグ付けシステムによっては、同じ語根の異なる語形が異なる品詞に割り当てられるため、タグの数が多くなります。たとえば、単数形の普通名詞には NN、複数形の普通名詞には NNS、単数形の固有名詞には NP です (Brown Corpusで使用されているPOS タグを参照)。他のタグ付けシステムでは、より少数のタグを使用し、細かい違いを無視するか、品詞からある程度独立した機能としてモデル化します。 ^[2]

コンピュータによる品詞タグ付けでは、英語の場合、50 から 150 の個別の品詞を区別するのが一般的です。品詞タグ付け作業はさまざまな言語で行われており、使用される品詞タグのセットは言語によって大きく異なります。タグは通常、明白な形態論的区別を含めるように設計されていますが、これにより、英語では代名詞には格付けがされるのに名詞にはされないなどの不一致や、言語間の差異が大幅に大きくなります。ギリシャ語やラテン語などの屈折の激しい言語のタグ セットは非常に大きくなる可能性があり、イヌイット語などの膠着語の単語のタグ付けは事実上不可能です。コイネー ギリシャ語(DeRose 1990) のタグ付けのための確率的手法に関する研究では、1,000 を超える品詞が使用され、この言語では英語とほぼ同じ数の単語があいまいであることがわかりました。形態論的に豊富な言語の場合、形態統語論的記述子は、通常、非常に短いニーモニックを使用して表現されます。たとえば、Category = Noun、Type = common、Gender = masculine、Number = singular、Case = accusative、Animate = no の場合は Ncmsan です。

アメリカ英語の POS タグ付けに最も人気のある「タグ セット」は、おそらく Penn Treebank プロジェクトで開発された Penn タグ セットです。

西ヨーロッパ言語については、品詞、形態統語論、統語論の言語横断的に適用可能な注釈スキームがEAGLES ガイドラインで開発されている。「言語工学標準に関する専門家諮問グループ」(EAGLES) は、1994 年から 1998 年にかけてDG XIII言語研究工学プログラム内で運営され、イタリアのピサにある Consorzio Pisa Ricerche が調整役を務めた欧州委員会の取り組みである。EAGLES ガイドラインは、テキスト コーパスで使用されるマークアップ、特に計算言語学と辞書学に関連する特徴を識別するためのガイドラインを提供する。欧州連合全体の多数の企業、研究センター、大学、専門機関が協力して EAGLES ガイドラインを作成し、以下の事項に関する事実上の標準とベスト プラクティスのルールに関する推奨事項を定めた。 ^[3]

• 大規模言語リソース（テキストコーパス、計算語彙集、音声コーパスなど）
• 計算言語形式、マークアップ言語、さまざまなソフトウェアツールを介してそのような知識を操作する手段。
• リソース、ツール、製品を評価および判定する手段。

イーグルスのガイドラインは、東ヨーロッパなど他の地域でのその後の研究にも影響を与えました。^[4]

一世代後、研究コミュニティによって、 Universal Dependenciesの傘下で同様の取り組みが開始されました。Petrov ら^{[5] [6]}は、12 のカテゴリ (たとえば、名詞、動詞、句読点などのサブタイプがない、不定詞マーカーとしての「to」と前置詞としての「to」を区別しない (「普遍的な」偶然とは言い難い) など) を持つ、「普遍的」でありながら非常に還元主義的なタグ セットを提案しました。その後、 Universal Dependencies (UD)のコンテキストで、依存構文 (Stanford Dependencies) ^[7]と形態統語論 (Interset interlingua、^[8]部分的に Multext-East/Eagles の伝統に基づく) の言語間仕様が補完されました。UD は、品詞、依存構文、および (オプションで) 形態統語論的 (形態学的) 特徴について言語間に適用可能な (「ユニバーサル」) 注釈を備えた世界の言語のツリーバンクを作成する国際協力プロジェクトです。コアアプリケーションは、自然言語処理(NLP)の分野における自動テキスト処理と、特に言語類型論における自然言語の構文と文法の研究です。注釈スキームは、3 つの関連プロジェクトに由来しています。UD 注釈スキームは、句構造ツリーではなく、依存ツリーの形式で表現を使用します。2019 年 2 月の時点で、UD インベントリには 70 を超える言語の 100 を超えるツリーバンクがあります。^[9]このプロジェクトの主な目的は、言語間で一貫性のある注釈を実現することです。ただし、形態素の特徴については言語固有の拡張が許可されています（個々の言語またはリソースで追加の特徴を導入できます）。より制限された形式では、依存関係はUDラベルに付随する二次ラベルで拡張できます。たとえば、受動態を示すために使用される助動詞（UD aux ）の場合はaux:passです。^[10]

普遍的依存関係は、屈折形態論^{[11] 、} フレーム意味論^[12]、共参照^[13]の分野でも同様の取り組みに影響を与えてきました。句構造統語論については、同等の取り組みは存在しないようですが、ペン・ツリーバンクの仕様は、アイスランド語^[14]、^[15]古期英語^[16] 、中期英語^[17] 、中期低地ドイツ語^[18]、初期近代高ドイツ語^[19]、イディッシュ語^[20] 、ポルトガル語[21]、日本語^[22]、^[アラビア語^{[23] 、中国語[24]}など、幅広い言語に適用（および拡張）されています。

言語学において、行間注釈とは、行間（ inter- + linear ）に挟まれた注釈（定義や発音などの一連の短い説明）のことであり、例えば原文の行と他の言語への翻訳との間に置かれる。注釈が付けられると、原文の各行は1行以上の転写行を取得し、これを行間テキストまたは行間注釈テキスト（IGT）（略してinterlinear）と呼ぶ。このような注釈は、読者が原文とその翻訳との関係、および原言語の構造を理解する上で役立つ。注釈の標準的な目録はないが、一般的なラベルはライプツィヒ注釈規則に集められている。^[25] Wikipediaには、この情報源や他の情報源を参考にした 注釈の略語一覧もある。

GOLD (「言語記述のための一般オントロジー」) は、記述言語学のためのオントロジーです。人間の言語の科学的記述、例えば行間注釈の形式化に使用される最も基本的なカテゴリと関係の形式化された説明を提供します。GOLD は、Farrar と Langendoen (2003) によって初めて導入されました。^{[26]もともと、言語データ、特に}絶滅危惧言語のデータに対する異なるマークアップ スキームを解決する問題に対するソリューションとして構想されました。しかし、GOLD はより汎用的で、すべての言語に適用できます。この機能では、GOLD はISO 12620データ カテゴリ レジストリ (ISOcat) と重複していますが、より厳密に構造化されています。

GOLDは2007年から2010年までLINGUIST Listなどによって維持管理されていました。^[27] RELISHプロジェクトは、ISOcat内のデータカテゴリ選択として2010年版のGOLDのミラーを作成しました。2018年現在、GOLDデータは言語リンクオープンデータクラウドの文脈において重要な用語ハブであり続けていますが、積極的に維持管理されなくなったため、その機能はOLiA（言語注釈用、GOLDとISOcat上に構築）とlexinfo.net（辞書メタデータ用、ISOcat上に構築）にますます置き換えられています。

ISO 12620は、ISO/TC 37の標準規格であり、データカテゴリレジストリを定義しています。データカテゴリレジストリは、翻訳、計算言語学、自然言語処理のさまざまな分野で使用される言語用語を登録し、異なるシステムで使用される異なる用語と同じ用語間のマッピングを定義するレジストリです。^{[28] [29] [30]}

この標準の以前の実装であるISOcatは、GOLDオントロジーのインベントリを含む言語カテゴリの永続的な識別子とURIを提供しています（下記参照）。レジストリの目標は、新しいシステムが既存の用語を再利用できるようにするか、少なくとも既存の用語に簡単にマッピングできるようにして、相互運用性を高めることです。^{[31]この標準は、}語彙マークアップフレームワーク（ISO 24613:2008）などの他の標準でも使用されており、Eaglesガイドライン、ポーランド語全国コーパス、 Localization Industry Standards AssociationのTermBase eXchange形式など、多くの用語がレジストリに追加されています。

しかし、現在の版ISO 12620:2019 ^[32]では、言語技術と用語の用語レジストリは提供されなくなり、用語リソースに限定されたため、タイトルが「用語リソースの管理 - データカテゴリ仕様」に改訂されました。したがって、ISOcatは積極的に開発されなくなりました。^[33] 2020年5月現在、後継システムであるCLARIN Concept Registry ^[34]とDatCatInfo ^[35]が登場したばかりです。

語彙資源に関連する言語カテゴリーについては、lexinfo語彙は確立されたコミュニティ標準であり、^[36]特に言語リンクオープンデータ技術の文脈におけるOntoLex語彙や機械可読辞書との関連で確立されています。OntoLex語彙が語彙マークアップフレームワーク（LMF）に基づいているように、lexinfoはISOcat（のLMFセクション）に基づいて構築されています。^[37]ただし、ISOcatとは異なり、lexinfoは積極的に維持管理されており、現在（2020年5月）はコミュニティの取り組みによって拡張されています。^[38]

GOLDと精神が似ている言語注釈オントロジー（OLiA）は、言語注釈と言語コーパスに関連する統語的、形態論的、意味的現象の言語カテゴリーの参照インベントリをオントロジーの形で提供します。さらに、OLiA参照モデルにリンクされた100以上の言語の機械可読注釈スキームも提供します。^{[39] OLiAオントロジーは、} （言語） リンクドオープンデータクラウドにおける注釈用語の主要なハブであり、異種注釈付き言語リソースの検索、取得、機械学習のアプリケーションを備えています。^[37]

OLiAリファレンスモデルは、注釈スキームに加えて、イーグルガイドライン^[40]、GOLD ^[40] 、 ISOcat ^[41] 、 CLARINコンセプトレジストリ^[42] 、ユニバーサル依存関係^[43]、lexinfo ^{[43]などともリンクされており、これらの語彙間の相互運用性を実現しています。OLiAはGitHub [44]}のコミュニティプロジェクトとして開発されています。

• イーグルスガイドラインの公式ページ
• ライプツィヒの注釈ルール
• GOLDオントロジー
• ISOキャット
• DatCatInfo データ カテゴリ リポジトリ (DCR)