テキストコーパス

言語学および自然言語処理において、コーパス（複数形：コーパス）またはテキストコーパスとは、ネイティブにデジタル化された言語リソースと、それ以前にデジタル化された言語リソースから構成されるデータセットであり、注釈付きまたは注釈なしのいずれかである。注釈付きのコーパスは、コーパス言語学において、統計的仮説検定、出現頻度の確認、または特定の言語領域内での言語規則の検証に用いられてきた。

概要

コーパスには、単一言語のテキスト（単言語コーパス）または複数の言語のテキストデータ（多言語コーパス）が含まれる場合があります。言語研究においてコーパスをより有用にするために、多くの場合、アノテーションと呼ばれる処理が施されます。コーパスにアノテーションを施す例として、品詞タグ付け（POSタグ付け）があります。これは、各単語の品詞（動詞、名詞、形容詞など）に関する情報をタグの形でコーパスに追加するものです。別の例としては、各単語の語幹（基本形）を示すことが挙げられます。コーパスの言語が、それを使用する研究者の作業言語でない場合、アノテーションを二言語対応にするために、行間注釈が使用されます。

コーパスによっては、さらに構造化されたレベルの分析が適用される場合もあります。特に、小規模なコーパスは完全に構文解析されている場合があります。このようなコーパスは通常、ツリーバンクまたは構文解析済みコーパスと呼ばれます。コーパス全体に完全かつ一貫した注釈を付けることの難しさから、これらのコーパスは通常、100万語から300万語程度の小規模なものとなります。形態論、意味論、語用論に関する注釈など、その他のレベルの言語構造分析も可能です。

アプリケーション

コーパスはコーパス言語学における主要な知識基盤である。その他の注目すべき応用分野には以下のようなものがある。

言語技術、自然言語処理、計算言語学
- さまざまな種類のコーパスの分析と処理は、計算言語学、音声認識、機械翻訳においても多くの研究の対象となっており、品詞タグ付けやその他の目的のために隠れマルコフモデルを作成するためによく使用されます。コーパスとそこから派生した頻度リストは、言語教育に役立ちます。コーパスは外国語のライティング補助の一種とみなすことができ、コーパス内の実際のテキストに触れることで非ネイティブ言語使用者が獲得する文脈化された文法知識により、学習者は目標言語での文の構成方法を理解し、効果的なライティングが可能になります。^{[ 1 ]}

機械翻訳
- 並べて比較できるように特別にフォーマットされた多言語コーパスは、アラインメントされた並列コーパスと呼ばれます。2つの言語のテキストを含む並列コーパスには、主に 2 つのタイプがあります。翻訳コーパスでは、一方の言語のテキストは、もう一方の言語のテキストの翻訳です。比較コーパスでは、テキストは同じ種類で同じ内容を扱っていますが、互いに翻訳ではありません。^{[ 2 ]}並列テキストを活用するには、同等のテキストセグメント (フレーズまたは文) を識別する何らかのテキストアラインメントが分析の前提条件となります。2つの言語間で翻訳を行う機械翻訳アルゴリズムは、多くの場合、第一言語コーパスと、第一言語コーパスの要素ごとの翻訳である第二言語コーパスからなる並列フラグメントを使用してトレーニングされます。^{[ 3 ]}

哲学
- テキストコーパスは、例えば古代文字の解読や聖書研究など、歴史文書の研究にも利用されます。考古学的なコーパスの中には、非常に短い期間のものもあり、ある時点のスナップショットを提供するものもあります。最も短い期間のコーパスの一つは、紀元前1350年から15～30年間のアマルナ文書でしょう。古代都市のコーパス（例えばトルコの「キュルテペ文書」）は、発見地の年代によって決まる一連のコーパスを経る場合があります。

注目すべきテキストコーパス

参考文献

↑ Yoon, H., & Hirvela, A. (2004). ESL Student Attitudes toward Corpus Use in L2 Writing . Journal of Second Language Writing, 13 (4), 257–283. 2012年3月21日取得。
↑ Wołk, K.; Marasek, K. (2014年4月7日). 「リアルタイム統計的音声翻訳」. New Perspectives in Information Systems and Technologies, Volume 1. Advances in Intelligent Systems and Computing. Vol. 275. Springer. pp. 107–114 . arXiv : 1509.09090 . doi : 10.1007/978-3-319-05951-8_11 . ISBN 978-3-319-05950-1ISSN 2194-5357 . S2CID 15361632 .
↑ Wolk, Krzysztof; Marasek, Krzysztof (2015). "Tuned and GPU-accelerated parallel data mining from comparative corpora". In Král, Pavel; Matoušek, Václav (eds.). Text, Speech, and Dialogue – 18th International Conference, TSD 2015, Plzeň, Czech Republic, September 14–17, 2015, Proceedings . Lecture Notes in Computer Science. Vol. 9302. Springer. pp. 32–40 . arXiv : 1509.08639 . doi : 10.1007/978-3-319-24033-6_4 . ISBN 978-3-319-24032-9。

外部リンク

ACL SIGLEXリソースリンク：テキストコーパス（2013年8月13日時点のWayback Machineアーカイブ）
言語コーパスの開発：優れた実践のためのガイド
無料サンプル（無料ではありません）、ウェブベースのコーパス（それぞれ4500万～4億2500万語）：アメリカ英語（COCA、COHA、TIME）、イギリス英語（BNC）、スペイン語、ポルトガル語
Intercorpは、チャールズ大学文学部で教えられている言語の同期型並列コーパスを構築している。
Sketch Engine：無料でアクセスできるオープンコーパス
TSコーパス – 学術研究に無料で利用できるトルコ語コーパス。
トルコ語ナショナルコーパス – 現代トルコ語のための汎用コーパス2015年4月2日にWayback Machineにアーカイブされました
政治演説コーパス：香港浸会大学図書館が開発した、アメリカと中国の政治家による政治演説への無料アクセス
ロシア国立コーパス

[Yoon-1] Yoon, H., & Hirvela, A. (2004). ESL Student Attitudes toward Corpus Use in L2 Writing . Journal of Second Language Writing, 13 (4), 257–283. 2012年3月21日取得。

[2] Wołk, K.; Marasek, K. (2014年4月7日). 「リアルタイム統計的音声翻訳」. New Perspectives in Information Systems and Technologies, Volume 1. Advances in Intelligent Systems and Computing. Vol. 275. Springer. pp. 107–114 . arXiv : 1509.09090 . doi : 10.1007/978-3-319-05951-8_11 . ISBN 978-3-319-05950-1ISSN 2194-5357 . S2CID 15361632 .

[3] Wolk, Krzysztof; Marasek, Krzysztof (2015). "Tuned and GPU-accelerated parallel data mining from comparative corpora". In Král, Pavel; Matoušek, Václav (eds.). Text, Speech, and Dialogue – 18th International Conference, TSD 2015, Plzeň, Czech Republic, September 14–17, 2015, Proceedings . Lecture Notes in Computer Science. Vol. 9302. Springer. pp. 32–40 . arXiv : 1509.08639 . doi : 10.1007/978-3-319-24033-6_4 . ISBN 978-3-319-24032-9。

[ 1 ]

[ 2 ]

[ 3 ]

テキストコーパス

概要

アプリケーション

注目すべきテキストコーパス

関連項目

参考文献

外部リンク

関連するトピック

言語学

自然言語処理

言語リソースから構成されるデータセットであり、注釈付きまたは注釈なしのいずれかである。注釈付きのコーパスは、

コーパス言語学