テキストコーパス

言語学および自然言語処理において、コーパス(複数形: corpora ) またはテキストコーパスは、注釈付きまたは注釈なしの、ネイティブにデジタル化された言語リソースと古いデジタル化された言語リソースで構成されるデータセットです。

注釈が付けられ、コーパス言語学において統計的仮説検定、発生の確認、または特定の言語領域内での言語規則の検証に使用されてきました。

概要

コーパスには、単一言語のテキスト (単一言語コーパス) または複数言語のテキストデータ (多言語コーパス) が含まれる場合があります。

コーパスを言語研究に役立てるために、多くの場合、注釈と呼ばれる処理が行われます。コーパスに注釈を付ける例としては、品詞タグ付け、またはPOSタグ付けが挙げられます。これは、各単語の品詞（動詞、名詞、形容詞など）に関する情報が、タグの形でコーパスに追加されるものです。別の例としては、各単語の見出し語（基本）形式を示すことが挙げられます。コーパスの言語が、それを使用する研究者の作業言語でない場合は、注釈をバイリンガルにするために行間注釈が使用されます。

一部のコーパスには、さらに構造化されたレベルの分析が適用されます。特に、小規模なコーパスは完全に解析される場合があります。このようなコーパスは通常、ツリーバンクまたは解析済みコーパスと呼ばれます。コーパス全体に完全かつ一貫した注釈を付けるのは難しいため、これらのコーパスは通常、100万語から300万語程度の小規模なものです。形態論、意味論、語用論の注釈など、他のレベルの言語構造化分析も可能です。

アプリケーション

コーパスはコーパス言語学における主要な知識ベースです。その他の注目すべき応用分野には以下が含まれます。

言語技術、自然言語処理、計算言語学
- さまざまな種類のコーパスの分析と処理は、計算言語学、音声認識、機械翻訳の分野でも盛んに研究されており、品詞タグ付けなどの目的で隠れマルコフモデルを作成するためによく使用されています。コーパスとそこから得られる頻度リストは、言語教育に役立ちます。コーパスは、外国語のライティング補助の一種と考えることができます。なぜなら、非ネイティブ言語ユーザーがコーパス内の実際のテキストに触れることで獲得した文脈化された文法知識により、学習者はターゲット言語での文の構成方法を把握し、効果的なライティングを行うことができるからです。^[1]

機械翻訳
- 並列比較のために特別にフォーマットされた多言語コーパスは、整列対訳コーパスと呼ばれます。2つの言語のテキストを含む並列コーパスには、主に 2 つの種類があります。翻訳コーパスでは、一方の言語のテキストはもう一方の言語のテキストの翻訳です。比較可能なコーパスでは、テキストは同じ種類で同じ内容をカバーしていますが、お互いの翻訳ではありません。^[2]並列テキストを活用するには、同等のテキストセグメント (フレーズまたは文) を識別する何らかのテキスト整列が分析の前提条件です。2つの言語間の翻訳を行う機械翻訳アルゴリズムは、多くの場合、第 1 言語コーパスと第 2 言語コーパス (第 1 言語コーパスの要素ごとの翻訳) で構成される並列フラグメントを使用してトレーニングされます。^[3]

文献学
- テキストコーパスは、古代の文字を解読する試みや聖書学などの歴史的文書の研究にも使用されます。考古学コーパスの中には、期間が非常に短いため、ある時点のスナップショットを提供するものもあります。期間が最も短いコーパスの 1 つは、15 ～ 30 年にわたるアマルナ書簡テキスト (紀元前 1350 年) です。古代都市のコーパス(たとえば、トルコの「キュルテペテキスト」) は、発見された場所の日付によって決定される一連のコーパスにまたがる場合があります。

注目すべきテキストコーパス

参照

参考文献

^ Yoon, H., & Hirvela, A. (2004). ESL学生のL2ライティングにおけるコーパス使用に対する態度。Journal of Second Language Writing、13 (4)、257–283。2012年3月21日閲覧。
^ Wołk, K.; Marasek, K. (2014 年 4 月 7 日)。「リアルタイム統計音声翻訳」。情報システムとテクノロジーの新しい展望、第 1 巻。インテリジェントシステムとコンピューティングの進歩。第 275 巻。Springer。pp. 107–114。arXiv : 1509.09090。doi : 10.1007 /978-3-319-05951-8_11。ISBN 978-3-319-05950-1. ISSN 2194-5357. S2CID 15361632.
^ Wolk, Krzysztof; Marasek, Krzysztof (2015). 「Tuned and GPU-accelerated parallel data mining from Comparative corporas」 Král, Pavel; Matousek, Václav (eds.). Text, Speech, and Dialogue – 18th International Conference, TSD 2015, Pilsen, Czech Republic, September 14–17, 2015, Proceedings . Lecture Notes in Computer Science. Vol. 9302. Springer. pp. 32–40. arXiv : 1509.08639 . doi :10.1007/978-3-319-24033-6_4. ISBN 978-3-319-24032-9。

外部リンク

ACL SIGLEX リソースリンク: テキストコーパス 2013-08-13 にWayback Machineでアーカイブ
言語コーパスの開発: 優れた実践ガイド
無料サンプル（有料）、ウェブベースのコーパス（各 4500 万語から 4 億 2500 万語）：アメリカ語（COCA、COHA、TIME）、イギリス語（BNC）、スペイン語、ポルトガル語
Intercorp カレル大学文学部で教えられている言語の同期パラレルコーパスを構築します。
スケッチエンジン: 無料でアクセスできるオープンコーパス
TS コーパス – 学術研究に無料で利用できるトルコ語コーパス。
トルコ国立コーパス – 現代トルコ語の汎用コーパス
香港バプテスト大学図書館が開発した、アメリカと中国の政治家による政治演説を無料で閲覧できる政治演説集。
ロシア国立コーパス

[Yoon-1] Yoon, H., & Hirvela, A. (2004). ESL学生のL2ライティングにおけるコーパス使用に対する態度。Journal of Second Language Writing、13 (4)、257–283。2012年3月21日閲覧。

[2] Wołk, K.; Marasek, K. (2014 年 4 月 7 日)。「リアルタイム統計音声翻訳」。情報システムとテクノロジーの新しい展望、第 1 巻。インテリジェントシステムとコンピューティングの進歩。第 275 巻。Springer。pp. 107–114。arXiv : 1509.09090。doi : 10.1007 /978-3-319-05951-8_11。ISBN 978-3-319-05950-1. ISSN 2194-5357. S2CID 15361632.

[3] Wolk, Krzysztof; Marasek, Krzysztof (2015). 「Tuned and GPU-accelerated parallel data mining from Comparative corporas」 Král, Pavel; Matousek, Václav (eds.). Text, Speech, and Dialogue – 18th International Conference, TSD 2015, Pilsen, Czech Republic, September 14–17, 2015, Proceedings . Lecture Notes in Computer Science. Vol. 9302. Springer. pp. 32–40. arXiv : 1509.08639 . doi :10.1007/978-3-319-24033-6_4. ISBN 978-3-319-24032-9。

概要

アプリケーション

注目すべきテキストコーパス

参照

参考文献

外部リンク

関連するトピック

言語学

自然言語処理

言語リソース

注釈が付けられ、コーパス言語学