アメリカ国立コーパス

アメリカ国立コーパス( ANC ) は、 1990 年以降に作成された 2,200 万語の書き言葉および話し言葉のデータを含むアメリカ英語のテキストコーパスです。現在、ANC には、英国国立コーパスなどの以前のコーパスには含まれていない、電子メール、ツイート、Web データなどの新しいジャンルを含むさまざまなジャンルが含まれています。品詞と見出し語、浅い構文解析、および固有表現について注釈が付けられています。

ANC は、言語データコンソーシアムから入手できます。コーパスの 1,500 万語のサブセットであるOpen American National Corpus (OANC) は、ANC Web サイトから使用制限なしで無料で入手できます。

コーパスとその注釈は、ISO/TC 37 SC4 の言語注釈フレームワークの仕様に従って提供されます。無料で提供される変換ツール (ANC2Go) を使用することで、コーパスとユーザーが選択した注釈は、CoNLL IOB 形式、XML コーパスエンコーディング標準(XCES) に準拠した XML 形式 ( British National Corpusの XAIRA 検索エンジンで使用可能)、UIMA準拠形式、さまざまなコンコーダンスソフトウェアへの入力に適した形式など、複数の形式で提供されます。注釈をGeneral Architecture for Text Engineering (GATE) にインポートするためのプラグインも利用できます。

ANC は、さまざまな品詞注釈 (Penn タグ、CLAWS5 および CLAWS7 タグ)、浅い構文解析注釈、および数種類の固有表現注釈など、豊富な注釈が付けられている点で、他の英語コーパスとは異なります。追加の注釈は、多くの場合他のプロジェクトからの貢献により、利用可能になると、コーパスの全体または一部に追加されます。著作権の制限により個々の文にしかアクセスできないオンライン検索可能なコーパスとは異なり、ANC 全体が利用可能であるため、たとえば統計的言語モデルの開発や全文言語注釈などの研究が可能です。

ANC 注釈は自動的に生成され、検証されていません。手動注釈サブコーパス (MASC)と呼ばれる 500,000 語のサブセットには、約 20 種類の言語注釈が付けられており、これらはすべて手動で検証または手動で生成されています。これらには、Penn Treebank 構文注釈、WordNet意味注釈、FrameNet意味フレーム注釈などが含まれます。OANC と同様に、MASC はあらゆる用途に自由に使用でき、ANC サイトまたは Linguistic Data Consortiumからダウンロードできます。また、 Natural Language Toolkitとともに品詞タグ付き形式で配布されています。

ANC とそのサブコーパスは、提供される言語注釈の範囲と、British National Corpusなどのリソースには表示されない現代のジャンルが含まれているという点で、類似のコーパスと主に異なります。また、コーパスの当初のターゲット使用は統計言語モデルの開発であったため、完全なデータとすべての注釈が利用可能であり、 Web ブラウザーを通じて選択的にのみ利用できるCorpus of Contemporary American English (COCA) とは異なります。

OANC と MASC の継続的な成長は、計算言語学およびコーパス言語学のコミュニティからのデータと注釈の貢献に依存しています。

参照

参考文献

Ide, N. (2008)。アメリカ国立コーパス: 過去、現在、そして未来。Michael Haugh、Kate Burridge、Jean Mulder、Pam Peters (編)、2008 HCSNet ワークショップ「オーストラリア国立コーパスの設計: 言語の収集」の選集、Cascadilla Proceedings Project、マサチューセッツ州サマービル。
Ide, N., Suderman, K. (2004)。アメリカ国立コーパス初公開。第4回言語資源評価会議 (LREC) 議事録、リスボン、1681-84。
Ide, N., Baker, C., Fellbaum, C., Passonneau, R. (2010)。『手動で注釈を付けられたサブコーパス: 人々のための、人々によるコミュニティリソース』スウェーデン、ウプサラで開催された計算言語学協会第 48 回年次会議の議事録。

外部リンク

ANC ウェブサイト
MASCウェブサイト
ANC2Go