手動で注釈をつけたサブコーパス

手動で注釈を付けられたサブコーパス (MASC)は、主に Open American National Corpus (OANC) から抽出された 50 万語のテキストと転写された音声のバランスの取れたサブセットです。OANC は、1990 年以降に作成された 1,500 万語 (増加中) のアメリカ英語のコーパスで、すべてパブリック ドメインであるか、使用および再配布の制限がありません。

MASC のすべてには、論理構造 (見出し、セクション、段落など)、文の境界、品詞タグに関連付けられた 3 つの異なるトークン化、浅い解析 (名詞と動詞のチャンク)、名前付きエンティティ (人、場所、組織、日付と時刻)、および Penn Treebank 構文に対する手動で検証された注釈が含まれています。サブコーパスの一部に対して、MASC プロジェクトによって手動で作成または検証された追加の注釈が作成されており、これにはFrameNetフレーム要素の全文注釈と、WordNet 3.1 センス タグ付きの 10 万以上の文コーパス (そのうち 10 分の 1 にはFrameNetフレーム要素の注釈も付けられています) が含まれます。サブコーパスの全体または一部のさまざまな言語現象に対する注釈は、PropBank、TimeBank、MPQA 意見など、他のプロジェクトによって提供されています。MASC コーパス全体の共参照注釈と節境界は、2016 年末までにリリースされる予定です。

MASC 配信には、114 語すべての出現に対する WordNet 意味注釈も含まれており、 114 語それぞれについて 50 ～ 100 の出現に対するFrameNet注釈も含まれています。WordNet注釈とFrameNet注釈が付いた文も、MASC 文コーパスの一部として配信されます。

多種多様な言語注釈を含むほとんどの無料で利用できるコーパスとは異なり、MASC には幅広いジャンルからバランスよく選ばれたテキストが含まれています。

現在、MASC には 17 種類の言語注釈が含まれています (* = 開発中、** 現在はオリジナル形式のみで利用可能)。

すべての MASC 注釈は、寄稿されたものか社内で作成されたものかにかかわらず、ISO TC37 SC4 の言語注釈フレームワーク (LAF) で定義されたグラフ注釈形式 (GrAF) に変換されます。オンライン ツール ANC2Go は、MASC の全体または一部の注釈を、CONLL IOB 形式やUIMAおよびGeneral Architecture for Text Engineeringで使用する形式など、他のいくつかの形式に変換できます。

MASC は、誰でもどのような目的でも使用できるオープン データ リソースです。同時に、注釈や派生データのコミュニティ貢献によって維持される共同コミュニティ リソースでもあります。MASC ダウンロード ページまたは Linguistic Data Consortiumから無料でダウンロードできます。

MASC は、Natural Language Toolkitとともに品詞タグ付きの形式でも配布されます。

• アメリカ国立コーパス

• Ide, N., Baker, C., Fellbaum, C., Passonneau, R. (2010)。「手動で注釈をつけたサブコーパス: 人々のための、人々によるコミュニティ リソース」。スウェーデン、ウプサラで開催された計算言語学協会第 48 回年次会議の議事録。
• Passonneau, R., Baker, C., Fellbaum, C., Ide, N. (2012). MASC 語義文コーパス。第 8 回言語リソースおよび評価会議の議事録、イスタンブール。
• Ide, N., Suderman, K., Simms, B. (2010)。ANC2Go: カスタマイズされたコーパス作成のための Web アプリケーション。第 7 回言語リソースおよび評価会議 (LREC 2010) の議事録、マルタ、バレッタ。

• MASCウェブサイト
• アメリカ国立コーパスのウェブサイト