Loading article…
CLAWS（構成要素尤度自動単語タグ付けシステム）は、品詞タグ付けを行うプログラムです。1980年代にランカスター大学のUniversity Centre for Computer Corpus Research on Languageによって開発されました。[1]最新バージョン（CLAWS4）では、英国国立コーパスの約1億語をタグ付けしており、全体的な精度は96～97％です。[1]
歴史
品詞タグ付けツール (POS タグ付けツール) は、ある言語のテキストを読み取り、名詞、動詞、形容詞などの各単語 (およびその他のトークン) に品詞を割り当てるソフトウェアです。ただし、一般的には、計算アプリケーションでは「名詞複数」などのよりきめの細かい POS タグが使用されます。[2] 1980 年代初頭に開発された[1] [3] CLAWS は、常に変化する POS の必要性によって生じた、ますます拡大するギャップを埋めるために構築されました。もともとは、イギリス英語のLOBコーパスに品詞タグを追加するために作成された CLAWS タグセットは、その後、ウルドゥー語やアラビア語を含む他の言語にも適応されました。[4]
CLAWS は、その誕生以来、その機能性と適応性が高く評価されてきました。それでも、欠点がないわけではなく、主要カテゴリで判断した場合のエラー率はわずか 1.5% と高いものの、CLAWS には未解決の曖昧さが約 3.3% 残っています。曖昧さは、fliesという単語が名詞として分類されるべきか動詞として分類されるべきかといった場合に生じます。[5]こうした曖昧さこそが、CLAWS が耐えることになるさまざまなアップグレードやタグセットを必要とするものです。
ルールと処理
CLAWS は、隠れマルコフモデルを使用して、各品詞ラベルを予測する際の単語シーケンスの尤度を決定します。
サンプル出力
ブラム・ストーカーの『ドラキュラ』（1897 年）からのこの抜粋は、CLAWS C5 および C7 タグセットの両方を使用してタグ付けされています。これは、各単語の後に最も可能性の高い品詞タグが続く、 CLAWS出力の一般的な外観です。
タグセット
CLAWS1 タグセット
CLAWSで開発された最初のタグセットであるCLAWS1タグセットには、132個の単語タグが含まれています。形式と用途の点では、C1タグセットはブラウンコーパスのタグに似ています。[6] C1タグセットのタグ表はこちらをご覧ください。[7]
CLAWS2 タグセット
1983年から1986年にかけて、CLAWS2につながる更新版は、タグを適用する前にテキストを手動で前処理する必要をなくし、代わりに必要に応じて自動注釈の出力を調整するためにオプションの手動後編集に移行するために、文の区切りを認識するなどの側面に対処するためのより大きな試みの一部でした。[8] CLAWS2タグセットには166の単語タグがあります。[6] [9] C2タグセットのタグ表はこちらをご覧ください。[10]
CLAWS4 タグセット
CLAWS4 は、1億語の英国国立コーパス (BNC)に使用されました。汎用の文法タグ エンジンで、CLAWS1 タグ エンジンの後継です。[11] BNC のタグ付けでは、CLAWS4 に投入された多くの作業は、タグ セットから CLAWS プログラムを独立させることに重点が置かれました。たとえば、BNC プロジェクトでは、2 つのタグ セット バージョンが使用されました。「コーパス全体にタグ付けされた 62 個のタグを含むメイン タグ セット (C5) と、200 万語の選択された「コア」サンプル コーパスを作成するために使用された 152 個のタグを含むより大きな (C7) タグ セットです。」[12] CLAWS4 の最新バージョンは、ランカスター大学の研究センターである UCREL によって提供されています。[6] [13]
CLAWS5 タグセット
BNCに使用されたCLAWS5タグセットには60以上のタグがあります。[6] C5タグセットのタグ表はこちらをご覧ください。[14]
CLAWS6 タグセット
CLAWS6タグセットは、BNCサンプラーコーパスとCOLTコーパスに使用されました。13の決定子サブタイプを含む160以上のタグがあります。[6] C6タグセットのタグ表はこちらをご覧ください。[15]
CLAWS7 タグセット
現在は標準のCLAWS7タグセットが使用されています。CLAWS6タグセットと比較すると、句読点タグのみが異なります。[6] C7タグセットのタグ表については、こちらをご覧ください。[16]
CLAWS8 タグセット
CLAWS8タグセットはC7タグセットから拡張され、限定詞と代名詞のカテゴリのさらなる区別と、 be、do、haveの形式に対する37の新しい補助タグが追加されました。[6] C8タグセットのタグ表はこちらをご覧ください。
参照
参考文献
- ^ abc 「CLAWS 品詞タグ付けツール」ucrel.lancs.ac.uk . 2020年4月1日閲覧。
- ^ 「Stanford Log-linear Part-Of-Speech Tagger」。スタンフォード自然言語処理グループ。2004 年 10 月 25 日時点のオリジナルよりアーカイブ。
- ^ ガーサイド、ロジャー。1987年。CLAWS単語タグ付けシステム。R.ガーサイド、G.リーチ、G.サンプソン（編）『英語の計算分析：コーパスベースのアプローチ』ロングマン。
- ^ Atwell, ES 2008. 品詞タグ付けのためのタグセットの開発。Ludeling, A および Kyto, M, (eds.) Corpus Linguistics: An International Handbook, Volume 1。Walter de Gruyter、501–526。ISBN 978-3-11-021142-9
- ^ McCoy, Kathy. 「品詞タグ付け（第5章）」（PDF） 。 2018年4月17日時点のオリジナルよりアーカイブ（PDF） 。
- ^ abcdefg 「CLAWS 品詞タグ付けツール」ucrel.lancs.ac.uk . 2020年4月12日閲覧。
- ^ 「UCREL CLAWS1 (LOB) タグセット」ucrel.lancs.ac.uk . 2020年4月12日閲覧。
- ^ ガーサイド、ロジャー。1996。「制限のないテキストの堅牢なタグ付け：BNC の経験」。J. トーマスと M. ショート（編）『言語研究のためのコーパスの使用：ジェフリー・リーチを称える研究』 (pp. 167–180)。ロンドン。ロングマン。
- ^ ブース、バーバラ。1985年。CLAWSの改訂。ICAMEジャーナル9：29–35。
- ^ 「UCREL CLAWS2 タグセット」ucrel.lancs.ac.uk . 2020年4月12日閲覧。
- ^ 「CLAWS4: THE TAGGING OF THE BRITISH NATIONAL CORPUS」ucrel.lancs.ac.uk . 2020年4月12日閲覧。
- ^ ガーサイド、ロジャー。1996。「制限のないテキストの堅牢なタグ付け：BNC の経験」。J. トーマスと M. ショート（編）『言語研究のためのコーパスの使用：ジェフリー・リーチを称える研究』(pp. 167–180)。ロンドン。ロングマン。p. 169。
- ^ 「UCRELホームページ、ランカスター、英国」ucrel.lancs.ac.uk . 2020年4月12日閲覧。
- ^ 「UCREL CLAWS5 タグセット」ucrel.lancs.ac.uk . 2020年4月20日閲覧。
- ^ 「UCREL CLAWS6 タグセット」ucrel.lancs.ac.uk . 2020年4月12日閲覧。
- ^ 「UCREL CLAWS7 タグセット」ucrel.lancs.ac.uk . 2020年4月12日閲覧。
外部リンク
- CLAWS英語品詞タグ付けツール