ブリルタガー

Brillタグ付けは、品詞タグ付けのための帰納的手法です。これは、Eric Brillが1993 年の博士論文で説明し、発明したものです。これは、「エラー駆動型変換ベースのタグ付け」として要約できます。これは次のようになります。

• エラーを最小化することを目的とした教師あり学習の一形態。
• 各単語にタグが割り当てられ、一連の定義済みルールを使用して変更されるという意味での、変換ベースのプロセス。

変換プロセスでは、単語が既知である場合は、まず最も頻繁に使用されるタグを割り当て、単語が未知である場合は、単純に「名詞」タグを割り当てます。これらのルールを繰り返し適用し、誤ったタグを変更することで、最終的に高い精度が達成されます。このアプローチにより、単語の形態統語構造などの貴重な情報が自動タグ付けプロセスで利用されることが保証されます。

アルゴリズムは初期化から始まり、各単語の確率に基づいてタグを割り当てます（たとえば、「dog」は動詞よりも名詞であることが多い）。次に、初期化フェーズで発生した（可能性のある）タグ付けエラーを修正するルールに従って「パッチ」が決定されます。^[1]

• 初期化:
  • 既知の単語（語彙内）：単語の形態に関連付けられた最も頻繁なタグを割り当てる
  • 未知の単語

入力テキストは最初にトークン化、つまり単語に分割されます。通常、自然言語処理では、「's」、「n't」などの短縮形は句読点と同様に個別の単語トークンとみなされます。

次に、辞書といくつかの形態素規則によって、各単語トークンの初期タグが提供されます。たとえば、単純な検索によって、「dog」は名詞または動詞である可能性があることがわかります (最も頻繁なタグが単純に選択されます)。一方、未知の単語には、大文字、さまざまな接頭辞または接尾辞の文字列などに基づいていくつかのタグが割り当てられます (Brill が語彙規則と呼ぶこのような形態素解析は、実装によって異なる場合があります)。

すべての単語トークンに (暫定的な) タグが付けられた後、コンテキスト ルールが繰り返し適用され、少量のコンテキストを調べることでタグが修正されます。これが、Brill 方式が、隠れマルコフ モデルを使用するものなどの他の品詞タグ付け方法と異なる点です。しきい値に達するか、ルールを適用できなくなるまで、ルールは繰り返し再適用されます。

Brill ルールの一般的な形式は次のとおりです。

   タグ1 →タグ2 IF条件

ここで、条件は、先行する単語トークンまたは後続する単語トークン、あるいはそのタグをテストします (このようなルールの表記法は実装によって異なります)。たとえば、Brill の表記法では次のようになります。

   IN NN WDPREVTAG DT ながら

前の単語のタグが DT (限定詞) で、単語自体が "while" である場合、単語のタグを IN (前置詞) から NN (普通名詞) に変更します。これは、"all the while" や "in a while" のようなケースをカバーします。この場合、"while" は接続詞としてより一般的に使用されるのではなく、名詞としてタグ付けされる必要があります (多くのルールはより一般的です)。

ルールは、変更されるタグが、問題の単語または原則として許容されることがわかっている場合にのみ機能する必要があります (たとえば、英語のほとんどの形容詞は名詞としても使用できます)。

この種のルールは、単純な有限状態マシンによって実装できます。Penn Treebankやその他のタグ セット の説明を含む、より一般的な情報については、品詞タグ付けを参照してください。

典型的な Brill タグ付けツールは、言語的直感によって、または事前にタグ付けされたコーパスに対する機械学習によって開発される数百のルールを使用します。

ジョンズ ホプキンス大学の Brill のコード ページは、Web 上にはもう存在しません。プリマス テックで利用可能だった最新バージョンの Brill タガーのミラーのアーカイブ バージョンは、Archive.org にあります。このソフトウェアはMIT ライセンスを使用しています。

• オランダ語の訓練を受けたブリルタグラー（オンライン版とオフライン版）
• ニューノルウェーのために訓練されたブリルタグガー
• デンマーク語向けに訓練されたブリルタグガー（オンラインデモ）
• 英語向けにトレーニングされた Brill タガー (オンライン デモ)
• taggerXML Eric Brill の品詞タグ付けツールの最新版 (上記のデンマーク語版と英語版のソース コード)