スライディングウィンドウに基づく品詞タグ付け

スライディング ウィンドウ ベースの品詞タグ付けは、テキスト に品詞タグを付けるために使用されます。

自然言語の単語の多くは、文脈から外れると複数の品詞が割り当てられることがあります。これらの曖昧な単語の割合は、言語によって大きく異なりますが、通常は約 30% です。この問題を解決することは、自然言語処理の多くの分野で非常に重要です。たとえば、機械翻訳では、単語の品詞を変更すると、翻訳が劇的に変化することがあります。

スライディング ウィンドウ ベースの品詞タグ付けツールは、曖昧さを解消する単語の周囲の固定サイズの単語の「ウィンドウ」を調べて、単語の特定の語彙形式に単一の品詞を割り当てるプログラムです。

このアプローチの主な利点は次の 2 つです。

• タグ付けツールを自動的にトレーニングすることが可能であり、コーパスに手動でタグ付けする必要がなくなります。
• タグ付け装置は有限状態オートマトン（ミーリーマシン）として実装できる。

させて

${\displaystyle \Gamma =\{\gamma _{1},\gamma _{2},\ldots ,\gamma _{|\Gamma |}\}}$

をアプリケーションの文法タグの集合、つまり単語に割り当てられる可能性のあるすべてのタグの集合とし、

${\displaystyle W=\{w1,w2,\ldots \}}$

アプリケーションの語彙とします。

${\displaystyle T:W\rightarrow P(\Gamma )}$

を形態素解析関数とし、各タグの可能な集合 を割り当てる。これは完全形辞書または形態素解析器によって実装できる。 ${\displaystyle w}$${\displaystyle T(w)\subseteq \Gamma }$

${\displaystyle \Sigma =\{\sigma _{1},\sigma _{2},\ldots ,\sigma _{|\Sigma |}\}}$

単語クラスの集合であり、一般にはの分割になりますが、各単語はすべて同じタグのセットを受け取るという制限があります。つまり、各単語クラスのすべての単語は同じ曖昧性クラスに属します。 ${\displaystyle W}$${\displaystyle \sigma \in \Sigma }$${\displaystyle w,\Sigma ,\sigma }$${\displaystyle \sigma}$

通常、高頻度の単語の場合、各単語クラスには 1 つの単語が含まれ、低頻度の単語の場合、各単語クラスは 1 つの曖昧性クラスに対応するように構築されます。これにより、高頻度の曖昧な単語に対して優れたパフォーマンスが得られ、タグ付けに多くのパラメータが必要なくなります。 ${\displaystyle \Sigma }$

これらの定義により、問題を次のように表現することができます。テキストが与えられると、各単語に単語クラスが割り当てられます(辞書または形態素解析器のいずれかを使用) 。これにより、あいまいにタグ付けされたテキストが作成されます。タグ付け者の仕事は、タグ付けされたテキスト( を使用) をできるだけ正確にすることです。 ${\displaystyle w[1]w[2]\ldots w[L]\in W^{*}}$${\displaystyle w[t]}$${\displaystyle T(w[t])\in \Sigma }$${\displaystyle \sigma [1]\sigma [2]\ldots \sigma [L]\in W^{*}}$${\displaystyle \gamma [1]\gamma [2]\ldots \gamma [L]}$${\displaystyle \gamma [t]\in T(\sigma [t])}$

統計タグ付け機能は、あいまいにタグ付けされたテキストに対して最も可能性の高いタグを探します。 ${\displaystyle \sigma [1]\sigma [2]\ldots \sigma [L]}$

${\displaystyle \gamma ^{*}[1]\ldots \gamma ^{*}[L]=\operatorname {\arg \,max} _{\gamma [t]\in T(\sigma [t])}p(\gamma [1]\ldots \gamma [L]\sigma [1]\ldots \sigma [L])}$

ベイズの公式を使用すると、これは次のように変換されます。

${\displaystyle \gamma ^{*}[1]\ldots \gamma ^{*}[L]=\operatorname {\arg \,max} _{\gamma [t]\in T(\sigma [t])}p(\gamma [1]\ldots \gamma [L])p(\sigma [1]\ldots \sigma [L]\gamma [1]\ldots \gamma [L])}$

ここで、は特定のタグの確率 (構文確率) であり、 はこのタグがテキストに対応する確率(語彙確率) です。 ${\displaystyle p(\ガンマ [1]\ガンマ [2]\ldots \ガンマ [L])}$${\displaystyle p(\sigma [1]\dots \sigma [L]\gamma [1]\ldots \gamma [L])}$${\displaystyle \sigma [1]\ldots \sigma [L]}$

マルコフモデルでは、これらの確率は積として近似されます。構文確率は、1次マルコフ過程によってモデル化されます。

${\displaystyle p(\gamma [1]\gamma [2]\ldots \gamma [L])=\prod _{t=1}^{t=L}p(\gamma [t+1]\gamma [t])}$

ここで、およびは区切り記号です。 ${\displaystyle \gamma [0]}$${\displaystyle \gamma [L+1]}$

語彙の確率は文脈に依存しません。

${\displaystyle p(\sigma [1]\sigma [2]\ldots \sigma [L]\gamma [1]\gamma [2]\ldots \gamma [L])=\prod _{t=1}^{t=L}p(\sigma [t]\gamma [t])}$

タグ付けの 1 つの形式は、最初の確率式を近似することです。

${\displaystyle p(\sigma [1]\sigma [2]\ldots \sigma [L]\gamma [1]\gamma [2]\ldots \gamma [L])=\prod _{t=1}^{t=L}p(\gamma [t]C_{(-)}[t]\sigma [t]C_{(+)}[t])}$

サイズの正しいコンテキストはどこですか。 ${\displaystyle C_{(-)}[t]=\sigma [t-N_{(-)}]\sigma [t-N_{(-)}]\ldots \sigma [t-1]}$${\displaystyle N_{(+)}}$

この方法では、スライディング ウィンドウ アルゴリズムは、サイズのコンテキストのみを考慮する必要があります。ほとんどのアプリケーションでは、たとえば、「彼は危険から逃げる」という文中のあいまいな単語「走る」にタグを付けるには、「彼」と「から」という単語のタグのみを考慮する必要があります。 ${\displaystyle N_{(-)}+N_{(+)}+1}$${\displaystyle N_{(-)}=N_{(+)}=1}$

• Sanchez-Villamil, E.、Forcada, ML、Carrasco, RC (2005)。「有限状態スライディングウィンドウ品詞タグ付けツールの教師なしトレーニング」。Lecture Notes in Computer Science / Lecture Notes in Artificial Intelligence、vol. 3230、p. 454-463