見出し語化

言語学におけるレマタイズ（またはあまり一般的ではないレマタイゼーション）は、単語の屈折形をグループ化して、単語のレマまたは辞書形式で識別される単一の項目として分析できるようにするプロセスです。 ^[1]

計算言語学において、レマタイズとは、単語の意図された意味に基づいて単語のレマを決定するアルゴリズムプロセスです。ステミングとは異なり、レマタイズでは、文中の単語の品詞と意味を正しく特定すること、および隣接する文や文書全体など、その文を取り巻くより大きな文脈内での単語の意図された品詞と意味を正しく特定することに依存しています。そのため、効率的なレマタイズアルゴリズムの開発は未開拓の研究分野です。^{[2] [3] [4]}

多くの言語では、単語は複数の語形変化で現れます。たとえば、英語では、「歩く」という動詞は、「歩く」、「歩いた」、「歩く」、または「歩く」と表現されます。辞書で調べられる基本形「歩く」は、単語の見出し語と呼ばれます。基本形と品詞との関連は、単語の 語彙素と呼ばれることがよくあります。

見出し語化は、語幹解析と密接に関連しています。違いは、語幹解析は文脈を知らずに単一の単語を処理するため、品詞によって意味が異なる単語を区別できないことです。ただし、語幹解析は通常、実装が簡単で、実行速度も速いです。「精度」の低下は、一部のアプリケーションでは問題にならない場合があります。実際、情報検索システム内で使用する場合、語幹解析は、見出し語化と比較して、クエリ再現精度、つまり真陽性率を向上させます。ただし、そのようなシステムでは、語幹解析によって精度、つまり実際に陽性である陽性ラベル付けされたインスタンスの割合が低下します。^[5]

例えば：

1. 「better」という単語のレマは「good」です。このリンクは辞書検索を必要とするため、語幹解析では見落とされます。
2. 「walk」という単語は「walking」という単語の基本形であるため、語幹化と見出し語化の両方で一致します。
3. 「meeting」という単語は、文脈に応じて名詞の基本形または動詞の形（「会う」）のいずれかになります。たとえば、「in our last meeting」や「We are meeting again tomorrow」などです。語幹化とは異なり、見出し語化では文脈に応じて正しい見出し語を選択しようとします。

Lucene ^[6]のような文書索引作成ソフトウェアは、意味を知らなくても、語形成の文法規則のみを考慮して、語幹化された基本的な形式を語源として保存できます。語幹化された語自体は有効な語ではない可能性があります。以下の例で示すように、「lazy」は多くの語幹解析ツールによって「lazi」に語幹化されます。これは、語幹解析の目的が適切なレマを生成することではなく、文脈の知識を必要とするより困難な作業であるためです。語幹解析の主な目的は、異なる形式の語を単一の形式にマッピングすることです。^[7]語のスペルのみに依存するルールベースのアルゴリズムであるため、たとえば「laziness」が「lazi」に語幹化されるときに「lazy」と同じ語幹になるように、正確さを犠牲にしています。

見出し語化を行う簡単な方法は、単純な辞書検索です。これは単純な語形変化形には有効ですが、長い複合語を持つ言語など、他の場合にはルールベースのシステムが必要になります。このようなルールは、手作業で作成することも、注釈付きコーパスから自動的に学習することもできます。

出版された生物医学文献の形態素解析は有用な結果をもたらす可能性がある。生物医学テキストの形態素処理は、生物医学に特化したレマタイズプログラムによってより効果的になり、実用的な情報抽出タスクの精度が向上する可能性がある。^[8]

• 正規化

無料辞書のウィクショナリーで「lemmatization」を調べてください。