用語差別

用語差別化とは、情報検索においてキーワードがどれほど有用であるかをランク付けする方法である。

これはtf-idfに似た手法ですが、情報検索に適したキーワードとそうでないキーワードを区別することを目的としています。まずはベクトル空間モデルを参照してください。

この方法は、ベクトル空間密度の概念を利用しており、出現行列の密度が低いほど、情報検索クエリの精度が向上するというものです。

最適なインデックス用語とは、2つの異なる文書を区別し、2つの類似した文書を関連付けることができる用語である。一方、最適とは言えないインデックス用語は、2つの異なる文書と2つの類似した文書を区別することができない。

識別値とは、出現行列のベクトル空間密度と、インデックス項を含まない同じ行列のベクトル空間密度との差のことである。

させて： ${\displaystyle A}$発生行列とする ${\displaystyle A_{k}}$インデックス項を除いた出現行列とする${\displaystyle k}$ そして${\displaystyle Q(A)}$密度${\displaystyle A}$。 それから： 指標項の識別値${\displaystyle k}$は： ${\displaystyle DV_{k}=Q(A)-Q(A_{k})}$

発生行列が与えられた場合：${\displaystyle A}$そしてキーワードが1つ：${\displaystyle k}$

• グローバル文書の重心を見つける：${\displaystyle C}$（これは単なる平均的な文書ベクトルです）
• 各文書ベクトルからの平均ユークリッド距離を求め、${\displaystyle D_{i}}$に${\displaystyle C}$
• 各文書ベクトルからの平均ユークリッド距離を求め、${\displaystyle D_{i}}$に${\displaystyle C}$無視する${\displaystyle k}$
• 上記のステップにおける2つの値の差が、キーワードの判別値です。${\displaystyle K}$

値が高いほど良い。なぜなら、キーワードを含めることで、より良い情報検索が可能になるからだ。

出現頻度の低いキーワードは再現率が低いため識別力が低いはずであり、出現頻度 の高いキーワードは精度が低いため識別力が低いはずである。

• G. Salton、A. Wong、CS Yang (1975)、「自動インデックス作成のためのベクトル空間モデル（Wayback Machineに2011年6月5日にアーカイブ）」、Communications of the ACM、第18巻、第11号、613～620ページ。（ベクトル空間モデルが初めて発表された論文）
• Can, F., Ozkarahan, E. A (1987)「カバー係数概念を用いた用語/文書識別値の計算」Journal of the American Society for Information Science、第38巻、第3号、171-183ページ。