W-シングル

自然言語処理において、 wシングリングは、文書内のトークンの連続したサブシーケンスで構成される一意の シングリング（つまりn グラム）のセットであり、文書間の類似性を確認するために使用できます。 記号w は、選択された、または解決された各シングリング内のトークンの量を示します。

したがって、「a rose is a rose is a rose」という文書は、次のように最大限にトークン化できます。

(バラはバラです、バラはバラです)

4つのトークン（したがって4= n、したがって4-グラム） の連続するシーケンスの集合は

{ (a,rose,is,a), (rose,is,a,rose), (is,a,rose,is), (a,rose,is,a), (rose,is,a,rose) } これを縮小するか、この特定の例では最大限に連結して { (a,rose,is,a), (rose,is,a,rose), (is,a,rose,is) } とすることができます。

与えられたシングルサイズについて、2つの文書AとBが互いに類似する度合いは、それらのシングルの交差と和の大きさの比として表すことができます。

${\displaystyle r(A,B)={{|S(A)\cap S(B)|} \over {|S(A)\cup S(B)|}}}$

ここで、|A| はセット A のサイズです。類似度は [0,1] の範囲の数値で、1 は 2 つのドキュメントが同一であることを示します。この定義は、サンプル セットの類似性と多様性を表すJaccard 係数と同じです。

• バッグ・オブ・ワード・モデル
• ジャカード指数
• コンセプトマイニング
• k -メール
• ミンハッシュ
• Nグラム
• ラビン指紋
• ローリングハッシュ
• ベクトル空間モデル

• Broder、Glassman、Manasse、Zweig (1997)。「Web の構文クラスタリング」。SRCテクニカル ノート #1997-015。
• Manber (1993) 「大規模ファイル システム内の類似ファイルの検索」(PDF)。「shingling」という用語はまだ使用されていません。
• Manning, Christopher D.、Raghavan, Prabhakar、Schütze, Hinrich (2008 年 7 月 7 日)。「w-shingling」。情報検索入門。ケンブリッジ大学出版局。ISBN 978-1-139-47210-4。