定義 このセクションでは、単語の袋 表現に基づく特定のベクトル空間モデルについて考察します。文書とクエリはベクトルとして表現されます。
d j = （ w 1 、 j 、 w 2 、 j 、 … 、 w n 、 j ） {\displaystyle d_{j}=(w_{1,j},w_{2,j},\dotsc ,w_{n,j})} q = （ w 1 、 q 、 w 2 、 q 、 … 、 w n 、 q ） {\displaystyle q=(w_{1,q},w_{2,q},\dotsc ,w_{n,q})} 各次元は それぞれ異なる用語に対応します。文書中に用語が出現する場合、ベクトル内のその値はゼロ以外になります。これらの値（用語重みとも呼ばれる）を計算する方法はいくつか開発されています。最もよく知られている手法の1つはtf-idf 重み付けです（以下の例を参照）。
用語 の定義は用途によって異なります。一般的に、用語は単語、キーワード、またはより長いフレーズです。単語を用語として選択する場合、ベクトルの次元は語彙に含まれる単語の数（ コーパス 内で出現する異なる単語の数）になります。
ベクトル演算は、クエリとドキュメントを比較するために使用できます。[ 2 ]
アプリケーション コーパスから候補となる文書を取得し、さまざまな方法でランク付けすることができます。キーワード検索における文書の関連性 ランキングは、 文書類似性 理論の仮定に基づき、各文書ベクトルと元のクエリベクトルとの間の角度の偏差を比較することによって計算できます。ここで、クエリは他の文書を表すベクトルと同じ次元のベクトルとして表現されます。
実際には、角度そのものを計算するよりも、ベクトル間の角度のコサイン を計算する方が簡単です。
コス θ = d 2 ⋅ q ‖ d 2 ‖ ‖ q ‖ {\displaystyle \cos {\theta }={\frac {\mathbf {d_{2}} \cdot \mathbf {q} }{\left\|\mathbf {d_{2}} \right\|\left\|\mathbf {q} \right\|}}} どこd 2 ⋅ q \displaystyle \mathbf {d_{2}} \cdot \mathbf {q} } 2 ）とクエリベクトル（図のq）の交差（つまり内積）です。 ‖ d 2 ‖ {\displaystyle \left\|\mathbf {d_{2}} \right\|} はベクトル d 2 のノルムであり、‖ q ‖ {\displaystyle \left\|\mathbf {q} \right\|} ノルムは次のように計算されます。
‖ q ‖ = ∑ 私 = 1 n q 私 2 {\displaystyle \left\|\mathbf {q} \right\|={\sqrt {\sum _{i=1}^{n}q_{i}^{2}}}} コサイン類似度を用いると、文書d j とクエリq の類似度は次のように計算できます。
c o s （ d j 、 q ） = d j ⋅ q ‖ d j ‖ ‖ q ‖ = ∑ 私 = 1 N d 私 、 j q 私 ∑ 私 = 1 N d 私 、 j 2 ∑ 私 = 1 N q 私 2 {\displaystyle \mathrm {cos} (d_{j},q)={\frac {\mathbf {d_{j}} \cdot \mathbf {q} }{\left\|\mathbf {d_{j}} \right\|\left\|\mathbf {q} \right\|}}={\frac {\sum _{i=1}^{N}d_{i,j}q_{i}}{{\sqrt {\sum _{i=1}^{N}d_{i,j}^{2}}}{\sqrt {\sum _{i=1}^{N}q_{i}^{2}}}}}} このモデルで考慮されるすべてのベクトルは要素ごとに非負であるため、コサイン値がゼロということは、クエリベクトルと文書ベクトルが直交して おり、一致するものがない（つまり、クエリ用語が考慮対象の文書に存在しない）ことを意味します。詳細については、コサイン類似度を参照してください。 [ 2 ]
Salton 、Wong、Yangら[ 3 ] 用語頻度-逆文書頻度（tf-idf）モデルとして知られています。文書 d の重みベクトルは次のようになります。v d = [ w 1 、 d 、 w 2 、 d 、 … 、 w N 、 d ] T {\displaystyle \mathbf {v} _{d}=[w_{1,d},w_{2,d},\ldots ,w_{N,d}]^{T}}
w t 、 d = t f t 、 d ⋅ ログ | D | | { d ′ ∈ D | t ∈ d ′ } | {\displaystyle w_{t,d}=\mathrm {tf} _{t,d}\cdot \log {\frac {|D|}{|\{d'\in D\,|\,t\in d'\}|}}} そして
t f t 、 d {\displaystyle \mathrm {tf} _{t,d}} d における用語t の出現頻度（ローカルパラメータ）です。ログ | D | | { d ′ ∈ D | t ∈ d ′ } | {\displaystyle \log {\frac {|D|}{|\{d'\in D\,|\,t\in d'\}|}}} | D | {\displaystyle |D|} | { d ′ ∈ D | t ∈ d ′ } | {\displaystyle |\{d'\in D\,|\,t\in d'\}|} t を含む文書の数です。
利点 ベクトル空間モデルは、標準ブールモデル に比べて以下の利点があります。
文書を関連性の可能性に基づいてランク付けすることを可能にする 部分的な用語の重複を持つアイテムの取得を可能にする[ 2 ] これらの利点のほとんどは、ブール値と単語頻度-逆文書頻度アプローチにおける文書コレクション表現の密度の違いによるものです。ブール重みを使用する場合、任意の文書はn次元超立方体 の頂点に位置します。したがって、可能な文書表現は次のようになります。2 n {\displaystyle 2^{n}} n {\displaystyle {\sqrt {n}}}
制限事項 ベクトル空間モデルには、以下の制約がある。
クエリ用語は独立していると想定されているため、フレーズはランキングにうまく反映されない可能性があります。 意味的感度。類似した文脈を持つが用語語彙が異なる文書は関連付けられない[ 2 ] しかし、これらの困難の多くは、特異値分解 などの数学的手法やWordNet などの語彙データベース を含む様々なツールを統合することで克服できる。
ベクトル空間モデルに基づき拡張したモデル ベクトル空間モデルに基づき、それを拡張したモデルには以下のようなものがある。
ベクトル空間モデルを実装するソフトウェア ベクターモデルを試用したり、それに基づいた検索サービスを実装したりしたいと考えている方にとって、以下のソフトウェアパッケージは興味深いかもしれません。
一般化ベクトル空間モデル 一般化ベクトル空間モデルは、 情報検索 で使用される VSM の一般化です。Wongら [ 4 ] は
最近、Tsatsaronis [ 5 ] WordNet のようなシソーラス ( O )を使用して意味的関連性 ( SR ) を測定します。これは、コンパクトネス ( SCM )によって捉えられるパスの長さと、意味的パス精緻化 ( SPE )によって捉えられるパスの深さを考慮します。
Waitelonis ら[ 6 ] DBpedia やYAGO 分類体系を含む Linked Open Data リソースから意味的関連性を計算しました。これにより、名前付きエンティティのリンク 後に、ドキュメントとクエリ内の意味的エンティティ間の分類関係を利用します。
参考文献 ↑ Berry, Michael W.; Drmac, Zlatko; Jessup, Elizabeth R. (1999年1月). "行列、ベクトル空間、および情報検索". SIAM Review . 41 (2): 335–362 . doi : 10.1137/s0036144598347035 . 1 2 3 4 Büttcher, Stefan; Clarke , Charles LA; Cormack, Gordon V. (2016). 情報検索：検索エンジンの実装と評価 （MIT Press ペーパー バック初版）。マサチューセッツ州ケンブリッジ、イギリス、ロンドン：MIT Press。ISBN 978-0-262-52887-0 。↑ G. Salton、A. Wong、CS Yang、「自動インデックス作成のためのベクトル空間モデル」、Communications of the ACM、第18巻、第11号、613～620ページ、1975年11月 ↑ Wong, SKM; Ziarko, Wojciech; Wong, Patrick CN (1985-06-05)、「情報検索における一般化ベクトル空間モデル」、 第8回年次国際ACM SIGIR情報検索研究開発会議（SIGIR '85）議事録 、 SIGIR ACM 、pp. 18–25 、 doi : 10.1145/253495.253506 、 ISBN 0897911598 ↑ Tsatsaronis, George; Panagiotopoulou, Vicky (2009-04-02), A Generalized Vector Space Model for Text Retrieval Based on Semantic Relatedness (PDF) , EACL ACM ↑ Waitelonis, Jörg; Exeler, Claudia; Sack, Harald (2015-09-11), Linked Data enabled Generalized Vector Space Model to improve document retrieval (PDF) , ISWC 2015, CEUR-WS 1581
さらに読む G. Salton (1962)、「単語と文書の関連付け生成に関するいくつかの実験」、AFIPS '62（秋季）論文集、1962年12月4日～6日開催の秋季合同コンピュータ会議議事録 、234～250ページ。（Saltonによる用語-文書マトリックス形式化を用いた初期の論文） G. Salton 、A. Wong、CS Yang (1975)、「自動索引付けのためのベクトル空間モデル」Communications of the ACM 、第18巻、第11号、613～620ページ。（ベクトル空間モデルが発表された論文） デイビッド・デュビン（2004）「ジェラード・サルトンが書かなかった最も影響力のある論文」（ベクトル空間モデルの歴史と、頻繁に引用される論文が存在しない理由を解説） ベクトル空間モデルの説明 E.ガルシア博士による古典的なベクトル空間モデルの説明 ベクトル空間探索と「k近傍法」探索の関係 
![{\displaystyle \mathbf {v} _{d}=[w_{1,d},w_{2,d},\ldots ,w_{N,d}]^{T}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/30c310ac152cd1b8ea9e13eda4b478e72ade4f1a)
