tf-idf の

情報検索において、tf-idf（TF*IDF、TFIDF、TF-IDF、Tf-idfとも呼ばれる）は、 term frequency-inverse document frequencyの略で、コレクションまたはコーパス内の文書に対する単語の重要度を測る尺度であり、一部の単語は一般に頻繁に出現するという事実を考慮して調整されています。^[1] bag-of-wordsモデルと同様に、これは文書を語順のない単語の多重集合としてモデル化します。これは、単語の重みをコーパスの残りの部分に依存させることで、単純なbag-of-wordsモデルを改良したものです。

これは、情報検索、テキストマイニング、ユーザーモデリングの検索における重み付け係数としてよく使用されていました。2015年に実施された調査では、デジタルライブラリのテキストベースのレコメンデーションシステムの83％がTF-IDFを使用していました。^[2] TF-IDF重み付けスキームのバリエーションは、ユーザーのクエリに基づいてドキュメントの関連性をスコアリングおよびランク付けするための中心的なツールとして、検索エンジンでよく使用されていました。

最も単純なランキング関数の 1 つは、各クエリ用語の tf-idf を合計することによって計算されます。より洗練されたランキング関数の多くは、この単純なモデルのバリエーションです。

カレン・スパーク・ジョーンズ（1972）は、逆文書頻度（idf）と呼ばれる用語の特殊性の統計的解釈を考案し、それが用語の重み付けの基礎となった。^[3]

用語の特異性は、その用語が出現する文書の数の逆関数として定量化できます。

例えば、シェイクスピアの37の戯曲に登場するいくつかの単語のdf（文書頻度）とidfは次のようになります。^[4]

「ロミオ」、「フォルスタッフ」、「サラダ」はごく少数の劇にしか登場しないので、これらの単語を見れば、どの劇なのか大体わかるでしょう。対照的に、「good」と「sweet」はどの劇にも登場しますが、どの劇なのかはまったくわかりません。

1. tf-idf は、用語頻度と逆文書頻度という2 つの統計の積です。両方の統計の正確な値を決定する方法はいくつかあります。
2. ドキュメントまたは Web ページ内のキーワードまたはフレーズの重要性を定義することを目的とした式。

用語頻度tf( t , d )は、文書d内の用語tの相対頻度である。

${\displaystyle \mathrm {tf} (t,d)={\frac {f_{t,d}}{\sum _{t'\in d}{f_{t',d}}}}}$、

ここで、f _{t , d}は文書中の用語の生のカウント、つまり、用語tが文書dに出現する回数です。分母は、文書d内の用語の総数（同じ用語の出現を個別にカウント）であることに注意してください。用語の頻度を定義する方法は他にもいくつかあります。^{[5] : 128}

• 生のカウント自体: tf( t , d ) = f _{t , d}
• ブール型の「頻度」: t がdに出現する場合はtf( t , d ) = 1、それ以外の場合は 0。
• 対数スケールの頻度: tf( t , d ) ₌ log(1+ ft _{, d} ) ; ^[6]
• 長い文書への偏りを防ぐために、頻度を拡張します。たとえば、生の頻度を文書内で最も頻繁に出現する用語の生の頻度で割ります。

${\displaystyle \mathrm {tf} (t,d)=0.5+0.5\cdot {\frac {f_{t,d}}{\max\{f_{t',d}:t'\in d\}}}}$

逆文書頻度は、単語が提供する情報量、つまりすべての文書で単語がどの程度一般的またはまれであるかを測る尺度です。これは、単語を含む文書の対数スケールの逆割合です (文書の総数をその用語を含む文書の数で割り、その商の対数を取ることで得られます)。

${\displaystyle \mathrm {idf} (t,D)=\log {\frac {N}{|\{d:d\in D{\text{ および }}t\in d\}|}}}$

と

• ${\displaystyle N}$: コーパス内の文書の総数${\displaystyle N={|D|}}$
• ${\displaystyle |\{d\in D:t\in d\}|}$ : 用語が出現する文書の数（つまり、）。用語がコーパスに存在しない場合は、ゼロ除算が行われます。したがって、分子と分母を に調整するのが一般的です。${\displaystyle t}$${\displaystyle \mathrm {tf} (t,d)\neq 0}$${\displaystyle 1+N}$${\displaystyle 1+|\{d\in D:t\in d\}|}$

tf-idfは次のように計算される。

${\displaystyle \mathrm {tfidf} (t,d,D)=\mathrm {tf} (t,d)\cdot \mathrm {idf} (t,D)}$

tf-idf の重みは、高い用語頻度(特定のドキュメント内) とドキュメント コレクション全体における用語のドキュメント頻度の低さによって高くなります。したがって、重みによって一般的な用語が除外される傾向があります。idf の log 関数内の比率は常に 1 以上であるため、idf (および tf-idf) の値は 0 以上になります。用語がより多くのドキュメントに出現するにつれて、対数内の比率は 1 に近づき、idf と tf-idf は 0 に近づきます。

IDFは、1972年の論文でカレン・スパーク・ジョーンズによって「用語の特異性」として導入されました。ヒューリスティックとしてはうまく機能しましたが、その理論的根拠はその後少なくとも30年間問題となっており、多くの研究者が情報理論的根拠を見つけようとしてきました。^[7]

スパーク・ジョーンズ自身の説明は、ジップの法則との関連を除いて、あまり理論的には提案されていない。^[7]与えられた文書dに用語tが含まれる確率を相対文書頻度として推定することによって、 idfを確率論的立場に置こうとする試みがなされてきた。 ^[8]

${\displaystyle P(t|D)={\frac {|\{d\in D:t\in d\}|}{N}},}$

idfを次のように定義できる。

${\displaystyle {\begin{aligned}\mathrm {idf} &=-\log P(t|D)\\&=\log {\frac {1}{P(t|D)}}\\&=\log {\frac {N}{|\{d\in D:t\in d\}|}}\end{aligned}}}$

つまり、逆文書頻度は、「逆」相対文書頻度の対数です。

この確率的解釈は、今度は自己情報量と同じ形をとる。しかし、このような情報理論的概念を情報検索の問題に適用すると、必要な確率分布に適したイベント空間を定義しようとするときに問題が生じる。文書だけでなく、クエリや用語も考慮する必要がある。^[7]

用語頻度と逆文書頻度はどちらも情報理論の観点から定式化することができ、それらの積が文書の共同情報コンテンツの観点から意味を持つ理由を理解するのに役立ちます。分布に関する特徴的な仮定は次のとおりです。 ${\displaystyle p(d,t)}$

${\displaystyle p(d|t)={\frac {1}{|\{d\in D:t\in d\}|}}}$

相澤によれば、この仮定とその意味は「TF-IDFが採用するヒューリスティックを表している」^{[9] 。}

コーパス内の「ランダムに選択された」文書の条件付きエントロピーは、特定の用語が含まれているという条件付き（すべての文書が選択される確率が等しいと仮定）で次のようになります。 ${\displaystyle D}$${\displaystyle t}$

${\displaystyle H({\cal {D}}|{\cal {T}}=t)=-\sum _{d}p_{d|t}\log p_{d|t}=-\log {\frac {1}{|\{d\in D:t\in d\}|}}=\log {\frac {|\{d\in D:t\in d\}|}{|D|}}+\log |D|=-\mathrm {idf} (t)+\log |D|}$

表記法では、およびはそれぞれ文書または用語を描くことに対応する「ランダム変数」です。相互情報量は次のように表すことができます。 ${\displaystyle {\cal {D}}}$${\displaystyle {\cal {T}}}$

${\displaystyle M({\cal {T}};{\cal {D}})=H({\cal {D}})-H({\cal {D}}|{\cal {T}})=\sum _{t}p_{t}\cdot (H({\cal {D}})-H({\cal {D}}|W=t))=\sum _{t}p_{t}\cdot \mathrm {idf} (t)}$

最後のステップは、文書の（ランダムな）選択に関して、項を抽出する無条件確率を展開して、次を得ることです。 ${\displaystyle p_{t}}$

${\displaystyle M({\cal {T}};{\cal {D}})=\sum _{t,d}p_{t|d}\cdot p_{d}\cdot \mathrm {idf} (t)=\sum _{t,d}\mathrm {tf} (t,d)\cdot {\frac {1}{|D|}}\cdot \mathrm {idf} (t)={\frac {1}{|D|}}\sum _{t,d}\mathrm {tf} (t,d)\cdot \mathrm {idf} (t).}$

この式は、すべての可能な用語と文書のTf-idfを合計すると、それらの結合分布のすべての特殊性を考慮した文書と用語間の相互情報量が回復されることを示しています。^[9]したがって、各Tf-idfは、用語x文書のペアに付随する「情報ビット」を保持します。

右側にリストされているように、2 つのドキュメントのみで構成されるコーパスの用語カウント テーブルがあるとします。

用語「this」の tf-idf の計算は次のように実行されます。

生の頻度形式では、tf は各ドキュメントの「this」の頻度にすぎません。各ドキュメントで「this」という単語は 1 回出現しますが、ドキュメント 2 にはより多くの単語があるため、相対的な頻度は小さくなります。

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{1})={\frac {1}{5}}=0.2}$

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{2})={\frac {1}{7}}\approx 0.14}$

idf はコーパスごとに一定で、 「this」という単語を含むドキュメントの比率を表します。この場合、2 つのドキュメントのコーパスがあり、そのすべてに「this」という単語が含まれています。

${\displaystyle \mathrm {idf} ({\mathsf {''this''}},D)=\log \left({\frac {2}{2}}\right)=0}$

したがって、「this」という単語の tf-idf はゼロであり、これは、この単語がすべてのドキュメントに出現するため、あまり有益ではないことを意味します。

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{1},D)=0.2\times 0=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{2},D)=0.14\times 0=0}$

「例」という単語はさらに興味深いです。この単語は 3 回出現しますが、2 番目のドキュメントにのみ出現します。

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{1})={\frac {0}{5}}=0}$

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{2})={\frac {3}{7}}\approx 0.429}$

${\displaystyle \mathrm {idf} ({\mathsf {''example''}},D)=\log \left({\frac {2}{1}}\right)=0.301}$

ついに、

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{1},D)=\mathrm {tf} ({\mathsf {''example''}},d_{1})\times \mathrm {idf} ({\mathsf {''example''}},D)=0\times 0.301=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{2},D)=\mathrm {tf} ({\mathsf {''example''}},d_{2})\times \mathrm {idf} ({\mathsf {''example''}},D)=0.429\times 0.301\approx 0.129}$

( 10 を底とする対数を使用)。

tf-idf の背後にある考え方は、用語以外のエンティティにも適用されます。1998 年に、idf の概念は引用に適用されました。^[10]著者は、「非常に珍しい引用が 2 つの文書で共有されている場合、これは多数の文書による引用よりも高く重み付けされるべきである」と主張しました。さらに、tf-idf は、ビデオでのオブジェクト マッチングを行う目的で「視覚的な単語」に適用され、^[11]文章全体に適用されました。^[12]ただし、tf-idf の概念は、すべてのケースで単純な tf スキーム (idf なし) よりも効果的であることが判明したわけではありません。tf-idf を引用に適用した場合、研究者は、idf コンポーネントのない単純な引用数重み付けよりも改善が見られなかったことを発見しました。^[13]

tf-idfから派生した用語重み付け方式は数多くある。その1つがTF-PDF（用語頻度*比例文書頻度）である。^[14] TF-PDFは、メディアにおける新たなトピックを特定するという文脈で2001年に導入された。PDFコンポーネントは、異なるドメインにおける用語の出現頻度の差を測定する。もう1つの派生方式はTF-IDuFである。TF-IDuFでは、^[15] idfは検索または推奨される文書コーパスに基づいて計算されるのではなく、ユーザーの個人的な文書コレクションに基づいて計算される。著者らは、TF-IDuFはtf-idfと同等に効果的であるが、たとえばユーザーモデリングシステムがグローバルな文書コーパスにアクセスできない場合にも適用できると報告している。

• Salton, G ; McGill, MJ (1986).現代情報検索入門. McGraw-Hill . ISBN 978-0-07-054484-0。
• Salton, G. ; Fox, EA; Wu, H. (1983). 「拡張ブール情報検索」Communications of the ACM . 26 (11): 1022–1036. doi :10.1145/182.358466. hdl : 1813/6351 . S2CID  207180535.
• Salton, G. ; Buckley, C. (1988). 「自動テキスト検索における用語重み付けアプローチ」(PDF) .情報処理と管理. 24 (5): 513–523. doi :10.1016/0306-4573(88)90021-0. hdl : 1813/6721 . S2CID  7725217.
• Wu, HC; Luk, RWP; Wong, KF; Kwok, KL (2008). 「TF-IDF 用語重みの解釈による関連性の判断」ACM Transactions on Information Systems . 26 (3): 1. doi :10.1145/1361684.1361686. hdl : 10397/10130 . S2CID  18303048.

• Gensim はベクトル空間モデリング用の Python ライブラリであり、tf-idf 重み付けが含まれています。
• 検索エンジンの構造
• Luceneで使用される tf-idf および関連定義
• scikit-learnの TfidfTransformer
• テキストからマトリックスへのジェネレーター (TMG) MATLAB ツールボックスは、テキスト マイニング (TM) のさまざまなタスク、具体的には i) インデックス作成、ii) 検索、iii) 次元削減、iv) クラスタリング、v) 分類に使用できます。インデックス作成ステップでは、TF-IDF を含むローカルおよびグローバルの重み付け方法を適用できます。
• 用語頻度の説明 用語頻度の説明