TF-IDF

情報検索において、tf–idf（単語頻度-逆文書頻度、TF*IDF、TFIDF、TF–IDF、またはTf–idf ）は、コレクションまたはコーパス内の文書に対する単語の重要度を測る尺度であり、一般的に一部の単語がより頻繁に出現するという事実を考慮して調整されています。^{[ 1 ]}単語のバッグモデルと同様に、単語の順序に関係なく、文書を単語のマルチセットとしてモデル化します。単語の重みがコーパスの残りの部分に依存することを許容することで、単純な単語のバッグモデルを改良したものです。

tf-idfは、情報検索、テキストマイニング、ユーザーモデリングの検索における重み付け係数としてよく使用されていました。2015年に実施された調査では、デジタルライブラリのテキストベースのレコメンダーシステムの83%がtf-idfを使用していることが示されました。 ^{[ 2 ]} tf-idf重み付けスキームのバリエーションは、検索エンジンがユーザーのクエリに基づいてドキュメントの関連性をスコアリングおよびランク付けするための中心的なツールとしてよく使用されていました。

最も単純なランキング関数の1つは、各クエリ用語のtf-idfを合計することによって計算されます。より高度なランキング関数の多くは、この単純なモデルの変形です。

カレン・スパーク・ジョーンズ（1972）は、逆文書頻度（idf）と呼ばれる用語特異性の統計的解釈を考案し、それが用語重み付けの基礎となった。^{[ 3 ]}

ある用語の特異性は、その用語が出現する文書数の逆関数として定量化できる。

例えば、シェイクスピアの37作品に登場するいくつかの単語のdf（文書頻度）とidfは、次のように表されるかもしれません。

「ロミオ」「ファルスタッフ」「サラダ」といった単語は、ごく少数の劇にしか登場しません。そのため、これらの単語を見れば、どの劇かおおよそ見当がつくでしょう。一方、「良い」「甘い」といった単語はどの劇にも登場するため、どの劇かを判断する上で全く役に立ちません。

1. tf-idfは、単語頻度と逆文書頻度という2つの統計量の積です。これらの統計量の正確な値を決定する方法はいくつかあります。
2. 文書やウェブページ内におけるキーワードやフレーズの重要性を定義することを目的とした数式。

逆文書頻度

逆文書頻度は、単語がどれだけの情報を提供しているか、つまり、すべての文書においてその単語がどれだけ一般的または稀であるかを示す指標です。これは、その単語を含む文書の割合の逆数を対数スケールで表したものです（文書の総数をその単語を含む文書の数で割り、その商の対数を取ることで得られます）。

$\displaystyle \mathrm {idf} (t,D)=\log {\frac {N}{n_{t}}}}$

と

• ${\displaystyle D}$: はコーパス内のすべての文書の集合です
• ${\displaystyle N={|D|}}$: コーパス内の文書の総数
• ${\displaystyle n_{t}=|\{d\in D:t\in d\}|}$ : 用語が使用されている文書の数${\displaystyle t}$現れる（つまり、${\displaystyle \mathrm {tf} (t,d)\neq 0}$) 用語がコーパスに含まれていない場合、ゼロ除算が発生します。したがって、分子を次のように調整するのが一般的です。${\displaystyle 1+N}$そして分母は$1+n_t$。

IDFは、1972年の論文でカレン・スパーク・ジョーンズによって「用語特異性」として導入されました。ヒューリスティックとしてはうまく機能してきましたが、その理論的基盤はその後少なくとも30年間は問題となっており、多くの研究者が情報理論的な正当性を見つけようとしてきました。^{[ 6 ]}

Spärck Jones 自身の説明では、ジップの法則との関連以外に、理論的な説明はほとんどなかった。^{[ 6 ]}文書頻度を相対文書頻度として、特定の文書dに用語tが含まれる確率を推定することで、idf を確率論的な基盤に置こうとする試みがなされてきた。^{[ 7 ]}

${\displaystyle P(t|D)={\frac {|\{d\in D:t\in d\}|}{N}},}$

idfを次のように定義できます

${\displaystyle {\begin{aligned}\mathrm {idf} &=-\log P(t|D)\\&=\log {\frac {1}{P(t|D)}}\\&=\log {\frac {N}{|\{d\in D:t\in d\}|}}\end{aligned}}}$

すなわち、逆文書頻度は「逆」相対文書頻度の対数である。

この確率的解釈は、自己情報と同じ形式をとります。しかし、このような情報理論的概念を情報検索の問題に適用すると、必要な確率分布に適したイベント空間を定義しようとする際に問題が発生します。文書だけでなく、クエリや用語も考慮に入れる必要があるからです。^{[ 6 ]}

単語頻度と逆文書頻度はどちらも情報理論の観点から定式化できます。これは、それらの積が文書の共同情報内容の観点から意味を持つ理由を理解するのに役立ちます。分布に関する特徴的な仮定${\displaystyle p(d,t)}$それは次のとおりです。

${\displaystyle p(d|t)={\frac {1}{|\{d\in D:t\in d\}|}}}$

相澤によれば、この仮定とその意味合いは「tf-idfが採用するヒューリスティックを表している」^{[ 8 ]。}

コーパス内の「ランダムに選択された」文書の条件付きエントロピー${\displaystyle D}$特定の用語が含まれているという事実を条件とする${\displaystyle t}$（そして、すべての文書が選択される確率が等しいと仮定すると）次のようになります。

${\displaystyle H({\cal {D}}|{\cal {T}}=t)=-\sum _{d}p_{d|t}\log p_{d|t}=-\log {\frac {1}{|\{d\in D:t\in d\}|}}=\log {\frac {|\{d\in D:t\in d\}|}{|D|}}+\log |D|=-\mathrm {idf} (t)+\log |D|}$

表記法に関して言えば、${\displaystyle {\cal {D}}}$そして${\displaystyle {\cal {T}}}$はそれぞれ文書または用語の抽出に対応する「確率変数」です。相互情報量は次のように表すことができます。

${\displaystyle M({\cal {T}};{\cal {D}})=H({\cal {D}})-H({\cal {D}}|{\cal {T}})=\sum _{t}p_{t}\cdot (H({\cal {D}})-H({\cal {D}}|W=t))=\sum _{t}p_{t}\cdot \mathrm {idf} (t)}$

最後のステップは拡張することです${\displaystyle p_{t}}$文書の（ランダムな）選択に関して、ある用語を抽出する無条件確率は次のようになる。

${\displaystyle M({\cal {T}};{\cal {D}})=\sum _{t,d}p_{t|d}\cdot p_{d}\cdot \mathrm {idf} (t)=\sum _{t,d}\mathrm {tf} (t,d)\cdot {\frac {1}{|D|}}\cdot \mathrm {idf} (t)={\frac {1}{|D|}}\sum _{t,d}\mathrm {tf} (t,d)\cdot \mathrm {idf} (t).}$

この式は、考えられるすべての用語と文書の Tf-idf を合計すると、それらの結合分布のすべての特性を考慮した文書と用語間の相互情報量が回復されることを示しています。^{[ 8 ]}したがって、各 Tf-idf は、用語 x 文書のペアに付随する「情報ビット」を運びます。

tf–idf は、基となるコーパス文書が特定の理想化された仮定を満たす場合、フィッシャーの正確検定の片側定式化から得られる負の対数変換されたp値と密接に関連しています。 ^{[ 9 ]}最近では、tf–idf のバリアントが、ベータ二項統計言語モデルに基づく単語のバースト性に対するペナルティ付き尤度比検定の検定統計量の構成要素として生じることが示されました。 ^{[ 10 ]}このフレームワークでは、帰無仮説は二項分布を使用して用語の出現をモデル化し、対立仮説はベータ二項分布を使用して単語のバースト性をモデル化し、ベータ二項精度パラメータにガンマ分布のペナルティ項が置かれます。結果として得られる検定統計量には、tf–idf のバリアントであるバイナリ用語頻度-逆文書頻度 (btf–idf) および用語頻度-逆収集頻度 (tf–icf) が含まれており、tf–idf ファミリーの用語重み付けスキームと統計的仮説検定の間に直接的なつながりが確立されます。^{[ 10 ]}

2つの文書のみからなるコーパスの単語出現頻度表があると仮定します。

「これはサンプルAです。」

「これもまた一つの例だ、また一つの例だ、例だ。」

「this」という語句に対するtf-idfの計算は、以下のように行われます。

生の頻度形式では、tf は各文書における「this」の出現頻度を表します。各文書には「this」という単語が一度ずつ出現しますが、文書 2 の方が単語数が多いため、相対頻度は小さくなります。

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{1})={\frac {1}{5}}=0.2}$

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{2})={\frac {1}{7}}\approx 0.14}$

IDFはコーパスごとに一定であり、 「this」という単語を含む文書の割合を表します。この場合、2つの文書からなるコーパスがあり、その両方に「this」という単語が含まれています。

${\displaystyle \mathrm {idf} ({\mathsf {''this''}},D)=\log \left({\frac {2}{2}}\right)=0}$

つまり、「this」という単語のtf-idfはゼロであり、これはこの単語がすべての文書に現れることから、あまり情報量が多くないことを示唆している。

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{1},D)=0.2\times 0=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{2},D)=0.14\times 0=0}$

「例」という単語はより興味深い。それは3回登場するが、2番目の文書にしか登場しない。

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{1})={\frac {0}{5}}=0}$

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{2})={\frac {3}{7}}\approx 0.429}$

${\displaystyle \mathrm {idf} ({\mathsf {''example''}},D)=\log \left({\frac {2}{1}}\right)=0.301}$

ついに、

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{1},D)=\mathrm {tf} ({\mathsf {''example''}},d_{1})\times \mathrm {idf} ({\mathsf {''example''}},D)=0\times 0.301=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{2},D)=\mathrm {tf} ({\mathsf {''example''}},d_{2})\times \mathrm {idf} ({\mathsf {''example''}},D)=0.429\times 0.301\approx 0.129}$

（底が10の対数を使用）。

tf-idf の背後にある考え方は、用語以外のエンティティにも適用されます。1998 年に、idf の概念が引用に適用されました。^{[ 11 ]}著者らは、「非常にまれな引用が 2 つの文書で共有されている場合、多数の文書による引用よりも高い重み付けをすべきである」と主張しました。さらに、tf-idf は、ビデオ内のオブジェクト マッチングを行う目的で「ビジュアル ワード」^{[ 12 ]}や文全体にも適用されました。^{[ 13 ]}しかし、tf-idf の概念は、単純な tf スキーム (idf なし) よりもすべての場合に効果的であることが証明されたわけではありません。tf-idf を引用に適用した場合、研究者らは、idf コンポーネントのない単純な引用数重みよりも改善が見られないことを発見しました。^{[ 14 ]}

tf-idf から派生した用語重み付けスキームがいくつかあります。その 1 つは TF-PDF (用語頻度 * 比例文書頻度) です。^{[ 15 ]} TF-PDF は、メディアで出現するトピックを特定する文脈で 2001 年に導入されました。PDF コンポーネントは、用語が異なるドメインでどのくらいの頻度で出現するかの差を測定します。もう 1 つの派生は TF-IDuF です。TF-IDuF では、^{[ 16 ]} idf は検索または推奨される文書コーパスに基づいて計算されません。代わりに、idf はユーザーの個人文書コレクションに基づいて計算されます。著者らは、TF-IDuF は tf-idf と同等に効果的であるだけでなく、たとえばユーザーモデリングシステムがグローバル文書コーパスにアクセスできない状況でも適用できると報告しています。DELTA TF-IDF ^{[ 17 ]}派生は、肯定的および否定的感情などの 2 つの特定のクラス間での用語の重要度の差を使用します。例えば、肯定的なレビューでは「素晴らしい」という単語に高いスコアを、否定的なレビューでは同じ単語に低いスコアを割り当てることができます。これにより、文書の感情を強く示す単語を特定しやすくなり、テキスト分類タスクの精度向上につながる可能性があります。

• Salton, G ; McGill, MJ (1986).現代情報検索入門. McGraw-Hill . ISBN 978-0-07-054484-0。
• Salton, G. ; Fox, EA; Wu, H. (1983). "拡張ブール情報検索". Communications of the ACM . 26 (11): 1022– 1036. doi : 10.1145/182.358466 . hdl : 1813/6351 . S2CID 207180535 . 
• Salton, G. ; Buckley, C. (1988). "自動テキスト検索における用語重み付けアプローチ" (PDF) . Information Processing & Management . 24 (5): 513– 523. doi : 10.1016/0306-4573(88)90021-0 . hdl : 1813/6721 . S2CID 7725217 . 
• Wu, HC; Luk, RWP; Wong, KF; Kwok, KL (2008). "TF-IDF用語の重みを関連性決定として解釈する". ACM Transactions on Information Systems . 26 (3): 1. doi : 10.1145/1361684.1361686 . hdl : 10397/10130 . S2CID 18303048 . 

• Gensimは、ベクトル空間モデリングのためのPythonライブラリであり、tf-idf重み付け機能も備えています。
• 検索エンジンの構造（ 2009年3月10日にWayback Machineにアーカイブ済み）
• Luceneで使用されるtf-idfおよび関連する定義
• scikit-learnのTfidfTransformer
• Text to Matrix Generator (TMG) は、テキストマイニング (TM) におけるさまざまなタスク、具体的には i) インデックス作成、 ii) 検索、 iii)次元削減、 iv) クラスタリング、 v) 分類 に使用できる MATLAB ツールボックスです。インデックス作成ステップでは、tf-idf を含むローカルおよびグローバルな重み付け方法を適用できます。
• 用語頻度の説明用語頻度の説明