词语在文档中的重要性 -- TF-IDF算法

1、  对于一个单词来说，文档向量中的一个维度就是该文档中的一个单词，其值就是该词在文档中出现的次数。这称之为TF(Term Frequency)权重。

2、   设一个文档中的单词的集合为：WD = {w₁, w₂, w₃ ….. w_n},又设单词集中单词的频率为TF={f₁,f₂, f₃…..f_n}

文档频率DF是有某个单词出现的文档个数，单词在文档中出现的次数并不计入文档频率。那么一个单词的逆文档频率为：IDF_i = 1 / DF_i

因为IDF会很小而使乘积后所得的权重值过小。这种情况下，最好乘以一个常数来归一化IDF值。所以：IDF_i = N / DF_i

3、  那么向量中单词w_i的权重W_i= TF_i * IDF_i  = TF_i* (N/DF_i)

4、  因为IDF_i= N / DF_i 会掩盖在最终的单词权重中TF的影响，于是：

W_i = TF_i * IDF_i  = TF_i * log(N/DF_i)

5、  为了归一化TF，所以TF_i,j  =f_i,j  / max(f_k,j)，其中f_i,j是单词w_i 在文档j中出现的频数；max(f_k,j) 是单词在文档j中出现的频数最大值；

6、  所以：W_i= TF_i * IDF_i  = TF_i* log(N/DF_i) =  f_i,j / max(f_k,j) * log(N/DF_i)