TF-IDF

（一）简介

1.TF-IDF实际上是：TF * IDF，TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)；

2.字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降；

（二）原理

1.词频：在一份给定的文件里，某一个给定的词语在该文件中出现的次数；这个数字通常会被归一化（分子一般小于分母），以防止它偏向长的文件（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否）；

2.逆向文件频率：是一个词语普遍重要性的度量；某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到；

3.某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF；因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语；