TF-IDF公式
来源:互联网 发布:像instagram的软件 编辑:程序博客网 时间:2024/05/17 23:58
TF:(Term Frequency)词频
式子中分子是该词在文件中的出现次数,而分母则是在文件中所有字词的出现次数之和
IDF :(inverse document frequency) 逆向文件频率
其中
分子:语料库中的文件总数
分母:包含词语的文件数目(即的文件数目)
某一特定词语的IDF,由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到
很明显,如果对于一个特定的词语,如果包含该词语的文档数目越少,IDF值就越小。
TF-IDF公式即上面的两个式子相乘。
它的思想:如果一个词语在一篇文章中的出现的频率很高,但是它在所有文章当中出现的很少(低文件频率),那么这个词就具有很好的分类效果,适合用来分类。
例子:(来自百度)
有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个,而词语“母牛”出现了3次,那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (IDF) 的方法是测定有多少份文件出现过“母牛”一词,然后除以文件集里包含的文件总数。所以,如果“母牛”一词在1,000份文件出现过,而文件总数是10,000,000份的话,其逆向文件频率就是 log(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12。
0 0
- TF-IDF公式
- TF/IDF tf idf算法公式
- Lucene TF-IDF 相关性算分公式
- TF/IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- TF-IDF
- tf-idf
- tf-idf
- TF-IDF
- 输出任意两个数之间的所有素数
- SQL中Group By的使用
- java进制转换
- 如何安装Python环境以及为Visual Studio 2012安装Python插件
- Yii中使用Gii生成代码时碰到“Setting unknown property: yii\web\Application::gii”
- TF-IDF公式
- 网络协议系列之六:TCP流量控制
- 安卓权限大全
- 【android笔记】移除activity切换效果,取消闪烁
- overflow失效的一种情况
- Java中 HashSet与HasnMap区别和方法
- validate binary search tree
- android 如何从网络获取一张图片
- how to mapping phoenix table for hive