TF-IDF：网页和某个查询的相关性

TF-IDF：网页和某个查询的相关性

计算

TF:

关键词的频率 、单文本词汇频率 Term Frequency

衡量关键词在单个网页中出现的频率。

关键词的次数/单个网页的总字数（去掉应删除词（stopwords））。

IDF:

逆文本频率指数 Inverse document frequency

衡量一个词在整个文档集（所有网页）中的权重。

Log(D/Dw) ，一个关键词w在Dw个网页中出现过，D是全部网页数。Log=ln

一个查询的TF-IDF=TF1*IDF1+TF2*IDF2+……+TFN*IDFN，其中TF1为查询词1对网页的TF值，IDF1对一个查询词针对所有结果的IDF

一个单词的TF-IDF=TF*IDF

通过以上定义我们可以看到：

TF-IDF主要作用是衡量一个网页和某个查询的相关性，适用范围为搜索结果的排序。

TF只是衡量了关键词在一个网页中的出现频率。

IDF则衡量了关键词在整个文档集中的权重。

如果一个词在某一个网页中出现的频率高，它又在整个文档集中占有比较高的权重，显然，这个词重要，权重比较大。也就是说这个词的TF-IDF积比较大。

这样以来，单个网页与查询的相关性其实就是一个查询中的各关键词的TF-IDF的求和。

针对一个关键词的TF-IDF来说，可以它用来衡量关键词在单个网页中权重。

• TF-IDF：网页和某个查询的相关性
• 从网页相关性TF-IDF到余弦定理的新闻分类的程序实现
• [转]搜索引擎的文档相关性计算和检索模型（BM25/TF-IDF）
• 如何确定网页和查询的相关性
• 如何确定网页和查询的相关性
• Lucene TF-IDF 相关性算分公式
• [转]: 如何确定网页和查询的相关性
• 理解TF和TF-IDF
• TF/IDF的理解和实现
• TF和IDF
• 中文分词和TF-IDF
• 中文分词和TF-IDF
• 中文分词和TF-IDF
• 数学之美 系列九 -- 如何确定网页和查询的相关性
• 数学之美 系列九 -- 如何确定网页和查询的相关性
• 数学之美 系列九 -- 如何确定网页和查询的相关性
• 数学之美 系列九 -- 如何确定网页和查询的相关性
• 数学之美 系列九 -- 如何确定网页和查询的相关性
• CSDN博客排名
• 使用ICU4J探测文档编码
• 使用ICU进行字符集探测 文档译稿
• 正则表达式中Matcher的group()、start()、end()带参方法解析
• 失败的方案
• TF-IDF：网页和某个查询的相关性
• MyEclipse安装FatJar
• Java Enum
• Linux crontab定时执行任务
• ubuntu 9.10 中国科学技术大学源(sources.list)
• java 乱码问题-Dfile.encoding=UTF-8
• 安全的从双系统中删除Ubuntu并正常引导Windows
• ubuntu 10.04安装sun版本jdk
• ubuntu 10.04安装小企鹅（fcitx）输入法