textrank提取文档关键词
来源:互联网 发布:淘宝黄金戒指 编辑:程序博客网 时间:2024/05/16 14:55
前言:我大致介绍一下TextRank算法的实现,对于细节和相关公式的介绍不做过多的介绍,感兴趣的同学可以去看TextRank算法的论文(英文版)里面有具体的实现,文章下载地址http://download.csdn.net/detail/sinat_29957455/9925407
一、TextRank算法简介
TextRank算法主要用于文档的关键词抽取和摘要的抽取,TextRank主要借鉴了PageRank的思想来实现的。PageRank是由Google用来体现网页之间的相关性和重要性,它是通过网页之间的超链接来计算网页的重要性。通过网页之间超链接之间的关系将不同的页面划分成不同的等级,页面划分等级的依据是根据各个页面之间给其他页面之间的投票来进行衡量的。而,TextRank提取关键词也正是采用了这种思想来实现的,它需要将一片文章先进行分词,然后将每个词语作为一个无向图的节点,最后通过单词之间的投票计算出权重。
二、TextRank实现
1、将给定输入的文章,进行分词,如何将文章进行分词可以使用jieba来实现。
2、对于分词的词语,我们可以对其词性进行标注处理,并可以过滤掉一些停用词(如:的、有...),只保留我们需要的词性的单词,名词或者动词或形容词。
3、将上述我们需要的词语构建一个关键词图,其中词语为图的节点,然后通过共现关系构造任意两点之间的变,两个节点之间存在边仅当他们对应的词汇在长度为k的窗口中共现,K表示窗口的大小,即一个窗口单词的个数默认是5.
4、然后根据公式计算,最后可以等到每个单词的权重,我们可以根据顺序选取权重最大的前几个。
5、对节点的权重进行排序,逆序排序,选取权重最大的前几个作为文章的关键词。
三、TextRank算法的测试
测试文章
有很多不同的数学公式可以用来计算tf-idf。这边的例子以上述的数学公式来计算。词频(tf)是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个,而词语“母牛”出现了3次,那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率(DF)的方法是测定有多少份文件出现过“母牛”一词,然后除以文件集里包含的文件总数。所以,如果“母牛”一词在1,000份文件出现过,而文件总数是10,000,000份的话,其逆向文件频率就是log(10,000,000 / 1,000)=4。最后的tf-idf的分数为0.03 * 4=0.12。实现代码,使用jieba实现的
import syssys.path.append('../')import jiebaimport jieba.analysefrom optparse import OptionParserfile_name = "../txt/test.txt"content = open(file_name, 'rb').read()#topK表示输出多少个关键词,withWeight表示是否输出权重,如果想要获取权重,for x,w并将withWeight=True#allowPOS表示输出的词性for x in jieba.analyse.textrank(content,topK=20,withWeight=False,allowPOS=('ns','n','vn','v')): print('%s' % (x))输出结果
文件出现计算词语数学公式份文件频率母牛测定集里总数包含次数用来词频逆向方法例子四、TF-IDF测试结果
import syssys.path.append('../')import jiebaimport jieba.analysefrom optparse import OptionParserfile_name = "../txt/test.txt"content = open(file_name, 'rb').read()#10表示输出的前10个tags = jieba.analyse.extract_tags(content, topK=10)print(",".join(tags))输出结果
000,文件,母牛,词语,tf,词频,100,0.03,idf,10
总结:对比TextRank算法和TF-IDF算法的结果,我们可以发现TextRank算法提取的关键词更能表现出文章的意思,而TF-IDF算法主要还是依靠词频来判断一个词语是否为文章的关键词。当然,如果你想要提高TF-IDF算法的准确性可以根据自己的业务需要,来使用适合自己业务的语料库和设置词语的权重来达到自己想要的效果,TF-IDF算法相对于TextRank算法来说,效率较高。但是,TextRank算法不需要自己来训练数据。
- textrank提取文档关键词
- textrank关键词提取
- 关键词提取算法-TextRank
- 关键词提取之TextRank算法
- 笔记-TextRank与关键词提取
- textrank 关键词提取-python实现
- TextRank算法提取关键词的Java实现
- 文章提取关键词_jieba(IF-IDF/TextRank)
- 基于TextRank的关键词、短语、摘要提取
- TextRank算法提取关键词的Java实现
- TextRank 算法提取关键词的 Java 实现
- 基于TextRank的关键词提取算法
- [NLP技术]关键词提取算法-TextRank
- 基于TextRank的关键词、短语、摘要提取
- textrank算法原理与提取关键词、自动提取摘要PYTHON
- 短文本关键词提取算法RAKE & TextRank及改进
- 基于TextRank算法提取关键词——Java实现
- TextRank算法抽取关键词
- 运用java.net.HttpURLConnection实现java多线程下载文件
- 1662 家庭问题
- 百度地图开发(功能有:标注地点;定位本机等)
- bootstrap轮播图无法居中的处理方式
- 51单片机-1602液晶显示的时钟代码
- textrank提取文档关键词
- hwfh项目, 第二天
- Leetcode 97Interleaving String
- C++实现单链表
- 杭电acm—2137 circumgyrate the string
- C++中声明与定义的关系
- 数组的常见操作:冒泡排序 选择排序与取最值
- 摧毁树状图
- uboot移植