文本分析--关键词获取(jieba分词器,TF-IDF模型)
来源:互联网 发布:three.js天空盒制作 编辑:程序博客网 时间:2024/06/02 06:01
关键词获取可以通过两种方式来获取:
1、在使用jieba分词对文本进行处理之后,可以通过统计词频来获取关键词:jieba.analyse.extract_tags(news, topK=10),获取词频在前10的作为关键词。
2、使用TF-IDF权重来进行关键词获取,首先需要对文本构建词频矩阵,其次才能使用向量求TF-IDF值。
# -*-coding:utf-8-*-import uniout # 编码格式,解决中文输出乱码问题import jieba.analysefrom sklearn import feature_extractionfrom sklearn.feature_extraction.text import TfidfTransformerfrom sklearn.feature_extraction.text import CountVectorizer""" TF-IDF权重: 1、CountVectorizer 构建词频矩阵 2、TfidfTransformer 构建tfidf权值计算 3、文本的关键字 4、对应的tfidf矩阵"""# 读取文件def read_news(): news = open('news.txt').read() return news# jieba分词器通过词频获取关键词def jieba_keywords(news): keywords = jieba.analyse.extract_tags(news, topK=10) print keywordsdef tfidf_keywords(): # 00、读取文件,一行就是一个文档,将所有文档输出到一个list中 corpus = [] for line in open('news.txt', 'r').readlines(): corpus.append(line) # 01、构建词频矩阵,将文本中的词语转换成词频矩阵 vectorizer = CountVectorizer() # a[i][j]:表示j词在第i个文本中的词频 X = vectorizer.fit_transform(corpus) print X # 词频矩阵 # 02、构建TFIDF权值 transformer = TfidfTransformer() # 计算tfidf值 tfidf = transformer.fit_transform(X) # 03、获取词袋模型中的关键词 word = vectorizer.get_feature_names() # tfidf矩阵 weight = tfidf.toarray() # 打印特征文本 print len(word) for j in range(len(word)): print word[j] # 打印权重 for i in range(len(weight)): for j in range(len(word)): print weight[i][j] # print '\n'if __name__ == '__main__': news = read_news() jieba_keywords(news) tfidf_keywords()
1 0
- 文本分析--关键词获取(jieba分词器,TF-IDF模型)
- 计算jieba分词的Tf-idf值
- TF-IDF 提取文本关键词
- 文本分词与TF-IDF
- 文本分析--jieba中文分词
- 文本分析之TF-IDF
- 关键词权重TF-IDF
- TF-IDF提取关键词
- TF-IDF提取关键词
- python使用tf-idf法判断文本关键词
- 【基础2】文本分析-TF-IDF
- 使用jieba进行数据预处理(分词,过滤停用词及标点,获取词频、关键词等)
- jieba结巴分词--关键词抽取
- 文本词频TF-IDF
- TF-IDF:自动提取关键词
- TF-IDF自动提取关键词
- TF-IDF自动提取关键词
- tf-idf关键词提取算法
- GROUP_CONCAT函数(mysql中的多行查询结果合并成一个)
- MYSQL调优1-发现慢查询
- mac上git的使用
- PowerDesigner建立与数据库的连接,以便生成数据库和从数据库生成到PD中。[Oracle 10G版]
- BlockingQueue的基本原理
- 文本分析--关键词获取(jieba分词器,TF-IDF模型)
- C++string类的存储
- java基础error和exception区别
- MySQL安装:rpm、yum、cmake(源码安装)
- L3-002. 堆栈_线段树 找第k大
- 双缓冲机制
- tftp使用笔记
- Intent的常用Flag参数
- 关于Web安全的那些事(XSS攻击)