自然语言处理入门(2)——中文文本处理利器snownlp
来源:互联网 发布:软件质量管理的问题 编辑:程序博客网 时间:2024/05/29 04:04
SnowNLP是一个python写的类库,可以方便的处理中文文本内容。如中文分词、词性标注、情感分析、文本分类、提取文本关键词、文本相似度计算等。
snownlp示例如下所示:
# -*- coding: utf-8 -*-"""Created on Wed May 31 22:28:23 2017@author: Administrator"""from snownlp import SnowNLPs = SnowNLP(u'这个东西真心很赞')s.words # [u'这个', u'东西', u'真心', # u'很', u'赞']s.tags # [(u'这个', u'r'), (u'东西', u'n'), # (u'真心', u'd'), (u'很', u'd'), # (u'赞', u'Vg')]print(s.sentiments) # 0.9769663402895832 positive的概率#汉转拼音print(s.pinyin) # [u'zhe', u'ge', u'dong', u'xi', # u'zhen', u'xin', u'hen', u'zan']s = SnowNLP(u'「繁體字」「繁體中文」的叫法在臺灣亦很常見。')#简转繁print(s.han) # u'「繁体字」「繁体中文」的叫法在台湾亦很常见。'text = u'''自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。'''s = SnowNLP(text)s.keywords(3) # [u'语言', u'自然', u'计算机']print(s.summary(3)) # [u'因而它是计算机科学的一部分', # u'自然语言处理是一门融语言学、计算机科学、 # 数学于一体的科学', # u'自然语言处理是计算机科学领域与人工智能 # 领域中的一个重要方向']s.sentencess = SnowNLP([[u'这篇', u'文章'], [u'那篇', u'论文'], [u'这个']])print(s.tf) #词频print(s.idf) #逆向文件频率print(s.sim([u'文章']))# [0.3756070762985226, 0, 0]
运行结果如下图所示:
阅读全文
0 0
- 自然语言处理入门(2)——中文文本处理利器snownlp
- SnowNLP:处理中文文本内容
- 自然语言处理(4)之中文文本挖掘流程详解(小白入门必读)
- 自然语言处理入门(1)——文本相似度计算
- 自然语言处理入门(7)——基于TF-IDF的文本自动打标
- 自然语言处理(1)——文本分词
- python与自然语言处理(五):中文文本词云
- 自然语言处理的中文文本相似度
- 自然语言处理入门(4)——中文分词原理及分词工具介绍
- python 中自然语言处理(中文)——统计词频
- 自然语言处理入门(3)——Word2Vec
- 自然语言处理(NLP)—入门、下载数据(一)
- 自然语言处理入门(一)
- 自然语言处理入门(一)
- 读《统计自然语言处理》——文本分析
- 自然语言处理(五 文本相似度)
- 中文自然语言处理
- 自然语言处理中文 工具包
- HTTP cookies
- Typecho上传附件失败最佳解决方法
- centos mysql操作
- 三大框架
- 深入浅出MyBatis-Sqlsession
- 自然语言处理入门(2)——中文文本处理利器snownlp
- swift 3.1. uiwebview 加载网页
- 【c++基础】3.注释、头文件、名字空间
- User management
- 在Eclipse中安装Hibernate Tools
- Problem B: 平面上的点和线——Point类、Line类 (III)
- POJ 1687 Buggy Sat 笔记
- 最新Retrofit + RxJava + MVP
- java实现serializable接口的作用