Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
来源:互联网 发布:管理者心态管理知乎 编辑:程序博客网 时间:2024/06/03 22:54
Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
2014-01-27 14:01:58 点击: 29167 | 收藏
NLTK是Python很强大的第三方库,可以很方便的完成很多自然语言处理(NLP)的任务,包括分词、词性标注、命名实体识别(NER)及句法分析。
NLTK安装教程:www.pythontip.com/blog/post/10011/
下面介绍如何利用NLTK快速完成NLP基本任务
一、NLTK进行分词
用到的函数:
nltk.sent_tokenize(text) #对文本按照句子进行分割
nltk.word_tokenize(sent) #对句子进行分词
二、NLTK进行词性标注
用到的函数:
nltk.pos_tag(tokens)#tokens是句子分词后的结果,同样是句子级的标注
三、NLTK进行命名实体识别(NER)
用到的函数:
nltk.ne_chunk(tags)#tags是句子词性标注后的结果,同样是句子级
上例中,有两个命名实体,一个是Xi,这个应该是PER,被错误识别为GPE了; 另一个事China,被正确识别为GPE。
四、句法分析
nltk没有好的parser,推荐使用stanfordparser
但是nltk有很好的树类,该类用list实现
可以利用stanfordparser的输出构建一棵python的句法树
转自http://www.pythontip.com/blog/post/10012/
0 0
- Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
- Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
- Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
- Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
- Python自然语言处理(二)--NLTK调用Stanford_NLP_Tools完成NLP任务
- Python自然语言处理(二)--NLTK调用Stanford_NLP_Tools完成NLP任务
- 【Python&NLP】Python入门、自然语言处理以及nltk的安装
- Python 使用nltk对数据进行自然语言处理(nlp)
- Python+NLTK自然语言处理学习(一…
- NLP-python自然语言工具之nltk
- Python自然语言处理(三) -- 利用NLTK进行聚类
- 利用NLTK在Python下进行自然语言处理
- Python nltk自然语言处理基本资料
- 自然语言处理-nltk学习(一)
- Python自然语言处理(NLP)入门教程(NLTK库的安装和使用)
- Python自然语言处理-自然语言工具包(NLTK)
- 黄聪:Python+NLTK自然语言处理学习(一):
- Python+NLTK自然语言处理学习(一):环境搭建
- 我的第一个Servlet
- Maven 的Could not calculate build plan错误解决方法(不一定适用,看原因)
- Android软键盘状态弹出与消失
- 第十天作业2
- 乌邦图中安装和配置vsftp
- Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
- 二进制转BCD码
- (效率解读)Spring Framework 六大模块简介
- android ui调试工具
- 如何使用 D3 在地图上实现实时画圈的效果
- spark on yarn部署
- GCC选项 –I,-l,-L
- C++11新特性
- [目标检测]windows下实现c++版faster-rcnn