nltk在python中的安装,以及nltk的data库

来源:互联网 发布:怎么联系淘宝直播达人 编辑:程序博客网 时间:2024/06/07 06:12

最近开始学习Python+NLTK自然语言处理,在此分享自己的学习经验,因为是初学,肯定有很多很多不懂的地方,发布此文章绝非为了显示自己的水平,而是因为网络上对NLTK的资料实在太少了,我就想分享一下自己的心得,也希望能够得到更多高手的指点,希望高手们发现不对的地方耐心指点,切勿针锋相对,这样会打击小弟的学习动力的,呵呵~

好了,开始吧。

一、到NLTK的官网下载Python2.66(虽然Python已经到3.0了,但是2.x的比较稳定,兼容2.x的软件也比较多一些)、PyYAML和NLTK。

下载地址:http://www.nltk.org/download

二、讲这些都安装好,然后运行Python的IDE环境:

三、敲入下面的代码,进入NLTK数据源下载界面:

import nltknltk.download()

选择all,设置好下载路径(Download Directory),然后点击Download,系统就开始下载NLTK的数据包了,下载的时间比较漫长,大家要耐心等待。如果有个别数据包无法下载,你可以切换到All Packages标签页,双击指定的包来进行下载:

如果都不行的话,你还可以直接到 http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml 去下载数据包,只要将数据包复制到你的Download Directory目录下即可。

四、安装NLTK

form nltk.book import  *

键入以上代码可以得到图中的显示,就说明NLTK数据包都安装好了~

五、实践。使用NLTK进行字符串查询

text1.concordance('monstrous')

说明:

text1为NLTK数据包中的一段数据源,是一大串字符串。(原文在数据包下载目录下的gutenberg.zip中的melville-moby_dick.txt

text1.concordance('monstrous')这句话实现的是从这一大串字符串中找寻出包含monstrous这个单词的语句。

好了,这就是NLTK的一个简单的应用,自然语言的处理中查询是一个很重要的操作,希望大家能好好了解一下本篇文章,还是那句话,我也是初学,肯定有说得不好的地方,希望大家多多指点,但千万不要恶语相对,谢谢。如果喜欢本文,请在后面留个言哈~

回家前,把python自然语言处理的nltk_data打包到360云盘,然后共享给朋友们,省的大家像我一样浪费时间。
一次性下载解压后即可使用。官方的nltk.download()老是下载失败。无数遍了。浪费了我很多很多时间。


打包下载(推荐):
http://yunpan.cn/cgGUPFzF3spir (提取码:504e)

 

下载后放在python/nltk_data目录下即可.

 

记录下错误提示,以便于朋友们搜索找到。
当时遇到的错误是:
nltk.download()
could not find maxent_treebank_pos_tagger / english .XXX
searched index:
C:\\Python27\\nltk_data\
C:\\nltk_data
D:\\nltk_data
E:\\nltk_data

然后我通过,nltk.download()下载,一直出现错误,只好到
官方下载http://nltk.org/nltk_data/
另外,也可以到nltk.code.google.com 下载,


但是又遇到了下载后,直接放在nltk_data目录,却发现还是不行,程序找不到数据集。
因此我就用nltk.download()试着下载了一个,观察他的文件位置,这才发现原来有好几个文档目录。
用tree命令的到其目录结构如下:
文件夹 PATH 列表
卷序列号为 00000200 B2F8:ED9D

├─chunkers #这一级为nltk_data下的文件夹
│ └─maxent_ne_chunker #这一级为相对应文件夹下的数据文件
├─corpora      #这一级为nltk_data下的文件夹
│ ├─abc        #这一级为相对应文件夹下的数据文件
│ ├─alpino
│ ├─basque_grammars
│ ├─biocreative_ppi
│ ├─book_grammars
│ ├─brown
│ ├─brown_tei
│ ├─cess_cat
│ ├─cess_esp
│ ├─chat80
│ ├─city_database
│ ├─cmudict
│ ├─comtrans
│ ├─conll2000
│ ├─conll2002
│ ├─conll2007
│ ├─dependency_treebank
│ ├─europarl_raw
│ │ 
│ ├─floresta
│ ├─gazetteers
│ ├─genesis
│ ├─gutenberg
│ ├─hmm_treebank_pos_tagger
│ ├─ieer
│ ├─inaugural
│ ├─indian
│ ├─jeita
│ ├─kimmo
│ ├─knbc
│ │ 
│ ├─langid
│ ├─large_grammars
│ ├─machado
│ │ 
│ ├─mac_morpho
│ ├─maxent_ne_chunker
│ ├─maxent_treebank_pos_tagger
│ ├─movie_reviews
│ │ 
│ ├─names
│ ├─nombank.1.0
│ │ 
│ ├─nps_chat
│ ├─oanc_masc
│ │ 
│ ├─paradigms
│ ├─pe08
│ ├─pil
│ ├─pl196x
│ ├─ppattach
│ ├─problem_reports
│ ├─propbank
│ │ 
│ ├─ptb
│ ├─punkt
│ ├─qc
│ ├─reuters
│ │ 
│ ├─rslp
│ ├─rte
│ ├─sample_grammars
│ ├─semcor
│ │ 
│ ├─senseval
│ ├─shakespeare
│ ├─sinica_treebank
│ ├─smultron
│ ├─spanish_grammars
│ ├─state_union
│ ├─stopwords
│ ├─swadesh
│ ├─switchboard
│ ├─tagsets
│ ├─timit
│ │
│ ├─toolbox
│ │ 
│ ├─treebank
│ │ 
│ ├─udhr
│ ├─udhr2
│ ├─unicode_samples
│ ├─verbnet
│ ├─webtext
│ ├─wordnet
│ ├─wordnet_ic
│ ├─words
│ └─ycoe
├─grammars
│ ├─basque_grammars
│ ├─book_grammars
│ ├─large_grammars
│ ├─sample_grammars
│ └─spanish_grammars
├─help
│ └─tagsets
├─stemmers
│ └─rslp
├─taggers
│ ├─hmm_treebank_pos_tagger
│ ├─maxent_ne_chunker
│ └─maxent_treebank_pos_tagger
└─tokenizers
└─punkt

 

 

作者: fandyst 
出处: http://www.cnblogs.com/todototry/ 
关注语言: python、javascript(node.js)、objective-C、java、R、C++ 
兴趣点: 互联网、大数据技术、大数据IO瓶颈、col-oriented DB、Key-Value DB、数据挖掘、模式识别、deep learning、开发与成本管理 
产品: 猪哥网,猪场管理软件,畜牧行业 
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。


0 0
原创粉丝点击