《python自然语言处理》笔记---chap3加工原料文本
来源:互联网 发布:域名注册要多少钱 编辑:程序博客网 时间:2024/03/29 06:38
chap3中关于,NLP中的关键概念,包括分词和词干提取。字符串、文件、正则表达式、去除HTML标签
以下所有程序,默认导入包
import nltk,re,pprint #即,nltk包,正则表达式re包,输出pprint包
3.1 从网络和硬盘访问文本
电子书
http://www.gutenberg.org/files/2554/2554.txt,古腾堡项目编号2554的文本:《罪与罚》的英文翻译
#coding:utf-8import nltkfrom urllib import urlopenurl = "http://www.gutenberg.org/files/2554/2554.txt"raw=urlopen(url).read()print type(raw) #文本的类型print len(raw) #文本长度print raw[:75] #文本前75个字符,不要直接打印出raw,太长了#使用代理访问:#proxies={'http':'http://www.someproxy.com:3128'}#raw=urlopen(url,proxies=proxies).read()
分词:将字符串分解为词和标点符号;经过分词,产生一个词汇和标点符号的链表
tokens=nltk.word_tokenize(raw)print type(tokens)print len(tokens)print tokens[:10]#从链表创建一个NLTK文本,对其进行操作text=nltk.Text(tokens)print type(text)print text[:10] #text似乎同tokens没什么区别?#print text.collocations()
古腾堡项目的每个文本:包含一个首部,涵盖了文本的名称、作者、扫描和校对文本的人的名字、许可证等信息。手工检查文件以发现标记内容开始和结尾的独特的字
符串。
print raw.find("PART I")print raw.rfind("End of Project Gutenberg's Crime") #逆向查找#重新复制,将从"PART I"到"End of Project Gutenberg's Crime"部分截下来,赋给rawraw=raw[raw.find("PART I"):raw.rfind("End of Project Gutenberg's Crime")]
处理的HTML
HTML全部内容包括:meta元标签、图像标签、map标签、JavaScript、表单和表格。
提取文本:clean_html()将HTML字符串作为参数,返回原始文本,然后对原始文本进行分词,活得熟悉的文本结构
#coding:utf-8import nltkfrom urllib import urlopenurl = "http://news.bbc.co.uk/2/hi/health/2284783.stm"html = urlopen(url).read()print html[:60]#'<!doctype html public "-//W3C//DTD HTML 4.0 Transitional//EN'#html=html[:60]raw = nltk.clean_html(html)tokens = nltk.word_tokenize(raw)tokens=tokens[96:399]text=nltk.Text(tokens)print text.concodance('gene')'''使用clean_html()函数出错:raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")NotImplementedError: To remove HTML markup, use BeautifulSoup's get_text() function根据官方网站:介绍http://www.nltk.org/_modules/nltk/util.htmldef clean_html(html): raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")[docs]def clean_url(url): raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")网站:http://stackoverflow.com/questions/10524387/beautifulsoup-get-text-does-not-strip-all-tags-and-javascript介绍:以后的版本,似乎不支持clean_html()和clean_url()这两个函数Support for clean_html and clean_url will be dropped for future versions of nltk. Please use BeautifulSoup for now...it's very unfortunate.'''
通过尝试,找到内容索引的开始和结尾,并选择你感兴趣的标识符,初始化一个文本。
更多更复杂的有关处理HTML 的内容,可以使用http://www.crummy.com/software/BeautifulSoup/上的Beautiful Soup 软件包。
处理搜索引擎的结果
搜索引擎的主要优势是规模
读取本地文件
open()函数:f=open(r'D:\test.txt') #注意格式,文件路径前面用个r,或者对文件路径里面的符号进行转义raw=f.read()#按行读出for line in f: print line.strip()#去掉换行符#nltk语料库中的文件,使用nltk.data.find()函数path = nltk.data.find('corpora/gutenberg/melville-moby_dick.txt')raw = open(path, 'rU').read()
从 PDF、MS Word 及其他二进制格式中提取文本
打开PDF和MSWord,用第三方函数库如pypdf和pywin32,
捕获用户输入
输入函数:raw_input("")
输出函数:print
NLP 的流程
处理流程:打开一个URL,读里面HTML 格式的内容,去除标记,并选择字符的切
片,然后分词,是否转换为nltk.Text 对象是可选择的。我们也可以将所有词汇小写并提取词汇表。
一个对象的类型决定了它可以执行哪些操作,如可以追加元素到一个链表,但是不能追加元素到一个字符串
可以用加号,连接字符串与字符串,但是不能连接字符串与链表
3.2 字符串:最底层的文本处理
字符串的基本操作
1.字符串中包含单引号,需要用"\"转义
2.可用单引号,双引号,三重引号来指定字符串,其中的区别,见博客
3.字符串跨好几行,a:使用反斜杠"\",解释器就知道第一行的表达式不完整;b:使用括号,将两个字符串括起来,中间换行即可,不用加逗号
4.对字符串操作,“+”加法:连接字符串;“*”乘法:多倍连接字符串;不能使用减法和除法
>>> a='first'\ 'second'#使用反斜杠跨行>>> a'firstsecond''very' + 'very' + 'very''very' * 3
输出字符串
print '逗号隔开','能够连着一行输出去'“,”告诉python不要再行尾输出换行符
访问单个字符
1.从0开始,长度为1的字符串,用索引符号[]调用,
2.超出索引范围,出错
3.字符串的负数索引,-1为最后一个字符的索引,-2,-3,...对应着过去,
4.计数单个字符。将所有字符小写,忽略掉大小写,并过滤掉非字母字符
import nltkfrom nltk.corpus import gutenbergraw=gutenberg.raw('melville-moby_dick.txt')fdist=nltk.FreqDist(ch.lower() for ch in raw if ch.isalpha())print fdist.keys()#出现频率最高排在最先的顺序显示出英文字母print fdist.values()#fdist如同key-value一般,调用keys和values方法,能够显示对应的字符情况fdist.plot()#可视化输出'''运行结果:[u'e', u't', u'a', u'o', u'n', u'i', u's', u'h', u'r', u'l', u'd', u'u', u'm', u'c', u'w', u'f', u'g', u'p', u'b', u'y', u'v', u'k', u'q', u'j', u'x', u'z'][117092, 87996, 77916, 69326, 65617, 65434, 64231, 62896, 52134, 42793, 38219, 26697, 23277, 22507, 22222, 20833, 20820, 17255, 16877, 16872, 8598, 8059, 1556, 1082, 1030, 632]图略'''
访问子字符串
1.使用切片,开始于第一个索引,结束于最后一个索引的前一个。注意,最后索引的前一个
2.负数索引切片,-1为最后一个,-2,-3...推算过去
3.省略:第一个值,即从字符串开头开始;第二个值,切到字符结尾结束;
4.in操作符:测试一个字符串是否包含一个特定的子字符串
5.find()函数操作:子字符串在字符串内的位置;从开头到找到的第一个位置.(若是第二个怎么算?)
6.rfind()函数,从末尾开始查找,同findd().只是开始位置相反而已。
monty='Monty Python'monty[6:10]monty[-12:-7]phrase = 'And now for something completely different'if 'thing' in phrase: print '''find "thing"'''
更多的字符串操作
help(str)可以找到所有的有关函数
链表与字符串的差异
1.字符串和链表之间不能连接
2.我们使用一个for 循环来处理读入文件(对应的文件内容对应一个字符串),所有我们可以挑选出的只是单个的字符——我们不选择粒度;链表中的元素可以很大也可以很小,它们可能是段落、句子、短语、单词、字符。链表的优势在于我们可以灵活的决定它包含的元素,相应的后续的处理也变得灵活
3.我们在一段NLP 代码中可能做的第一件事情就是将一个字符串分词放入一个字符;当我们要将结果写入到一个文件或终端,我们通常会将它们格式化为一个字符串
4.字符串是不可改变的:一旦你创建了一个字符串,就不能改变它。链表是可变的,内容可以随时修改
3.3 使用 Unicode 进行文字处理
什么是 Unicode?
编码点:每个字符分配一个编号;python中编码点写作\uXXXX 的形式,其中XXXX 是四位十六进制形式数。
字节流:
解码:将文本翻译成Unicode——翻译成Unicode
编码:将Unicode 转化为其它编码的过程
Unicode的角度看字符:,字符是可以实现一个或多个字形的抽象的实体。只有字形可以出现在屏幕上或被打印在纸上。一个字体是一个字符到字形映射。
Unicode 的解码和编码
从文件中提取已编码文本
nltk.data.find()函数:定位文件
import nltkpath = nltk.data.find('corpora/unicode_samples/polish-lat2.txt')
codecs模块:提供了将编码数据读入为Unicode 字符串和将Unicode 字符串以编码形式写出的函数。
codecs.open()函数:encoding 参数来指定被读取或写入的文件的编码。
unicode_escape编码:Python的一个虚拟的编码;把所有非ASCII 字符转换成它们的\uXXXX 形式。
path = nltk.data.find('corpora/unicode_samples/polish-lat2.txt')f=codecs.open(path,encoding='latin2')#print f#似乎调用出错,还是说没有将f读出来以Unicode返回#f2=codecs.open(path,'w',encoding='utf-8')#print f2#文件对象f 读出的文本将以Unicode 返回for line in f.readlines(): line=line.strip() print line.encode('unicode_escape')
Unicode 字符串常量:在字符串常量前面加一个u,
ord()函数:查找一个字符的整数序列。如ord('a')
>>> a=u'\u0062'#对其进行转义>>> au'b'>>> print ab
print 语句:假设Unicode 字符的默认编码是ASCII 码。
repr()函数:转化的字符串,输出utf-8转义序列(以\xXX的形式)
nacute = u'\u0144'nacute_utf = nacute.encode('utf8')print nacuteprint repr(nacute_utf)
unicodedata模块:检查Unicode 字符的属性。
在 Python中使用本地编码
pass
3.4 使用正则表达式检测词组搭配
使用基本的元字符
美元符号$:用来匹配单词的末尾;
乘方符号^:用来匹配单词的开始;
符号“?”:表示前面的一个字符可选;
通配符“.”:匹配任何单个字符。«^e-?mail $»将匹配email 和e-mail
例1:查找以ed结尾的词汇,《ed$》
例2:假设我们有一个8 个字母组成的词的字谜室,j 是其第三个字母,t 是其第六个字母。
例3:计数一个文本中出现email 或e-mail的次数,
import re,nltkwordlist = [w for w in nltk.corpus.words.words('en') if w.islower()]print [w for w in wordlist if re.search('ed$',w)]print [w for w in wordlist if re.search('^..j..t..$',w)]print sum(1 for w in text if re.search('^e-? mail$',w))#用IDLE运行有点慢,直接用命令窗口的话,更快。。。
范围与闭包
手机输入法联想提示:例如,hole 和golf 都是通过输入序列4653。
T9:9 个键上的文字
闭包:+、*
“+”:前面的项目的一个或多个实例
“*”:前面的项目的零个或多个实例
“^”:出现在方括号内的第一个字符位置查找非元音字母组成的词汇:«^[^aeiouAEIOU]+$»
例1:按键4653,产生哪些相同的序列单词?
[w for w in wordlist if re.search('^[ghi][mno][jlk][def]$',w)]#以g或者h或者i开头,以d或者e或者f结尾的,并且第二个字符是m,n,o中的一个,第三个字符是j,l,k中的一个
例2:“+”符号的使用
chat_words = sorted(set(w for w in nltk.corpus.nps_chat.words()))print [w for w in chat_words if re.search('^m+i+n+e+$', w)]#1个或者多个m,i,n,e,并且以m开头,e结尾print [w for w in chat_words if re.search('^[ha]+$', w)]#以ha开头,并且有1一个或者多个ha,'''[u'miiiiiiiiiiiiinnnnnnnnnnneeeeeeeeee', u'miiiiiinnnnnnnnnneeeeeeee', u'mine', u'mmmmmmmmiiiiiiiiinnnnnnnnneeeeeeee'][u'a', u'aaaaaaaaaaaaaaaaa', u'aaahhhh', u'ah', u'ahah', u'ahahah', u'ahh', u'ahhahahaha', u'ahhh', u'ahhhh', u'ahhhhhh', u'ahhhhhhhhhhhhhh', u'h', u'ha', u'haaa', u'hah', u'haha', u'hahaaa', u'hahah', u'hahaha', u'hahahaa', u'hahahah', u'hahahaha', u'hahahahaaa', u'hahahahahaha', u'hahahahahahaha', u'hahahahahahahahahahahahahahahaha', u'hahahhahah', u'hahhahahaha']'''wsj = sorted(set(nltk.corpus.treebank.words()))print [w for w in wsj if re.search('^[0-9]+\.[0-9]+$',w)]#任何带小数点的符号数print [w for w in wsj if re.search('^[A-Z]+\$$',w)]#以$结尾,前面有1个或者多个大写字母print [w for w in wsj if re.search('^[0-9]{4}$',w)]#XXXX年print [w for w in wsj if re.search('^[0-9]+-[a-z]{3,5}$',w)]#['10-day', '10-lap', '10-year', '100-share', '12-point', '12-year', ...]print [w for w in wsj if re.search('^[a-z]{5,}-[a-z]{2,3}-[a-z]{,6}$',w)]#['black-and-white', 'bread-and-butter', 'father-in-law', 'machine-gun-toting','savings-and-loan']print [w for w in wsj if re.search('(ed|ing)$',w)]#以ed或者ing结尾的单词或者符号
“\.”:匹配一个句号。
大括号表达:如{3,5},表示前面的项目重复指定次数。
管道字符:从其左边的内容和右边的内容中选择一个。
圆括号:表示一个操作符的范围,它们可以与管道(或叫析取)符号一起使用,如:«w(i|e|ai|oo)t»,匹配wit、wet、wait 和woot。
表:正则表达式基本元字符,其中包括通配符,范围和闭包
操作符
行为
·
通配符,匹配所有字符
^abc
匹配以abc 开始的字符串
abc$
匹配以abc 结尾的字符串
[abc]
匹配字符集合中的一个
[A-Z0-9]
匹配字符一个范围
ed|ing|s
匹配指定的一个字符串(析取)
*
前面的项目零个或多个,如a*, [a-z]* (也叫Kleene 闭包)
+
前面的项目1 个或多个,如a+, [a-z]+
?
前面的项目零个或1 个(即:可选)如:a?, [a-z]?
{n}
重复n 次,n 为非负整数
{n,}
至少重复n 次
{,n}
重复不多于n 次
{m,n}
至少重复m 次不多于n 次
a(b|c)+
括号表示操作符的范围
原始字符串:前缀"r";例如:原始字符串r'\band\b'包含两个“\b”符号会被re 库解释为匹配词的边界而不是解释为退格字符。
3.5 正则表达式的有益应用
提取字符块
- 《python自然语言处理》笔记---chap3加工原料文本
- 《用Python进行自然语言处理》代码笔记(三):第三章 加工原料文本
- 第3章 加工原料文本
- 3.NLTK之加工原料文本
- 《python自然语言处理》笔记
- Python自然语言处理--处理原始文本
- Python自然语言处理 3 处理原始文本
- 第三章 原料加工
- python自然语言处理02--搜索文本
- python自然语言处理-----计算文本相似度
- Python自然语言处理 6 学习分类文本
- 《python自然语言处理》笔记---chap2 获得文本语料和词汇资源
- 《python自然语言处理》笔记---chap2 获得文本语料和词汇资源(续)
- 《用Python进行自然语言处理》代码笔记(五):第七章:从文本提取信息
- NLTK04《Python自然语言处理》code03 处理原始文本
- 【python】python自然语言处理-----计算中文文本相似度
- 《Python基础教程》学习笔记 Chap3 使用字符串
- python自然语言处理学习笔记第一章
- SharePoint 2013 App Development读书笔记5
- 如何以Java实现网页截图技术
- SQL Server创建索引
- 恢复手机删除的照片怎么做到
- android告别篇-对于源码我的一些看法
- 《python自然语言处理》笔记---chap3加工原料文本
- IE浏览器JSON不兼容问题及浏览器版本问题解决
- Spring Security 3.x 完整入门教程
- Nginx常用的 URL 重写方法
- 【Alarm】Android中alarm的使用
- javagames Java实现网页截图技术 博客 收藏 如何实现 java
- 修改Ubuntu12.04和Windows双系统默认启动系统
- Cocos2dx tolua ++ 创建项目
- mapreduce程序中读取文件过程详解