《python自然语言处理》笔记---chap3加工原料文本

来源:互联网 发布:域名注册要多少钱 编辑:程序博客网 时间:2024/03/29 06:38

chap3中关于,NLP中的关键概念,包括分词和词干提取。字符串、文件、正则表达式、去除HTML标签

以下所有程序,默认导入包

import nltk,re,pprint     #即,nltk包,正则表达式re包,输出pprint包

3.1 从网络和硬盘访问文本
电子书

http://www.gutenberg.org/files/2554/2554.txt,古腾堡项目编号2554的文本:《罪与罚》的英文翻译

#coding:utf-8import nltkfrom urllib import urlopenurl = "http://www.gutenberg.org/files/2554/2554.txt"raw=urlopen(url).read()print type(raw) #文本的类型print len(raw)  #文本长度print raw[:75]  #文本前75个字符,不要直接打印出raw,太长了#使用代理访问:#proxies={'http':'http://www.someproxy.com:3128'}#raw=urlopen(url,proxies=proxies).read()

分词:将字符串分解为词和标点符号;经过分词,产生一个词汇和标点符号的链表

tokens=nltk.word_tokenize(raw)print type(tokens)print len(tokens)print tokens[:10]#从链表创建一个NLTK文本,对其进行操作text=nltk.Text(tokens)print type(text)print text[:10]     #text似乎同tokens没什么区别?#print text.collocations()

古腾堡项目的每个文本:包含一个首部,涵盖了文本的名称、作者、扫描和校对文本的人的名字、许可证等信息。手工检查文件以发现标记内容开始和结尾的独特的字
符串。

print raw.find("PART I")print raw.rfind("End of Project Gutenberg's Crime")   #逆向查找#重新复制,将从"PART I"到"End of Project Gutenberg's Crime"部分截下来,赋给rawraw=raw[raw.find("PART I"):raw.rfind("End of Project Gutenberg's Crime")]

处理的HTML

HTML全部内容包括:meta元标签、图像标签、map标签、JavaScript、表单和表格。
提取文本:clean_html()将HTML字符串作为参数,返回原始文本,然后对原始文本进行分词,活得熟悉的文本结构

#coding:utf-8import nltkfrom urllib import urlopenurl = "http://news.bbc.co.uk/2/hi/health/2284783.stm"html = urlopen(url).read()print html[:60]#'<!doctype html public "-//W3C//DTD HTML 4.0 Transitional//EN'#html=html[:60]raw = nltk.clean_html(html)tokens = nltk.word_tokenize(raw)tokens=tokens[96:399]text=nltk.Text(tokens)print text.concodance('gene')'''使用clean_html()函数出错:raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")NotImplementedError: To remove HTML markup, use BeautifulSoup's get_text() function根据官方网站:介绍http://www.nltk.org/_modules/nltk/util.htmldef clean_html(html):    raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")[docs]def clean_url(url):    raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")网站:http://stackoverflow.com/questions/10524387/beautifulsoup-get-text-does-not-strip-all-tags-and-javascript介绍:以后的版本,似乎不支持clean_html()和clean_url()这两个函数Support for clean_html and clean_url will be dropped for future versions of nltk. Please use BeautifulSoup for now...it's very unfortunate.'''

通过尝试,找到内容索引的开始和结尾,并选择你感兴趣的标识符,初始化一个文本。
更多更复杂的有关处理HTML 的内容,可以使用http://www.crummy.com/software/BeautifulSoup/上的Beautiful Soup 软件包。
处理搜索引擎的结果

搜索引擎的主要优势是规模


读取本地文件

open()函数:f=open(r'D:\test.txt') #注意格式,文件路径前面用个r,或者对文件路径里面的符号进行转义raw=f.read()#按行读出for line in f: print line.strip()#去掉换行符#nltk语料库中的文件,使用nltk.data.find()函数path = nltk.data.find('corpora/gutenberg/melville-moby_dick.txt')raw = open(path, 'rU').read()

从 PDF、MS Word 及其他二进制格式中提取文本

打开PDF和MSWord,用第三方函数库如pypdf和pywin32,

捕获用户输入

输入函数:raw_input("")
输出函数:print

NLP 的流程

处理流程:打开一个URL,读里面HTML 格式的内容,去除标记,并选择字符的切
片,然后分词,是否转换为nltk.Text 对象是可选择的。我们也可以将所有词汇小写并提取词汇表。

 一个对象的类型决定了它可以执行哪些操作,如可以追加元素到一个链表,但是不能追加元素到一个字符串

可以用加号,连接字符串与字符串,但是不能连接字符串与链表

3.2 字符串:最底层的文本处理

字符串的基本操作

 1.字符串中包含单引号,需要用"\"转义
2.可用单引号,双引号,三重引号来指定字符串,其中的区别,见博客
3.字符串跨好几行,a:使用反斜杠"\",解释器就知道第一行的表达式不完整;b:使用括号,将两个字符串括起来,中间换行即可,不用加逗号
4.对字符串操作,“+”加法:连接字符串;“*”乘法:多倍连接字符串;不能使用减法和除法

>>> a='first'\   'second'#使用反斜杠跨行>>> a'firstsecond''very' + 'very' + 'very''very' * 3

输出字符串

print '逗号隔开','能够连着一行输出去'“,”告诉python不要再行尾输出换行符

访问单个字符

1.从0开始,长度为1的字符串,用索引符号[]调用,
2.超出索引范围,出错
3.字符串的负数索引,-1为最后一个字符的索引,-2,-3,...对应着过去,
4.计数单个字符。将所有字符小写,忽略掉大小写,并过滤掉非字母字符

import nltkfrom nltk.corpus import gutenbergraw=gutenberg.raw('melville-moby_dick.txt')fdist=nltk.FreqDist(ch.lower() for ch in raw if ch.isalpha())print fdist.keys()#出现频率最高排在最先的顺序显示出英文字母print fdist.values()#fdist如同key-value一般,调用keys和values方法,能够显示对应的字符情况fdist.plot()#可视化输出'''运行结果:[u'e', u't', u'a', u'o', u'n', u'i', u's', u'h', u'r', u'l', u'd', u'u', u'm', u'c', u'w', u'f', u'g', u'p', u'b', u'y', u'v', u'k', u'q', u'j', u'x', u'z'][117092, 87996, 77916, 69326, 65617, 65434, 64231, 62896, 52134, 42793, 38219, 26697, 23277, 22507, 22222, 20833, 20820, 17255, 16877, 16872, 8598, 8059, 1556, 1082, 1030, 632]图略'''

访问子字符串

1.使用切片,开始于第一个索引,结束于最后一个索引的前一个。注意,最后索引的前一个
2.负数索引切片,-1为最后一个,-2,-3...推算过去
3.省略:第一个值,即从字符串开头开始;第二个值,切到字符结尾结束;
4.in操作符:测试一个字符串是否包含一个特定的子字符串
5.find()函数操作:子字符串在字符串内的位置;从开头到找到的第一个位置.(若是第二个怎么算?)
6.rfind()函数,从末尾开始查找,同findd().只是开始位置相反而已。

monty='Monty Python'monty[6:10]monty[-12:-7]phrase = 'And now for something completely different'if 'thing' in phrase:    print '''find "thing"'''

更多的字符串操作

 help(str)可以找到所有的有关函数

 方法功能s.find(t)字符串s 中包含t 的第一个索引(没找到返回-1)s.rfind(t)字符串s 中包含t 的最后一个索引(没找到返回-1)s.index(t)与s.find(t)功能类似,但没找到时引起ValueErrors.rindex(t)与s.rfind(t)功能类似,但没找到时引起ValueErrors.join(text)连接字符串s 与text 中的词汇s.split(t)在所有找到t 的位置将s 分割成链表(默认为空白符)s.splitlines()将s 按行分割成字符串链表s.lower()将字符串s 小写s.upper()将字符串s 大写s.titlecase()将字符串s 首字母大写s.strip()返回一个没有首尾空白字符的s 的拷贝s.replace(t, u)用u 替换s 中的t

链表与字符串的差异

1.字符串和链表之间不能连接
2.我们使用一个for 循环来处理读入文件(对应的文件内容对应一个字符串),所有我们可以挑选出的只是单个的字符——我们不选择粒度;链表中的元素可以很大也可以很小,它们可能是段落、句子、短语、单词、字符。链表的优势在于我们可以灵活的决定它包含的元素,相应的后续的处理也变得灵活
3.我们在一段NLP 代码中可能做的第一件事情就是将一个字符串分词放入一个字符;当我们要将结果写入到一个文件或终端,我们通常会将它们格式化为一个字符串
4.字符串是不可改变的:一旦你创建了一个字符串,就不能改变它。链表是可变的,内容可以随时修改

 3.3 使用 Unicode 进行文字处理

什么是 Unicode?

编码点:每个字符分配一个编号;python中编码点写作\uXXXX 的形式,其中XXXX 是四位十六进制形式数。
字节流:
解码:将文本翻译成Unicode——翻译成Unicode
编码:将Unicode 转化为其它编码的过程
Unicode的角度看字符:,字符是可以实现一个或多个字形的抽象的实体。只有字形可以出现在屏幕上或被打印在纸上。一个字体是一个字符到字形映射。

Unicode 的解码和编码

从文件中提取已编码文本

nltk.data.find()函数:定位文件

import nltkpath = nltk.data.find('corpora/unicode_samples/polish-lat2.txt')

codecs模块:提供了将编码数据读入为Unicode 字符串和将Unicode 字符串以编码形式写出的函数。
codecs.open()函数:encoding 参数来指定被读取或写入的文件的编码。
unicode_escape编码:Python的一个虚拟的编码;把所有非ASCII 字符转换成它们的\uXXXX 形式。

path = nltk.data.find('corpora/unicode_samples/polish-lat2.txt')f=codecs.open(path,encoding='latin2')#print f#似乎调用出错,还是说没有将f读出来以Unicode返回#f2=codecs.open(path,'w',encoding='utf-8')#print f2#文件对象f 读出的文本将以Unicode 返回for line in f.readlines():    line=line.strip()    print line.encode('unicode_escape')

Unicode 字符串常量:在字符串常量前面加一个u,
ord()函数:查找一个字符的整数序列。如ord('a')

>>> a=u'\u0062'#对其进行转义>>> au'b'>>> print ab

print 语句:假设Unicode 字符的默认编码是ASCII 码。
repr()函数:转化的字符串,输出utf-8转义序列(以\xXX的形式)

nacute = u'\u0144'nacute_utf = nacute.encode('utf8')print nacuteprint repr(nacute_utf)

unicodedata模块:检查Unicode 字符的属性。

在 Python中使用本地编码

pass

3.4  使用正则表达式检测词组搭配

使用基本的元字符

美元符号$:用来匹配单词的末尾;
乘方符号^:用来匹配单词的开始;
符号“?”:表示前面的一个字符可选;
通配符“.”:匹配任何单个字符。

«^e-?mail $»将匹配email 和e-mail
例1:查找以ed结尾的词汇,《ed$》
例2:假设我们有一个8 个字母组成的词的字谜室,j 是其第三个字母,t 是其第六个字母。
例3:计数一个文本中出现email 或e-mail的次数,

import re,nltkwordlist = [w for w in nltk.corpus.words.words('en') if w.islower()]print [w for w in wordlist if re.search('ed$',w)]print [w for w in wordlist if re.search('^..j..t..$',w)]print sum(1 for w in text if re.search('^e-? mail$',w))#用IDLE运行有点慢,直接用命令窗口的话,更快。。。

范围与闭包

手机输入法联想提示:例如,hole 和golf 都是通过输入序列4653。

T9:9 个键上的文字

闭包:+、*
“+”:前面的项目的一个或多个实例
“*”:前面的项目的零个或多个实例
“^”:出现在方括号内的第一个字符位置

查找非元音字母组成的词汇:«^[^aeiouAEIOU]+$»
例1:按键4653,产生哪些相同的序列单词?

[w for w in wordlist if re.search('^[ghi][mno][jlk][def]$',w)]#以g或者h或者i开头,以d或者e或者f结尾的,并且第二个字符是m,n,o中的一个,第三个字符是j,l,k中的一个

例2:“+”符号的使用

chat_words = sorted(set(w for w in nltk.corpus.nps_chat.words()))print [w for w in chat_words if re.search('^m+i+n+e+$', w)]#1个或者多个m,i,n,e,并且以m开头,e结尾print [w for w in chat_words if re.search('^[ha]+$', w)]#以ha开头,并且有1一个或者多个ha,'''[u'miiiiiiiiiiiiinnnnnnnnnnneeeeeeeeee', u'miiiiiinnnnnnnnnneeeeeeee', u'mine', u'mmmmmmmmiiiiiiiiinnnnnnnnneeeeeeee'][u'a', u'aaaaaaaaaaaaaaaaa', u'aaahhhh', u'ah', u'ahah', u'ahahah', u'ahh', u'ahhahahaha', u'ahhh', u'ahhhh', u'ahhhhhh', u'ahhhhhhhhhhhhhh', u'h', u'ha', u'haaa', u'hah', u'haha', u'hahaaa', u'hahah', u'hahaha', u'hahahaa', u'hahahah', u'hahahaha', u'hahahahaaa', u'hahahahahaha', u'hahahahahahaha', u'hahahahahahahahahahahahahahahaha', u'hahahhahah', u'hahhahahaha']'''wsj = sorted(set(nltk.corpus.treebank.words()))print [w for w in wsj if re.search('^[0-9]+\.[0-9]+$',w)]#任何带小数点的符号数print [w for w in wsj if re.search('^[A-Z]+\$$',w)]#以$结尾,前面有1个或者多个大写字母print [w for w in wsj if re.search('^[0-9]{4}$',w)]#XXXX年print [w for w in wsj if re.search('^[0-9]+-[a-z]{3,5}$',w)]#['10-day', '10-lap', '10-year', '100-share', '12-point', '12-year', ...]print [w for w in wsj if re.search('^[a-z]{5,}-[a-z]{2,3}-[a-z]{,6}$',w)]#['black-and-white', 'bread-and-butter', 'father-in-law', 'machine-gun-toting','savings-and-loan']print [w for w in wsj if re.search('(ed|ing)$',w)]#以ed或者ing结尾的单词或者符号

“\.”:匹配一个句号。
大括号表达:如{3,5},表示前面的项目重复指定次数。
管道字符:从其左边的内容和右边的内容中选择一个。
圆括号:表示一个操作符的范围,它们可以与管道(或叫析取)符号一起使用,如:«w(i|e|ai|oo)t»,匹配wit、wet、wait 和woot。

表:正则表达式基本元字符,其中包括通配符,范围和闭包

操作符

行为

·

通配符,匹配所有字符

^abc

匹配以abc 开始的字符串

abc$

匹配以abc 结尾的字符串

[abc]

匹配字符集合中的一个

[A-Z0-9]

匹配字符一个范围

ed|ing|s

匹配指定的一个字符串(析取)

*

前面的项目零个或多个,如a*, [a-z]* (也叫Kleene 闭包)

+

前面的项目1 个或多个,如a+, [a-z]+

?

前面的项目零个或1 个(即:可选)如:a?, [a-z]?

{n}

重复n 次,n 为非负整数

{n,}

至少重复n 次

{,n}

重复不多于n 次

{m,n}

至少重复m 次不多于n 次

a(b|c)+

括号表示操作符的范围

原始字符串:前缀"r";例如:原始字符串r'\band\b'包含两个“\b”符号会被re 库解释为匹配词的边界而不是解释为退格字符。

3.5 正则表达式的有益应用
提取字符块

 

 

 

 

 

1 1
原创粉丝点击