python3爬虫(一)

urllib

方式1:(推荐，因为有一个request实例)#!-*-coding:utf-8-*-import urllib.requestrequest = urllib.request.Request("http://www.baidu.com")response = urllib.request.urlopen(request)print(response.read())方式2:(不推荐)#!-*-coding:utf-8-*-import urllib.requestresponse = urllib.request.urlopen("http://www.baidu.com")print(response.read())实例：#!-*-coding:utf-8-*-import urllibimport urllib.requestdata = {}data['word'] = 'Jecvay Notes'url_values = urllib.parse.urlencode(data)url = "http://www.baidu.com/s?"full_url = url + url_valuesdata = urllib.request.urlopen(full_url).read()data = data.decode('UTF-8')print(data)

urlencode与urldecode

urllib库里面有个urlencode函数，可以把key-value这样的键值对转换成我们想要的格式，返回的是a=1&b=2这样的字符串

如果只想对一个字符串进行urlencode转换，怎么办？urllib提供另外一个函数：quote()

from urllib import quotequote('魔兽')

当urlencode之后的字符串传递过来之后，接受完毕就要解码了——urldecode。urllib提供了unquote()这个函数，可没有urldecode()！

POST 和GET数据

数据传送分为POST和GET两种方式，两种方式有什么区别呢？

最重要的区别是GET方式是直接以链接形式访问，链接中包含了所有的参数，当然如果包含了密码的话是一种不安全的选择，不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数，不过如果你想直接查看提交了什么就不太方便了，大家可以酌情选择。

POST 方法：# POST 实例1, 当提供data 参数时即为POST#!-*-coding:utf-8-*-import urllib.requestvalues = {"username": "youngbit007", "password": "beijingligong"}data = urllib.parse.urlencode(values)print(type(data))data = data.encode('UTF-8') # 转为字节型，否则post不成功url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"request = urllib.request.Request(url, data)response = urllib.request.urlopen(request)print(response.read())

# GET 实例1, 对比上文在request没有提供data参数，即为GET#!-*-coding:utf-8-*-import urllib.requestvalues = {"username": "youngbit007", "password": "XXX"}data = urllib.parse.urlencode(values)url = "http://passport.csdn.net/account/login"geturl = url + "?"+datarequest = urllib.request.Request(geturl)response = urllib.request.urlopen(request)print(response.read())

设置header

有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。 Chrome中F12 -> network中可以看到

另外header的一些属性需要额外注意一下:
其他的有必要的可以审查浏览器的headers内容，在构建时写入同样的数据即可

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用application/json ： 在 JSON RPC 调用时使用application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务

比如登录知乎就登不上去，登录知乎的代码可以参考: https://www.zhihu.com/question/29925879

代理设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！

import urllib.request  proxy_handler = urllib.request.ProxyHandler({'http':'123.123.2123.123:8080'})  proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()  proxy_auth_handler.add_password('realm', '123.123.2123.123', 'user', 'password')  opener = urllib.request.build_opener(urllib.request.HTTPHandler, proxy_handler)  f = opener.open('http://www.baidu.com')   a = f.read()  

使用DebugLog

urllib.error

URLError

#urllib.error#!-*-coding:utf-8-*-import urllib.requestimport urllib.errorurl = 'https://www.sa/'request = urllib.request.Request(url)try:    urllib.request.urlopen(request)except urllib.error.URLError as e:    print(e.reason)访问了一个不存在的网址[Errno 11004] getaddrinfo failed

HTTPError

HTTPError是URLError的子类，在你利用urlopen方法发出一个请求时，服务器上都会对应一个应答对象response，其中它包含一个数字”状态码”。举个例子，假如response是一个”重定向”，需定位到别的地址获取文档，urllib2将对此进行处理。

其他不能处理的，urlopen会产生一个HTTPError，对应相应的状态吗，HTTP状态码表示HTTP协议所返回的响应的状态。下面将状态码归结如下：

100：继续  客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。101： 转换协议  在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。102：继续处理   由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。200：请求成功      处理方式：获得响应的内容，进行处理201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到    处理方式：爬虫中不会遇到202：请求被接受，但处理尚未完成    处理方式：阻塞等待204：服务器端已经实现了请求，但是没有返回新的信 息。如果客户是用户代理，则无须为此更新自身的文档视图。    处理方式：丢弃300：该状态码不被HTTP/1.0的应用程序直接使用， 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。    处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源    处理方式：重定向到分配的URL302：请求到的资源在一个不同的URL处临时保存     处理方式：重定向到临时的URL304：请求的资源未更新     处理方式：丢弃400：非法请求     处理方式：丢弃401：未授权     处理方式：丢弃403：禁止     处理方式：丢弃404：没有找到     处理方式：丢弃500：服务器内部错误  服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。501：服务器无法识别  服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。502：错误网关  作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。503：服务出错   由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。

HTTPError实例产生后会有一个code属性，这就是是服务器发送的相关错误号。
因为urllib2可以为你处理重定向，也就是3开头的代号可以被处理，并且100-299范围的号码指示成功，所以你只能看到400-599的错误号码。

我们知道，HTTPError的父类是URLError，根据编程经验，父类的异常应当写到子类异常的后面，如果子类捕获不到，那么可以捕获父类的异常，所以上述的代码可以这么改写:

#!-*-coding:utf-8-*-import urllib.requestimport urllib.errorurl = 'https://www.focusapp.net/index/'request = urllib.request.Request(url)try:    urllib.request.urlopen(request)except urllib.error.HTTPError as e:    print(e.code)except urllib.error.URLError as e:    print(e.reason)else:    print("Okay")

Cookie

指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。

1.Opener

当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。在前面，我们都是使用的默认的opener，也就是urlopen。它是一个特殊的opener，可以理解成opener的一个特殊实例，传入的参数仅仅是url，data，timeout。

如果我们需要用到Cookie，只用这个opener是不能达到目的的，所以我们需要创建更一般的opener来实现对Cookie的设置。

2.Cookielib

cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib2模块配合使用来访问Internet资源。Cookielib模块非常强大，我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它们的关系：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar

Cookie: 核心类，基本可以理解为一条cookie数据
CookiePolicy, 主要功能是首发cookie，确保正确的cookie数据发往对应的域名，反之一样
DefaultCookiePolicy，CookiePolicy的接口

import urllib.requestimport http.cookiejar#声明一个CookieJar对象实例来保存cookiecookie = http.cookiejar.CookieJar()#利用urllib库的HTTPCookieProcessor对象来创建cookie处理器opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))#此处的open方法同urllib的urlopen方法，也可以传入requestresponse = opener.open('http://www.baidu.com')for item in cookie:    print('Name = '+item.name)    print('Value = '+item.valName = BAIDUIDValue = 97983E844819F3BB6739367A9A7BDC37:FG=1Name = BIDUPSIDValue = 97983E844819F3BB6739367A9A7BDC37Name = H_PS_PSSIDValue = 1441_21091_22035_20929Name = PSTMValue = 1489030409Name = BDSVRTMValue = 0Name = BD_HOMEValue = 0

2）保存Cookie到文件
在上面的方法中，我们将cookie保存到了cookie这个变量中，如果我们想将cookie保存到文件中该怎么做呢？这时，我们就要用到
FileCookieJar这个对象了，在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存。

import http.cookiejarimport urllib.request# 设置保存cookie的文件，同级目录下的cookie.txtfilename = 'C:/Users/ecaoyng/Downloads/cookie.txt'# 声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件cookie = http.cookiejar.MozillaCookieJar(filename)# 利用urllib库的HTTPCookieProcessor对象来创建cookie处理器handler = urllib.request.HTTPCookieProcessor(cookie)# 通过handler来构建openeropener = urllib.request.build_opener(handler)# 创建一个请求，原理同urllib的urlopenresponse = opener.open("http://www.baidu.com")# 保存cookie到文件cookie.save(ignore_discard=True, ignore_expires=True)#ignore_discard: save even cookies set to be discarded. #ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists

3）从文件中获取Cookie并访问

那么我们已经做到把Cookie保存到文件中了，如果以后想使用，可以利用下面的方法来读取cookie并访问网站，感受一下

import http.cookiejarimport urllib.request#创建MozillaCookieJar实例对象cookie = http.cookiejar.MozillaCookieJar()#从文件中读取cookie内容到变量cookie.load('C:/Users/ecaoyng/Downloads/cookie.txt', ignore_discard=True, ignore_expires=True)#创建请求的requestreq = urllib.request.Request("http://www.baidu.com")#利用urllib2的build_opener方法创建一个openeropener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))response = opener.open(req)print(response.read())

正则表达式

（1）数量词的贪婪模式与非贪婪模式

正则表达式通常用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪的则相反，总是尝试匹配尽可能少的字符。例如：正则表达式”ab*”如果用于查找”abbbc”，将找到”abbb”。而如果使用非贪婪的数量词”ab*?”，将找到”a”。

注：我们一般使用非贪婪模式来提取。

（2）反斜杠问题

与大多数编程语言相同，正则表达式里使用”\”作为转义字符，这就可能造成反斜杠困扰。假如你需要匹配文本中的字符”\”，那么使用编程语言表示的正则表达式里将需要4个反斜杠”\\”：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。

Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可以使用r”\”表示。同样，匹配一个数字的”\d”可以写成r”\d”。有了原生字符串，妈妈也不用担心是不是漏写了反斜杠，写出来的表达式也更直观勒。

（3）Python Re模块

Python 自带了re模块，它提供了对正则表达式的支持。主要用到的方法列举如下

#返回pattern对象re.compile(string[,flag])  #以下为匹配所用函数re.match(pattern, string[, flags])re.search(pattern, string[, flags])re.split(pattern, string[, maxsplit])re.findall(pattern, string[, flags])re.finditer(pattern, string[, flags])re.sub(pattern, repl, string[, count])re.subn(pattern, repl, string[, count])

在介绍这几个方法之前，我们先来介绍一下pattern的概念，pattern可以理解为一个匹配模式，那么我们怎么获得这个匹配模式呢？很简单，我们需要利用re.compile方法就可以。例如

pattern = re.compile(r'hello')

在参数中我们传入了原生字符串对象，通过compile方法编译生成一个pattern对象，然后我们利用这个对象来进行进一步的匹配。

另外大家可能注意到了另一个参数 flags，在这里解释一下这个参数的含义：

参数flag是匹配模式，取值可以使用按位或运算符’|’表示同时生效，比如re.I | re.M。

可选值有：

 • re.I(全拼：IGNORECASE): 忽略大小写（括号内是完整写法，下同） • re.M(全拼：MULTILINE): 多行模式，改变'^'和'$'的行为（参见上图） • re.S(全拼：DOTALL): 点任意匹配模式，改变'.'的行为 • re.L(全拼：LOCALE): 使预定字符类 \w \W \b \B \s \S 取决于当前区域设定 • re.U(全拼：UNICODE): 使预定字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性 • re.X(全拼：VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。

re.match(pattern, string[, flags])
这个方法将会从string（我们要匹配的字符串）的开头开始，尝试匹配pattern，一直向后匹配，如果遇到无法匹配的字符，立即返回None，如果匹配未结束已经到达string的末尾，也会返回None。两个结果均表示匹配失败，否则匹配pattern成功，同时匹配终止，不再对string向后匹配。下面我们通过一个例子理解一下

# -*- coding: utf-8 -*-#导入re模块import re# 将正则表达式编译成Pattern对象，注意hello前面的r的意思是“原生字符串”pattern = re.compile(r'hello')# 使用re.match匹配文本，获得匹配结果，无法匹配时将返回Noneresult1 = re.match(pattern,'hello')result2 = re.match(pattern,'helloo CQC!')result3 = re.match(pattern,'helo CQC!')result4 = re.match(pattern,'hello CQC!')#如果1匹配成功if result1:    # 使用Match获得分组信息    print result1.group()else:    print '1匹配失败！'#如果2匹配成功if result2:    # 使用Match获得分组信息    print result2.group()else:    print '2匹配失败！'#如果3匹配成功if result3:    # 使用Match获得分组信息    print result3.group()else:    print '3匹配失败！'#如果4匹配成功if result4:    # 使用Match获得分组信息    print result4.group()else:    print '4匹配失败！'

hellohello3匹配失败！hello

我们还看到最后打印出了result.group()，这个是什么意思呢？下面我们说一下关于match对象的的属性和方法
Match对象是一次匹配的结果，包含了很多关于此次匹配的信息，可以使用Match提供的可读属性或方法来获取这些信息

属性：1.string: 匹配时使用的文本。2.re: 匹配时使用的Pattern对象。3.pos: 文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。4.endpos: 文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。5.lastindex: 最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。6.lastgroup: 最后一个被捕获的分组的别名。如果这个分组没有别名或者没有被捕获的分组，将为None。方法：1.group([group1, …]):获得一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group1可以使用编号也可以使用别名；编号0代表整个匹配的子串；不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了多次的组返回最后一次截获的子串。2.groups([default]):以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。3.groupdict([default]):返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。4.start([group]):返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。5.end([group]):返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。6.span([group]):返回(start(group), end(group))。7.expand(template):将匹配到的分组代入template中然后返回。template中可以使用\id或\g、\g引用分组，但不能使用编号0。\id与\g是等价的；但\10将被认为是第10个分组，如果你想表达\1之后是字符’0’，只能使用\g0。

# -*- coding: utf-8 -*-#一个简单的match实例import re# 匹配如下内容：单词+空格+单词+任意字符m = re.match(r'(\w+) (\w+)(?P<sign>.*)', 'hello world!')print "m.string:", m.stringprint "m.re:", m.reprint "m.pos:", m.posprint "m.endpos:", m.endposprint "m.lastindex:", m.lastindexprint "m.lastgroup:", m.lastgroupprint "m.group():", m.group()print "m.group(1,2):", m.group(1, 2)print "m.groups():", m.groups()print "m.groupdict():", m.groupdict()print "m.start(2):", m.start(2)print "m.end(2):", m.end(2)print "m.span(2):", m.span(2)print r"m.expand(r'\g \g\g'):", m.expand(r'\2 \1\3')### output #### m.string: hello world!# m.re: # m.pos: 0# m.endpos: 12# m.lastindex: 3# m.lastgroup: sign# m.group(1,2): ('hello', 'world')# m.groups(): ('hello', 'world', '!')# m.groupdict(): {'sign': '!'}# m.start(2): 6# m.end(2): 11# m.span(2): (6, 11)# m.expand(r'\2 \1\3'): world hello!

re.search(pattern, string[, flags])
search方法与match方法极其类似，区别在于match()函数只检测re是不是在string的开始位置匹配，search()会扫描整个string查找匹配，match（）只有在0位置匹配成功的话才有返回，如果不是开始位置匹配成功的话，match()就返回None。同样，search方法的返回对象同样match()返回对象的方法和属性。我们用一个例子感受一下

#导入re模块import re# 将正则表达式编译成Pattern对象pattern = re.compile(r'world')# 使用search()查找匹配的子串，不存在能匹配的子串时将返回None# 这个例子中使用match()无法成功匹配match = re.search(pattern,'hello world!')if match:    # 使用Match获得分组信息    print match.group()### 输出 #### world

re.split(pattern, string[, maxsplit])
按照能够匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将全部分割。我们通过下面的例子感受一下。

import repattern = re.compile(r'\d+')print re.split(pattern,'one1two2three3four4')### 输出 #### ['one', 'two', 'three', 'four', '']

re.findall(pattern, string[, flags])
搜索string，以列表形式返回全部能匹配的子串。我们通过这个例子来感受一下

import repattern = re.compile(r'\d+')print re.findall(pattern,'one1two2three3four4')### 输出 #### ['1', '2', '3', '4']

re.finditer(pattern, string[, flags])
搜索string，返回一个顺序访问每一个匹配结果（Match对象）的迭代器。我们通过下面的例子来感受一下

import repattern = re.compile(r'\d+')for m in re.finditer(pattern,'one1two2three3four4'):    print m.group(),### 输出 #### 1 2 3 4

re.sub(pattern, repl, string[, count])

使用repl替换string中每一个匹配的子串后返回替换后的字符串。
当repl是一个字符串时，可以使用\id或\g、\g引用分组，但不能使用编号0。
当repl是一个方法时，这个方法应当只接受一个参数（Match对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。
count用于指定最多替换次数，不指定时全部替换。

import repattern = re.compile(r'(\w+) (\w+)')s = 'i say, hello world!'print re.sub(pattern,r'\2 \1', s)def func(m):    return m.group(1).title() + ' ' + m.group(2).title()print re.sub(pattern,func, s)### output #### say i, world hello!# I Say, Hello World!

Python Re模块的另一种使用方式

在上面我们介绍了7个工具方法，例如match，search等等，不过调用方式都是 re.match，re.search的方式，其实还有另外一种调用方式，可以通过pattern.match，pattern.search调用，这样调用便不用将pattern作为第一个参数传入了，大家想怎样调用皆可。

 match(string[, pos[, endpos]]) | re.match(pattern, string[, flags]) search(string[, pos[, endpos]]) | re.search(pattern, string[, flags]) split(string[, maxsplit]) | re.split(pattern, string[, maxsplit]) findall(string[, pos[, endpos]]) | re.findall(pattern, string[, flags]) finditer(string[, pos[, endpos]]) | re.finditer(pattern, string[, flags]) sub(repl, string[, count]) | re.sub(pattern, repl, string[, count]) subn(repl, string[, count]) |re.sub(pattern, repl, string[, count])