【笔记】4、初学python3网络爬虫——Requests库的使用

python3网络爬虫——Requests库的使用

学习指引：视频教程《python3网络爬虫实战》

为了避免学习后短时间内遗忘，让自己随时可以查阅前方自己学过的知识，特意注册csdn博客，方便自己学习时做笔记，也方便随时回顾。也希望自己的学习过程能给同样初学python爬虫的你带来一点指引！由于自己是新手，只有一点点的python基础，所以笔记中难免会有很多纰漏，还望各路大神多多包涵，多多指教，如有不正确的地方，欢迎指出。

Requests库的帮助文档：http://www.python-requests.org/en/master/

哇，找了一下才发现，中文文档的快速上手看上去那么简单：
http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

引用一下文档里面一句话：

Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。

警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。

看吧，这就是 Requests 的威力：

也许这正是Requests库比urllib库更加惹人喜爱的原因吧！

Requests的功能：

Requests is ready for today’s web.

Keep-Alive & Connection Pooling
International Domains and URLs
Sessions with Cookie Persistence
Browser-style SSL Verification
Automatic Content Decoding
Basic/Digest Authentication
Elegant Key/Value Cookies
Automatic Decompression
Unicode Response Bodies
HTTP(S) Proxy Support
Multipart File Uploads
Streaming Downloads
Connection Timeouts
Chunked Requests
.netrc Support

总的来说

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。

废话不多说，把我学习过程中练习用到的代码贴上来，再说说我的心得吧！

Requests库

#用一个实例来引入import requestsresponse = requests.get('http://www.baidu.com')print(type(response))print(response.status_code)print(type(response.text))print(response.cookies)print(response.text)

#requests的各种请求方式import requestsrequests.get('http://httpbin.org/get')requests.post('http://httpbin.org/post')requests.put('http://httpbin.org/put')requests.delete('http://httpbin.org/delete')requests.head('http://httpbin.org/get')requests.options('http://httpbin.org/get')

请求

最基本的get写法

#用get命令可以获取网页的内容，存入到response变量里面去import requestsresponse = requests.get('http://httpbin.org/get')print(response.text)

如果单纯的get不够用了，还要携带一些参数请求，这些参数好比进门的凭证，那我们就要带参数请求服务器

import requestsdata = {    'name':'Benko',    'age':21}response = requests.get('http://httpbin.org/get',params=data)print(response.text)

有一些网站有爬虫协议，不允许爬虫，那我们如果想要爬取这些网站，我们就要改变我们爬虫的身份，改头换面，伪装成一个正经的浏览器，那么服务器就识别不出你来啦。这就是所说的携带header信息。

import requestsheaders = {    'User-Agent':'Mozilla/5.0'}response = requests.get('https://www.zhihu.com/explore',headers=headers)print(response.text)

基本的post请求

import requestsdata = {    'name':'Benko',    'age':21}response = requests.post('http://httpbin.org/post',data = data)print(response.text)

至于get请求和post请求有什么区别，我上网查了一些资料，比如知乎上的讨论：
https://www.zhihu.com/question/28586791
我这里引用一下方的区别：

GET后退按钮/刷新无害，POST数据会被重新提交（浏览器应该告知用户数据会被重新提交）。
GET书签可收藏，POST为书签不可收藏。
GET编码类型application/x-www-form-url，POST编码类型encodedapplication/x-www-form-urlencoded 或 multipart/form-data。为二进制数据使用多重编码。
GET历史参数保留在浏览器历史中。POST参数不会保存在浏览器历史中。
GET只允许 ASCII 字符。POST没有限制。也允许二进制数据。
与 POST 相比，GET 的安全性较差，因为所发送的数据是 URL 的一部分。
在发送密码或其他敏感信息时绝不要使用 GET ！POST 比 GET 更安全，因为参数不会被保存在浏览器历史或 web 服务器日志中。
GET的数据在 URL 中对所有人都是可见的。POST的数据不会显示在 URL 中。

响应：
一般都是通过状态码进行判断（status_code）

import requestsresponse = requests.get('http://www.jianshu.com')print(response.status_code)

若返回值为200时，则是正确的返回内容，如果不是两百而是其他状态码，我找到了不同状态码对应的不同异常返回的情况，可以参考一下

代码 说明
100 （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。
101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。
2xx （成功）
表示成功处理了请求的状态代码。
200 （成功） 服务器已成功处理了请求。 通常，这表示服务器提供了请求的网页。
201 （已创建） 请求成功并且服务器创建了新的资源。
202 （已接受） 服务器已接受请求，但尚未处理。
203 （非授权信息） 服务器已成功处理了请求，但返回的信息可能来自另一来源。
204 （无内容） 服务器成功处理了请求，但没有返回任何内容。
205 （重置内容） 服务器成功处理了请求，但没有返回任何内容。
206 （部分内容） 服务器成功处理了部分 GET 请求。
3xx （重定向）
表示要完成请求，需要进一步操作。 通常，这些状态代码用来重定向。
300 （多种选择） 针对请求，服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作，或提供操作列表供请求者选择。
301 （永久移动） 请求的网页已永久移动到新位置。 服务器返回此响应（对 GET 或 HEAD 请求的响应）时，会自动将请求者转到新位置。
302 （临时移动） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。
303 （查看其他位置） 请求者应当对不同的位置使用单独的 GET 请求来检索响应时，服务器返回此代码。
304 （未修改） 自从上次请求后，请求的网页未修改过。 服务器返回此响应时，不会返回网页内容。
305 （使用代理） 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。
307 （临时重定向） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。4xx（请求错误）
这些状态代码表示请求可能出错，妨碍了服务器的处理。
400 （错误请求） 服务器不理解请求的语法。
401 （未授权） 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。
403 （禁止） 服务器拒绝请求。
404 （未找到） 服务器找不到请求的网页。
405 （方法禁用） 禁用请求中指定的方法。
406 （不接受） 无法使用请求的内容特性响应请求的网页。
407 （需要代理授权） 此状态代码与 401（未授权）类似，但指定请求者应当授权使用代理。
408 （请求超时） 服务器等候请求时发生超时。
409 （冲突） 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。
410 （已删除） 如果请求的资源已永久删除，服务器就会返回此响应。
411 （需要有效长度） 服务器不接受不含有效内容长度标头字段的请求。
412 （未满足前提条件） 服务器未满足请求者在请求中设置的其中一个前提条件。
413 （请求实体过大） 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。
414 （请求的 URI 过长） 请求的 URI（通常为网址）过长，服务器无法处理。
415 （不支持的媒体类型） 请求的格式不受请求页面的支持。
416 （请求范围不符合要求） 如果页面无法提供请求的范围，则服务器会返回此状态代码。
417 （未满足期望值） 服务器未满足”期望”请求标头字段的要求。
5xx（服务器错误）
这些状态代码表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误，而不是请求出错。
500 （服务器内部错误） 服务器遇到错误，无法完成请求。
501 （尚未实施） 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。
502 （错误网关） 服务器作为网关或代理，从上游服务器收到无效响应。
503 （服务不可用） 服务器目前无法使用（由于超载或停机维护）。 通常，这只是暂时状态。
504 （网关超时） 服务器作为网关或代理，但是没有及时从上游服务器收到请求。
505 （HTTP 版本不受支持） 服务器不支持请求中所用的 HTTP 协议版本。
来源：http://www.cnblogs.com/shanyou/archive/2012/05/06/2486134.html

超时设置

我们在get请求时，可以设置超时的时间，假如向服务器发送了请求在设定时间内没有获得响应，我们会将此判断为超时

import requestsfrom requests.exceptions import ReadTimeouttry:    response = requests.get('https://www.taobao.com',timeout = 0.1)#我们将获取淘宝链接的时间限定为0.1秒钟，若超过这个时间还没有响应，则判定为超时    print(response.status_code)except ReadTimeout:    print('timeout')

最后是异常处理：
可以参照这个文档：http://docs.python-requests.org/en/master/api/
上面超时设置就用到一个异常处理，主要是用try……except语句，当成功时，只执行try语句里面的代码，当try语句内代码出现异常时，则跳出try，检查except里的情况，一个个排查，我们可以设置except里的内容，当其符合我们预期的某一个错误时，让其执行某种操作。比如我们用到的：

import requestsfrom requests.exceptions import ReadTimeouttry:    response = requests.get('https://www.taobao.com',timeout = 0.1)#认为设置    print(response.status_code)except ReadTimeout:     #当try语句里存在timeout（超时）的情况时    print('timeout')#打印timeout到屏幕

这样我们就可以知道程序执行出现异常，而且我们能很好地将异常归结为超时了。