Requests:Python HTTP Module学习笔记（一）

http://www.cnblogs.com/paisen/p/3399357.html

在学习用python写爬虫的时候用到了Requests这个Http网络库，这个库简单好用并且功能强大，完全可以代替python的标准库urllib2。在学习的同时把我的学习笔记记录下来，资料基本上都是从Requests官网翻译过来的，欢迎指出有错误或者有表述的不准确的地方。

1.介绍
Requests: HTTP for Humans
一句话：为地球人准备的网络库

python的标准库urllib2已经提供了大部分你所需要的HTTP功能了，为什么还需要Requests库来提供相同的功能呢？因为urllib2的API比较零散，它们编写的时间和网络环境都不一样，利用它(urllib2)完成简单的任务需要做大量的工作。

2.安装
安装也很简单，用easy_install命令： 
easy_install requests

用pip命令：
pip install requests

源代码在这里github

3.例子
使用Requests：

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))   >>> r.status_code  200  >>> r.headers['content-type']  'application/json; charset=utf8'  >>> r.encoding  'utf-8'  >>> r.text  u'{"type":"User"...'  >>> r.json()  {u'private_gists': 419, u'total_private_repos': 77, ...}'

使用urllib2：

#!/usr/bin/env python# -*- coding: utf-8 -*-import urllib2gh_url = 'https://api.github.com'req = urllib2.Request(gh_url)password_manager = urllib2.HTTPPasswordMgrWithDefaultRealm()password_manager.add_password(None, gh_url, 'user', 'pass')auth_manager = urllib2.HTTPBasicAuthHandler(password_manager)opener = urllib2.build_opener(auth_manager) urllib2.install_opener(opener)handler = urllib2.urlopen(req)print handler.getcode()print handler.headers.getheader('content-type')'# ------# 200# 'application/json'

爬虫的入门可以参考42区的一个小爬虫 。

4.功能介绍

Requests支持所有的Http请求类型，例如：

>>> r = requests.post("http://httpbin.org/post")>>> r = requests.put("http://httpbin.org/put")>>> r = requests.delete("http://httpbin.org/delete")>>> r = requests.head("http://httpbin.org/get")>>> r = requests.options("http://httpbin.org/get")

在URL中传递参数（Passing Parameters In URLs）

想在请求URL中带参数，例如这样httpbin.org/get?key=val，Requests允许你提供一个字典作为这些参数：

>>> payload = {'key1': 'value1', 'key2': 'value2'}>>> r = requests.get("http://httpbin.org/get", params=payload)

你可以看到输出的URL已经经过正确的编码：

>>> print r.urlu'http://httpbin.org/get?key2=value2&key1=value1'

响应内容（Response Content）

请求发送后，我们可以读取服务器返回的内容，看刚刚的例子：

>>> import requests>>> r = requests.get('https://github.com/timeline.json')>>> r.text'[{"repository":{"open_issues":0,"url":"https://github.com/...

Requests会自动decode服务器返回的内容，大部分unicode的字符都可以顺利的decode。

当访问r.text时，Requests会根据response的Http标头信息使用相应的文本编码输出信息，可以查看Requests使用的是什么类型的编码并改变它：

>>> r.encoding'utf-8'>>> r.encoding = 'ISO-8859-1'

如果改变了编码类型，当调用r.text的时候，Requests会使用你设置的编码类型输出信息。

二进制的相应内容（Binary Response Content）

对于非文本的请求，也可以把返回的响应内容作为字节类型输出：

>>> r.contentb'[{"repository":{"open_issues":0,"url":"https://github.com/...

gzip和deflate编码会为你自动解码，
例如想把一个请求返回的二进制数据装换成图像，可以这样写：

>>> from PIL import Image>>> from StringIO import StringIO>>> i = Image.open(StringIO(r.content))

以json格式返回响应内容（JSON Response Content）

Requests还提供了一个json的decoder,可以方便的处理json格式的数据

>>> import requests>>> r = requests.get('https://github.com/timeline.json')>>> r.json()[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...

调用r.json()方法时，如果请求的内容不是json格式，会导致json解码失败，抛出异常。

原始的响应内容（Raw Response Content）

如过想从服务器返回的响应中获取原始的套接字响应，可以调用r.raw方法，在调用前需要在请求中设置stream=True，例如：

>>> r = requests.get('https:/github.com/timeline.json', stream=True)>>> r.raw<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>>>> r.raw.read(10)'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

自定义头文件（Custom Headers）

如果想在请求时添加一个Http标头，可以在请求时添加一个字典类型的参数，例如：

>>> import json>>> url = 'https://api.github.com/some/endpoint'>>> payload = {'some': 'data'}>>> headers = {'content-type': 'application/json'}>>> r = requests.post(url, data=json.dumps(payload), headers=headers)

更复杂的post请求（More complicated POST requests）

通常，如果想要发送一些表单类型的数据（像Html表单这样的数据），在这里，只需要把Html的表单数据构造成一个字典类型的参数附带在请求中即可。

>>> payload = {'key1': 'value1', 'key2': 'value2'}>>> r = requests.post("http://httpbin.org/post", data=payload)>>> print r.text{  ...  "form": {  "key2": "value2",  "key1": "value1"  },   ...}

很多时候我们发送的数据并不是表单类型的数据，就像我们想传递一个字符串类型而不是字典类型的数据时，数据会被直接的发送出去：

>>> import json>>> url = 'https://api.github.com/some/endpoint'>>> payload = {'some': 'data'}>>> r = requests.post(url, data=json.dumps(payload))

上传Multipart-Encoded的文件（POST a Multipart-Encoded File）

Requests提供简单的方式去发送Multipart-Encoded文件：

>>> url = 'http://httpbin.org/post'>>> files = {'file': open('report.xls', 'rb')}>>> r = requests.post(url, files=files)>>> r.text{   ...   "files": {   "file": "<censored...binary...data>"   },   ...}

还可以设定文件名:

>>> url = 'http://httpbin.org/post'>>> files = {'file': ('report.xls', open('report.xls', 'rb'))}>>> r = requests.post(url, files=files)>>> r.text{   ...   "files": {   "file": "<censored...binary...data>"   },   ...}

如果你想，你还可以发送字符串作为接受的文件:

>>> url = 'http://httpbin.org/post'>>> files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}>>> r = requests.post(url, files=files)>>> r.text{   ...   "files": {   "file": "some,data,to,send\\nanother,row,to,send\\n"   },   ...}

响应的状态代码（Response Status Codes）

我们可以查看响应的状态码

>>> r = requests.get('http://httpbin.org/get')>>> r.status_code200

为了方便参考，Requests还配备了一个内置的状态码对象

>>> r.status_code == requests.codes.okTrue

如果我们的请求是一个失败的请求（非200的status code）,我们可以调用Response.raise_for_status()方法将异常抛出:

>>> bad_r = requests.get('http://httpbin.org/status/404')>>> bad_r.status_code404>>> bad_r.raise_for_status()Traceback (most recent call last):  File "requests/models.py", line 832, in raise_for_status    raise http_errorrequests.exceptions.HTTPError: 404 Client Error

但是，如果我们的Response的status_code是200，当我们调用raise_for_status()时：

>>> r.raise_for_status()None

返回的就是None，All is well.

响应报头（Response Headers）

我们可以以python字典类型的格式查看服务器返回的响应报头

>>> r.headers{    'status': '200 OK',    'content-encoding': 'gzip',    'transfer-encoding': 'chunked',    'connection': 'close',    'server': 'nginx/1.0.4',    'x-runtime': '148ms',    'etag': '"e1ca502697e5c9317743dc078f67693f"',    'content-type': 'application/json; charset=utf-8'}

我们知道dictionary的key值是大小写敏感的，但这里的dictionary有点特殊，它只是用来保存Http的标头信息，根据RFC 2616,HTTP标头是不区分大小写的。
所以我们可以使用任意大小写获取标头属性的值：

>>> r.headers['Content-Type']'application/json; charset=utf-8'>>> r.headers.get('content-type')'application/json; charset=utf-8'

如果访问头文件不存在的属性，默认返回一个None:

>>> r.headers['X-Random']None

Cookies

如果一个response包含Cookies信息，你可以很快速的访问它们:

>>> url = 'http://httpbin.org/cookies/set/requests-is/awesome'>>> r = requests.get(url)>>> r.cookies['requests-is']'awesome'

你可以设置自己的cookies利用cookies这个参数发送到服务器:

>>> url = 'http://httpbin.org/cookies'>>> cookies = dict(cookies_are='working')>>> r = requests.get(url, cookies=cookies)>>> r.text'{"cookies": {"cookies_are": "working"}}'

重定向和历史（Redirection and History）

当使用GET和OPTIONS请求类型时，Requests会帮你自动重定向。
GitHub会重定向所有HTTP请求到HTTPS，我们可以调用response的history方法跟踪重定向:

>>> r = requests.get('http://github.com')>>> r.url'https://github.com/'>>> r.status_code200>>> r.history[<Response [301]>]

调用response.history返回的列表包含了一系列为了完成请求而创建的对象，这个列表按照从最开始的请求到最后的请求进行排序。
如果使用GET和OPTION请求类型，可以设置allow_redirects这个参数来关闭自动重定向：

>>> r = requests.get('http://github.com', allow_redirects=False)>>> r.status_code301>>> r.history[]

如果使用的是POST, PUT, PATCH, DELETE或者HEAD,你也可以打开重定向功能:

>>> r = requests.post('http://github.com', allow_redirects=True)>>> r.url'https://github.com/'>>> r.history[<Response [301]>]

超时（Timeouts）

你可以设置timeout参数的值，让请求在到达指定的时间后停止等待服务器的响应。

>>> requests.get('http://github.com', timeout=0.001)Traceback (most recent call last):  File "<stdin>", line 1, in <module>requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

注意：timeout的设置只是影响请求的连接过程，不影响下载的response body。

错误和异常（Errors and Exceptions）

• 在发生网络问题时（如DNS失败、拒绝连接,等等）Requests会抛出一个ConnectionError的异常。

• 接收到Http无效的响应时，Requests会抛出一个HTTPError的异常。

• 如果请求超时了，会抛出一个请求超时的异常。

• 如果一个请求超过了配置的重定向次数，会抛出TooManyRedirects异常。

• 所有Requests的异常都显示的继承自requests.exceptions.RequestException.

对Requests库的入门介绍先到这样，在下一篇日志，我会继续介绍它的一些高级特性。

（完）