Python爬虫urllib2笔记(五)数据传送设置HeadersURLError

目录

urllib2库里面的urlopen方法

urlopen(url, data, timeout)第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT

构造Requset

urlopen参数可以传入一个request请求import urllib2request = urllib2.Request("http://www.baidu.com")response = urllib2.urlopen(request)print response.read()

POST和GET数据传送

POST方式：import urllibimport urllib2values = {"username":"[e-mail]","password":"XXXX"}data = urllib.urlencode(values) url = "http://www.baidu.com/"request = urllib2.Request(url,data)response = urllib2.urlopen(request)print response.read()data的另一种表达values = {}values['username'] = "[e-mail]"values['password'] = "XXXX"data = urllib.urlencode(values) GET方式：import urllibimport urllib2values={}values['username'] = "[e-mail]"values['password']="XXXX"data = urllib.urlencode(values) url = "https://www.sogou.com/"geturl = url + "?"+dataprint geturlrequest = urllib2.Request(geturl)response = urllib2.urlopen(request)print response.read()

设置Headers

对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer

import urllib  import urllib2  url = 'http://www.server.com/login'values = {'username' : 'cqc',  'password' : 'XXXX' }  headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  ,                        'Referer':'http://www.zhihu.com/articles' }  data = urllib.urlencode(values)  request = urllib2.Request(url, data, headers)  response = urllib2.urlopen(request)  page = response.read() 

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。
application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用
application/json ： 在 JSON RPC 调用时使用
application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务

Proxy（代理）的设置

假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问
urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy

enable_proxy = Trueproxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})null_proxy_handler = urllib2.ProxyHandler({})if enable_proxy:    opener = urllib2.build_opener(proxy_handler)else:    opener = urllib2.build_opener(null_proxy_handler)urllib2.install_opener(opener)

Timeout 设置

import urllib2response = urllib2.urlopen('http://www.baidu.com', timeout=10)

使用 HTTP 的 PUT 和 DELETE 方法

http协议有六种请求方法，get,head,put,delete,post,options，我们有时候需要用到PUT方式或者DELETE方式请求
PUT和POST极为相似，都是向服务器发送数据PUT通常指定了资源的存放位置
DELETE：删除某一个资源

import urllib2request = urllib2.Request(uri, data=data)request.get_method = lambda: 'PUT' # or 'DELETE'response = urllib2.urlopen(request)

使用DebugLog

收发包的内容就会在屏幕上打印出来

import urllib2httpHandler = urllib2.HTTPHandler(debuglevel=1)httpsHandler = urllib2.HTTPSHandler(debuglevel=1)opener = urllib2.build_opener(httpHandler, httpsHandler)urllib2.install_opener(opener)response = urllib2.urlopen('http://www.baidu.com')

URLError

URLError可能产生的原因
网络无连接，即本机无法上网
连接不到特定的服务器
服务器不存在
用try-except语句来包围并捕获相应的异常

import urllib2 requset = urllib2.Request('http://www.xxxxx.com')try:    urllib2.urlopen(request)except urllib2.URLError, e:    print e.reason

HTTP状态码

100：继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。
101： 转换协议 在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。
102：继续处理 由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。
200：请求成功 处理方式：获得响应的内容，进行处理
201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到 处理方式：爬虫中不会遇到
202：请求被接受，但处理尚未完成 处理方式：阻塞等待
204：服务器端已经实现了请求，但是没有返回新的信 息。如果客户是用户代理，则无须为此更新自身的文档视图。 处理方式：丢弃
300：该状态码不被HTTP/1.0的应用程序直接使用， 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。 处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃
301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源 处理方式：重定向到分配的URL
302：请求到的资源在一个不同的URL处临时保存 处理方式：重定向到临时的URL
304：请求的资源未更新 处理方式：丢弃
400：非法请求 处理方式：丢弃
401：未授权 处理方式：丢弃
403：禁止 处理方式：丢弃
404：没有找到 处理方式：丢弃
500：服务器内部错误 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。
501：服务器无法识别 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。
502：错误网关 作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。
503：服务出错 由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。

HTTPError

import urllib2 req = urllib2.Request('http://blog.csdn.net/cqcre')try:    urllib2.urlopen(req)except urllib2.HTTPError, e:    print e.code    print e.reason

HTTPError的父类是URLError，根据编程经验，父类的异常应当写到子类异常的后面，如果子类捕获不到，那么可以捕获父类的异常
如果捕获到了HTTPError，则输出code，不会再处理URLError异常。如果发生的不是HTTPError，则会去捕获URLError异常，输出错误原因。
hasattr用于确定一个对象是否具有某个属性

import urllib2req = urllib2.Request('http://blog.csdn.net/cqcre')try:    urllib2.urlopen(req)except urllib2.HTTPError, e:    if hasattr(e,"code"):        print e.codeexcept urllib2.URLError, e:    if hasattr(e,"code"):        print e.code    if hasattr(e,"reason"):        print e.reasonelse:    print "OK"