Python 爬虫 urllib2异常处理

来源：互联网发布：人工智能教育编辑：程序博客网时间：2024/05/25 20:01

异常处理

1、当我们调用urllib2.urlopen的时候不会总是这么顺利，就像浏览器打开url时有时也会报错，所以就需要我们有应对异常的处理。说到异常，我们先来了解返回的response对象的几个常用的方法：
geturl() — 返回检索的URL资源，这个是返回的真正url，通常是用来鉴定是否重定向的
info() — 返回页面的原信息就像一个字段的对象，如headers，它以mimetools.Message实例为格式(可以参考HTTP Headers说明)。
getcode() — 返回响应的HTTP状态代码，运行下面代码可以得到code=200 当不能处理一个response时，urlopen抛出一个URLError（对于python APIs，内建异常如，ValueError, TypeError 等也会被抛出。）

2、HTTPError是HTTP URL在特别的情况下被抛出的URLError的一个子类。下面就详细说说URLError和HTTPError。 URLError——handlers当运行出现问题时（通常是因为没有网络连接也就是没有路由到指定的服务器，或在指定的服务器不存在）
HTTPError——HTTPError是URLError的子类。每个来自服务器HTTP的response都包含“status code”. 有时status code不能处理这个request. 默认的处理程序将处理这些异常的responses。例如，urllib2发现response的URL与你请求的URL不同时也就是发生了重定向时，会自动处理。对于不能处理的请求, urlopen将抛出 - - - HTTPError异常. 典型的错误包含‘404’ (没有找到页面), ‘403’ (禁止请求),‘401’ (需要验证)等。它包含2个重要的属性reason和code。

程序对于重定向时默认处理的

0 0