Python爬虫（四） URLError、HTTPError异常处理

1.URLError

首先解释下URLError可能产生的原因：

网络无连接，即本机无法上网连接不到特定的服务器服务器不存在

在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子：

import urllib.request

request = urllib.request.Request(‘https://www.xxx.com‘)
try:
urllib.request.urlopen(request)
print(“success”)
except urllib.request.URLError as e:
print(“error”,e)

我们利用了 urlopen方法访问了一个不存在的网址，运行结果如下：

error <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>

2.HTTPError

HTTPError是URLError的子类，在你利用urlopen方法发出一个请求时，服务器上都会对应一个应答对象response，其中它包含一个数字”状态码”。举个例子，假如response是一个”重定向”，需定位到别的地址获取文档，urllib将对此进行处理。

其他不能处理的，urlopen会产生一个HTTPError，对应相应的状态吗，HTTP状态码表示HTTP协议所返回的响应的状态。下面列出一些常见的状态码：

200：请求成功      处理方式：获得响应的内容，进行处理 302：请求到的资源在一个不同的URL处临时保存        处理方式：重定向到临时的URL 304：请求的资源未更新     处理方式：丢弃 401：未授权     处理方式：丢弃 403：禁止      处理方式：丢弃 404：没有找到     处理方式：丢弃 500：服务器内部错误     服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。    501：服务器无法识别  服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。   502：错误网关  作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。

HTTPError实例产生后会有一个code属性，这就是是服务器发送的相关错误号。
因为urllib可以为你处理重定向，也就是3开头的代号可以被处理，并且100-299范围的号码指示成功，所以你只能看到400-599的错误号码。