python爬虫初学（二）——使用代理

什么是代理
网络代理，是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。一个完整的代理请求过程为：客户端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的指定资源（如：文件）

代理在哪些方面有应用
突破自身IP访问限制，访问国外站点（俗称“翻墙”）
隐藏真实IP：上网者也可以通过这种方法隐藏自己的IP，免受攻击。

爬虫设置代理的原因
一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器。

代理服务器的ip和端口如何获得
国内有很多代理服务器信息网站，如http://www.xicidaili.com/nn/1有的博主写了一个爬虫爬取代理列表，并保存可用的代理，亲测可用，代码如下：

# encoding=utf8import urllib2from bs4 import BeautifulSoupimport urllibimport socketUser_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'header = {}header['User-Agent'] = User_Agent'''获取所有代理IP地址'''def getProxyIp():    proxy = []    for i in range(1, 2):        try:            url = 'http://www.xicidaili.com/nn/' + str(i)            req = urllib2.Request(url, headers=header)            res = urllib2.urlopen(req).read()            soup = BeautifulSoup(res)            ips = soup.findAll('tr')            for x in range(1, len(ips)):                ip = ips[x]                tds = ip.findAll("td")                ip_temp = tds[1].contents[0] + "\t" + tds[2].contents[0]                proxy.append(ip_temp)        except:            continue    return proxy'''验证获得的代理IP地址是否可用'''def validateIp(proxy):    url = "http://ip.chinaz.com/getip.aspx"    f = open("E:\ip.txt", "w")    socket.setdefaulttimeout(3)    for i in range(0, len(proxy)):        try:            ip = proxy[i].strip().split("\t")            proxy_host = "http://" + ip[0] + ":" + ip[1]            proxy_temp = {"http": proxy_host}            res = urllib.urlopen(url, proxies=proxy_temp).read()            f.write(proxy[i] + '\n')            print proxy[i]        except Exception, e:            continue    f.close()if __name__ == '__main__':    proxy = getProxyIp()    validateIp(proxy)

urllib2如何使用代理
如果你有足够多的代理，可以放在一个列表中，随机选择一个代理去访问网站。如下：

import urllib2import randomproxy_list = [    {"http" : "124.88.67.81:80"},    {"http" : "124.88.67.81:80"},    {"http" : "124.88.67.81:80"},    {"http" : "124.88.67.81:80"},    {"http" : "124.88.67.81:80"}]# 随机选择一个代理proxy = random.choice(proxy_list)# 使用选择的代理构建代理处理器对象httpproxy_handler = urllib2.ProxyHandler(proxy)opener = urllib2.build_opener(httpproxy_handler)request = urllib2.Request("http://www.baidu.com/")response = opener.open(request)print response.read()