Python爬虫之爬取——使用代理

来源:互联网 发布:cad软件下载什么版本 编辑:程序博客网 时间:2024/05/16 11:59

使用代理来访问网站。

使用urllib2模块支持代理

headers = {'User-agent':  agentname}request = urllib2.Request(url, headers=headers)proxy = ""opener = urllb2.build_opener()proxy_params = {urlparse.urlparse(url).scheme: proxy}opener.add_handler(urllib2.ProxyHandle(proxy_params))html = opener.open(request).read()