测试有道之浏览器的模拟--Headers属性
来源:互联网 发布:火车票网络退票手续费 编辑:程序博客网 时间:2024/05/27 14:12
- 有时候我们爬一些网页的时候会出现403错误(urllib.error.HTTPError:HTTP Error 403:Forbidden),因为这些网站为了防止别人恶意采集信息进行了一些反爬虫的设置,解决方法:将爬虫伪装成浏览器
方法一:使用build_opener()修改报头
(1)首先,定义一个变量url存储要爬取得网址,然后又定义一个变量存储UA信息,格式为一个元组(“User-Agent”, “具体信息”)
(2)使用urllib.request.build_opener()方法创建opener对象
(3)设置opener的addheaders属性:opener.addheaders = [头信息],是一个元组,如上面的(“User-Agent”, “具体信息”)
(4)使用设置了头信息的opener对象的open方法直接打开url就实现了模拟浏览器打开url了。由于urlopen()不支持HTTP的一些高级功能,所以我们如果要修改报头,可以使用urllib.request.build_opener(*handlers)
import urllib.request
url = “http://blog.csdn.net/beliefer/article/details/51251757”
headers_UA = (“User-Agent”, “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36”)
opener = urllib.request.build_opener()
opener.addheaders = [headers_UA]
data = opener.open(url).read()
with open(‘csdn01.html’,’wb’) as f:f.write(data)方法二:使用add_header()添加报头
(1)使用urllib.request.Request(url)创建一个Request对象
(2)使用Resquest对象的add_header(‘User-Agent’,’具体信息’)方法为Request对象添加头信息
(3)使用urllib.request.urlopen(req)方法打开添加了头信息的Request对象
import urllib.request
url = “http://blog.csdn.net/beliefer/article/details/51251757”
req = urllib.request.Request(url)
req.add_header (“User-Agent”, “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36”)
data = urllib.request.urlopen(req).read()
- 测试有道之浏览器的模拟--Headers属性
- 02爬虫---浏览器的模拟Headers属性
- python爬虫之Headers属性
- httpclient模拟浏览器 的属性设置
- UWP——HttpClient模拟浏览器的GET、POST请求之Win10 Mobile测试
- CListContrl得到headers的text属性
- Request Headers 里面的 Accept 属性
- Http Headers各属性的作用
- Http Request Headers各属性的作用
- Python爬虫002浏览器的模拟Header属性
- 关于浏览器Provisional headers are shown提示 的解决方案
- [Python] windows下360急速浏览器获取URL的Headers
- HttpWebRequest.Headers 属性
- Android模拟有道词典
- YouDaoDectionary模拟有道
- Android模拟有道词典
- 模拟有道云笔记
- 有道难题之eaglet的算法
- WDK10驱动添加目标计算机的配置详情
- 基于cortex-a9的人脸检测项目
- JVM对象的创建
- npm的使用
- python---多线程采集示例
- 测试有道之浏览器的模拟--Headers属性
- 定时任务
- 管理系统存储
- yum安装php7
- 新手常见的python报错及解决方案
- webstorm激活
- Java类加载过程和对象实例化详解
- MAC Netbeans 8.2 设置author
- 块设备驱动学习