02爬虫---浏览器的模拟Headers属性

import urllib.request  #导入包

使用urlopen()访问有些网站时会出现403错误，禁止访问的错误，这就需要爬虫模拟成浏览器

一、使用build_opener()修改报头

1、注意urlopen()不支持一些HTTP的高级功能,所以使用urllib.request.build_opener()

url = "http://blog.csdn.net/a877415861/article/details/78838301"# 定义headers存储对应的User-Agent信息，定义格式为("User-Agent",具体信息)headers = ('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3831.602 Safari/537.36')# 创建自定义的openeropener = urllib.request.build_opener()  # 对象名.addheaders = [头信息] ,设置对应的报头opener.addhandlers = [headers]   # (1)opener 对象名.open( url 地址)  (2)打开网址后,再read()方法读取对应数据data = opener.open(url).read() print("网页:%s"%(data))

2、将爬取到的网页写入文件

fhandle = open("/home/zyb/crawler/myweb/part4/3.html", "wb")fhandle.write(data)  # 把数据写入3.html内fhandle.close()  # 关闭

二、使用add_header()添加报头

url = "http://blog.csdn.net/a877415861/article/details/78838301"# 使用urllib.request.Request(url)  创建Request对象req = urllib.request.Request(url)# 使用add_header()方法添加对应的报头信息,格式为:Request 对象名.add_header(字段名, 字段值)req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3831.602 Safari/537.36')# 成功设置好报头，使用urlopen()打开对应的网址data = urllib.request.urlopen(req).read()print("网页:%s"%(data))

三、注意

  两种方法都可以实现报头的添加，只是添加保温的方法不同，值得注意的是，方法1中使用的是addheaders()方法，方法二中使用的是add_header()方法，注意末尾有误s以及有误下划线的区别