urllib2.urlopen 返回403
来源:互联网 发布:淘宝永久封店重新开通 编辑:程序博客网 时间:2024/04/28 05:55
python中我经常使用urllib2.urlopen函数提取网页源码,但是有些时候这个函数返回的却是:HTTP Error 403: Forbidden,这表明源网站不允许爬虫进行爬取,举例说明:
- #!/usr/bin/env python
- # -*- coding: utf-8 -*-
- import urllib2
- url = "http://www.google.com/"
- data = urllib2.urlopen(url).read()
- print data
- #!/usr/bin/env python
- # -*- coding: utf-8 -*-
- import urllib2
- url = "http://www.google.com/translate_a/t?client=t&sl=zh-CN&tl=en&q=%E7%94%B7%E5%AD%A9"
- data = urllib2.urlopen(url).read()
- print data
解决方法:伪装成浏览器进行访问
- #!/usr/bin/env python
- # -*- coding: utf-8 -*-
- import urllib2
- url = "http://www.google.com/translate_a/t?client=t&sl=zh-CN&tl=en&q=%E7%94%B7%E5%AD%A9"
- #浏览器头
- headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
- req = urllib2.Request(url=url,headers=headers)
- data = urllib2.urlopen(req).read()
- print data
注:如果源码中中文为乱码,可以使用:
print data.decode("UTF-8")
本文为Eliot原创,转载请注明出处:http://blog.csdn.net/xyw_blog/article/details/18142487
0 0
- urllib2.urlopen 返回403
- urllib2.urlopen 返回403
- urllib2.urlopen超时问题
- urllib2.urlopen超时问题
- urllib2.urlopen超时问题
- urllib2.urlopen超时问题
- urllib2.urlopen超时问题
- 关于urllib2.urlopen()的理解
- urllib2.urlopen的post与get
- Python的网页下载器:urllib2.urlopen
- 【Python开发】urllib2.urlopen超时问题
- urllib2.URLError<urlopen error no host given>
- python urllib2 urlopen 报BadStatusLine 报错
- 用python urllib2.urlopen(fileurl) 读取网络文件问题解决
- urllib2.URLError: <urlopen error unknown url type: https>
- urllib2.URLErroe:<urlopen error unknown url type : https>
- urllib2.urlopen超时未设置导致程序卡死
- urllib2.urlopen超时未设置导致程序卡死
- 宏与预处理&函数与函数库
- sqlite3小型数据库移植到arm,让arm跑起聊天室的服务器
- mysql里面简单常用的sql语句
- Locust性能测试学习总结
- java学习之路 之 高级类特性2-接口(interface)-练习题
- urllib2.urlopen 返回403
- POJ 3304 Segments(计算几何)
- 【BestCoder Round #59 div.1 B】【JZOJ 4693】 疯狂的火神
- 换瓶子问题
- 跟我学Redis(15)—Redis主从复制
- leetcode no. 55
- 详解SQL Server连接(内连接、外连接、交叉连接)
- android -android Multiple dex files define Lorg/xmlpull/v1/XmlPullParser
- Java硬件对并发的支持