爬虫常见错误及解决
来源：互联网 发布：马雅可夫斯基 知乎 编辑：程序博客网 时间：2024/05/01 11:52
urllib2.HTTPError: HTTP Error 403: Forbidden
该错误是由于网站禁止爬虫，可以在请求加上相关头信息，伪装成浏览器访问，如伪装浏览器头：headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}。当然还有可能需要其他头信息，可以人工使用浏览器的调试功能进行测试。
urllib2.HTTPError: HTTP Error 405(Method Not Allowed)
http server端要求GET方法，而请求的时候却使用了POST方法，因此出现了405错误。查看请求方法将其修改即可，一般去掉data参数为GET方式请求
0 0
- 爬虫常见错误及解决
- ubuntu常见错误及解决
- hadoop常见错误及解决
- 常见错误及解决方式
- Mysql常见错误及解决
- ROS常见错误及解决
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Python3环境安装Scrapy爬虫框架过程及常见错误
- asp常见调试错误及解决(完整)
- 数据库恢复常见错误及解决
- nginx 常见错误及解决方式
- NC常见错误及解决汇总
- 安装kscope方法及常见错误解决
- 安装mysql常见错误及解决
- 【Android】Android常见的错误及解决
- GitHub使用教程及常见错误解决
- android 常见的错误及解决
- android 常见的错误及解决
- CentOS6.5下Mysql数据库的安装与配置
- bzoj1901 Zju112 Dynamic Rankings
- 4专题四总结
- Git 常用操作命令
- 归并排序——java
- 爬虫常见错误及解决
- iOS用代码在视图中动态添加多个有序排列UIView的方法（例如九宫格）
- 单链表的C语言实现
- 设置 scrllView 上边穿过导航栏 下边穿过 tabba
- android 编译环境搭建
- 《以学术为业》概述 一 学问的使命和价值
- 快速排序——java
- 练习四1011草儿。。
- ListView分页加载,加载更多
