Scrapy爬取知乎用户信息遇见的问题
来源:互联网 发布:淘宝开化妆品店流程 编辑:程序博客网 时间:2024/05/22 00:11
首先在将ROBOTSTXT_OBEY设置成False之后运行爬虫进行测试,发现错误,错误码为500.
经检查发现是缺少User-Agent.
在setting中找到DEFAULT_REQUEST_HEADERS,添加上User-Agent.
再次运行爬虫,爬取成功。
然后进行个人主页爬取,再次发现错误,错误码为401
查询后发现是缺少请求头authorization,回到DEFAULT_REQUEST_HEADERS,加上authorization参数。
此时运行爬虫程序,爬取成功,爬取到json格式的文本。
阅读全文
0 1
- Scrapy爬取知乎用户信息遇见的问题
- 今天遇见的问题
- IIS 遇见的问题
- BaseAdapter 遇见的问题
- 遇见的问题总结
- python 遇见的问题
- tomcat:遇见的问题
- 求助!遇见奇怪的问题
- excel中遇见的问题
- 矩阵键盘遇见的问题
- 我们经常遇见的问题
- android项目遇见的问题
- 关于wordpress 遇见的问题
- 使用loadrunner遇见的问题
- android面试遇见的问题
- 百度地图遇见的问题
- Spring中遇见的问题
- 使用 git 遇见的问题
- HashMap内部原理
- cat /proc/consoles 可以查看系统中所有的consoles,及其相关的flags
- 游戏编程入门(13):实现子画面外观动画
- 说说 JavaScript 表单脚本之文本框
- 初学者:VS2013+openCV安装方法集合
- Scrapy爬取知乎用户信息遇见的问题
- JS/Jquery 中怎么定义存储一个类似map中key-value形式的变量,并且怎样动态赋值key和value?
- 常用WebService接口
- PHP规范
- 关于SVD(Singular Value Decomposition)的那些事儿
- C++中模板的特化与偏特化
- 读写INI文件UTF8格式
- python-优矿-期权合成期货策略
- KSGT