Scrapy入门教程中遇到的坑
来源:互联网 发布:进入国外网站软件 编辑:程序博客网 时间:2024/06/05 14:41
跟着Scrapy官方入门教程(http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html)流程学习时候遇到的几个问题,由于没有及时更新这个网站,导致里面有些内容比较陈旧,有几个坑记录下来:
1、例子中使用的网站网址变更
2、sel.xpath()报错: “sel” shortcut is deprecated.所有www.dmoz.org都要替换成dmoztools.net,否则爬不到想要的东西
3、from tutorial.items import DmozItem报错xpath()和css()方法被移动到response了,所以要调用时应该这么写:
response.xpath("//div[@id='books']")
response.css("div#books")
有个解决办法是在items.py里写DmozItem类
目前整理到这里,发现还有什么问题的话会继续更新。
0 0
- Scrapy入门教程中遇到的坑
- Scrapy中遇到的坑
- Scrapy遇到的坑
- scrapy遇到的坑
- scrapy 爬虫遇到的坑
- 关于Scrapy 自定义Spider Middleware中遇到的坑
- scrapy中遇到的问题与解决
- 安装Scrapy过程中遇到的问题
- 安装Scrapy遇到的坑(python)
- scrapy刚安装会遇到的坑
- scrapy爬取某网站,模拟登陆过程中遇到的那些坑
- 『Scrapy』登录人人贷并抓取借贷人信息中遇到的坑
- Scrapy安装过程中遇到的问题及解决方法
- scrapy中使用xpath遇到的中文问题
- 安装Scrapy过程中遇到的几个问题总结
- Scrapy学习中遇到问题及解决的方法
- scrapy安装过程中遇到的问题及解决
- Scrapy爬虫学习中遇到的问题记录
- Lintcode28 Search a 2D Matrix solution 题解
- Java中的泛型(Generic)
- 排序算法Java实现——选择排序(直接选择排序)
- Java坑爹玩意儿之-多线程
- 使用注解加反射去除switch重构代码
- Scrapy入门教程中遇到的坑
- Machine Learning -- ex1 作业分析
- mybatis教程--延迟加载详解
- 每日一题 No.26 vector容器的学习
- javaweb学习前言
- 第一份工作 2015-2017
- springmvc基础
- Lintcode29 Interleaving String solution 题解
- 2017“久源软件杯”安徽科技学院第八届程序设计大赛