已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy
来源:互联网 发布:一战各国伤亡知乎 编辑:程序博客网 时间:2024/05/22 11:57
1.代码升级
之前的问题:
随着Scrapy库的流行,scrapy-redis作为使用redis支持分布式爬取的工具,也不断的被大家发现。
但是,使用过程中你会发现的问题是由于scrapy-redis是基于较老版本的Scrapy,所以当你使用的是新版本的Scrapy时,不可避免的会出现警告,甚至错误。
关于这个问题,我总结之后在scrapy-redis库中提了出来并开了issue和作者做了讨论,在确定思路后,就着手进行代码升级。
解决:
花了一段时间修改后向原代码库提交的pull request,作者已经merge了。地址:https://github.com/darkrho/scrapy-redis
其它:
如果你在使用中发现了什么问题,如果是和兼容性升级相关的,还请给我发个邮件或是直接在github上开个issue。
2.关于Travis CI
也是在参与这个项目中,才开始了解它。经常在README中发现的build图标表明的就是使用Travis CI进行构建后的状态。
Travis CI,为开源社区提供的云端持续集成服务。其作用就是在云端构建并反馈构建状态。只需在相应的代码库配置中安装Travis的hook并在库的根目录下配置.travis.yml文件。具体的可参见doc。
1 0
- 已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy
- 升级scrapy-redis代码,使与更新版本scrapy兼容
- Scrapy升级到1.0版本
- scrapy-redis 和 scrapy ?
- ubuntu下安装scrapy最新版本
- scrapy-redis
- scrapy-redis(七):部署scrapy
- scrapy
- Scrapy
- scrapy
- Scrapy
- Scrapy
- Scrapy
- Scrapy
- Scrapy
- scrapy
- Scrapy
- scrapy
- Java面试题三
- C语言总结5
- poj3658 模拟
- 算法导论-优先级队列-C语言
- 环境变量和export的命令--shell进程的变量可见域问题
- 已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy
- 如何提高Axure设计的效率 提高Axure设计效率的10条建议
- The Himalayas
- Linux页框管理
- Enterprise Architect里面能否直接全屏查看图
- 解决Servlet中get或post中文乱码问题
- KNN算法的CUDA实现
- 理解Context
- 操作系统之处理器管理与存储器管理