scrapy-redis的使用（基于scrapy的改装）

1.setting 配置文件修改

# 1.(必须加)。使用scrapy_redis.duperfilter.REPDupeFilter的去重组件，在redis数据库里做去重。DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 2.（必须加）。使用了scrapy_redis的调度器，在redis里面分配请求。SCHEDULER = "scrapy_redis.scheduler.Scheduler"# 3.（必须加）。在redis queues 允许暂停和暂停后恢复，也就是不清理redis queuesSCHEDULER_PERSIST = True# 4.（必须加）。通过RedisPipeline将item写入key为 spider.name: items的redis的list中，供后面的分布式处理item。# 这个已经由scrapy-redis实现了，不需要我们自己手动写代码，直接使用即可。ITEM_PIPELINES = {   'scrapy_redis.pipelines.RedisPipeline': 100}REDIS_HOST = "127.0.0.1"REDIS_PORT = 6379

2.spider类的书写

from scrapy_redis.spiders import RedisSpiderimport scrapyclass ToutiaoSpider(RedisSpider):    name='toutiao'    redis_key = 'start_url'    def parse(self, response):        ....        scrapy.Request(url, callback=xxx)

附带 今日头条的scrapy_redis 和 scrapy 两个版本的源码，链接补上：