Scrapy之settings设置篇

定义Settings

Settings提供了key-value映射的全局命名空间，代码中可以获取配置的值。settings.py是scrapy项目的标准配置文件，也可通过命令行选项，spider类中等方式定义。

ROBOTSTXT_OBEY = False
1

是否遵循robots.txt协议

COOKIES_ENABLED = False
1

防止了网站使用cookies识别爬虫

ITEM_PIPELINES = {   'FinancialSpider.pipelines.FinancialspiderPipeline': 300,}
12

激活自定义的Pipeline组件

DOWNLOAD_TIMEOUT = 15
1

减少下载超时时间，以便越过太慢的连接请求，快速进行下一网页的抓取

DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'
1

默认的重复请求检测过滤，可自己实现RFPDupeFilter的子类，覆写其request_fingerprint方法。

DEPTH_PRIORITY = 1SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'
12

scrapy默认使用LIFO队列存储请求，即以深度优先方式进行抓取。通过以上设置，以广度优先方式进行抓取。