Scrapy日志处理

本文摘自：《Python网络数据采集》41页

方便以后查看

Scrapy生成的调试信息非常有用，但是通常太啰嗦，你可以在Scrapy项目中的setting.py中设置日志显示等级：

LOG_LEVEL = 'ERROR'

Scrapy日志有五种等级，按照范围递增顺序排列如下：

• CRITICAL
• ERROR
• WARNING
• DEBUG
• INFO

如果日志层级设置为ERROR，那么只有CRITICAL和ERROR日志会显示出来。

如果日志层级设置为INFO，那么所有信息都会显示出来，其它同理。

日志不仅可以显示在终端，也可以通过下面的命令输出到一个独立的文件中：

$scrapy crawl spiderName -s LOG_FILE=spider.log （注意这里等号两边没有空格）

如果目录中没有spider.log 那么运行程序会创建一个新文件，然后把所有的日志都保存到里面。

如果已经存在，会在原文后面加入新的日志内容。