scrapy文档（教程）学习遇到的问题总结

ｓｃｒａｐｙ文档，挺赞的，看一下就完了

http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html

总结遇到额问题

１／注意自己安装的版本要跟教程左下脚的教程版本对应，不同版本有细微差别

２／设置下载中间件

在settings.py最后加上这一句，设置下载器中间件

DOWNLOADER_MIDDLEWARES = {

    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
    'tutorial.rotate_agent.RotateUserAgentMiddleware' :400
}

３／抓取中文出现乱码，看我的这篇文章

http://blog.csdn.net/yimingsilence/article/details/52105641

４／找ｘｐａｔｈ的时候可以借助ｆｉｒｅｆｏｘ的ｆｉｒｅｂｕｇ插件

持续更新