scrapy URLerror:<urlopen error [Error 10051]> 问题

来源:互联网 发布:跑步记录软件 编辑:程序博客网 时间:2024/06/05 04:32

问题如下图所示:



原因:

That particular error message is being generated by boto (boto 2.38.0 py27_0), which is used to connect to Amazon S3. Scrapy doesn't have this enabled by default.


解决方法:

在爬虫文件spider.py文件中加入下列代码:

from scrapy import optional_featuresoptional_features.remove('boto')

这个问题不解决不会影响爬虫,但是我有强迫症 0.0

0 0
原创粉丝点击