scrapy爬虫出现‘Forbidden by robots.txt’错误

来源：互联网发布：Js质数for 编辑：程序博客网时间：2024/04/29 09:03

    使用scrapy爬取知乎信息的时候，运行爬虫出错，错误信息是‘Forbidden by robots.txt’。然后在settings里面加入了cookie和headers信息还是不行。但是直接用urllib.request请求发现页面都能直接请求成功。    于是上网查了一下robot.txt是什么才知道有这么回事，看一下scrapy抓包时的输出可以发现，在请求设定的url之前，它会先向服务器根目录请求一个txt文件：2017-10-25 21:10:22 [scrapy] DEBUG: Crawled (200) <GET https://item.taobao.com/robots.txt> (referer: None)    这个文件中规定了本站点允许的爬虫机器爬取的范围，因为默认scrapy遵守robot协议，所以会先请求这个文件查看自己的权限，出错是因为使用的爬虫爬取内容违背这个robot.txt。所以只要让爬虫不遵守该协议就好了，具体做法是找到settings文件里的ROBOTSTXT_OBEY设置成False。        # Obey robots.txt rules        ROBOTSTXT_OBEY = False

阅读全文

0 0