scrapy
来源:互联网 发布:mac系统安装ps 编辑:程序博客网 时间:2024/06/06 12:35
原帖地址:http://blog.csdn.net/honglicu123/article/details/75453107
在 scrapy 中,
- 1
- 2
调试的时候,发现回调函数 parse_detail
没有被调用,这可能就是被过滤掉了,查看 scrapy 的输出日志 offsite/filtered
会显示过滤的数目。这个问题如何解决呢,查看手册发现(https://doc.scrapy.org/en/latest/faq.html?highlight=offsite%2Ffiltered)这个问题,这些日志信息都是由 scrapy 中的一个 middleware 抛出的,如果没有自定义,那么这个 middleware 就是默认的 Offsite Spider Middleware
,它的目的就是过滤掉那些不在 allowed_domains
列表中的请求 requests。
再次查看手册中关于 OffsiteMiddleware
的部分(https://doc.scrapy.org/en/latest/topics/spider-middleware.html#scrapy.spidermiddlewares.offsite.OffsiteMiddleware)
两种方法能够使 requests 不被过滤:
1. 在 allowed_domains
中加入 url
2. 在 scrapy.Request() 函数中将参数 dont_filter=True
设置为 True
阅读全文
0 0
- scrapy
- Scrapy
- scrapy
- Scrapy
- Scrapy
- Scrapy
- Scrapy
- Scrapy
- scrapy
- Scrapy
- scrapy
- Scrapy
- Scrapy
- Scrapy
- scrapy
- scrapy
- scrapy
- Scrapy
- Androidk厨房工具
- UDP主要丢包原因及具体问题分析
- 云计算实践:基于Ubuntu的Spark、Hadoop、MongoDB的单机环境配置和开关方法
- 图像处理:基础(模板、卷积运算)
- 弹窗居中遮罩
- scrapy
- linux+hadoop+scala+spark
- ambari增加journalnode服务节点
- 可怕流氓:百度全家桶
- Java 内部类种类及使用解析
- 手把手教你 Python挖掘用户评论典型意见并自动生产报告
- Oracle中查询一个表中字段(列)个数
- 循环队列 网坑总结
- Codeforces1B