scrapy 爬网站 显示 Filtered offsite request to 错误.
来源：互联网 发布：二端口纯电阻 编辑：程序博客网 时间：2024/06/05 08:03
爬取zol 网站图片,无法抓取.
在 setting.py 文件中 设置 日志 记录等级
LOG_LEVEL= 'DEBUG'
LOG_FILE ='log.txt'
查看日志 发现报
2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to 'bbs.zol.com.cn': <GET http://bbs.zol.com.cn/dcbbs/d14_134253.html>
这条日志记录有点奇怪 果断上网百度 ,找到答案
官方对这个的解释，是你要request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。
yield Request(url, callback=self.parse_item, dont_filter=True) 1 0
- scrapy 爬网站 显示 Filtered offsite request to 错误.
- scrapy 爬网站 显示 Filtered offsite request to 错误.
- 用scrapy写爬虫 显示 Filtered offsite request to 错误.
- 使用scrapy 爬虫框架 提示： Filtered offsite request to 错误.
- scrapy提示DEBUG:Filtered offsite request to
- 爬虫 Filtered offsite request to XXX.com 错误.
- scrapy 爬虫过滤相同的url，Filtered duplicate request，dont_filter
- Maven错误：Using platform encoding (GBK actually) to copy filtered resources...
- Useful tips to scrapy web pages with Python(Request)
- scrapy爬取电影网站
- [Filtered request failed.] with root cause java.io.OptionalDataException
- pache 显示这样的错误时 "Request exceeded the limit of 10 internal redirects due to probable configuration er
- Scrapy爬妹子图网站图片
- scrapy（一）爬取动态网站
- scrapy框架爬取校花网站
- scrapy+xpath爬取不可描述网站
- python+scrapy+mysql爬取故事网站
- python scrapy之爬取 zhengfu网站
- java基础
- 深入理解C++中的mutable关键字
- Android 切换jdk on Mac OS
- 使用WinDbg —— .NET篇 (六)
- iOS多线程编程之NSThread的使用
- scrapy 爬网站 显示 Filtered offsite request to 错误.
- 安卓开发底层，应用，测试必看
- Linux IPC实践 --System V共享内存
- java基础2
- 3、继承、初始化⽅法、便利构造器
- android面试题笔试题总结
- Fragment实现的底部导航
- 设计模式(工厂和代理)
- android基础2
