scrapy中的下载器中间件
来源:互联网 发布:plc网络共享 编辑:程序博客网 时间:2024/06/04 19:29
scrapy中的下载器中间件
下载中间件
下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。
编写下载器中间件
1.
process_request(request, spider)
当每个
request
通过下载中间件时,该方法被调用。
process_request()
必须返回其中之一: 返回None
、返回一个Response
对象、返回一个Request
对象或raise IgnoreRequest
。如果其返回
None
,Scrapy将继续处理该request
,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler
)被调用, 该request
被执行(其response
被下载)。如果其返回
Response
对象,Scrapy将不会调用 任何 其他的process_request()
或process_exception()
方法,或相应地下载函数; 其将返回该response
。 已安装的中间件的process_response()
方法则会在每个response
返回时被调用。如果其返回
Request
对象,Scrapy则停止调用process_request
方法并重新调度返回的request
。当新返回的request
被执行后, 相应地中间件链将会根据下载的response
被调用。如果其
raise
一个IgnoreRequest
异常,则安装的下载中间件的process_exception()
方法会被调用。如果没有任何一个方法处理该异常, 则request
的errback(Request.errback)
方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)。参数:
request
(Request
对象) – 处理的request
spider
(Spider
对象) – 该request
对应的spider
2.
process_response(request, response, spider)
process_response()
必须返回以下之一: 返回一个Response
对象、 返回一个Request
对象或raise
一个IgnoreRequest
异常。如果其返回一个
Response
(可以与传入的response
相同,也可以是全新的对象), 该response
会被在链中的其他中间件的process_response()
方法处理。如果其返回一个
Request
对象,则中间件链停止, 返回的request
会被重新调度下载。处理类似于process_request()
返回request
所做的那样。如果其抛出一个
IgnoreRequest
异常,则调用request的errback(Request.errback)。
如果没有代码处理抛出的异常,则该异常被忽略且不记录(不同于其他异常那样)。参数:
request
(Request
对象) –response
所对应的requestresponse
(Response
对象) – 被处理的responsespider
(Spider
对象) –response
所对应的spider
3.
process_exception(request, exception, spider)
当下载处理器(
download handler
)或process_request()
(下载中间件)抛出异常(包括IgnoreRequest
异常)时, Scrapy调用process_exception()
。
process_exception()
应该返回以下之一: 返回None
、 一个Response
对象、或者一个Request
对象。如果其返回
None
,Scrapy将会继续处理该异常,接着调用已安装的其他中间件的process_exception()
方法,直到所有中间件都被调用完毕,则调用默认的异常处理。如果其返回一个
Response
对象,则已安装的中间件链的process_response()
方法被调用。Scrapy将不会调用任何其他中间件的process_exception()
方法。如果其返回一个
Request
对象, 则返回的request
将会被重新调用下载。这将停止中间件的process_exception()
方法执行,就如返回一个response
的那样。参数:
request
(是Request
对象) – 产生异常的request
exception
(Exception
对象) – 抛出的异常spider
(Spider
对象) –request
对应的spider
总结:
总的来说下载器中间件就是起到处理request请求并且返回response的作用,一切从网页爬取的url发起的请求会组成一个请求队列,然后一个一个排队经过下载器中间件,之后下载器中间件会对request做出相应的处理,比如添加请求头,添加代理等等,然后通过process_response返回一个response,之后就是用得到的response做出相应的分析,当然这里的内容页可以不实现,但是如果要爬取大型的网站,会遇到被ban的可能就要在下载器中间件这里着手,设置一些相应的请求头,ip代理等等内容。
以上纯属个人逐渐摸索总结出来的内容,如果有什么错误欢迎指正
版权信息所有者:chenjiabing
如若转载请标明出处:chenjiabing666.github.io6
- scrapy中的下载器中间件
- scrapy使用代理ip的时候下载器中间件的配置文件设置
- zg手册 之 scrapy 开发(3)-- 下载中间件
- scrapy源码分析(十二)---------下载中间件RobotsTxtMiddleware
- 重写scrapy中间件之RetryMiddleware
- 解决Scrapy性能问题——案例三(下载器中的“垃圾”)
- 初试Scrapy(五)—通过下载保存美女图片来学习下Spider中间件(Spider Middlewares)
- Scrapy爬虫(八):中间件的使用实例
- Scrapy 通过中间件实现随机User-Agent
- Scrapy——流程以及middleware中间件
- scrapy如何从外部路径引入中间件
- scrapy 下载gif图片
- scrapy 下载图片 ImagesPipeline
- scrapy下载图片
- scrapy下载图片问题
- scrapy框架下载图片
- 配置scrapy下载图片
- scrapy 下载图片 ImagesPipeline
- FPGA Marvell 88exxxx phy 动起来
- eclipse使用指南
- 双括号初始化
- 自己的sublime设置
- HDU 2025 查找最大元素
- scrapy中的下载器中间件
- 一种需求梳理的方法
- 使用Python多线程如何实现生产者消费者模式?
- JavaScript 面向对象之二 —— 函数上下文(this的指向)
- 上传图片
- 算法的时间和空间复杂度的分析
- 深度学习AlexNet模型详细分析
- python 中TAB空格补全
- android java.lang.IllegalArgumentException: column 'id' does not exist 错误