scrapy源码分析（三）---------ExecutionEngine（二）一个request的周期
来源：互联网 发布：sai软件如何使用 编辑：程序博客网 时间：2024/05/18 00:15
上一篇中讲解了ExecutionEngine的主循环流程，下面就具体讲解下不需要搁置时，如何处理一个request，从下载页面到解析页面，最后到数据处理的整个流程。
几个核心的类介绍如下：
1.Scraper:刮取器。用于对下载后的结果进行处理，主要使用ItemPipelineManager对数据进行入数据库等操作。
2.Downloader：下载器。对同时下载网页的并发度进行控制，同时通过DownloaderMiddlewareManager来对request,response进行各个中间件的操作。并通过HTTP11DownloadHandler来使用twisted的连接池进行网页下载操作。
工作流程图如下:
1 0
- scrapy源码分析（三）---------ExecutionEngine（二）一个request的周期
- scrapy源码分析（二）----------ExecutionEngine（一）主循环
- scrapy源码分析（八）--------ExecutionEngine
- Scrapy源码分析（四）：请求Request
- Scrapy源码分析-常用的爬虫类-CrawlSpider（三）
- Scrapy源码分析（三）：信号管理器SignalManager
- Scrapy源码分析（二）：Setting相关类定义
- Scrapy源码分析-所有爬虫的基类-Spider（二）
- Scrapy阅读源码分析<三>
- Scrapy阅读源码分析<三>
- Scrapy阅读源码分析<二>
- Tomcat源码分析（三）------ Request和Response处理的全过程
- scrapy学习（三） crawlspider源码解析
- 一个普通的 Zepto 源码分析（三）
- scrapy源码分析（六）---------------CrawlProcess
- scrapy源码分析（七）------------ Crawler
- scrapy源码分析（九）-----------Scheduler
- scrapy源码分析（十）------------Scraper
- C语言基础总结之琐碎知识点
- Logback 简介
- ListFragment的使用
- QUTOJ 1361 字符串匹配 暴力
- 使用Rubymine的ruby on rails 学习历程①
- scrapy源码分析（三）---------ExecutionEngine（二）一个request的周期
- 仿真工具NS3的基本知识
- Spring Boot 2.0.0参考手册_中英文对照_Part IV_24
- Servlet开发的一些细节问题
- Spring Boot 2.0.0参考手册_中文版_Part IV_24
- n的阶乘相加
- POJ - 2891 Strange Way to Express Integers（同余方程组）
- 模板方法模式（Template Method）
- Java实用类小练习
