Scrapy架构简述

瞅一眼官方文档给出的架构图，此图中包含了Scrapy框架的基本组件构成以及数据流的走向。

---

第一眼看过去，有点蒙逼是正常的，接着往下看看就会会理解了。
先了解了解每个组件是做什么的：

Spiders(爬虫类): Spiders是开发者自定义的一个类，用于解析相应并提取item或下个爬取的URL

Scrapy Engine(引擎): Engine负责控制数据流在系统中的流动走向，并在指定条件下触发一些事件。同时，也可以简单理解为Scrapy中数据流的中转站

Scheduler(调度器): Scheduler接收Engine发出的requests，并将这些requests放入到处理队列中，以便之后Engine需要时再提供

Downloader(下载器): Downloader负责抓取网页信息并提供给Engine，进而转发至Spider

Item Pipeline(处理管道): Item Pipeline负责处理Spiders类处理提取之后的item，典型的处理有数据清洗，验证以及持久化

---

下面需要在介绍一下架构中存在的两种中间件

Spider middlewares: Spider中间件作为Spider和Engine中间存在的特定钩子，处理Engine返回的responses和自身向Engine输出的requests、items

Downloader middlewares: Downloader中间件作为Engine和Downloader中间存在的特定钩子，处理从Engine发出的requests和自身向Engine返回的responses

在后期的讲解中，会慢慢涉及中间件的开发，并利用中间件方便的完成许多功能

---

重点讲解一下整个架构的数据流的流通过程(看图理解)：

1. Engine从Spider获取到第一条Requests

2. Engine将这条Requests发送至Scheduler,然后从Spider准备接收下一条Requests

3. Schedulers取出队列中的一条Requests发送给Engine

4. Engine 将接收到的Requests发送至Downloader，这个过程Requests会经过Downloader Middlewares

5. 一旦页面完成下载，Downloader会成为一个Response，然后将它发送至Engine，这个发送过程也会经过Downloader Middlewares

6. Engine接收到Response后，将它发送至Spider进行处理，会经过Spider Middlewares

7. Spider处理完Response然后返回items和新的Requests至Engine，会经过Spider Middlewares

8. Engine将接收到的Item发送至Item Pipelines，然后将Requests发送至Scheduler并准备接收下一条需要爬取的Requests

9. 一次url的爬取过程结束了，然后会重复这个爬取过程，直到Schedueler中没有Requests需要处理。

---

通过这篇文章的阅读，可以大概了解Scrapy框架基本构成及数据流的走向。对后续Scrapy的学习会有非常大的帮助，同时为进阶的Scrapy学习及源码的剖析打下基础。