爬虫实践（三）--了解scrapy

说明

所谓工欲善其事必先利其器，scrapy就是爬虫有力的工具。想用好它，就要先了解它的工作原理，毕竟，知己知彼方可百战不殆。

Scrapy整体结构

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

• Scrapy主要包括了以下组件：
  引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心)

• 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列,由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

• 下载器(Downloader) 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)

• 爬虫(Spiders) 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

• 项目管道(Pipeline) 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

• 下载器中间件(Downloader Middlewares) 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

• 爬虫中间件(Spider Middlewares) 介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

• 调度中间件(Scheduler Middewares) 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

运行的顺序为Scrapy > scheduler > downloader > spiders > item pipeline

理解组件的作用

1. Scrapy Engine(Scrapy引擎)
   Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。

2. Scheduler(调度)

调度程序从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求后返还给他们，此队列貌似是栈的模式。
3. Downloader(下载器)

下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。
4. Spiders(蜘蛛)

蜘蛛是有Scrapy用户自己定义用来解析网页并抓取制定URL返回内容的类，每个蜘蛛都能处理一个域名或一组域名。换句话说就是用来定义特定网站的抓取和解析规则。

1. Item Pipeline(管道)

项目管道的主要责任是负责处理有蜘蛛从网页中抽取的项目，他的主要任务是清洗、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。每个项目管道的组件都是有一个简单的方法组成的Python类。他们获取了项目并执行他们的方法，同时他们还需要确定的是是否需要在项目管道中继续执行下一步或是直接丢弃掉不处理。

1. 中间件
   
   • 下载中间件是位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。它提供了一个自定义的代码的方式来拓展Scrapy的功能。下载中间器是一个处理请求和响应的钩子框架。他是轻量级的，对Scrapy尽享全局控制的底层的系统。
   • Spider middlewares(蜘蛛中间件)
     蜘蛛中间件是介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。它提供一个自定义代码的方式来拓展Scrapy的功能。蛛中间件是一个挂接到Scrapy的蜘蛛处理机制的框架，你可以插入自定义的代码来处理发送给蜘蛛的请求和返回蜘蛛获取的响应内容和项目。
   • Scheduler middlewares(调度中间件)
     调度中间件是介于Scrapy引擎和调度之间的中间件，主要工作是处从Scrapy引擎发送到调度的请求和响应。他提供了一个自定义的代码来拓展Scrapy的功能。
2. 其他功能
   
   • HTML, XML源数据 选择及提取 的内置支持
   • 提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。
   • 通过 feed导出 提供了多格式(JSON、CSV、XML)，多存储后端(FTP、S3、本地文件系统)的内置支持
   • 提供了media pipeline，可以 自动下载 爬取到的数据中的图片(或者其他资源)。
   • 高扩展性。您可以通过使用 signals ，设计好的API(中间件, extensions, pipelines)来定制实现您的功能。
   • 内置的中间件及扩展为下列功能提供了支持:
   • cookies and session 处理
   • HTTP 压缩
   • HTTP 认证
   • HTTP 缓存
   • user-agent模拟
   • robots.txt
   • 爬取深度限制
   • 针对非英语语系中不标准或者错误的编码声明, 提供了自动检测以及健壮的编码支持。
   • 支持根据模板生成爬虫。在加速爬虫创建的同时，保持在大型项目中的代码更为一致。详细内容请参阅 genspider 命令。
   • 针对多爬虫下性能评估、失败检测，提供了可扩展的 状态收集工具 。
   • 提供 交互式shell终端 , 为您测试XPath表达式，编写和调试爬虫提供了极大的方便
   • 提供 System service, 简化在生产环境的部署及运行
   • 内置 Web service, 使您可以监视及控制您的机器
   • 内置 Telnet终端 ，通过在Scrapy进程中钩入Python终端，使您可以查看并且调试爬虫
   • Logging 为您在爬取过程中捕捉错误提供了方便
   • 支持 Sitemaps 爬取

scrapy各个组件相互配置工作的流程

1. 首先从初始 URL 开始，Scheduler 会将其交给 Downloader 进行下载，下载之后会交给 Spider 进行分析，Spider 分析出来的结果有两种：一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回 Scheduler ；另一种是需要保存的数据，它们则被送到 Item Pipeline 那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。
2. 发起请求->下载中间件处理请求->下载数据得到response->中间件对response做处理->parse函数解析response，提取你要的信息->生成item(或request)->pipeline处理item

自定义部分

• items模块：items用来定义你需要提取的数据的格式，方便进行一层一层的分析操作，你可以直接把它在使用上类比成python的字典，在概念上类比为MongoDB的schema。
• spider：就是我们的爬虫主体了，这里最重要的功能是对下载下来的数据做解析，生成符合规范的item或发起新的请求。我们首先实现的parse函数是解析spider的start_url请求的，对start_url默认的下载操作是直接拉下整个html，所以动态网页就不行了。那对于网页里嵌入了js的，要使用中间件进行特殊处理。对于我们手动发起的请求而非初始请求，我们是可以自己指定解析函数的，而非使用默认。同时我们也是可以通过继承scrapy的请求类构造自己的请求以附带一些信息的。这样就实现了请求和对返回结果解析的松耦合。
• pipeline：pipeline是对得到的item做进一步处理的，并非你所得到的所有item都是合乎要求的，也有可能还要做一些计算工作才得到你想要的。scrapy这里的强大在于做处理的时候是传入spider对象做参数的，这样你可以把一个pipeline和多个spider拼接，不需要为一个spider另写一个pipeline，同时pipeline是可以有多个在一起的，只要你在processitem函数里返回这个item，它就会被下面的pipeline继续处理。

安装使用

//安装pip install Scrapy//创建项目scrapy startproject scrapyTest（your_project_name）

创建生成如下文件

scrapy.cfg  项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）items.py    设置数据存储模板，用于结构化数据，如：Django的Modelpipelines    数据处理行为，如：一般结构化的数据持久化settings.py 配置文件，如：递归的层数、并发数，延迟下载等spiders      爬虫目录，如：创建文件，编写爬虫规则

创建完就要编写spiders文件夹下的爬虫文件了

leason|个人博客