Scrapy爬虫原理及实践

Scrapy简介

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

架构概览

• Scrapy Engine：引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件，此组件相当于爬虫的“大脑”，是整个爬虫的调度中心。
• 调度器(Scheduler):调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
  初始的爬取URL和后续在页面中获取的待爬取的URL将放入调度器中，等待爬取。同时调度器会自动去除重复的URL（如果特定的URL不需要去重也可以通过设置实现，如post请求的URL）
• 下载器(Downloader):下载器负责获取页面数据并提供给引擎，而后提供给spider。
• Spiders: Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
• Item Pipeline: Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。
• 下载器中间件(Downloader middlewares): 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能
  通过设置下载器中间件可以实现爬虫自动更换user-agent、IP等功能。
• Spider中间件(Spider middlewares): Spider中间件是在引擎及Spider之间的特定钩子(specific
  hook)，处理spider的输入(response)和输出(items及requests)。
  其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

数据流

1.引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。

2.引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。

3.引擎向调度器请求下一个要爬取的URL。

4.调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。

5.一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。

6.引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。

7.Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。

8.引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。

(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

Scrapy实战

1.创建项目

在开始爬取之前，首先要创建一个新的Scrapy项目。这里以抓取凤凰科技新闻为例，进入你打算存储代码的目录中，运行下列命令:

scrapy startproject scrapyspider

该命令将会创建包含下列内容的scrapyspider目录:

scrapyspider/    scrapy.cfg    scrapyspider/        __init__.py        items.py        pipelines.py        settings.py        spiders/            __init__.py            ...

这些文件分别是:

scrapy.cfg: 项目的配置文件。
scrapyspider/: 该项目的python模块。之后您将在此加入代码。
scrapyspider/items.py: 项目中的item文件。
scrapyspider/pipelines.py: 项目中的pipelines文件。
scrapyspider/settings.py: 项目的设置文件。
scrapyspider/spiders/: 放置spider代码的目录。

2. 编写你的spiders

# -*- coding: utf-8 -*-import scrapyfrom scrapy.spiders import CrawlSpider, Rulefrom scrapy.linkextractors.lxmlhtml import LxmlLinkExtractorfrom News_scrapy.items import ifengItemclass ifeng(CrawlSpider):    # 爬虫名    name = "ifeng"    # 爬取域范围, 允许爬虫在这个域名下进行爬取    allowed_domains = ["tech.ifeng.com"]    # 起始url列表, 爬虫执行后的第一批请求, 队列处理    start_urls = ['http://tech.ifeng.com/']    rules = (        # 从起始页提取匹配正则式'/channel/\d{1,3}\.html'的链接，并使用parse来解析        Rule(LxmlLinkExtractor(allow=(r'/listpage/\d{5}/\d/.+', )), follow=True),        # 提取匹配'/article/[\d]+.html'的链接，并使用parse_item_yield来解析它们下载后的内容，不递归        Rule(LxmlLinkExtractor(allow=(r'/a/\d{8}/[\d|_]+\.shtml', )), callback='parse_item'),    )    def parse_item(self, response):        item = ifengItem()        item['url'] = response.url        item['title'] = response.xpath('//*[@id="artical_topic"]/text()').extract()[0].strip()        item['pub_time'] = response.xpath('//*[@id="artical_sth"]/p/span[1]/text()').extract()[0].strip()        item['content_code'] = response.xpath('//*[@id="main_content"]').extract()[0].strip()        # 返回每个提取到的item数据, 给管道文件处理, 同时还会回来执行后面的代码        yield item

3. items.py定义要抓取的字段

# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass NewsItem(scrapy.Item):    # define the fields for your item here like:    title = scrapy.Field()          # 文章标题    url = scrapy.Field()            # 文章来源    content_code = scrapy.Field()   # 文章内容块(HTML代码块)    pub_time = scrapy.Field()       # 发布时间

4.pipelines.py处理提取出来的item, 这里将他保存成json文件

# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport jsonclass NewsScrapyPipeline(object):    def __init__(self):        pass    def process_item(self, item, spider):        # 'a' 追加        if spider.name == 'ifeng':            self.f = open('ifeng.json', 'a')        # 中文使用unicode编码        content = json.dumps(dict(item), ensure_ascii=False) + '\n'        self.f.write(content)        return item    def close_spider(self, spider):        self.f.close()

5..启动爬虫

打开终端进入项目所在路径(即:scrapyspider路径下)运行下列命令：

scrapy crawl ifeng

启动爬虫后就可以看到打印出来当前页所有文章标题了。

爬虫时遇到的一些问题以及经验总结

使用response.xpath解析网页信息的小技巧

使用google浏览器安装xpath helper插件，可以敲xpath路径手动定位到信息。或者选中内容检查网页代码，复制xpath路径

Scrapy爬取规则(Crawling rules)的应用

class scrapy.contrib.spiders.Rule(link_extractor,callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None)

• link_extractor是一个Link Extractor对象。 其定义了如何从爬取到的页面提取链接
• follow是一个布尔(boolean)值，指定了根据该规则从response提取的链接是否需要跟进。 如果callback为None，follow 默认设置为True，否则默认为False。
• 编写爬虫规则时，请避免使用parse作为回调函数。 由于CrawlSpider使用parse方法来实现其逻辑，如果您覆盖了parse方法，crawl spider 将会运行失败

debug crawled (200) 问题小结

1. xpath路径错误
2. 规则定义错误（正则匹配有问题）

设置浏览器代理

在setting.py中 user-agent设置

USER_AGENT ="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "  

scrapy shell进行测试

scrapy shell 'www.baidu.com'

可以进行返回的response测试，如response.url, response.head, response.xpath()等，可以在编写spiders的时候测试，提高效率