玩转Python-Scrapy(二):Spider爬虫类
来源:互联网 发布:淘宝图片水印大小 编辑:程序博客网 时间:2024/06/07 02:03
- 预先准备
- Scrap流程
- Spider类成员
预先准备
在开始前,我们先按scrapy官方文档提供的方法新建一个示例项目:
在安装好了scrapy后,在命令行scrapy项目部署的目录中运行以下命令,新建名为tutorial的项目:
scrapy startproject tutorial
接着,我们就应该会获得一个有如下目录结构的scrapy项目:
tutorial/ scrapy.cfg # deploy configuration file tutorial/ # project's Python module, you'll import your code from here __init__.py items.py # project items definition file pipelines.py # project pipelines file settings.py # project settings file spiders/ # a directory where you'll later put your spiders __init__.py
接着在项目的spiders目录下新建一个python文件,命名为demo_spider.py,并写入如下内容:
import scrapyclass QuotesSpider(scrapy.Spider): name = "quotes" def start_requests(self): urls = [ 'https://movie.douban.com/tag/#/', ] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): page = response.url.split("/")[-2] filename = 'quotes-%s.html' % page with open(filename, 'wb') as f: f.write(response.body) self.log('Saved file %s' % filename)
Spider爬虫类是scrapy中最核心的类,它定义了目标网站将如何被scraped,包括如何执行爬取操作(crawl)/遍历链接,以及如何从链接对应的页面中提取结构化数据(即scraping items)。
Scrap流程
Spider的scraping流程如下:
1. 首先生成最初始的请求(Requests)以爬取第一批urls,并且要实现一个回调函数以在获得从请求那儿下载的响应体时调用。第一批爬取的请求是通过调用start_requests()方法获得的,它将针对start_urls参数中指定的urls生成Request请求对象,并将parse方法作为生成请求后的回调函数。2. 在回调函数(parse())中,我们可以将响应(页面)进行转换,并选择返回提取数据、Item对象、Request对象的字典,或者返回这些对象的一个迭代。这些Requests将会包含一个回调函数,并且将在之后被Scrapy下载并用具体的回调去处理它们的响应。3. 在回调函数中,我们一般会用选择器(Selectors)转换页面内容(其实也可以用BeautifulSoup,lxml或者其它类似的html请求解析工具),并生成有转换数据的项(items)。4. 最后,从spider返回的项一般会被持久化到一个数据库(通过一些项管道(item pipeline)),或者写到文件中。(通过Feed exports)
Spider类成员
class scrapy.spiders.Spider
这是最简单的爬虫类,也是所有其它类型的爬虫必须继承的一个类(包括其它scrapy中预定义的爬虫类,以及我们基于scrapy框架自己编写的爬虫类)。该类不提供任何特别的功能,只提供了默认的start_requests()实现,该方法将会从start_urls参数中拿url并向对应url发送请求,并调用类方法parse()对从请求处返回的相应进行处理。
name
这个唯一定义一个爬虫的字符串,scrapy框架将通过name属性定位spider类并实例化它,所以任何一个爬虫类的name必须是独一无二的。(当然,多次实例化同一个spider类是没问题的)。
而如果一个爬虫只scrape一个域名的网站,那么通常的做法是将爬虫用对应域名来命名(去除TLD顶级域名部分),比如一个爬取baidu.com的网站,就可以设置其name为baidu,而不要com部分。
- allowed_domains
这是一个可选的字符串列表,它定义了spider允许爬取的域名。如果参数OffsiteMiddleware被启用的话,任何来自非定义允许爬取域名的url的对应请求都将不会被处理。
start_urls
一个url的列表,一般没有特别声明的url时,spider将从该列表开始爬取工作。后续的url将会从这些声明好的url中包含的数据中生成。
logger
随Spider的name属性一起创造的日志。可以通过logger来发送信息。
start_requests()
这个方法必须返回一个spider用于爬取的,来自最开始的Requests的迭代。Scrapy将在开启一个spider的scrap工作时调用该方法,并只调用一次。
默认的实现会针对每个start_urls参数中的url生成Request(url,dont_filter=True)
如果我们要自定义用于开启爬取一个域名的Requests,我们就需要重写这个方法。比如,如果我们想通过一个POST请求以登录作为爬取的预备工作,我们就可以这样:
class MySpider(scrapy.Spider): name = 'myspider' def start_requests(self): return [scrapy.FormRequest("http://www.example.com/login", formdata={'user': 'john', 'pass': 'secret'}, callback=self.logged_in)] def logged_in(self, response): # here you would extract links to follow and return Requests for # each of them, with another callback pass
- parse(response)
当response没有指定回调函数时,该方法是Scrapy处理下载的response的默认方法。
parse 负责处理response并返回处理的数据以及(/或)跟进的URL。 Spider 对其他的Request的回调函数也有相同的要求。
该方法及其他的Request回调函数必须返回一个包含 Request 及(或) Item 的可迭代的对象。
参数: response (Response) – 用于分析的response
- closed(reason)
当spider关闭时,该函数被调用。 该方法提供了一个替代调用signals.connect()来监听 spider_closed 信号的快捷方式。
- 玩转Python-Scrapy(二):Spider爬虫类
- 玩转Python-Scrapy(一):初探scrapy
- Scrapy源码分析-常用的爬虫类-CrawlSpider(三)
- Python scrapy基础教程(二)
- 封装的PHP爬虫类(二)批量抓取
- Scrapy源码分析-所有爬虫的基类-Spider(二)
- Scrapy笔记(3)- Spider详解
- Scrapy爬虫入门教程四 Spider(爬虫)
- Scrapy学习笔记(4)—Spider
- (转)Python-Spider
- 搜索引擎–Python下开源爬虫(spider)框架scrapy的使用
- 使用python的scrapy框架,spider与pipelines的调用
- 【python】【scrapy】使用方法概要(二)
- python 爬虫学习二(Scrapy讲解)
- Scrapy spider代码片段
- Scrapy Spider前奏
- scrapy 入门教程 爬虫 Spider
- Spider based on scrapy
- mybatis 中 foreach collection的三种用法
- 【SSM】Eclipse使用Maven创建Web项目+整合SSM框架
- python中dict、tuple、set、list 等数据类型的浅显认识
- 对Virtualenv命令的认识
- RatingBar星星显示不全或星星图片被拉伸解决方案
- 玩转Python-Scrapy(二):Spider爬虫类
- nginx自定义500,502,504错误页面无法跳转
- POJ 2074(视线与障碍物+求直线和线段交点)
- 原型模式
- 知识
- SQL怎么查看和删除存储过程
- 项目开发模型
- 设计模式-迭代器模式
- java鬼混笔记:springboot之thymeleaf 6:内联模式