Scrapy-CrawlSpider爬虫组件
来源:互联网 发布:less.js windows 编辑:程序博客网 时间:2024/05/16 02:31
python是一门伟大的语言,python的世界里有很多优秀的开源库,今天要解析的开源库是刚刚接触不久的Scrapy--
开源爬虫库。
Scrapy可能对很多人都是一个比较陌生的开源爬虫库,网上的资料也比较少,我也是最近才发现并决定学习使用的。
Scrapy整体框架实现上与Django框架原理很相似,两者都强调松耦合,高度的抽象使编程简单、简洁化,与python设计
理念是一致的,可惜我没有参透python的禅宗,下来主要分析一下Scrapy中的CrawlSpider爬虫组件。
CrawlSpider是一个比较有用的组件,其通过正则表达匹配对应url并爬取,通过Xpath解析网页内容,再在新页面
抽取url继续爬取。CrawlSpider派生自InitSpider派生自BaseSpider(最基本爬虫组件).
CrawlSpider主要通过Rule类进行正则表达式的设定,设定相应的回调函数等.......
Rule类如下:
参数:link_extractor 一个url抽取器对象,通过它设定正则,允许匹配什么类型的url,不匹配那些都可以通过它设定
callback 回调函数可传函数的对象或者函数字符串表现形式,此回调函数主要处理抓取到的数据到Item对象
函数形式为:def 函数名(self,response[,**cb_kwargs])
cb_kwargs 回调函数参数 字典类型
follow 是否继续爬取,true 继续爬取,false 到此停止
process_link 是一个可选的回调函数,接受一个list参数(list元素是通过正则匹配返回url列表),此函数为什么
可选?主要是处理例如:list 参数里元素url是相对路径,可通过此回调处理加上域名形成一个完整的URL。反正是对路
径做一些附加处理。
CrawlSpider:
CrawlSpider类通过parse函数解析response
parse 函数调用 _response_downloaded函数并返回,返回类型必须是Item 或 Request 对象的列表,这是
Scrapy 规定的。再看看_response_downloaded函数
函数表达的意思为:
调用callback回调函数(如果callback实例函数有效),否则返回()空元组,callback返回的是item或Request对象list
一开始回调函数为parse_start_url 函数,如果不重写此函数相当于种子页面不处理。默认返回空list
调用process_results函数,此函数可重写,如果不重写,返回的是callback返回值(这里要慢慢看代码体会)
接下来通过follow判断完成通过正则抽取的URL的爬取,此时调用_requests_to_follow函数
通过response参数传进当前页面信息,
seen = set() 防止正则抽取到一样的路径
循环通过对rule对象设置进行正则抽取,并过滤重复的url,接着通过process_links函数(前面提到的URL加工函数)
如果该函数对象实例存在。
通过links 列表循环调用Request对象进行进一步抓取。通过ddCallback(self._response_downloaded, rule.callback, cb_kwargs=rule.cb_kwargs, follow=rule.follow)设回调,self._response_downloaded为回调函数。
- Scrapy-CrawlSpider爬虫组件
- Scrapy-CrawlSpider爬虫组件
- Scrapy-CrawlSpider爬虫组件
- scrapy爬虫:CrawlSpider用法与总结
- Scrapy框架利用CrawlSpider创建自动爬虫
- Scrapy框架利用CrawlSpider创建自动爬虫
- 网络爬虫之Scrapy实战三:爬取多个网页CrawlSpider
- Scrapy爬虫框架学习笔 二 CrawlSpider的使用
- 六.scrapy crawlspider
- Python爬虫系列之----Scrapy(九)使用CrawlSpider完善豆瓣图书爬虫
- Scrapy框架学习(四)----CrawlSpider、LinkExtractors、Rule及爬虫示例
- python scrapy爬虫 CrawlSpider 拉钩招聘网302重定向问题解决方案 , 修改setting信息,添加cookie请求
- scrapy学习(三) crawlspider源码解析
- 爬虫-06-CrawlSpider及源码分析
- Python爬虫入门-小试CrawlSpider
- scrapy爬虫
- Scrapy 爬虫
- scrapy爬虫
- ORACLE全备份和0级增量备份的区别
- 多核相关资源 收集
- OpenGL系统设计-高级3D模型接口之OBJ模型(1)
- 如何让链接目标在框架页中打开
- 七、java的面向对象程序设计(详解equals方法)
- Scrapy-CrawlSpider爬虫组件
- OpenGL系统设计-高级3D模型接口之OBJ模型(2)
- 博客目录——文章索引
- STL库中find函数
- OpenGL系统设计-高级3D模型接口之MD2模型(1)
- 将 MFC 应用程序移植到 Linux(循序渐进使用 wxWindows 的指南)
- 我的观点
- C++中的开放数据库连接技术
- OpenGL系统设计-高级3D模型接口之MD2模型(2)