开发一款开源爬虫框架系列(五):爬虫架构的一些新思路
来源:互联网 发布:淘宝代工品牌怎么样 编辑:程序博客网 时间:2024/06/06 03:12
爬虫开源项目地址:http://git.oschina.net/coliza/MongooCrawler
以前的思路是由客户端完成所有的下载网页,解析等功能,服务器端负责从内存队列中拿到数据并将获取的对象输出到存储层。现在发现一个很麻烦的问题,不同的网站需要定制不同的抓取策略,如果部署爬虫集群,那么假如我
要修改解析策略或存储策略,客户端或者服务器只能重写、编译、部署,而且服务端负责存储压力大很容易造成性能瓶颈。
解决方法就是,客户端一样负责抓取和分析功能,不一样的是这个定义解析策略的对象通过RPC调用服务端的接口获取,这样修改策略就不需要再动客户端。客户端同时负责调用数据层的接口存储数据,只不过负责存储的对象同
样通过RPC调用服务端的接口获取。
近期一直在写爬虫,看了很多别人设计的爬虫架构后,我大概梳理了一下主要的功能模块,其一是抓取主体,一般是多个内存队列存储url,不同的爬虫节点从队列中获取url进行爬取;其二是公共库,存储一些抓取需要用的帐号和代理ip;其三是监控报警;其四是抓取规则配置。
0 0
- 开发一款开源爬虫框架系列(五):爬虫架构的一些新思路
- 开发一款开源爬虫框架系列(二):设计爬虫架构
- 开发一款开源爬虫框架系列(一):分析nutch,scrapy的爬虫设计
- 开发一款开源爬虫框架系列(三):聊聊并发包中的队列(Queue)
- 开发一款开源爬虫框架系列(四):设计fetcher
- 爬虫系列三:开发爬虫
- 开源爬虫框架
- Python爬虫抓取框架:Scrapy的架构
- python爬虫系列(五):多线程实例
- 网络爬虫项目开发日志(五): 爬虫协议初探
- Python开源爬虫框架:Scrapy架构分析
- Python开源爬虫框架:Scrapy架构分析
- Java爬虫框架(一)--架构设计
- 网络爬虫项目开发日志(二):爬虫架构设计
- Python爬虫开发(五):反爬虫措施以及爬虫编写注意事项
- 爬虫系列18.下载框架
- 爬虫的基本架构
- 爬虫的架构
- LSTM源码分析
- maven6—pom.xml解析
- 数据采集及传输名词解释——比特率、波特率、码率、帧率
- Leetcode 44. Wildcard Matching (Hard) (cpp)
- 【二维数组】旋转方阵
- 开发一款开源爬虫框架系列(五):爬虫架构的一些新思路
- JVM学习笔记之class文件
- 团队在Github上协同开发项目流程
- 分布式缓存--系列1 -- Hash环/一致性Hash原理
- 使用mysqldump备份MySQL数据库
- 操作图像3-用pillow操作图像
- DHCP服务器配置-Centos
- css 里设置背景图片遇到的问题
- 微信小程序开发之动画 Animation 放大 透明度