Python爬虫(二):整体设计
来源:互联网 发布:大疆航测软件 编辑:程序博客网 时间:2024/06/03 19:39
由前文Python爬虫(一):环境配置的方案选取可知,项目的核心是使用scrapy
抓取感兴趣的内容,使用PyQt实时显示结果,所爬取的条目数量为10W数量级,访问频率在被网站可容忍的情况下尽可能的快。很明显,这里存在多任务并行,例如,多个爬之间属于并行任务,爬虫与GUI显示属于并行任务。使用python多进程模型应该是最基本的实现方式,数据流如下:
Task0为GUI进程,Task1~Task6为6个爬虫进程,每个进程负责下载和分析某个特定的网站,Task7为Task0的子线程,负责数据存储。各个进程间的数据通信采用进程安全的队列Queue,事件同步采用Event。
时序关系如下:
0 0
- Python爬虫(二):整体设计
- Python 边做边学 7 整体设计
- python 爬虫(二)
- Python爬虫实例二
- Python爬虫入门二
- python爬虫练手二
- python爬虫(二)
- python爬虫(二)
- Python爬虫入门 (二)
- python爬虫(二)
- python爬虫二
- Python 爬虫(二)
- python爬虫系列二
- Python爬虫知识点二
- 原理分析之二:框架整体设计
- 原理分析之二:框架整体设计
- 原理分析之二:框架整体设计
- 原理分析之二:框架整体设计
- 61. Rotate List
- 学生信息管理系统--(Java+MySQL实现)
- 《java入门第一季》之类StringBuffer类初步
- 文章标题
- 写博客初期的感想
- Python爬虫(二):整体设计
- 【HDU 1548】【BFS】A strange lift
- Android学习(46) -- SmartImageView
- JavaScript 基础
- 一:策略模式
- iOS开发16进制颜色转10进制RGB颜色
- Loadrunner 11.00兼容Windows 64位系统
- 眼疼
- First In It