欢迎使用CSDN-markdown编辑器
来源:互联网 发布:如何删除数据库中的表 编辑:程序博客网 时间:2024/06/06 11:39
一.初识Scrapy
学习链接:
http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
http://www.jianshu.com/p/95403d6c1305
1.Scrapy的五大模块:
(Scrapy Engine):Scrapy使用Twisted来作为框架的核心,Twisted是一个基于事件驱动的网络引擎框架。所以引擎主要是用来处理整个系统的数据流,触发各个事件。
调度器(Scheduler):调度器接受引擎传来的数据,维护需要爬取的网页URL队列,并通过规定的调度机制将URL创建为下载请求。
管道(Item Pipeline):将爬取到的内容转换为实体对象,并对实体对象做有效性验证、持久化等等自定义的操作。
下载器(Downloader):主要是进行网页的http请求及响应,负责产生数据并返回数据。
爬虫(Spiders):在爬虫中,定义爬取URL的规则和网页信息的提取规则。
1 0
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- 欢迎使用CSDN-markdown编辑器
- APICloud框架——获取本地图片信息
- [BZOJ1084][SCOI2005]最大子矩阵(dp)
- Java父类与接口方法重名的分析
- 评自己博客
- 打开免疫
- 欢迎使用CSDN-markdown编辑器
- ZOJ 2374 Marbles on a tree
- SPI接口
- 工作流框架--activiti(五)--个人任务和组任务
- 解决QQ启动出错:Initialization failure:0x0000000C
- bzoj 1071: [SCOI2007]组队 (单调性乱搞)
- java理解程序逻辑4
- iOS 内存管理
- MySQL数据库(7)