使用scrapy爬取stl容器的时间复杂度
来源:互联网 发布:如何申请手机淘宝店铺 编辑:程序博客网 时间:2024/06/07 17:59
本篇博客是一个简单的scrapy应用教程,我们要用scrapy爬取 C++官网上(www.cplusplus.com/reference/stl)关于各个stl容器方法的时间复杂度文本内容,主要是find insert erase三个方法。
首先明确一下scrapy这个爬虫框架的大概流程,主要组件有调度器scheduler,下载器downloader,蜘蛛spider,实体管道item pipeline和scrapy引擎等。整个流程简化一下包括以下步骤
1. 调度器存储一个要爬取网址的优先队列,它来决定下一次要爬取哪个网址
2. 下载器下载对应的网页,得到一个response对象
3. spider从这个response对象提取出有用信息,构建成事先定义好的item对象,交由pipeline进一步处理
4. 通常爬取不会一次结束,所以spider可能会生成request对象,即发出新的请求给调度器
5. 以上步骤会一直重复直到调度器没有网址调度或是异常退出为止。
1.创建工程
scrapy startproject TimeComplexitycd TimeComplexityscrapy genspider -t basic reference www.cplusplus.com
startproject
创建工程, genspider
创建爬虫,参数 -t basic
意思是使用basic爬虫模板创建爬虫,reference
是爬虫名www.cplusplus.com
是限定爬取的域名。
项目的工程目录如下所示:
main.py是应用入口,运行命令”scrapy crawl reference”,即启动名为reference的spider
reference.py是项目的主要代码,spider对response进行解析提取出数据以及发送新的request都是在这里进行。
items.py定义了最后生成数据的结构。
pipeline.py是对生成的item对象的处理。
2.分析
我们要得到stl容器基本方法的时间复杂度,从页面上分析一下如何获取。
似乎很简单,获得id为“complexity”section的文本内容即可。同时我们要注意到有些文本被<a>
包裹,比如“size”,所以要提取<section>
内的文本以及其中的 <a>
内的文本。
接下来分析如何进入这个页面,观察url,后缀都是stl_name/function_name 的形式,比如进入set分类set容器的find方法页面,那么url是 www.cplusplus.com/reference/stl/set/set/find 。所以关键是爬取容器名称。
由于只有关联容器才有find insert erase方法,分析一下上图的网页,可以看到,我们要爬取的是Associative contaniners文本的兄弟节点中,class为links的dl标签下的超链接文本内容(先喘口气)。将爬取的字符串与url前缀拼接,再加上find insert erase路径,我们就可以进入之前分析的那个页面了。
3.善用xpath()
接下来就是编写代码了。reference.py已经定义好了start_url
和parse()
方法。start_url
就是我们初始爬取的网站,下载器会自动下载网页内容,生成response对象给parse()
方法处理。我们要做到的主要是对response对象使用xpath()
方法提取出有用信息。
start_urls = ['http://www.cplusplus.com/reference/stl/']def parse(self, response): next_urls = response.xpath('//div[@id="I_content"]//b[contains(text(),"Associative")]//following-sibling::dl[@class="links"]//a/@href').extract() for next_url in next_urls: container_name=next_url.split('/')[2] find_url= "http://www.cplusplus.com"+next_url+"find/" yield Request(find_url,callback=self.parse_middle,meta={'path_type':'find_time','container_name':container_name}) insert_url="http://www.cplusplus.com"+next_url+"insert/" yield Request(insert_url,callback=self.parse_middle,meta={'path_type':'insert_time','container_name':container_name}) erase_url = "http://www.cplusplus.com" + next_url + "erase/" yield Request(erase_url, callback=self.parse_middle,meta={'path_type':'erase_time','container_name':container_name})
使用xpath()
需要注意/
和 //
的差别,我一开始就是误用了/
而爬取不出任何数据。/
是选择当前节点的子节点而不包括子节点的后代节点, //
则包括,所以 /
写在开头就是从根节点开始寻找,根节点没有找到后面写啥都没用了。
这篇博客列出了xpath()
的常用方法,https://www.cnblogs.com/MUMO/p/5732836.html 可以作为参考。这里我们用到了contains,follow-sibling等规则。只要善用xpath()
的规则,爬取一些简单的页面元素并不困难。
当然,我们应清楚,xpath()提供的规则毕竟有限,有些情况下xpath()爬取特定的信息会很麻烦,这时候就需要用到更加强大更加灵活的正则表达式re()。由于本项目用不到正则表达式,所以暂时不做说明。
4.在requset和response之间传递参数
parse()
在爬取到容器名称后,生成新的url去爬取,并调用方法parse_middle()
进一步处理新爬取的网页。这就产生了一个问题,我们的find insert erase三个路径都是用parse_middle()
去处理的,那么 parse_middle()
怎么知道路径参数呢?一个很简单的做法就是对 response.url
处理,获得路径名称。另一种做法就是定义request对象的meta属性,把要传递的参数放进meta里。parse_middle()
从response对象获得meta就获得了要传递的参数了。
def parse_middle(self,response): result=response.xpath('//section[@id="complexity"]/text() | //section[@id="complexity"]/a/text()').extract() path_type=response.meta['path_type'] container_name=response.meta['container_name'] final_result="" for str in result: if str!='\n': final_result+=str item=ContainerItem() item['container_name']=container_name item[path_type]=final_result return item
5.item 与pipeline
在parse_middle()最后我们就爬出的信息保存为item对象。item就是预先定义好的爬取信息结构,在items.py中我们可以这么写:
class ContainerItem(scrapy.Item): container_name=Field() find_time = Field() insert_time = Field() erase_time = Field()
pipeline,顾名思义,就是对item进行流水线的处理,这里我要将最后生成的item存储到云服务器的redis数据库中,在pipeline.py中可以这么写:
class TimecomplexityPipeline(object): def __init__(self): self.client=redis.Redis(host='****',port=6379,password='****') def process_item(self, item, spider): if spider.name=='reference': if dict(item).has_key('find_time') : self.client.hset('container_time_complexity::'+item['container_name'],'find_time',item['find_time']) if dict(item).has_key('insert_time'): self.client.hset('container_time_complexity::' + item['container_name'], 'insert_time', item['insert_time']) if dict(item).has_key('erase_time'): self.client.hset('container_time_complexity::' + item['container_name'], 'erase_time', item['erase_time']) return item
6.源码
完整的源码放在了github上:
https://github.com/Yuanpei-Wu/ContainerTimeComplexitySpider
- 使用scrapy爬取stl容器的时间复杂度
- C++ STL中常见容器的时间复杂度
- C++ STL容器时间复杂度下的最佳选择
- C++的STL库,vector sort排序时间复杂度 及常见容器比较
- c++中stl vector的时间复杂度
- STL容器的使用
- 使用scrapy爬取域名的whois信息
- scrapy爬取使用jsonp技术的网页
- 使用scrapy爬取1024的图片(hentai!)
- 使用scrapy爬取网站上的所有图片
- 使用Scrapy爬取一个网站的数据
- C++ STL标准容器插入删除算法的复杂度
- C++ STL标准容器插入删除算法的复杂度
- C++ STL标准容器插入删除算法的复杂度(转载)
- C++ STL标准容器插入删除算法的复杂度
- 使用Scrapy爬取大众点评图片
- Python使用Scrapy爬取妹子图
- 使用Scrapy递归爬取网页
- linux编译hadoop
- nginx流媒体服务器搭建
- 【我的Java笔记】多线程_使用Lock锁对象解决线程安全问题
- linux下python安装到指定目录
- 浏览器兼容性处理
- 使用scrapy爬取stl容器的时间复杂度
- RabbitMQ无法访问Web管理页面
- ajax 服务端交互返回json数据处理
- SpringBoot非官方教程 | 第二十六篇: sprinboot整合elk,搭建实时日志平台
- java script模式下的贪吃蛇游戏
- 1019汽车加油
- linux 编辑文件过程中意外退出,再次进入报错解决
- js页面请求中的异步问题
- Android从入门到转行之分享