Scrapy 爬虫 个人学习经验
来源:互联网 发布:淘宝好评20字以上 编辑:程序博客网 时间:2024/05/20 22:38
安装Scrapy
安装环境 : python2.7, Ubuntu16.04
pip install Scrapy
使用Scrapy
创建工程
scrapy startproject programname
scrapy 会创建一个sipders文件里面用于放置爬虫文件
item 用于创建数据类
piplines用于处理数据
middlewares 中间器 可以在爬虫重写其中的方法
settings 用于爬虫的配置
编写爬虫
建立一个scrapy.Spider的子类为爬虫类
name 为 爬虫名字,用scrapy crawl name启动爬虫 一定要写
allowed_dimains 为爬取网址的部分
start_urls 开始爬取的url
rules = ( #自动从response中根据正则表达式提取url,再根据这个url再次发起请求,并用callback解析返回的结果 Rule(LinkExtractor(allow=(r'https://movie.douban.com/subject/\d+/')), callback="parse_item"), #Rule(LinkExtractor(allow=(r'https://movie.douban.com/tag/\[wW]+'))), # 从网页中提取http链接 )
Rule类的参数:link_extractor、callback=None、cb_kwargs=None、follow=None、process_links=None、process_request=None
allow:满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。
deny:与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
allow_domains:会被提取的链接的domains。
deny_domains:一定不会被提取链接的domains。
restrict_xpaths:使用xpath表达式,和allow共同作用过滤链接。还有一个类似的restrict_css
定义 start_requests 用来请求start_urls中的url
def start_requests(self): for url in self.start_urls: yield Request(url,headers= self.header,callback=self.parse )
编写parse来处理start_requests 返回的请求,爬取所需的信息
数据保存与处理
在items文件中建立scrapy.Item的子类
启用piplines处理数据,在settings文件中写入
ITEM_PIPELINES = { 'projectname.pipelines.pipelinesclassname':300,}
在pipelines 文件里重写 open_spider(执行spider时,运行一次)
def open_spider(self,spider): client = pymongo.MongoClient('localhost',27017) database = client['databasesname'] self.collection = database['collectionname']
这里是用MongoDB,所以open_spider建立与MongoDB的连接
def process_item(self, item, spider): data = { 'Id': item['Id'], } self.collection.insert(data) return item
将item数据写入数据库
数据去重
for id in collection.distinct('Id'): num = collection.count({'Id': id}) for i in range(1,num): collection.remove({'Id':id},0)
通过distinct,将相同属性的合并,统计数据,若大于1,则有重复数据,删除多余数据
scrapy使用代理
打开middlewares.py
在middlewares.py中增加一个类,取名:ProxyMiddleware即代理中间件
class ProxyMiddleware(object): proxyList = [] def process_request(self, request, spider): pro_ip = random.choice(self.proxyList) print "use proxyip "+ pro_ip request.meta['proxy'] = "http://"+ pro_ipDOWNLOADER_MIDDLEWARES = { 'projectname.middlewares.ProxyMiddleware': 100, 'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110}
或者在重写的star_requests
def start_requests(self): for url in self.start_urls: yield Request(url,headers= self.header,callback=self.parse,meta = {'proxy':proxyip})
PS:参考了很多博客,就不一一列举了
- Scrapy 爬虫 个人学习经验
- Scrapy 爬虫学习
- scrapy爬虫学习
- scrapy爬虫必需品--------xpath学习
- 爬虫学习之Scrapy构建
- 爬虫学习笔记-Scrapy初识
- 爬虫学习笔记-Scrapy散记
- scrapy爬虫学习备忘录(1)
- python爬虫 scrapy框架学习
- 个人学习日志-------爬虫
- 个人学习c++经验
- 【爬虫学习笔记】scrapy学习思考
- CentOS6.8 部署爬虫(Scrapy)和Django经验浅谈
- 关于scrapy爬虫使用的一些小经验
- python爬虫框架scrapy学习笔记
- python爬虫框架scrapy学习笔记
- Python网络爬虫框架scrapy的学习
- 基于scrapy框架爬虫学习小结
- 【Java集合类】HashMap解析
- IO流
- Ubuntu 17.04 解决耳机插入没有声音的问题
- INADDR_ANY的确切含义
- oracle同义词测试
- Scrapy 爬虫 个人学习经验
- numpy 报错
- [Thinking in Java]
- 使用balancer_by_lua_block做应用层负载均衡
- spring-boot集成swagger
- UIApplication openUrl too slow (十分慢 10秒)
- POI生成WORD文档
- JSP页面乱码的所有情况及解决办法
- Machine Learning 2014 by Andrew NG (part 1)