布隆过滤去重,及分布式爬虫配置
来源:互联网 发布:法制日报网络舆情内参 编辑:程序博客网 时间:2024/05/01 21:11
布隆过滤去重
基本概念
如果想判断一个元素是不是在一个集合里,一般想到的是将所有元素保存起来,然后通过比较确定。链表,树等等数据结构都是这种思路. 但是随着集合中元素的增加,我们需要的存储空间越来越大,检索速度也越来越慢。不过世界上还有一种叫作散列表(又叫哈希表,Hash table)的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列(Bit Array)中的一个点。这样一来,我们只要看看这个点是不是 1 就知道可以集合中有没有它了。这就是布隆过滤器的基本思想。
Hash面临的问题就是冲突。假设 Hash 函数是良好的,如果我们的位阵列长度为 m 个点,那么如果我们想将冲突率降低到例如 1%, 这个散列表就只能容纳 m/100 个元素。显然这就不叫空间有效了(Space-efficient)。解决方法也简单,就是使用多个 Hash,如果它们有一个说元素不在集合中,那肯定就不在。如果它们都说在,虽然也有一定可能性它们在说谎,不过直觉上判断这种事情的概率是比较低的。
优点
相比于其它的数据结构,布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数。另外, Hash 函数相互之间没有关系,方便由硬件并行实现。布隆过滤器不需要存储元素本身,在某些对保密要求非常严格的场合有优势。
布隆过滤器可以表示全集,其它任何数据结构都不能;
k 和 m 相同,使用同一组 Hash 函数的两个布隆过滤器的交并差运算可以使用位操作进行。
缺点
但是布隆过滤器的缺点和优点一样明显。误算率(False Positive)是其中之一。随着存入的元素数量增加,误算率随之增加。但是如果元素数量太少,则使用散列表足矣。
另外,一般情况下不能从布隆过滤器中删除元素. 我们很容易想到把位列阵变成整数数组,每插入一个元素相应的计数器加1, 这样删除元素时将计数器减掉就可以了。然而要保证安全的删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面. 这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。
Redis结合布隆过滤,部署分布式爬虫
1、将scrapy_redis包拷贝至scrapy项目中
2、下载布隆过滤器py文件
https://github.com/liyaopinner/BloomFilter_imooc
将文件解压,并将拷贝至scrapy_redis包中
3、将py_bloomfilter.py集成到scrapy-redis的dupefilter.py过滤器中
4、在request_seen函数中添加如下代码
5、按照分布式爬虫部署步骤,继续进行即可使用布隆去重策略
- 布隆过滤去重,及分布式爬虫配置
- 爬虫去重策略
- 网络爬虫-URL去重
- 网络爬虫URL去重
- 网络爬虫-URL去重
- 网络爬虫去重参考
- 爬虫的去重策略
- 多线程爬虫去重问题
- 网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用
- 网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用
- 网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用
- Java网络爬虫(九)--海量URL去重之布隆过滤器
- row_number() over()过滤去重
- python文件过滤,去重,排序
- 关于python爬虫去重问题
- 爬虫应用-bloomfilter-URL去重
- 爬虫采集去重优化浅谈
- 数组排序及去重
- 深度学习框架tensorflow配置(ubuntu14.04+cuda8.0+cudnn v5.1+anaconda2+tensorflow)
- Visual Studio Code & LaTeX Workshop 优雅地编写Latex文档 , 完美支持中文
- kNN算法的优缺点
- CAN总线协议
- 给自己的忠告
- 布隆过滤去重,及分布式爬虫配置
- CSS之透明度适配
- 机器学习学习笔记--使用Keras实现图片预测
- 用Python画Logistic函数图像
- (学习java)二叉树的链式实现以及三种遍历方式
- 防盗链
- 敏捷开发—大型项目团队的持续快速交付之道
- struts json
- C++之iostream.h与iostream的区别?