【面经笔记】Bloom过滤器处理大规模问题
来源:互联网 发布:知乎学生会主席 编辑:程序博客网 时间:2024/05/19 04:04
Bloom过滤器处理大规模问题时的持久化,包括内存大小受限、磁盘换入换出问题
http://www.360doc.com/content/13/1226/18/15234639_340327658.shtml
布隆过滤器应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%正确的场合
哈希表和位图的问题是当数据量大时会出现哈希冲突,为了降低冲突,布隆过滤器使用多个哈希函数,而不是一个。
哈希表的内存消耗随着数据量的增大也比较严重:就算只有1亿个URL,每个URL只算50个字符,就需要5GB内存。
优点:
节约缓存空间(空值的映射),不再需要空值映射,由于BF所用的空间非常小,所有BF可以常驻内存,Key-Value系统中Value 保存在磁盘中,使用布隆过滤器可以快速判断某个Key对应的Value是否存在,因此可以避免很多不必要的磁盘IO操作。
缺点:一般情况下不能从布隆过滤器中删除元素.我们很容易想到把位列阵变成整数数组,每插入一个元素相应的计数器加1,这样删除元素时将计数器减掉就可以了。然而要保证安全的删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面.这一点单凭这个过滤器是无法保证的。
阅读全文
0 0
- 【面经笔记】Bloom过滤器处理大规模问题
- 【学习笔记】Bloom Filter(布隆过滤器)
- Bloom Filter-大规模数据处理利器
- Bloom Filters布鲁姆过滤器
- 【Cassandra】bloom 过滤器
- 过滤器处理编码问题
- 布隆过滤器 bloom filter
- Bloom filter -- 布隆过滤器
- 布隆过滤器Bloom Filter
- 布隆过滤器 bloom filter
- 布隆过滤器-Bloom Filter
- bloom filter(布隆过滤器)
- Bloom Filter 布隆过滤器
- 布隆过滤器(Bloom Filter)
- Bloom Filter 布隆过滤器
- 布隆过滤器bloom filter
- Bloom Filter 布隆过滤器
- 布隆过滤器(bloom filter)
- bzoj2405 数字 打表找规律
- 阿里巴巴智能操作系统YunOS 6 系统发布
- hdu 1950 Bridging signals
- Junit4注解@Test|@Before等使用
- JSP 页面重定向
- 【面经笔记】Bloom过滤器处理大规模问题
- 均值滤波代码 C代码
- ios 摄像头/相册获取图片,压缩图片,上传服务器方法总结
- POJ 1006 Biorhythms [中国剩余定理] 超短代码
- 线程同步(synchronized)二十
- windows下mysql数据库安装初始化
- hdu 1231 最大连续子序列
- Spring中Model,ModelMap以及ModelAndView之间的区别
- JDBC简介