布隆过滤器的实现及其优缺点
来源:互联网 发布:跳跃网络卫星 编辑:程序博客网 时间:2024/05/02 01:06
布隆过滤器是由一个很长的二进制向量和一系列随机映射函数组成。它可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误判。
布隆过滤器的原理:底层使用的是位图。当一个元素被加入集合时,通过 K 个 Hash 函数将这个元素映射成一个位阵列(Bit array)中的 K 个点,把它们置为 1。检索时,我们只要看看这些点是不是都是 1 就(大约)知道集合中有没有它了:
1、如果这些点有任何一个 0,则被检索元素一定不在;
2、如果都是 1,则被检索元素很可能在。
布隆过滤器的优点 : 空间效率和查询时间都远远超过一般的算法,布隆过滤器存储空间和插入 / 查询时间都是常数O(k)。另外, 散列函数相互之间没有关系,方便由硬件并行实现。布隆过滤器不需要存储元素本身,在某些对保密要求非常严格的场合有优势。
布隆过滤器的缺点:误算率是其中之一。随着存入的元素数量增加,误算率随之增加。但是如果元素数量太少,则使用散列表足矣。(误判补救方法是:再建立一个小的白名单,存储那些可能被误判的信息。)
另外,一般情况下不能从布隆过滤器中删除元素。我们很容易想到把位数组变成整数数组,每插入一个元素相应的计数器加 1, 这样删除元素时将计数器减掉就可以了。然而要保证安全地删除元素并非如此简单。首先我们必须保证删除的元素在布隆过滤器里面. 这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。
布隆过滤器的实现:
common.h文件,定义五个哈希函数:
//字符转数字:BKDRHashsize_t BKDRHash(const char * str){ unsigned int seed = 131; // 31 131 1313 13131 131313 unsigned int hash = 0; while (*str) { hash = hash * seed + (*str++); } return (hash & 0x7FFFFFFF);}//字符转数字:SDBMHashsize_t SDBMHash(const char* str){ register size_t hash = 0; while(size_t ch = (size_t)*str++) { hash = 65599*hash+ch; //hash = (size_t)ch+(hash<<6)+ (hash<<16)-hash; } return hash;}//字符转数字:RSHashsize_t RSHash(const char *str){ register size_t hash = 0; size_t magic = 63689; while (size_t ch = (size_t)*str++) { hash = hash * magic + ch; magic *= 378551; } return hash;}//字符转数字:APHashsize_t APHash(const char* str){ register size_t hash = 0; size_t ch; for (long i = 0; ch = (size_t)*str++; i++) { if (0 == (i&1)) { hash ^= ((hash << 7) ^ (hash >> 3)); } else { hash ^= (~((hash << 11) ^ ch ^ (hash >> 5))); } } return hash;}//字符转数字:JSHashsize_t JSHash(const char* str){ if (!*str) return 0; register size_t hash = 1315423911; while (size_t ch = (size_t)*str++) { hash ^= ((hash << 5) + ch + (hash >> 2)); } return hash;}template<typename K>struct _Fun1{ size_t operator()(const K& key) { return BKDRHash(key.c_str()); }};template<typename K>struct _Fun2{ size_t operator()(const K& key) { return SDBMHash(key.c_str()); }};template<typename K>struct _Fun3{ size_t operator()(const K& key) { return RSHash(key.c_str()); }};template<typename K>struct _Fun4{ size_t operator()(const K& key) { return APHash(key.c_str()); }};template<typename K>struct _Fun5{ size_t operator()(const K& key) { return JSHash(key.c_str()); }};
底层结构:位图
#include<iostream>#include<vector>using namespace std;class BitMap{public: BitMap() {} BitMap(size_t size) { _table.resize((size >> 5) + 1); } void Set(int val)//将对应bit位置1--等同于插入一个元素 { size_t byteNo = val >> 5; size_t bitNo = val % 32; _table[byteNo] |= (1 << bitNo); } void Reset(int val)//将对应bit位置0--等同于删除一个元素 { size_t byteNo = val >> 5; size_t bitNo = val % 32; _table[byteNo] &= ~(1 << bitNo); } bool Test(int val) { size_t byteNo = val >> 5; size_t bitNo = val % 32; if ((1 << bitNo)&_table[byteNo]) { return true; } else { return false; } }private: vector<int> _table;};
布隆过滤器的实现:
#include "BitMap.hpp"#include "common.h"template<typename T,class Fun1 = _Fun1<T>, class Fun2 = _Fun2<T>, class Fun3 = _Fun3<T>, class Fun4 = _Fun4<T>, class Fun5 = _Fun5<T>>class BloomFilter{public: BloomFilter(size_t size) : _bm(size) , _capacity(size) {} void Insert(const T& key) { size_t idx1 = Fun1()(key) % _capacity; _bm.Set(idx1); size_t idx2 = Fun2()(key) % _capacity; _bm.Set(idx2); size_t idx3 = Fun3()(key) % _capacity; _bm.Set(idx3); size_t idx4 = Fun4()(key) % _capacity; _bm.Set(idx4); size_t idx5 = Fun5()(key) % _capacity; _bm.Set(idx5); cout << idx1 << " " << idx2 << " " << idx3 << " " << idx4 << " " << idx5 << " " << endl; } bool Find(const T& key) { size_t idx1 = Fun1()(key) % _capacity; size_t idx2 = Fun2()(key) % _capacity; size_t idx3 = Fun3()(key) % _capacity; size_t idx4 = Fun4()(key) % _capacity; size_t idx5 = Fun5()(key) % _capacity; if (!_bm.Test(idx1)) return false; if (!_bm.Test(idx2)) return false; if (!_bm.Test(idx3)) return false; if (!_bm.Test(idx4)) return false; if (!_bm.Test(idx5)) return false; cout << idx1 << " " << idx2 << " " << idx3 << " " << idx4 << " " << idx5 << " " << endl; return true; }private: BitMap _bm; size_t _capacity;};void FunTest(){ BloomFilter<string> bf(100); bf.Insert("圆通"); bf.Insert("韵达"); bf.Insert("天天"); bf.Insert("汇通"); bf.Insert("中通"); cout<<bf.Find("天天")<<endl; cout << bf.Find("邮政")<<endl;}
阅读全文
0 0
- 布隆过滤器的实现及其优缺点
- 布隆过滤器及其实现
- day25之布隆过滤器的实现和优缺点以及扩展
- 【布隆过滤器】实现一个简单的布隆过滤器
- 【布隆过滤器】实现一个简单的布隆过滤器
- 开放地址法与链表法的优缺点及其实现
- 单例模式的四种实现及其优缺点
- 单例模式的实现方法及其优缺点
- 实现布隆过滤器
- 布隆过滤器的python实现
- 布隆过滤器的简易实现
- BloomFilter(布隆过滤器)的C#实现
- 布隆过滤器(BloomFilter)的实现
- BloomFilter布隆过滤器的java实现
- Hashtable的用法及其优缺点?
- Python实现布隆过滤器
- 布隆过滤器java实现
- 布隆过滤器:实现代码
- 子页面回调父页面函数
- 22%的系统故障竟然是这样引发的!欢迎评论
- 遗传算法求解函数最大值Java实现
- 百度地图之批量转换成百度坐标
- 好几年过去了,写个开头
- 布隆过滤器的实现及其优缺点
- 小希的迷宫(并查集)
- 滑动窗口处理字符串
- NDK自带gdb夸平台调试
- 缺页中断
- android api 学习笔记:内容
- HDU 1176 免费馅饼 dp
- 用U盘安装Linux图解
- ASCII码、c++ explicit