Bloom Filter 布隆过滤器

Bloom Filter

1.介绍

Bloom Filter，被译作称布隆过滤器，是一种数据结构，Bloom Filter包含一个位数组和k个映射函数，一般提供两个方法。contains 方法用来判断一个元素是否存在于位数组中，addValue方法用来将元素映射入位数组

2.使用场景

2.1黑名单

对用户的IP或者Email进行过滤，如果IP或者Email被判断存在于位数组中，则禁止通过

2.2URL去重

判断URL是否已经被抓取

2.3字典纠错

判断单词是否正确

3.原理

设存在一组元素（x1,x2,x3.....,xm）,K个函数，f1,f2,...fk，一个n位的数组A。对于元素xi可以存在如下操作：

位数组A

函数addValue(xi)：

--f1(xi)通过hash运算将xi映射成一个整数 t1，然后将A[t1]值设置为1

--f2(xi)通过hash运算将xi映射成一个整数t2，然后将A[t2]值设置为1

.............

--fk(xi)通过hash 运算将xi映射成一个整数tk，然后将A[tk]值设置为1

addValue(xi)

函数contains(xi):

--f1(xi)通过hash运算将xi映射为一个整数t1，判断A[t1]的值是否为1,如果为1，将r1值设为true,否则设为false

............

--fk(xi)通过hash运算将xi映射为一个整数tk,判断A[tk]的值是否为1，如果为1，将rk的值设为true,否则设为false

--使result=r1&&r2&&....&&rk

--返回result

contains(xi)

注意：Bloom Filter不会存在重复的情况，但是可能存在遗漏的情况，对于元素xi并不存在于位数组中，但是contains(xi)返回true,判断结果为已经存在于位数组中。

错误率计算：

设位数组在将所有元素（x1,x2,x3,....,xn）加入位数组A后，第q位不为1的概率位

q'为位数组为1的概率，则q'的期望为

则错误率为

4.实现

package utils;

import java.util.BitSet;

import service.UrlService;

/**

* bloomfilter

* @author ym

*

*/

public class BloomFilter {

// default storage size

public static int default_size=1<<25;

//hash seed

public static int[] seed={3,23,11,5,9,15,8,20};

//function array to hash url

public BloomHash[] BH;

//storage url hash value

public BitSet bitSet=null;

public BloomFilter(){

bitSet=new BitSet(default_size);

BH =new BloomHash[seed.length];

for(int i=0;i<BH.length;i++){

BH[i]=new BloomHash(default_size,seed[i]);

}

}

/**

* add url to bloom

* @param url

*/

public void addValue(String value){

for(BloomHash fun:BH){

bitSet.set(fun.bloomhash(value),true);

}

}

/**

* judge url is or not exit in bloom

* @param url

* @return

*/

public boolean contains(String value){

boolean ret = true;

for(BloomHash func:BH){

ret=ret&&bitSet.get(func.bloomhash(value));

}

return ret;

}

/**

* fill BloomFilter

*/

public void fill(){

UrlService urlService = new UrlService();

UrlQueue<String> queue = urlService.getVisitedURLQueue();

while(!queue.isEmpty()){

this.addValue(queue.poll());

}

}

/**

* a hash class

* @author

*

*/

public class BloomHash{

int size=0;

int ret=0;

public BloomHash(int size,int ret){

this.size=size;

this.ret=ret;

}

/**

* hash url to int

* @param url

* @return

*/

public int bloomhash(String value){

int result=0;

int len=value.length();

for(int i=0;i<len;i++){

result=result*ret+value.charAt(i);

}

return (size-1)&result;

}

}

}