布隆过滤器Bloom Filter算法的Java实现（用于去重）

在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个 集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用哈希表（hash table）来存储的。它的好处是快速准确，缺点是费存储空间。当集合比较小时，这个问题不显著，但是当集合巨大时，哈希表存储效率低的问题就显现出来 了。比如说，一个象 Yahoo,Hotmail 和 Gmai 那样的公众电子邮件（email）提供商，总是需要过滤来自发送垃圾邮件的人（spamer）的垃圾邮件。一个办法就是记录下那些发垃圾邮件的 email 地址。由于那些发送者不停地在注册新的地址，全世界少说也有几十亿个发垃圾邮件的地址，将他们都存起来则需要大量的网络服务器。如果用哈希表，每存储一亿 个 email 地址， 就需要 1.6GB 的内存（用哈希表实现的具体办法是将每一个 email 地址对应成一个八字节的信息指纹googlechinablog.com/2006/08/blog-post.html ， 然后将这些信息指纹存入哈希表，由于哈希表的存储效率一般只有 50%，因此一个 email 地址需要占用十六个字节。一亿个地址大约要 1.6GB， 即十六亿字节的内存）。因此存贮几十亿个邮件地址可能需要上百 GB 的内存。除非是超级计算机，一般服务器是无法存储的。

今天，我 们介绍一种称作布隆过滤器的数学工具，它只需要哈希表 1/8 到 1/4 的大小就能解决同样的问题。

布隆过滤器是由巴顿.布隆于一九 七零年提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。我们通过上面的例子来说明起工作原理。

假定我们存储一亿个电子邮件 地址，我们先建立一个十六亿二进制（比特），即两亿字节的向量，然后将这十六亿个二进制全部设置为零。对于每一个电子邮件地址 X，我们用八个不同的随机数产生器（F1,F2, ...,F8） 产生八个信息指纹（f1, f2, ..., f8）。再用一个随机数产生器 G 把这八个信息指纹映射到 1 到十六亿中的八个自然数 g1, g2, ...,g8。现在我们把这八个位置的二进制全部设置为一。当我们对这一亿个 email 地址都进行这样的处理后。一个针对这些 email 地址的布隆过滤器就建成了。（见下图）

现在，让我们看看如何用布隆过滤器来检测一个可疑的电子邮件地址 Y 是否在黑名单中。我们用相同的八个随机数产生器（F1, F2, ..., F8）对这个地址产生八个信息指纹 s1,s2,...,s8，然后将这八个指纹对应到布隆过滤器的八个二进制位，分别是 t1,t2,...,t8。如果 Y 在黑名单中，显然，t1,t2,..,t8 对应的八个二进制一定是一。这样在遇到任何在黑名单中的电子邮件地址，我们都能准确地发现。

布隆过滤器决不会漏掉任何一个在黑名单中的可疑地址。但是，它有一条不足之处。也就是它有极小的可能将一个不在黑名单中的电子邮件地址判定为在黑名单中， 因为有可能某个好的邮件地址正巧对应个八个都被设置成一的二进制位。好在这种可能性很小。我们把它称为误识概率。在上面的例子中，误识概率在万分之一以 下。 

布隆过滤器的好处在于快速，省空间。但是有一定的误识别率。常见的补救办法是在建立一个小的白名单，存储那些可能别误判的邮件地址。

[java] view plain copy

1. public   class  SimpleBloomFilter {  
2.   
3.      private   static   final   int    DEFAULT_SIZE  =   2   <<   24 ;  
4.      private   static   final   int [] seeds         =   new   int [] {  7 ,  11 ,  13 ,  31 ,  37 ,  61 , };  
5.   
6.      private  BitSet             bits          =   new  BitSet(DEFAULT_SIZE);  
7.      private  SimpleHash[]       func          =   new  SimpleHash[seeds.length];  
8.   
9.      public   static   void  main(String[] args) {  
10.         String value  =   " [e-mail] " ;  
11.         SimpleBloomFilter filter  =   new  SimpleBloomFilter();  
12.         System.out.println(filter.contains(value));  
13.         filter.add(value);  
14.         System.out.println(filter.contains(value));  
15.     }  
16.   
17.      public  SimpleBloomFilter() {  
18.          for  ( int  i  =   0 ; i  <  seeds.length; i ++ ) {  
19.             func[i]  =   new  SimpleHash(DEFAULT_SIZE, seeds[i]);  
20.         }  
21.     }  
22.   
23.      public   void  add(String value) {  
24.          for  (SimpleHash f : func) {  
25.             bits.set(f.hash(value),  true );  
26.         }  
27.     }  
28.   
29.      public   boolean  contains(String value) {  
30.          if  (value  ==   null ) {  
31.              return   false ;  
32.         }  
33.          boolean  ret  =   true ;  
34.          for  (SimpleHash f : func) {  
35.             ret  =  ret  &&  bits.get(f.hash(value));  
36.         }  
37.          return  ret;  
38.     }  
39.   
40.      public   static   class  SimpleHash {  
41.   
42.          private   int  cap;  
43.          private   int  seed;  
44.   
45.          public  SimpleHash( int  cap,  int  seed) {  
46.              this .cap  =  cap;  
47.              this .seed  =  seed;  
48.         }  
49.   
50.          public   int  hash(String value) {  
51.              int  result  =   0 ;  
52.              int  len  =  value.length();  
53.              for  ( int  i  =   0 ; i  <  len; i ++ ) { 
54.                 result  =  seed  *  result  +  value.charAt(i);  
55.             }  
56.              return  (cap  -   1 )  &  result;  
57.         }  
58.   
59.     }  
60.   
61. }  

有关BitSet的了解，参考： 

java.util.BitSet 研究（存数海量数据时的一个途径）