大数据排重算法-布隆算法（BloomFilter）

前续：网页上已经有很多布隆过滤器很全的资料了，由于博主最近在做网页爬虫，遇到url防重问题，所以认真分析了布隆滤波器原理，也参考了相关博文。旨在给出不同人对其不同的理解，好给大家更全面的参考。

BloomFilter算法，是一种大数据排重算法。在一个数据量很大的集合里，能准确断定一个对象不在集合里；判断一个对象有可能在集合里，而且占用的空间不大。它不适合那种要求准确率很高的情况，零错误的场景。通过牺牲部分准确率达到高效利用空间的目的。

场景一：假如有一个很大的表，通过字段key查询数据，操作很重；业务方请求时，传过来的key有很大一部分是不存在的；这种不存在的key请求就会浪费我们的查询资源。针对这种情况，我们可以引人BloomFilter算法，在请求key查询之前，使用BloomFilter匹配。如果不存在，就不用去查询了（正确率百分之百）；如果存在，走原来的查询流程（有可能不存在的key混进去了）。场景二：假如有一个很大的表，通过字段key判断是否存在，操作很重，如果存在就做一些操作，不存在就加入表中；可容许一定的误判。对应这种情况，我们也可以引入BloomFilter算法，通过key查询表判断存在否的方式可换成BloomFilter算法。如果存在，我们执行以前的逻辑（有一定的误判，业务也允许一定的错误）；如果不存在，也执行以前的逻辑。 BloomFilter是由一个长度为n的bit数组S和k个hash算法组成。先使bit数组的初始值为0. 添加值M：M经过k个hash算法计算后，得到：M1, M2 … Mk; 然后，使S[M1]=1,S[M2]=2... S[Mk]=1 判断值Y：Y经过k个hash算法计算后，得到：Y1,Y2... Yk。 然后，判断S[Y1],S[Y2] … S[Yk] 是否都为1。如果有一个不为1，那这个Y就一定是不存在的，以前没添加过；如果都为1，那这个Y可能存在，也可能其他值添加后，影响了这次判断的结果。 我们要做的是尽量降低正确判断的误判率，资料显示， 当 k = ln(2)* m/n 时（k是hash函数个数，m是bit数组的长度，n是加入值的个数），出错概率是最小的。 

当然，如果我们要移除值，怎么办呢？当前的结构是没法实现的，我们可以通过在加一个等长的数据，存放每个bit位设置为1的次数，设置一次加1，取消一次减一。

 package com.ljt.algorithm;import java.util.BitSet;/** * BloomFilter算法，是一种大数据排重算法。在一个数据量很大的集合里，能准确断定一个对象不在集合里；判断一个对象有可能在集合里，而且占用的空间不大。它不适合那种要求准确率很高的情况，零错误的场景。通过牺牲部分准确率达到高效利用空间的目的。 *  * 场景一：假如有一个很大的表，通过字段key查询数据，操作很重；业务方请求时，传过来的key有很大一部分是不存在的；这种不存在的key请求就会浪费我们的查询资源。针对这种情况，我们可以引人BloomFilter算法，在请求key查询之前，使用BloomFilter匹配。如果不存在，就不用去查询了（正确率百分之百）；如果存在，走原来的查询流程（有可能不存在的key混进去了）。 *  * 场景二：假如有一个很大的表，通过字段key判断是否存在，操作很重，如果存在就做一些操作，不存在就加入表中；可容许一定的误判。对应这种情况，我们也可以引入BloomFilter算法，通过key查询表判断存在否的方式可换成BloomFilter算法。如果存在，我们执行以前的逻辑（有一定的误判，业务也允许一定的错误）；如果不存在，也执行以前的逻辑。 *  * BloomFilter是由一个长度为n的bit数组S和k个hash算法组成。先使bit数组的初始值为0. * 添加值M：M经过k个hash算法计算后，得到：M1, M2 … Mk; 然后，使S[M1]=1,S[M2]=2... S[Mk]=1 * 判断值Y：Y经过k个hash算法计算后，得到：Y1,Y2... Yk。 然后，判断S[Y1],S[Y2] … S[Yk] * 是否都为1。如果有一个不为1，那这个Y就一定是不存在的，以前没添加过；如果都为1，那这个Y可能存在，也可能其他值添加后，影响了这次判断的结果。 *  * 我们要做的是尽量降低正确判断的误判率，资料显示， 当 k = ln(2)* m/n * 时（k是hash函数个数，m是bit数组的长度，n是加入值的个数），出错概率是最小的。 *  * 当然，如果我们要移除值，怎么办呢？当前的结构是没法实现的，我们可以通过在加一个等长的数据，存放每个bit位设置为1的次数，设置一次加1，取消一次减一。 */public class SimpleBloomFilter {    public static final int BLOOMSIZE = 2 << 24; // 规定bloom的长度24bits    public static final int[] seeds = { 3, 5, 7, 11, 13, 31, 37, 61, 131 }; // 8个hashset函数    private BitSet bits = new BitSet(BLOOMSIZE); // 定义一个24位长的bit 所有位初始值都是false    // 把字符串加到布隆滤波器中，简而言之就是把该字符串的相应hashcode映射到bits上    public boolean add(String s) {        if (s.equals("") || (s == null)) {            return false;        }        for (int i = 0; i < seeds.length; i++) {            HashCodeGen hcg = new HashCodeGen(seeds[i]);            int codeGen = hcg.hashCodeGen(s);            bits.set(codeGen, true);        }        return true;    }    // 判断该字符串是否存在    public boolean contain(String s) throws Exception {        if (s.equals("") || (s == null)) { // 输入的字符串需要控制            throw new Exception("非法输入字符串");        }        boolean ret = true;        for (int i = 0; i < seeds.length; i++) {            HashCodeGen hcg = new HashCodeGen(seeds[i]);// 生成seeds长度的对象            ret = ret && bits.get(hcg.hashCodeGen(s));            if (ret == false)                break;        }        return ret;    }    public static void main(String[] args) {        SimpleBloomFilter bfn = new SimpleBloomFilter();        bfn.add("www.baidu.com");        try {            System.out.println(bfn.contain("www.baidu.com.cn"));        } catch (Exception e) {            e.printStackTrace();        }    }}class HashCodeGen {    private int seed = 0;    public HashCodeGen(int seed) {        this.seed = seed;    }    // 生成hash码    public int hashCodeGen(String s) {        int hash = 0;        for (int i = 0; i < s.length(); i++) {            hash = hash * seed + s.charAt(i);        }        return (hash & 0x7ffffff);    }}