一致性hash算法 java实现

public class NoName {    private static final Map<String,String> ipMap = new HashMap<String, String>();    private static final List<ServerNode> serverList = new ArrayList<ServerNode>();    //初始化环状链表    private void init(){            synchronized (NoName.class){                //自定义环状节点 可以是spring的bean注入 一般为了散列，1:100 物理节点:虚拟节点 #1-#100 虚拟节点与物理节点的转换方法省略                ipMap.put("192.168.0.101#1","192.168.0.101");                ipMap.put("192.168.0.101#2","192.168.0.101");                ipMap.put("192.168.0.101#3","192.168.0.101");                ipMap.put("192.168.0.101#4","192.168.0.101");                ipMap.put("192.168.0.102#1","192.168.0.102");                ipMap.put("192.168.0.102#2","192.168.0.102");                ipMap.put("192.168.0.102#3","192.168.0.102");                ipMap.put("192.168.0.102#4","192.168.0.102");                ipMap.put("192.168.0.103#1","192.168.0.103");                ipMap.put("192.168.0.103#2","192.168.0.103");                ipMap.put("192.168.0.103#3","192.168.0.103");                ipMap.put("192.168.0.103#4","192.168.0.103");                ipMap.put("192.168.0.104#1","192.168.0.104");                ipMap.put("192.168.0.104#2","192.168.0.104");                ipMap.put("192.168.0.104#3","192.168.0.104");                ipMap.put("192.168.0.104#4","192.168.0.104");                //拷贝                Set<String> ipSet = ipMap.keySet();                for(String ip:ipSet){                    StringBuffer ipSb = new StringBuffer(ip);                    serverList.add(new ServerNode(ipSb.reverse().toString()));//反序可以使key值散列                }                //排序                Collections.sort(serverList, new Comparator<ServerNode>() {                    @Override                    public int compare(ServerNode o1, ServerNode o2) {//排序                        return  Math.abs(o1.getIp().hashCode()) - Math.abs(o2.getIp().hashCode()) ;                    }                });                //环形链表                int size = serverList.size();                for(int i=0;i<size;i++){                    ServerNode serverNode = serverList.get(i);                    if(i==0){                        serverNode.setPre(serverList.get(size-1));                    }else{                        serverNode.setPre(serverList.get(i-1));                    }                    if(i==size-1){                        serverNode.setNext(serverList.get(0));                    }else{                        serverNode.setNext(serverList.get(i+1));                    }                }            }    }    private void findInWhichServer(String key){        System.out.println(Math.abs(key.hashCode()));        ServerNode targetNode =  search(Math.abs(key.hashCode()),serverList.get(0));        System.out.println(targetNode.getIp());//        System.out.println(ipMap.get(new StringBuffer(targetNode.getIp()).reverse().toString()));    }    private ServerNode search(int keyHash,ServerNode self){        ServerNode pre = self.getPre();        int preHash = Math.abs(pre.getIp().hashCode());        int selfHash =  Math.abs(self.getIp().hashCode());        if(selfHash>preHash){            if(keyHash <= selfHash && keyHash > preHash){                return self;            }        }else  if (selfHash==preHash){//只有1个memcache服务器            return self;        }else{//跨界            if(keyHash > preHash || keyHash <= selfHash){                return self;            }        }        return search(keyHash,self.getNext());    }    private static void iteratorList(){        for(ServerNode serverNode:serverList){            System.out.println(serverNode.getIp()+"--"+Math.abs(serverNode.getIp().hashCode()));        }    }    public static void main(String[] args) {        NoName noName = new NoName();        noName.init();//        iteratorList();        noName.findInWhichServer("192.168.0.104");        noName.findInWhichServer("CacheKey");        noName.findInWhichServer("findYou3");        noName.findInWhichServer("123");        noName.findInWhichServer("You");    }}

public class ServerNode {    private String ip;    private ServerNode pre;    private ServerNode next;    public ServerNode(String ip, int min, int max) {        this.ip = ip;    }    public ServerNode(String ip) {//        System.out.println(ip+":"+Math.abs(ip.hashCode()));        this.ip = ip;    }    public String getIp() {        return ip;    }    public void setIp(String ip) {        this.ip = ip;    }    public ServerNode getPre() {        return pre;    }    public void setPre(ServerNode pre) {        this.pre = pre;    }    public ServerNode getNext() {        return next;    }    public void setNext(ServerNode next) {        this.next = next;    }}

[转载]【算法学习】Consistent Hash 一致性哈希

 (2011-02-24 17:39:29)

转载▼

标签： 

转载

原文地址：【算法学习】Consistent Hash 一致性哈希作者：wfwq2008

【摘要】

      前段时间再看Thinking In LAMP Blog中的2010-12-05_大型互联网应用架构设计(视频,PPT在此).欣喜若狂的发现了Consistent Hash(一致性哈希),在之前的分布式中只了解mod,现在就认证研究一下Consistent Hash。Consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛.

【主题】

• Consistent Hash
• Cache::Memcached的分布式方法
• Consistent Hashing

【内容】

1. 为什么需要Consistent Hash？

      在Memcached分布中一定会有如下需求,比如你有 N 个 cache 服务器(后面简称cache)，那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法计算 object 的 hash 值，然后均匀的映射到到 N 个 cache ；

hash(object)%N

      一切都运行正常，再考虑如下的两种情况增加和删除；

      1. 一个 cache 服务器 m down 掉了（在实际应用中必须要考虑这种情况），这样所有映射到 cache m 的对象都会失效，怎么办，需要把 cache m 从 cache 中移除，这时候 cache 是 N-1 台，映射公式变成了 

hash(object)%(N-1)

      2. 由于访问加重，需要添加 cache ，这时候 cache 是 N+1 台，映射公式变成了 

hash(object)%(N+1)

      1 和 2 意味着什么？这意味着突然之间几乎所有的 cache 都失效了。对于服务器而言，这是一场灾难，洪水般的访问都会直接冲向后台服务器；

      再来考虑第三个问题，由于硬件能力越来越强，你可能想让后面添加的节点多做点活，显然上面的 hash 算法也做不到。

      有什么方法可以改变这个状况呢，这就是 consistent hashing...

2. Hash算法和单调性

      Hash 算法的一个衡量指标是单调性（ Monotonicity ），定义如下：

      单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中，又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到新的缓冲中去，而不会被映射到旧的缓冲集合中的其他缓冲区。

      容易看到，上面的简单 hash 算法 hash(object)%N 难以满足单调性要求。

3. Consistent Hash 算法的原理

      consistent hashing 是一种 hash 算法，简单的说，在移除 / 添加一个 cache 时，它能够尽可能小的改变已存在 key 映射关系，尽可能的满足单调性的要求。

      下面就来按照 5 个步骤简单讲讲 consistent hashing 算法的基本原理。

3.1 环形Hash空间

      考虑通常的 hash 算法都是将 value 映射到一个 32 为的 key 值，也即是 0~2^32-1 次方的数值空间；我们可以将这个空间想象成一个首（ 0）尾（ 2^32-1 ）相接的圆环，如下面图 1 所示的那样。

--图1 环形 hash 空间

3.2 把对象映射到hash空间

      接下来考虑 4 个对象 object1~object4 ，通过 hash 函数计算出的 hash 值 key 在环上的分布如图 2 所示。

hash(object1) = key1;

… …

hash(object4) = key4;

-- 图2 4个对象的 key 值分布

3.3 把Cache映射到Hash空间

      Consistent hashing 的基本思想就是将对象和 cache 都映射到同一个 hash 数值空间中，并且使用相同的 hash 算法。

      假设当前有 A,B 和 C 共 3 台 cache ，那么其映射结果将如图 3 所示，他们在 hash 空间中，以对应的 hash 值排列。

hash(cache A) = key A;

… …

hash(cache C) = key C;

--图3 cache 和对象的 key 值分布

      说到这里，顺便提一下 cache 的 hash 计算，一般的方法可以使用 cache 机器的 IP 地址或者机器名作为 hash 输入。

3.4 把对象映射到cache

      现在 cache 和对象都已经通过同一个 hash 算法映射到 hash 数值空间中了，接下来要考虑的就是如何将对象映射到 cache 上面了。

      在这个环形空间中，如果沿着顺时针方向从对象的 key 值出发，直到遇见一个 cache ，那么就将该对象存储在这个 cache 上，因为对象和 cache 的 hash 值是固定的，因此这个 cache 必然是唯一和确定的。这样不就找到了对象和 cache 的映射方法了吗？！

      依然继续上面的例子（参见图 3 ），那么根据上面的方法，对象 object1 将被存储到 cache A 上； object2 和 object3 对应到 cache C ； object4 对应到 cache B;

3.5 考察Cache的变动

      前面讲过，通过 hash 然后求余的方法带来的最大问题就在于不能满足单调性，当 cache 有所变动时， cache 会失效，进而对后台服务器造成巨大的冲击，现在就来分析分析 consistent hashing 算法。

3.5.1 移除 cache

      考虑假设 cache B 挂掉了，根据上面讲到的映射方法，这时受影响的将仅是那些沿 cache B 逆时针遍历直到下一个 cache （ cache C ）之间的对象，也即是本来映射到 cache B 上的那些对象。

      因此这里仅需要变动对象 object4 ，将其重新映射到 cache C 上即可；参见图 4 。

--图4 Cache B 被移除后的 cache 映射