一致性hash算法

散列（hash）在我看来就是一个数组，而与数组不同的点在于数组是按顺序写入的，而hash是按照一定的hash算法确定元素在数组中的位置的。hash最难的问题在于会有冲突出现，如果两个object根据相应的hash算法得出的值一样便产生了hash冲突。在所有解决hash冲突的方法中，我最欣赏的是链式解决法，即将hash到同一位置的元素用链表连接。当然还有其它几种处理hash冲突的算法，比如建立公共溢出区间、开放地址法（往前一个位置或者后一个位置添加）、再hash法。在jdk1.8的ConcurrentHashMap中处理hash冲突的算法应该是非常经典的了。首先首先链式存储法，当链式存储法存储数据超过一定阈值后将数据转为红黑树存储。有兴趣可以去看看源码哦！

以上讲的hash是将顺序存储的数组。而一致性hash算法将数组首尾相连，构成一个环向数组。那么环向数组有什么好处呢？一致性hash算法目前用处最大的地方在于分布式服务或者存储。假设在一个环山均匀分布着若干个点，这些点分别映射相应的服务器，那么当一个请求过来时，根据相应的key值总能将请求映射到环上，而我们按照一定的顺序，将被映射到环上的请求匹配一个服务进行处理，这样便达成了分布式的运算处理。如图，我们顺时针处理的话，就是第四个节点处理key的请求了。

以上一致性hash的实现只满足了单调性与负载均衡和一般hash算法具备的分散性特征，但缺少了平衡性，因此不足以被大规模集群利用。而在对一致性hash加入了虚拟节点后，便较好的解决此类问题。所谓虚拟节点是指节点指向的机器只是一个位置，而在该位置上可以拥有多台真实机器，具体选择那一台机器就看算法如何实现了。虚拟节点可以让一台机器对应多个虚拟节点，也可以让一个虚拟节点对应多个机器。这样多对多的一种实现，可以较大程度的保证平衡性。

基本原理讲明白了，我们试着用java实现一个简单的一致性hash。

import java.nio.ByteBuffer;import java.nio.ByteOrder;import java.util.ArrayList;import java.util.List;import java.util.Map.Entry;import java.util.TreeMap;public class ConsistantHash {    private final int NUMBER = 15;    TreeMap<Long, Node> treemap = new TreeMap<Long, Node>();    public static ConsistantHash getInstance(){        return InstanceHolder.consistantHash;    }    public Machine chooseMachine(String key) {        Entry<Long, Node> en = treemap.ceilingEntry(hash(key));        if(en == null) {            System.out.print("Virtual Machine " + treemap.firstEntry().getKey() + " dealing with job " );            return treemap.firstEntry().getValue().chooseMachine(key);        }        long sequence = treemap.tailMap(hash(key)).firstKey();        Node node = treemap.get(sequence);        System.out.print("Virtual Machine " + sequence + " dealing with job " );        return node.chooseMachine(key);     }    public void addMachine(final String ip, final String name) {        Machine m = new Machine(ip, name);        if(treemap.containsKey(hash(m.toString()))) {            treemap.get(hash(m.toString())).addMachine(m);        } else {            Node nodes = new Node();            nodes.addMachine(m);            treemap.put(hash(m.toString()), nodes);        }    }    private long hash(String key) {        ByteBuffer buf = ByteBuffer.wrap(key.getBytes());          int seed = 0x1234ABCD;          ByteOrder byteOrder = buf.order();          buf.order(ByteOrder.LITTLE_ENDIAN);          long m = 0xc6a4a7935bd1e995L;          int r = 47;          long h = seed ^ (buf.remaining() * m);          long k;          while (buf.remaining() >= 8) {              k = buf.getLong();              k *= m;              k ^= k >>> r;              k *= m;              h ^= k;              h *= m;          }          if (buf.remaining() > 0) {              ByteBuffer finish = ByteBuffer.allocate(8).order(ByteOrder.LITTLE_ENDIAN);              // for big-endian version, do this first:              // finish.position(8-buf.remaining());              finish.put(buf).rewind();              h ^= finish.getLong();              h *= m;          }          h ^= h >>> r;          h *= m;          h ^= h >>> r;          buf.order(byteOrder);          return h & NUMBER;      }    static class InstanceHolder{        final static ConsistantHash consistantHash = new ConsistantHash();    }    class Node{        List<Machine> machine = new ArrayList<Machine>();        public void addMachine(Machine m) {            machine.add(m);        }        public Machine chooseMachine(String key){            return machine.get((int) (hash(key) & (machine.size() - 1)));        }        public String toString(){            StringBuilder sb = new StringBuilder();            machine.forEach(v->sb.append(v.toString()));            return sb.toString();        }    }    final class Machine{        final String ip;        final String name;        public Machine(String ip, String name) {            super();            this.ip = ip;            this.name = name;        }        public String getIp() {            return ip;        }        public String getName() {            return name;        }        @Override        public int hashCode() {            return this.toString().hashCode();        }        @Override        public String toString() {            return "Machine [ip=" + ip + ", name=" + name + "]";        }    }}

结果展示
Virtual Machine 13 dealing with job Machine [ip=192.168.185.69, name=machine69]
Virtual Machine 8 dealing with job Machine [ip=192.168.185.64, name=machine64]
Virtual Machine 2 dealing with job Machine [ip=192.168.185.60, name=machine60]
Virtual Machine 13 dealing with job Machine [ip=192.168.185.69, name=machine69]
Virtual Machine 15 dealing with job Machine [ip=192.168.185.68, name=machine68]
Virtual Machine 1 dealing with job Machine [ip=192.168.185.62, name=machine62]
Virtual Machine 8 dealing with job Machine [ip=192.168.185.64, name=machine64]
Virtual Machine 1 dealing with job Machine [ip=192.168.185.62, name=machine62]
Virtual Machine 8 dealing with job Machine [ip=192.168.185.64, name=machine64]
Virtual Machine 15 dealing with job Machine [ip=192.168.185.68, name=machine68]

实验结果看出，可以实现一定的平衡性，不过还是有很多节点没有用到，应该是测试数量的问题。不过这里的代码存在的另一个问题是虚拟节点内部没有实现。这个问题有待继续思考。