一致性hash算法的实现

来源：互联网发布：app数据采集工具编辑：程序博客网时间：2024/04/20 04:03

一致性hash算法常用的场景是在memcached或分布式存储的集群中。如果在一个分布式的系统集群中，采用普通的hash算法将数据映射到具体节点上，如：key%N，key是数据的key，N是节点Node的数量。如果有一台机器退出或这有一台机器加入这个集群，那么所有所有的数据映射都失效。如果是分布memcached缓存，那么几乎所有的缓存都不能命中，导致db的压力会瞬间过大。如果采用一致性hash算法，影响的只是局部的缓存节点，不会影响整体缓存节点。

下面是hash算法的具体步骤：

一致性Hash算法将 value 映射到一个 32 为的 key 值，也即是 0~2^32-1 次方的数值空间；

我们可以将这个空间想象成一个首（ 0 ）尾（ 2^32-1 ）相接的圆环。

如下代码所示：

import java.io.UnsupportedEncodingException;import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;import java.util.ArrayList;import java.util.List;import java.util.Random;import java.util.SortedMap;import java.util.TreeMap;public class ConsistencyHash {private TreeMap<Long, Object> nodes = new TreeMap<Long, Object>();// 真实服务器节点信息private List<Object> shards = new ArrayList<Object>();// 设置虚拟节点数目private int VIRTUAL_NUM = 4;public ConsistencyHash() {// 初始化一致环shards.add("192.168.0.0-服务器0");shards.add("192.168.0.1-服务器1");shards.add("192.168.0.2-服务器2");shards.add("192.168.0.3-服务器3");shards.add("192.168.0.4-服务器4");for (int i = 0; i < shards.size(); i++) {Object shardInfo = shards.get(i);for (int j = 0; j < VIRTUAL_NUM; j++) {//计算hash值和虚拟hash值，并发hash值和节点映射保存在treeMap中nodes.put(hash(computeMd5("SHARD-" + i + "-NODE-" + j), j),shardInfo);}}}/** * 根据key的hash值取得服务器节点信息 *  * @param hash * @return */public Object getShardInfo(long hash) {Long key = hash;SortedMap<Long, Object> tailMap = nodes.tailMap(key);if (tailMap.isEmpty()) {key = nodes.firstKey();} else {key = tailMap.firstKey();}return nodes.get(key);}/** * 打印圆环节点数据 */public void printMap() {System.out.println(nodes);}/** * 根据2^32把节点分布到圆环上面。 *  * @param digest * @param nTime * @return */public long hash(byte[] digest, int nTime) {long rv = ((long) (digest[3 + nTime * 4] & 0xFF) << 24)| ((long) (digest[2 + nTime * 4] & 0xFF) << 16)| ((long) (digest[1 + nTime * 4] & 0xFF) << 8)| (digest[0 + nTime * 4] & 0xFF);return rv & 0xffffffffL; /* Truncate to 32-bits */}/** * Get the md5 of the given key. 计算MD5值 */public byte[] computeMd5(String k) {MessageDigest md5;try {md5 = MessageDigest.getInstance("MD5");} catch (NoSuchAlgorithmException e) {throw new RuntimeException("MD5 not supported", e);}md5.reset();byte[] keyBytes = null;try {keyBytes = k.getBytes("UTF-8");} catch (UnsupportedEncodingException e) {throw new RuntimeException("Unknown string :" + k, e);}md5.update(keyBytes);return md5.digest();}public static void main(String[] args) {Random ran = new Random();ConsistencyHash hash = new ConsistencyHash();hash.printMap();// 循环50次，是为了取50个数来测试效果，当然也可以用其他任何的数据来测试for (int i = 0; i < 50; i++) {System.out.println(hash.getShardInfo(hash.hash(hash.computeMd5(String.valueOf(i)),ran.nextInt(hash.VIRTUAL_NUM))));}}}

0 0