Jedis之ShardedJedis一致性哈希分析

来源：互联网发布：淘宝返利网站哪个最好编辑：程序博客网时间：2024/05/21 17:26

ShardedJedis通过一致性哈希实现的的分布式缓存。主要思路：

1、redis服务器节点划分：将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)，将划分虚拟节点采用TreeMap存储
2、对每个redis服务器的物理连接采用LinkedHashMap存储
3、对Key or KeyTag 采用同样的hash算法，然后从TreeMap获取大于等于键hash值得节点，取最邻近节点存储；当key的hash值大于虚拟节点hash值得最大值时，存入第一个虚拟节点

sharded采用的hash算法：MD5 和 MurmurHash两种；默认采用64位的MurmurHash算法；

ShardedJedis源码分析：

使用代码如下：

List<JedisShardInfo> shards  = new ArrayList<JedisShardInfo>();JedisShardInfo jedisShardInfo = new JedisShardInfo("192.168.77.130",16379);JedisShardInfo jedisShardInfo2 = new JedisShardInfo("192.168.77.129",6379);shards.add(jedisShardInfo);shards.add(jedisShardInfo2);ShardedJedis sj = new ShardedJedis(shards);sj.set("a","b");

结点分片：在创建 ShardedJedis 对象时，在父类Sharded中对redis 进行了分片操作，源码如下（注释是自己加的）：

private void initialize(List<S> shards) {this.nodes = new TreeMap();for(int i = 0; i != shards.size(); ++i) {ShardInfo shardInfo = (ShardInfo)shards.get(i);int n;//创建虚拟分片if(shardInfo.getName() == null) {for(n = 0; n < 160 * shardInfo.getWeight(); ++n) {this.nodes.put(Long.valueOf(this.algo.hash("SHARD-" + i + "-NODE-" + n)), shardInfo);}} else {for(n = 0; n < 160 * shardInfo.getWeight(); ++n) {this.nodes.put(Long.valueOf(this.algo.hash(shardInfo.getName() + "*" + shardInfo.getWeight() + n)), shardInfo);}}//存放真实的分片信息this.resources.put(shardInfo, shardInfo.createResource());}}

在上面源码最后，把真实的分片信息存在了resources 中

key分片：

ShardedJedis类 set 方法向redis 中set值，在set 之前要知道此key 要被set的redis 结点，所以在set 之前要得到key 对应的分片（创建ShardedJedis 实例时对redis结点的分片）。

ShardedJedis类 set 方法源码如下：

public String set(String key, String value) {Jedis j = (Jedis)this.getShard(key);return j.set(key, value);}

在第一步操作中，就是先获取对应redis 的分片。

Sharded类中获取分片的方法：

    public R getShard(String key) {        return this.resources.get(this.getShardInfo(key));    }    //前面对key的操作，包括KeyTag，和编码（使用的是UTF-8）    public S getShardInfo(String key) {        return this.getShardInfo(SafeEncoder.encode(this.getKeyTag(key)));    }    /**    * 通过key 获取分片。对key 也使用algo hash 算法，从虚拟节点（nodes）中取键值大于等于key hash后的值。    * 如果没有大于等于key hash后的值，那么取第一个node。    * 如果有则取当前映射的第一个node    **/    public S getShardInfo(byte[] key) {        SortedMap tail = this.nodes.tailMap(Long.valueOf(this.algo.hash(key)));        return tail.isEmpty()?(ShardInfo)this.nodes.get(this.nodes.firstKey()):(ShardInfo)tail.get(tail.firstKey());    }

参考文章：https://my.oschina.net/xinxingegeya/blog/391713

0 0