试了一下一致性哈希(consistent hashing)

来源:互联网 发布:lurker软件怎么下载 编辑:程序博客网 时间:2024/06/05 17:54

http://blog.csdn.net/codenerd/article/details/6171503

普通的一致性哈希(consistent hashing)是这样,在哈希环上为client顺时针选取最近一个server:

 

普通一致性哈希

 

 

 

在某个paper上看到一种变形,具体哪个paper忘了,它是这么做的,就是选取前后两个server,每个client对应两个server,而不是一个:

 

一直哈希变形1

 

 

 

为了写代码方便,最后实现的是这种:

 

最后实现的

 

 

为一个client配两个server,是为了提高可用性,万一连一个连不上,可以连第二个。

 

 

一开始还担心分布不均衡,不过试了一下,最后效果还比较满意,挺均衡的。

 

 

用了之后明显感受到以下好处:

 

  • 多个独立进程可以得到相同的哈希结果。
  • server的CPU负载更轻,因为缓存命中率高了。
  • server对后端存储压力减小,减少很多重复读取。
  • 定位问题更容易,因为可以确定client上的东西 会分布到哪两个server上。

 

 

有一点注意的是,最好不要使用随机生成的ID作为key哈希,而使用相对比较固定的,比如IP,或者IP+端口这些。可以让集群的数据和负载分布保持稳定。不然,随机生成的ID一变,可能就会有比较大的波动,造成负载高或是对后端存储压力高。

 

0 0