Cassandra 源码解析 5: MerkleTree
来源:互联网 发布:光子嫩肤的危害 知乎 编辑:程序博客网 时间:2024/04/20 13:34
原理
在第4篇中,我们谈到集群管理要做的一件事情是保证不同节点数据备份的一致性。这里头涉及到两个问题:
- 选择哪些节点之间定时同步,比如有n个节点持有相同数据备份,如果每次每台机器两两同步,每次开销为n*(n-1),so big?
- 两个节点之间如何同步,比如每个节点存储1m条data[key, value],其中仅10条数目不一样。我们扫描所有1m数据找出这10条数目?
第一个问题cassandra使用gossip协议来保证每个节点的member视图一致(特点是:同步间隔短,1s一次;较小的网络开销,每次只需随机与另外一个节点同步),第二问题则是本文要介绍的MerkleTree. 在BeansDB 中我们介绍了hashtree(merkletree)
A Merkle tree is a hash tree where leaves are hashes of the values of individual keys. Parent nodes higher in the tree are hashes of their respective children. The principal advantage of Merkle tree is that each branch of the tre can be checked independently without requiring nodes to download the entire tree or the entire data set.
叶子节点是存储数据的hash值,内部节点是子节点hash值的hash。如果所有叶子节点相同,其根节点必相同;如果有叶子节点不同,其根节点必不同,而且可以顺藤摸瓜,从上至下,快速定位不同的叶子节点。
实现
MerkleTree的构建
和BeanDB中不一样的是,cassandra中的merkle tree的叶子节点是某个key range的所有data的hash值(BeansDB是单条数据的hash值)。如下图,假设key的取值范围是1-64,下面mt中有四个叶子节点,三个内部节点。其中第一个叶子节点是由key值在[1,16]的数据生成一个hash值。假如[1,16]有三条数据,则该叶子节点是三条数目生成一个hash。(每个叶子节点包含一个key range,每个内部节点包含一个中间值)
单条数据的hash值: SHA-256
叶子节点的hash值: 所有添加到此叶子节点的数据hash值的异或
Inner node的hash值: 两个子节点hash值的异或
merkle tree的生成
- 将所有数据条目添加到叶子节点,生成所有叶子节点的hash值。上述一步,生成了树的形状;这一步仅仅将叶子节点的hash值填充。有个技巧:key的添加从小到大有序添加;中序(深度优先)遍历上一步生成的树,得到待添加的叶子节点。仍然借用前面的例子,比如key值为1, 2, 5, 6, 8,10, 15, 30,而已有的Leaf节点为[1,16], [17,24], [25,32],[33-64]
- 添加1,2,5,6,8,10,15到第一个叶子节点
- 添加30,第一个节点range不包含该30,next;第二个节点,仍不包含,next...,直至最后一个叶子节点(range),添加到最后一个叶子节点.
- Inner节点hash值的生成. Inner节点的hash值是lazy calculate,在使用时递归生成,具体见下一步,两个MerkleTree的比较
两颗MerkleTree的遍历比较
- Cassandra 源码解析 5: MerkleTree
- Cassandra 源码解析 5: MerkleTree
- Cassandra 源码解析汇总
- Cassandra源码解析
- MerkleTree
- Cassandra 源码解析 1:网络通信
- Cassandra 源码解析 4: GMS 集群管理
- Cassandra 源码解析 2: 文件流传输 对象序列化
- Cassandra 源码解析 3: 分布式hashtable(DHT) 和 Locator
- Cassandra 源码解析 6: Storage Engine (DB Layer)
- Cassandra源码学习:数据模型
- cassandra读源码---Streaming
- cassandra cql解析
- 用eclipse 开发cassandra源码
- Cassandra源码学习:Gossip协议
- Cassandra源码学习:数据读取
- Cassandra源码学习:数据更新
- Cassandra源码学习:数据文件分布
- linux-2.6.32内核 linux-fusion-8.1.1编译错误解决方法
- 国内5大免费智能DNS解析
- 讨厌这个离别的季节!可爱的舍友,祝福你们!
- 关于可重入函数和不可重入函数
- 植物大战僵尸 完整中文硬盘版下载
- Cassandra 源码解析 5: MerkleTree
- [转]VMWare下,宿主机XP,虚拟Ubuntu,上网的设置办法
- HDU 2962 Trucking 三种解法。
- JOJ1086: A New Growth Industry
- IT幽默
- Hadoop使用ByteWritable时的一个注意事项
- DBDesigner 4连接MySQL 5问题解决方法
- 按照起止时间输出和日历对应的价格列表
- 44