分布式存储系统设计 反熵 (Anti-Entropy)
来源:互联网 发布:淘宝怎么修改商品类目 编辑:程序博客网 时间:2024/05/29 15:38
转载:http://www.360doc.com/content/12/0614/14/7936054_218097481.shtml
Anti-Entropy 机制被用来保证在不同节点上的备份(replica)都持有最新版本。
由于涉及的处理很大,一般情况下,这种机制只用于永久性的错误恢复,而不用于普通的 read repair。如同 amazon dynamo一样。
另外,为了将节点间的数据传输降到最低,在实际数据传输前,各节点交换的是自己那份数据的message digest。实现中将采用 MerkleTree (其叶子节点存储的是数据文件,而非叶子节点存储的是其子节点的 Message Digest)。
处理流程
1. recover过程从 Node A 创建一个repair session
2. recover过程从 Node A 开始 repair
3. Node A从请求信息中得到数据 replica所在的节点(例子中,除了 Node A外,还有 Node B和 Node C)
4. 迭代这个 replica 节点列表
4.1.通过本地的消息服务发送 anti-entropy 请求到 Node B
4.1.1 Node B接收并执行请求
4.2.通过本地的消息服务发送 anti-entropy 请求到 Node C
4.2.1 Node C接收并执行请求
4.3.通过本地的消息服务发送 anti-entropy 请求到 本地 Node A(自己)
4.3.1本地 Node A接收并执行请求
5. 初始化 MerkleTree
6. 对每行数据计算其 hash 值并加入到 merkleTree
7. 各节点将自己的MerkleTree作为 anti-entropy response 送给本地的消息服务
7.1各节点的本地的消息服务将 anti-entropy response 返回给 Node A 的消息服务
8. ode A收集各个 anti-entropy response 中的MerkleTree与本地的 MerkleTree (4.3.1 收到为本地的) 的不同 (diff)
9. 如果需要, 通过 pipelineOut向 远程节点发送更加新的数据
10. 如要需要,通过 pipelineIn向远程节点请求理加新的数据
riak的评论:http://stackoverflow.com/questions/5486304/explain-merkle-trees-for-use-in-eventual-consistency
- 分布式存储系统设计 反熵 (Anti-Entropy)
- 浅谈分布式存储系统的设计
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的若干准则
- 分布式存储系统设计的若干原则
- 分布式存储系统设计的关键问题
- 分布式存储系统设计的若干原则
- 基于FastDfs的分布式文件存储系统设计
- 分布式存储系统设计的若干原则
- 分布式存储系统
- 分布式存储系统
- 分布式存储系统
- [Android开发常见问题-10]PagerTabStrip和PagerTitleStrip异同
- [各种面试题] 链表相关
- 重定向 1>&2 2>&1
- C++中实现回调机制的几种方式
- 分组背包+树形DP(BY LPX)
- 分布式存储系统设计 反熵 (Anti-Entropy)
- DP中的LIS:longest increasing subsequence
- 从今天开始写博客
- 关于C++中数据基础数据类型的一个杂记
- eclipse svn 切换: eclipse svn 切换项目svn地址
- Android开发入门之采用广播接收者实现短信窃听器
- WebStorm 6.0 代码提示配置
- Android中常用动画效果
- redis笔记--初识redis