数据切分算法实践
来源:互联网 发布:vb获得焦点 编辑:程序博客网 时间:2024/05/22 00:09
数据切分其实有一个很巧妙的方法。 在memcached中用到了。 因为涉及到负载均衡等情况.所以有很大的优化.
其实完全是数学层面的东西。 但是比前一篇文章的三种切分方法都要好一些。 其实数据切分的最好算法是能够根据新加入的节点(由于性能不够而重新加入新节点)能够动态加入到水平切分的数据库集群之中,并且承载均衡的负载。
其实完全是数学层面的东西。 但是比前一篇文章的三种切分方法都要好一些。 其实数据切分的最好算法是能够根据新加入的节点(由于性能不够而重新加入新节点)能够动态加入到水平切分的数据库集群之中,并且承载均衡的负载。
引用
Consistent Hashing
Consistent Hashing 的简单说明:
Consistent Hashing 如下所示:首先求出 memcached 服务器(节点)的哈希值,并将其配置到 0~2^32
的圆(continuum)上。然后用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数
据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过 2^32 仍然找不到
服务器,就会保存到第一台 memcached 服务器上。
Consistent Hashing 最大限度地抑制了键的重新分布。而且,有的 Consistent Hashing 的实现方
法还采用了虚拟节点的思想。使用一般的 hash 函数的话,服务器的映射地点的分布非常不均匀。
因此,使用虚拟节点的思想,为每个物理节点(服务器)在 continuum 上分配 100~200 个点。这样
就能抑制分布不均匀,最大限度地减小服务器增减时的缓存重新分布。
Consistent Hashing 的简单说明:
Consistent Hashing 如下所示:首先求出 memcached 服务器(节点)的哈希值,并将其配置到 0~2^32
的圆(continuum)上。然后用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数
据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过 2^32 仍然找不到
服务器,就会保存到第一台 memcached 服务器上。
Consistent Hashing 最大限度地抑制了键的重新分布。而且,有的 Consistent Hashing 的实现方
法还采用了虚拟节点的思想。使用一般的 hash 函数的话,服务器的映射地点的分布非常不均匀。
因此,使用虚拟节点的思想,为每个物理节点(服务器)在 continuum 上分配 100~200 个点。这样
就能抑制分布不均匀,最大限度地减小服务器增减时的缓存重新分布。
可以把 memcached的缓存. 当成数据做类似处理.
通过Consistent Hashing的初步资源分配.
增加节点后的重新分配.
可以看出来影响是非常之小的. 这就体现了这种资源分配的优势所在。
0 0
- 数据切分算法实践
- 数据切分
- 数据切分
- 数据分库,横向切分,纵向切分
- 数据水平切分
- mysql数据切分
- 数据的水平切分
- 数据库 数据切分
- 数据切分概述
- 数据进行切分
- 算法导论,最优钢条切分
- Hadoop 之 文件切分算法
- mysql数据库的数据切分
- 关于数据切分的思考
- 数据切分——原理
- 数据切分及整合方案
- 7.2 数据加载与切分
- Lucene中文切分原理及其他常见切分算法
- 做Android开发必须了解一些工具和技巧
- 并行计算模型
- qt-vs-addin:Qt4和Qt5之VS插件如何共存与使用
- C#调用dll,字符串参数传过去只有一个字符
- 【数据结构】·【二叉树】
- 数据切分算法实践
- 【POJ】【P1003】【Hangover】【题解】【水题】
- java的要点!
- leetcode JAVA Decode Ways 难度系数3 3.31
- kvm虚拟机快照备份
- java的面试要点!
- leetcode JAVA Reverse Linked List II 3.32
- java的类!
- leetcode JAVA Restore IP Addresses 难度系数3 3.33