数据分片与路由
来源:互联网 发布:网络交友fs是什么意思 编辑:程序博客网 时间:2024/06/04 18:09
概念与目的
数据分片(Shard/Partition)的目的是方便横向扩展。数据分片后,需要靠路由(Routing)来找到记录的位置。
模型
数据分片是一个二级映射关系。第一级是key -> partition,从数据记录映射到数据分片,这是一个多对一关系。第二级是partition -> machine,从数据分片映射到物理机器,这也是一个多对一的关系。常见的映射关系有hash分片和范围分片。
注意只有把这两个映射关系解耦才能增强系统的灵活性。另外hash分片只能支持点查询,不能支持范围查询。
hash分片
Round Robin
即hash取模法。当增加机器时,所有的数据必须重新分配。原因是两级映射耦合了,数据直接和物理机数量关联,少了数据块的中间层。机器数作为参数出现在映射函数中。
虚拟桶
在数据记录和物理机器之间引入了虚拟桶层。加入新机器,只用调整部分虚拟桶到物理机器的映射关系。
一致性哈希
在P2P网络中常见。将hash数值空间按大小组成一个首尾相接的环,每台机器根据其ip映射到环上的一个节点。每个节点记录其前驱和后继节点。 比较值得注意的是当一个节点收到一个特定的key的请求时,并不是逐跳向下查找,而是通过每个节点维护的一个距离和该距离内的最大节点的表来选测下一跳的节点。距离采用2的幂指数划分,这样可以达到类似二分查找的效果。 这种方法会造成负载不均衡,而且忽略每台物理机器的差异。通过引入虚拟节点概念,将一台物理机虚拟成若干节点。
范围分片
对所有记录的key进行排序,在排好序的key空间中将记录划分为数据片。映射关系由一个分片map维护,保存每个数据分片最小的key和对应的物理机。数据分片在物理机的管理方式往往采用LSM树。
0 0
- 数据分片与路由
- 数据分片与路由
- 大数据日知录--数据分片与路由
- 大数据日知录(一)数据分片与路由
- 数据分片路由抽象模型
- 大数据系列 (一)、数据分片与路由(Hash partition and Routing)
- IP数据报的分片与重组
- 瓦片数据分片算法与规则
- IP数据报的分片与重组
- IP数据报的分片与重组分析
- 为什么分片大小需要与HDFS数据块大小一致
- IP数据报的分片与重组分析
- IP数据报的分片与重组分析
- TCP/IP——数据分段(分片)与重组
- IP数据报的分片与重组分析
- MongoDB分片环境下的查询路由
- 分组、分片、数据报
- Redis数据分片
- 解决U盘安装CentOS后需要插U盘才能启动的问题
- 移植boa服务器
- Android之Alarm
- SQL常用的语句
- VFS虚拟文件系统
- 数据分片与路由
- 状压dp
- Jquery 选择器
- 音视频同步原理解析
- android开发学习(一)——关于adb,工程目录结构
- 数据结构--容量固定的数组
- 电脑忘记密码
- Win7下普通权限进程动态提升权限
- 数据结构--容量可变数组