Glusterfs Rebalance简析
来源:互联网 发布:设计动画的软件 编辑:程序博客网 时间:2024/05/19 06:19
Glusterfs Rebalance
GlusterFS的哈希分布是以目录为基本单位的,文件的父目录利用扩展属性记录了子卷映射信息,子文件在父目录所属存储服务器中进行分布。由于文件目录事先保存了分布信息,因此新增节点不会影响现有文件存储分布,它将从此后的新创建目录开始参与存储分布调度。这种设计,新增节点不需要移动任何文件,但是负载均衡没有平滑处理,老节点负载较重。GlusterFS在设计中考虑了这一问题,在新建文件时会优先考虑容量负载最轻的节点,在目标存储节点上创建文件链接直向真正存储文件的节点。此外,GlusterFS弹性卷管理工具可以在后台以人工方式来执行负载平滑,将进行文件移动和重新分布,此后所有存储服务器都会均会被调度。
Glusterfs管理工具gluster提供了Volume Rebalance功能,使用方法如下:
1、Fix Layout
用法:gluster volume rebalance <VOLNAME> fix-layout {start|stop|status},修复layout以使得新旧目录下新建文件可以在新增节点上分布上。
2、Migrate Data
用法:gluster volume rebalance <VOLNAME> migrate-data {start|stop|status},新增或缩减节点后,在卷下所有节点上进行容量负载平滑。为了提高rebalance效率,通常在执行此操作前先执行Fix Layout。
3、Fix Layout and Migrate Data
用法:gluster volume rebalance <VOLNAME> {start|stop|status},同时执行以上两个阶段操作,先Fix Layout再Migrate Data。
Fix Layout (gf_glusterd_rebalance_fix_layout)流程
1、对mount point递归调用sys_lgetxattr(fullpath, "trusted.distribute.fix.layout", &value, 128)
2、每次调用触发fuse translator,并传递触发dht translator
3、触发调用dht translator接口函数dht_getxattr
4、由于指定了trusted.distribute.fix.layout,触发dht_selfheal_new_directory进行目录layout修复
Migrate Data (gf_glusterd_rebalance_move_data)流程
1、对mount point递归遍历目录两遍
2、第一遍只对文件进行操作,进行文件迁移
1)copy文件至临时文件(临时文件需要位于mount point下)
2)复制属性,迁移扩展属性,更新uid/gid/time
3)rename临时文件名为原文件名
3、第二遍只对子目录进行操作,递归对子目录调用gf_glusterd_rebalance_move_data
GlusterFS的哈希分布是以目录为基本单位的,文件的父目录利用扩展属性记录了子卷映射信息,子文件在父目录所属存储服务器中进行分布。由于文件目录事先保存了分布信息,因此新增节点不会影响现有文件存储分布,它将从此后的新创建目录开始参与存储分布调度。这种设计,新增节点不需要移动任何文件,但是负载均衡没有平滑处理,老节点负载较重。GlusterFS在设计中考虑了这一问题,在新建文件时会优先考虑容量负载最轻的节点,在目标存储节点上创建文件链接直向真正存储文件的节点。此外,GlusterFS弹性卷管理工具可以在后台以人工方式来执行负载平滑,将进行文件移动和重新分布,此后所有存储服务器都会均会被调度。
Glusterfs管理工具gluster提供了Volume Rebalance功能,使用方法如下:
gluster volume rebalance <VOLNAME> [fix-layout|migrate-data] {start|stop|status} - rebalance operations
利用这个功能可以对已经存在的目录文件进行Rebalance,使得早先创建的老目录可以在新增存储节点上分布,并可对现有文件数据进行迁移实现容量负载均衡。为了便于控制管理,rebalance操作分为两个阶段进行实际执行,即fix layout和migrate data。gluster volume rebalance目前支持以下三种应用场景:1、Fix Layout
用法:gluster volume rebalance <VOLNAME> fix-layout {start|stop|status},修复layout以使得新旧目录下新建文件可以在新增节点上分布上。
2、Migrate Data
用法:gluster volume rebalance <VOLNAME> migrate-data {start|stop|status},新增或缩减节点后,在卷下所有节点上进行容量负载平滑。为了提高rebalance效率,通常在执行此操作前先执行Fix Layout。
3、Fix Layout and Migrate Data
用法:gluster volume rebalance <VOLNAME> {start|stop|status},同时执行以上两个阶段操作,先Fix Layout再Migrate Data。
Fix Layout (gf_glusterd_rebalance_fix_layout)流程
1、对mount point递归调用sys_lgetxattr(fullpath, "trusted.distribute.fix.layout", &value, 128)
2、每次调用触发fuse translator,并传递触发dht translator
3、触发调用dht translator接口函数dht_getxattr
4、由于指定了trusted.distribute.fix.layout,触发dht_selfheal_new_directory进行目录layout修复
Migrate Data (gf_glusterd_rebalance_move_data)流程
1、对mount point递归遍历目录两遍
2、第一遍只对文件进行操作,进行文件迁移
1)copy文件至临时文件(临时文件需要位于mount point下)
2)复制属性,迁移扩展属性,更新uid/gid/time
3)rename临时文件名为原文件名
3、第二遍只对子目录进行操作,递归对子目录调用gf_glusterd_rebalance_move_data
- Glusterfs Rebalance简析
- Glusterfs Rebalance简析
- Step 4: Rebalance
- ASM Fast Rebalance
- hadoop之Rebalance
- asm rebalance 原理
- HDFS的Rebalance介绍
- vertica-Rebalance用法
- kafka rebalance机制
- 消费者rebalance机制分析
- Kafka Consumer Rebalance
- GlusterFS分析
- GlusterFs文件系统
- Glusterfs介绍
- GlusterFS基础知识
- #glusterfs error
- GlusterFS错误
- glusterfs 安装
- 1人30天44587行代码,分享舍得网开发过程
- SharePoint Designer定制MOSS/WSS表单页面
- DML、DDL、DCL区别
- 软件包的管理
- linux中有关僵尸进程的问题
- Glusterfs Rebalance简析
- 单链表类
- mysql 从文件导入sql 乱码问题...
- 对于格式化字符串的总结
- 互联网小团队创业启示录
- JMF播放器小例子
- 2011 UPS与数据中心技术发展论坛隆重举行
- PHP上传文件代码
- email合法性check