redis 集群-新增加节点并数据迁移
来源:互联网 发布:js去掉最后一个逗号 编辑:程序博客网 时间:2024/06/06 01:45
现在我们已经有一个包含6个节点的集群,我写了段代码,往集群写入10W条测试数据。
现在模拟机器扩容场景,为集群加入一个master节点7006和一个slave节点7007。
redis-trib.rb add-node 10.211.55.4:7006 10.211.55.4:7000
以上命令将7006节点接入7000所在的集群。接下来,我们为7006增加一个slave节点。
redis-trib.rb add-node --slave 10.211.55.4:7007 10.211.55.4:7000
以上命令表示增加slave节点,将7006的节点加入7000节点所在的集群中作为slave节点,随机依附现有的master节点中slave最少的节点,如果需要再指定特别的master节点,使用
redis-trib.rb add-node --slave --master-id 23b412673af0506df6382353e3a65960d5b7e66d 10.211.55.4:7007 10.211.55.4:7000
其中的23b412673af0506df6382353e3a65960d5b7e66d
是7006节点的id,我们可以通过cluster nodes
命令查看节点的id。
接下来我们用坐负载均衡,Slot是Redis Cluster数据承载的最小单位,我们可以指定将一定范围的Slot转移到新的节点来实现负载均衡。
Redis Cluster转移一个Slot的步骤是:
- 在目标节点上声明将从源节点上迁入Slot
CLUSTER SETSLOT <slot> IMPORTING <source_node_id>
- 在源节点上声明将往目标节点迁出Slot
CLUSTER SETSLOT <slot> IMPORTING <source_node_id>
- 批量从源节点获取KEY
CLUSTER GETKEYSINSLOT <slot> <count>
- 将获取的Key迁移到目标节点
MIGRATE <target_ip> <target_port> <key_name> 0 <timeout>
- 重复步骤3,4直到所有数据迁移完毕
- 分别向双方节点发送
CLUSTER SETSLOT <slot> NODE <target_node_id>
,该命令将会广播给集群其他节点,已经将Slot转移到目标节点。 - 等待集群状态变为OK
CLUSTER INFO
中的cluster_state = ok
我编写了一个脚本来批量迁移Slot
#!/bin/bashsource_host=$1 # 源节点HOSTsource_port=$2 # 源节点端口target_host=$3 # 目标节点HOSTtarget_port=$4 # 目标节点端口start_slot=$5 # 迁移节点的其实范围end_slot=$6 # 迁移节点的结束范围for slot in `seq ${start_slot} ${end_slot}`do redis-cli -c -h ${target_host} -p ${target_port} cluster setslot ${slot} importing `redis-cli -c -h ${source_host} -p ${source_port} cluster nodes | grep ${source_port} | awk '{print $1}'` echo "Setslot importing ${slot} to ${target_host}:${target_port} success" redis-cli -c -h ${source_host} -p ${source_port} cluster setslot ${slot} migrating `redis-cli -c -h ${target_host} -p ${target_port} cluster nodes | grep ${target_port} | awk '{print $1}'` echo "Setslot migrating ${slot} from ${source_host}:${source_port} success" while [ 1 -eq 1 ] do allkeys=`redis-cli -c -h ${source_host} -p ${source_port} cluster getkeysinslot ${slot} 10` if [ -z "${allkeys}" ] then redis-cli -c -h ${source_host} -p ${source_port} cluster setslot ${slot} node `redis-cli -c -h ${target_host} -p ${target_port} cluster nodes | grep ${target_port} | awk '{print $1}'` redis-cli -c -h ${target_host} -p ${target_port} cluster setslot ${slot} node `redis-cli -c -h ${source_host} -p ${target_port} cluster nodes | grep ${target_port} | awk '{print $1}'` echo "Migrate slot ${slot} finish" break else for key in ${allkeys} do redis-cli -c -h ${source_host} -p ${source_port} migrate ${target_host} ${target_port} ${key} 0 5000 echo "Migrate slot ${slot} key ${key} success" done fi donedone
执行命令 bash rebalance-cluster.sh 10.211.55.4 7000 10.211.55.4 7006 0 1000
将7000节点上0-1000这个范围内的Slot转移到7006节点,通过cluster nodes
命令我们可以看到0-1000这个区间是slot已经从7000转移到7006
cluster nodes 23b412673af0506df6382353e3a65960d5b7e66d10.211.55.4:7006 master -0 14490644023897 connected 0-10000c2954d21d7bcdae333f4fdecf468ce05aa25544 10.211.55.4:7001 master -0 14490644003722 connected 5461-10922384a3bb5bd9ecb2fc7db75c866abc715d7966f8210.211.55.4:7002 master -0 14490644013813 connected 10923-16383 c3e09d286ef2dce49843268b20832d65a5d516a110.211.55.4:7004 slave0c2954d21d7bcdae333f4fdecf468ce05aa25544 01449064401885 5 connected50737b4a91443ab1a34eec4ef99d4f6fe5d358f410.211.55.4:7005 slave384a3bb5bd9ecb2fc7db75c866abc715d7966f820 14490644023896 connected 3c62cc6664bba378cceb8ae8e02f5d727deafe9d10.211.55.4:7007 slave23b412673af0506df6382353e3a65960d5b7e66d 0 1449064400878 7 connected d6441916dcd89cbf431465d92dfc0eb3dd235295 10.211.55.4:7003 slave6ee21c5d93a6d2f293a2df1b37e8c9c27cb55ad8 0 1449064402389 4 connected 6ee21c5d93a6d2f293a2df1b37e8c9c27cb55ad8 10.211.55.4:7000 myself,master -0 0 1 connected 1001-5460
阅读全文
0 0
- redis 集群-新增加节点并数据迁移
- redis--节点新增,切换,数据迁移
- redis集群之新增节点
- Hadoop/Spark集群中新增加节点
- 数据迁移:准备集群节点
- redis linux-集群新增删除节点流程
- redis集群新增节点:[ERR] Node is not empty
- redis集群节点新增、删除、重新分配slot实战
- redis集群节点新增、删除、重新分配slot实战
- Hadoop集群新增节点
- 3、Redis 集群特性之容错、数据迁移
- Redis主从复制和集群配置系列之六(redis集群节点新增、删除、重新分配slot实战)
- HDFS_数据迁移&节点迁移
- redis集群安装配置数据迁移和客户端(java方向)第二节,数据迁移
- Redis集群添加节点
- Redis集群增删节点
- redis集群删除节点
- Redis 集群节点操作
- mysql使用存储过程和事件实现定时任务
- 网络安全法首案 四川一家网站因高危漏洞遭入侵被罚
- 转: 深入浅出看流媒体前世今生,分分钟二逼变牛逼
- Linux功耗管理(18)_Linux cpuidle framework(1)_概述和软件架构
- 将本地代码上传到github中
- redis 集群-新增加节点并数据迁移
- 19个Python爬虫项目让你一次吃到撑
- Flask教程1—Flask的简介、安装及第一个程序
- Javascript通过匿名包装器创建命名空间
- 死锁产生的原因和必要条件
- HDFS单机版安装
- 同行显示div
- 使用ULINK仿真器下载时提示“Invalid ROM Table”错误
- java动态代理(JDK和cglib)