kafka集群扩容以及数据迁移
来源:互联网 发布:centos yum wget 编辑:程序博客网 时间:2024/05/22 23:59
一 kafka集群扩容比较简单,机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话,需要给原有的旧机器加上新服务器的host,不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况。
二 集群扩容后数据是不会自动均衡到新机器上的,需要采用kafka-reassign-partitions.sh这个工具脚本。脚本可以工作在三种模式--generate,--execute,--verify
分别用来生成topic迁移计划文件,执行迁徙计划,查看迁移进度,官方文档写的很明白了,不足的地方是每一步都需要手工执行比较麻烦和容易出错,借用了组内同学之前写的
一个脚本差不多实现了半自动化还是很提高效率的,备忘一下。
startRebalance.sh
#!/bin/bash
source /etc/profile
source ./conf.sh
echo "zkConf:" $zkServer$clusterName
echo "brokerList:" $brokerIdList
echo "###########################start generate reblance conf##############################"
content=`kafka-reassign-partitions.sh --zookeeper $zkServer$clusterName --topics-to-move-json-file topicmove.conf.multi --broker-list $brokerIdList --generate`
content=`echo $content | awk -F 'Proposed partition reassignment configuration' '{print $2}'`
echo $content
echo $content > ressgintopic.conf
echo $content >> ./log/reblance.log
echo "" >> ./log/reblance.log
echo "###########################end generate reblance conf##############################"
#start reblance
echo "###########################start reblance##############################"
kafka-reassign-partitions.sh --zookeeper $zkServer$clusterName --reassignment-json-file ressgintopic.conf --execute
conf.sh
#!/bin/bash
zkServer=1.1.1.1:2181
clusterName=/kafka/chroot
brokerIdList=1,2,3
- kafka集群扩容以及数据迁移
- kafka集群扩容(Topic迁移)
- kafka集群扩容后的topic分区迁移
- Kafka 集群的扩容
- Kafka学习整理九(集群的扩容)
- kafka集群broker节点扩容方案
- Kafka学习整理九(集群的扩容)
- kafka迁移数据目录
- Kafka集群动态修改复制因子以及数据留存时间
- Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践
- apache kafka系列之迁移与扩容工具用法
- hadoop集群数据迁移
- hadoop集群数据迁移
- 集群数据迁移
- 笔记:数据平滑扩容和迁移
- kafka扩容
- Redis数据分片以及扩容
- Kafka集群数据同步MirrorMaker
- IDEA中自动生成get/set的方式
- 最深入浅出的面向对象图书!
- GUID
- angularjs,bootstrap快速创建手风琴效果
- 怎么做好饮料市场?是产品重要还是产品结构重要?
- kafka集群扩容以及数据迁移
- 中国剩余定理及其拓展
- OpenCV的基本矩阵操作与示例
- Tensorboard的打开姿势
- python的str()和repr()函数比较
- 邓志康原创Test
- angualrJs对数据库数据处理的增删改查
- spring mvc配置 + dbcp数据源+jdbcTemplate
- FreeRTOS常用API