Kafka学习整理九(集群的扩容)
来源:互联网 发布:聊天室挂机赚钱软件 编辑:程序博客网 时间:2024/06/16 09:33
第一步 配置新得broker
- 将现有的集群上任一个服务器上的kafka目录拷贝到新的服务器上
- 修改config/server.properties中的broker.id、log.dirs、listeners
- 创建logs.dirs指定的目录,并设定读写权限(chomd -R 777 XXX)
- 1
- 2
- 3
第二步 启动新的broker
- 1
第三步 迁移指定topic的数据到新的broker
虽然经过上面两个步骤后已经完成了集群的扩容;但是集群上原有的topic的数据不会自动迁移到新的broker上。可以在新的broker所在的服务器上通过
ls /home/lxh/kafka_2.11-0.10.0.0/kafka-logs
查看到并没有一原有的topic名称的文件目录(因为创建topic后会在config/server.properties中的配置的log.dirs 目录中生产以topic名称+分区编号的文件目录);那么就需要手动的区迁移数据
(一)、生成迁移分配规则json文件
创建编辑要迁移的topic的 json文件
- 1
比如要将topic名称为test和paritioer_test的数据重新平衡到集群中,就可以新增以下内容
- 1
- 2
- 3
- 4
生成迁移分配规则json文件
- 1
- 2
得到的结果为
- 1
- 2
- 3
- 4
- 5
- 6
- 7
其中的Current partition replica assignment指的是迁移前的partition replica;Proposed partition reassignment configuration 指的就是迁移分配规则json。需要将该json文件保存到json文件中(如expand-cluster-reassignment.json)
(二)、执行迁移分配
- 1
注意:在迁移过程中不能人为的结束或停止kafka服务,不然会有数据不一致的问题
(三)、验证分配
在执行的过程中,可以新开一个终端执行以下命令来查看执行是否正确完成
- 1
输出
- 1
- 2
- 3
- 4
- 5
- 6
- 7
在迁移完成过程后,可以使用以下命令看下topic的每个partitions的分布情况
- 1
- 1
- 2
- 3
- 4
- 5
- 6
- 7
可以看到名为test的topic的有的数据以及存在于编号为2的新broker上了
阅读全文
0 0
- Kafka学习整理九(集群的扩容)
- Kafka学习整理九(集群的扩容)
- Kafka 集群的扩容
- kafka集群扩容(Topic迁移)
- kafka集群扩容后的topic分区迁移
- kafka集群broker节点扩容方案
- kafka集群扩容以及数据迁移
- kafka集群搭建整理
- Kafka学习之:Centos 下Kafka集群的安装
- kafka扩容
- kafka学习资料整理
- kafka集群的步骤
- kafka集群的搭建
- kafka学习二:构建Kafka集群
- kafka学习笔记四:搭建Kafka集群
- Docker下的Kafka学习之二:搭建集群环境
- Docker下的Kafka学习之二:搭建集群环境
- 最详细的Codis集群扩容方法
- spring security3 xml配置详细说明注释
- 微服务的4个设计原则
- Python 列表(List)
- mysql根据数据文件恢复数据
- JEESZ-SSO解决方案
- Kafka学习整理九(集群的扩容)
- 设计模式之状态模式State
- 扫盲系列之JMS简介
- centos新服务器配置环境—
- PHP将数据库中的html标签转换到页面显示
- 用递归程序求解随机产生一个正整数n(n>=100000),确定n是否是它所有因子之和
- 【Android】混淆导致json解析出错
- Unity的Mono内存管理
- MySQL数据库优化的八种方式(经典必看)