kafka broker迁移
来源:互联网 发布:淘宝培训靠谱吗 编辑:程序博客网 时间:2024/06/05 05:42
原来有一个5台的kafka集群,现在需要用一台新的服务器替换原先的一台broker,所以需要将这个broker上所有partition的数据都迁移过去。
我的kafka是0.8.2.1的版本,其本身提供了一个kafka-reassign-partitions.sh工具帮助完成这个工作。
首先,需要在新的机器上启动kafka进程。然后,需要到老的broker上查看其本身包含哪些topic的partition数据。当然,你可以写个程序到zookeeper上遍历所有topic的partition分布情况,然后找出需要下线机器相关的信息。我比较懒,手动登录到老broker上,进入kafka-logs目录,就会看到很多类似与
topic1-0topic2-1topic2-4这样的子目录。topic1,topic2是topic名称,-后面的就是partition编号。
知道了老broker上有哪些数据就可以编写迁移文件了。
reassignment.json
{ "version": 1, "partitions": [ { "topic": "topic1", "partition": 0, "replicas": [ 6 ] }, { "topic": "topic2", "partition": 1, "replicas": [ 6 ] }, { "topic": "topic2", "partition": 4, "replicas": [ 6 ] } ]}文件里分别写上老机器上包含的topic和对应的partition,replicas就是新机器的地址。
随后,在老机器上运行
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181/kafka --reassignment-json-file reassignment.json --execute
你就会看到,老机器上kafka-logs下的子目录一个一个消失了。消失的目录就是已经迁移完成的topic-partition
最后,可以通过
./kafka-reassign-partitions.sh --zookeeper localhost:2181/vehicle_kafka --reassignment-json-file reassignment.json --verify
查看reassign的进度,是否全部完成了。等数据全部迁走了,就可以下线老broker机器了。
0 0
- kafka broker迁移
- Kafka broker配置介绍
- kafka配置-----broker配置
- Kafka-broker配置说明
- Kafka broker配置介绍
- kafka broker集群
- kafka 0.9 broker 参数
- Kafka Broker HA机制
- Kafka:Broker Config 配置
- kafka broker 配置说明
- kafka broker shutdown过程分析
- kafka broker的常用配置
- kafka操作(单broker)
- Kafka 单节点单Kafka Broker集群
- Kafka 单节点多Kafka Broker集群
- apache kafka系列之broker内部架构
- apache Kafka下线broker的操作
- 2、kafka伪分布多broker部署
- iOS-判断是否为模拟器
- Hadoop集群中Hbase的介绍、安装、使用
- NIO (Non-Block IO) -基础
- MD波纹效果
- 【unity系统模块开发】跑马灯
- kafka broker迁移
- 自己动手部署区块链-hyperledger/fabric-02
- nginx配置ssl
- 联机分析处理简介
- iOS 仿百度外卖-个人中心(头像波浪效果)
- Hdu 2602 Bone Collector(简单01背包)
- ubuntu-16.04-desktop-i386安装lnmp环境
- Android weight布局均分和width(height)的一点关联
- eclipse报错: workspace in use or cannot be created, choose a different one.