Kafka集群partition replication自动分配分析
来源:互联网 发布:程序员是吃青春饭的吗 编辑:程序博客网 时间:2024/04/25 21:42
1. Kafka集群partition replication默认自动分配分析
下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication;数据Producer流动如图所示:
(1)
(2)当集群中新增2节点,Partition增加到6个时分布情况如下:
副本分配逻辑规则如下:
在Kafka集群中,每个Broker都有均等分配Partition的Leader机会。上述图Broker Partition中,箭头指向为副本,以Partition-0为例:broker1中parition-0为Leader,Broker2中Partition-0为副本。上述图种每个Broker(按照BrokerId有序)依次分配主Partition,下一个Broker为副本,如此循环迭代分配,多副本都遵循此规则。
副本分配算法如下:
将所有N Broker和待分配的i个Partition排序.将第i个Partition分配到第(i mod n)个Broker上.将第i个Partition的第j个副本分配到第((i + j) mod n)个Broker上.
0 0
- Kafka集群partition replication自动分配分析
- Kafka集群partition replication自动分配分析
- kafka重新分配partition
- kafka partition分配原理探究
- 编写 kafka Partition 分配算法
- apache Kafka Replication设计分析
- Kafka学习之Replication tools之Add Partition Tool
- Kafka分区分配策略(Partition Assignment Strategy)
- Kafka Replication
- Kafka集群partitions/replicas默认分配解析
- Kafka分区分配策略(Partition Assignment Strategy)
- PostgreSQL 利用Pgpool-II的集群搭建方案(Partition+LoadBalance+Replication)
- PostgreSQL 利用Pgpool-II的集群搭建方案(Partition+LoadBalance+Replication)
- Kafka replication tools
- kafka Replication tools
- Replication in Kafka
- Kafka-HA(Replication详解)
- Kafka Replication & Leader election
- HDU 1097 A hard puzzle 求个位数
- 实现客户给的URL接口,以爬虫的方式
- Invert Binary Tree
- 二分图不带权匹配
- 在action跳转的jsp页面中引入静态js、css文件
- Kafka集群partition replication自动分配分析
- C# 获取鼠标坐标
- 高并发网站之解决策略
- 字符流
- Leetcode 19 Remove Nth Node From End of List
- Go Programming Blueprints 读书笔记(谈到了nsq/mgo处理数据持久化,但是业务逻辑不够复杂)
- 在js文件中使用jstl标签
- 解决:eclipse的CTRL+space 被输入法占用的尴尬
- codeforces 445E - DZY Loves Colors