PartitionAssignor分析

来源:互联网 发布:软件代码编写招聘 编辑:程序博客网 时间:2024/05/20 13:38

消费者组里的leader在收到JoinGroupResponse之后,会按照其中指定的分区分配策略进行分区分配,每一个分区分配策略就是一个PartitionAssignor接口的实现,下图是其继承结构:


PartitionAssignor接口中定义了Assignment和Subscription两个内部类。进行分区分配需要两方面的数据:

Subscription:Metadata中记录的集群元数据和每一个消费者成员的订阅信息,为了增强用户对分配结果的控制,就将用户订阅信息和一些影响分配的用户自定义信息封装成Subscription,比如用户自定义每一个消费者的权重。其中topics集合表示消费者订阅的topic集合,userData表示用户自定义数据。并且提供subscription()方法用于添加自定义数据,在创建JoinGroupRequest的时候会用到这个方法

Assignment: 保存了分区分配的结果,partitions表示分配给某消费者的TopicPartition集合,userData是用户自定义数据

 

assign方法:需要子类实现的完成分区分配的抽象方法

onAssignment方法:是在每个消费者收到leader分配结果时的回调函数,此调用发生在解析SyncGroupResponse之后。

 

如果开发人员需要利用userData来控制分区分配结果,就不能继承AbstractPartitionAssignor类,而是需要自己实现PartitionAssignor接口

 

RangePartitionAssignor: 针对每一个topic, n = 分区数/消费者数量,

m=分区数%消费者数量,前m个消费者每个分配n+1个分区,后面的 (消费者数量-m)个消费者每个分配n个分区

RoundRobinAssignor: 将所有的Topic和Partition按照字典顺序排序,然后对每个Consumer进行轮询分配


原创粉丝点击