Kafka 发布消息时如何选择 Partition
来源:互联网 发布:淘宝微淘粉丝抢红包 编辑:程序博客网 时间:2024/06/05 17:47
本文旨在了解 Kafka 发送消息到有多个 Partition 的 Topic 时如何选择 Partition。或许多数人已经知道 Kafka 默认(当 key 为 null) 时采用 Round-robin 策略,也就是雨露均沾,风水轮流转,实现类是 DefaultPartitioner。但我们实际应用中为保持相关消息按序到,就必须送到指定的 Partition,方法可以有
- 指定 Partition 编号
- 指定 Key
- 自定义 Partitioner - 实现 org.apache.kafka.clients.producer.Partitioner, 并通过属性注册
还应考究当指定了 Key 或 Partition 编号发送消息后,后续消息 key 为 null 会选用哪个 Partition。最后再思考一个问题,Consumer 每次 poll 时是获得的消息列表是否只包含一个 Partition 源还是可以多个 Partiton 源。
为完成本次实验,可以本地搭建一个 Kafka 环境,参考 简单搭建 Apache Kafka 分布式消息系统。待 Zookeeper 和 Kafka 正常启动后,我们用下面的命令创建一个 Partition 数量为 3 的 Topic partition-test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic partition-test
验证一下该 Topic 的信息 阅读全文 >>
阅读全文
0 0
- Kafka 发布消息时如何选择 Partition
- Key为nulll时Kafka如何选择分区(Partition)
- Kafka:如何做到1秒发布450万+条消息
- KAFKA:如何做到1秒发布百万级条消息
- 分布式消息发布订阅消息系统Kafka
- 大数据时代:Kafka 如何做到 1 秒发布百万条消息
- Kafka消息订阅发布系统设计介绍
- kafka 消息订阅发布系统设计介绍
- Kafka(分布式发布订阅消息系统)
- 分布式发布订阅消息系统 Kafka
- Kafka(分布式发布订阅消息系统)
- 分布式发布订阅消息系统 Kafka
- 分布式发布订阅消息系统kafka
- Kafka 与 Flume 如何选择
- 如何在Kafka上对一个Topic增加partition
- 如何保证kafka 的消息机制
- 如何保证kafka 的消息机制
- 如何保证kafka 的消息机制
- CDN工程师:还没用上TLS1.2- 那就直接升级到TLS1.3吧
- Fast IO输入输出加速外挂
- ubuntu下如何搜索文件
- Android 开发中遇到的坑
- 解除端口占用
- Kafka 发布消息时如何选择 Partition
- SonarQube 的安装、配置及 Maven 项目的使用
- Eclipse中搭建Apache Tomcat7源码调试环境
- PID算法之增量式控制温度
- 前端之插件-fileinput
- springboot【28】状态机的实现-Spring StateMachine框架
- Redis学习网站
- ORACLE多表关联UPDATE 语句
- 腾讯2018应届毕业生秋招之产品类招聘详细资讯