Kafka Producer 工作流程
来源:互联网 发布:tp3.2数据库配置 编辑:程序博客网 时间:2024/04/28 17:09
Kafka Producer 工作流程
消息发送流程
Kafka Producer 发送消息的两种方式:同步发送、异步发送。
同步发送的流程图
异步发送流程图
发送流程说明(以异步发送为例):
- 客户端创建Producer对象:创建该对象时,同时会创建EventHandler、ProducerPool对象。其中ProducerPool中保存对象SyncProducer对象,其初始个数由broker.size确定,该对象与Kafka Broker相连,负责消息的发送。
- Producer对象调用send方法时,消息被放到阻塞队列。
- Send Thread 从队列里取出消息,并根据消息的partkey计算出消息应该发送到的分片。
- Send Thread根据分片信息去ProducerPool中找到对应的SyncProducer对象,发送消息。
Producer的Message Delivery
默认情况下request.required.acks = 0
,Producer 只发送,并不保证消息发送成功,类似于HTTP,所以可能会丢消息。
消息的确认模式:
0:不保证消息的到达确认,只管发送,低延迟但是会出现消息的丢失
1:发送消息,并会等待leader 收到确认后,一定的可靠性
-1:发送消息,等待leader收到确认,并进行复制操作后,才返回,最高的可靠性。
所以,默认情况下,Producer 支持的是at most once , 可以将request.required.acks设置为-1,使其支持at least once .
Producer的平滑扩容机制
从上文我们了解到,在创建Producer时使用的配置属性列表中,并没有zookeeper的连接信息,当我们动态增加Broker后,Producer短是如何平滑扩容的呢?
在创建Produer对象时,需要指定 broker地址(部分broker的地址即可)。 客户端会根据这个地址,定时(topic.metadata.refresh.interval.ms来设置)去取Broker的topic、partition、replicas等元数据信息。
当发现有新的borker时,客户端会创建一个新的SyncProduer对象连接到该broker,并将该对象放到ProducerPool中,等待发送消息,这样Producer端就支持了Broker动态的增减。
生产者定时更新topic元信息的时间间隔 ,若是设置为0,那么会在每个消息发送后都去更新数据 topic.metadata.refresh.interval.ms = 600 * 1000
5 0
- Kafka Producer 工作流程
- Kafka Producer
- kafka producer
- kafka--producer
- 第38课:Kafka源码解读Producer工作机制内幕
- 38:Kafka源码解读Producer工作机制内幕
- Apache Kafka笔记(三):Producer的工作原理
- Apache Kafka -2 工作流程
- kafka producer的serializer
- kafka producer总结
- Kafka Producer APIs
- Kafka Producer接口
- kafka Producer API使用
- kafka的producer测试
- kafka producer demo 生产者
- [Apache Kafka]开发producer
- Avro kafka(Producer-Consumer)
- Kafka Scala Producer API
- Vim查找替换 & 正则表达式
- linux 终端快捷键
- Redis教程(九):主从复制配置实例
- 【002】Mac使用命令行启动app
- svn错误问题处理could not connect to server
- Kafka Producer 工作流程
- ContentProvider的用法与理解
- iOS 数据持久化 NSUserDefault 的使用 NSUserDefaults读取和写入自定义对象
- 数据表写操作卡住,导致所有的注册失败
- kvm虚拟化学习(更新中...)
- unable to load native-hadoop library for your platform using builtin-java classes
- 安卓解决adb被占用的问题
- 二叉树的深度&判断一棵二叉树是否是平衡二叉树&110. Balanced Binary Tree
- LeetCode_1_TwoSum(Java Code)