kafka-offset 存储方式
来源:互联网 发布:网络发国际传真 编辑:程序博客网 时间:2024/06/08 00:08
早期版本
消费的 offset 存放在 Zookeeper 集群,利用 Zookeeper 来存储记录每个消费者/组的消费进度,消费者需要频繁的去与 Zookeeper 进行交互,而利用ZKClient的API操作Zookeeper频繁的Write其本身就是一个比较低效的Action,对于后期水平扩展也是一个比较头疼的问题。如果期间 Zookeeper 集群发生变化,那 Kafka 集群的吞吐量也跟着受影响。
0.10.1.1版本之后
消费的 offset 迁入到了 Kafka 一个名为 __consumer_offsets 的Topic,利用 Kafka 自身的 Topic,以消费的Group,Topic,以及Partition做为组合 Key,所有的消费offset都提交写入到上述的Topic。因为这部分消息是非常重要,以至于是不能容忍丢数据的,所以消息的 acking 级别设置为了 -1,生产者等到所有的 ISR 都收到消息后才会得到 ack(数据安全性极好,当然,其速度会有所影响)。所以 Kafka 又在内存中维护了一个关于 Group,Topic 和 Partition 的三元组来维护最新的 offset 信息,消费者获取最新的offset的时候会直接从内存中获取。
阅读全文
0 0
- kafka-offset 存储方式
- Kafka offset存储方式与获取消费实现
- Kafka offset存储方式与获取消费实现
- kafka offset 新存储机制
- kafka 消费者offset记录位置和方式
- kafka 消费者offset记录位置和方式
- kafka监控Kafka Offset Monitor
- kafka offset判断
- Kafka-Offset-Monitor安装
- 重置kafka的offset
- kafka offset查询、提交
- Kafka Offset Storage
- Kafka Offset Storage
- kafka offset判断
- kafka中的offset
- kafka auto.offset.reset介绍
- kafka 设置auto.offset.reset
- kafka 的offset的重置
- VAO与VBO
- 网络请求数据添加到列表(okhttp+RecyclerView)
- Elasticsearch 5 Ik+pinyin分词配置详解
- Java实现定时任务
- 写让别人能读懂的代码
- kafka-offset 存储方式
- Django创建项目与应用,及扩展与注意事项(一)
- python windows错误代码
- Angular排序删除功能
- 主流视频通话SDK比较
- UVA 210 Concurrency Simulator(deque,queue,模拟)
- Tablayout的使用
- echarts中渐变色的使用
- 让一个静止的大风车转动,可加速也可减速