Kafka 消息偏移量的维护
来源:互联网 发布:数据库基础知识总结 编辑:程序博客网 时间:2024/06/05 19:11
Kafka是大数据领域常用的消息队列,其高效的吞吐量和分布式容错等特性是其收到青睐的重要原因。
kafka消息的位置
用好Kafka,维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的Exactly-once是至关重要的。
kafka的消息所在的位置Topic、Partitions、Offsets三个因素决定。
Kafka消费者消费的消息位置还与consumer的group.id有关。
consumerOffsets与earlieastLeaderOffsets的关系
为了表述方便,我们记earlieastLeaderOffsets为A,记consumerOffsets为B 。
- 情况一:正常情况下,消费的消息偏移量应该大于broker上存储的最早的消息偏移量,即 A < B:
我们知道,存储在broker上的kafka的消息常设置消息过期配置,当到达过期时间时过期的消息将会被清除。
情况二:如果A 依然小于 B,则仍可以正常消费:
情况三:然而,当 A > B 时,则说明还没有被消费的消息已经被清除:
此种情况会抛出kafka.common.OffsetOutOfRangeException
异常。
consumerOffsets 小于 earlieastLeaderOffsets的影响与解决办法
当情况三发生时,在(B,A)区间内的消息还没有被消费就已经被清除了,将导致两个后果。
1. 消息丢失。
2. 抛出 kafka.common.OffsetOutOfRangeException
异常。
在对消息完整性有严格要求的系统中,消息的丢失造成的影响会比较严重,所以在这种情况下,要保证消息不会遭到丢失。
避免消息丢失包含两个方面:
- 还没有被消费过的消息不会被清除。
在没有外部系统清除kafka消息的情况下,协调设置broker的最大保留大小log.retention.bytes
和 最大保留时间log.retention.hours
等,来配合消费者端的读取消息。可以通过读取和监控消费者消费的offsets,来保证消息不会被意外清除。 - 消费者端消费消息没有遗漏。
当消费者意外中断时,重新启动消费时能够从上一次中断的消息偏移量开始消费。
阅读全文
0 0
- Kafka 消息偏移量的维护
- Kafka 消息偏移量
- kafka控制offset偏移量
- kafka偏移量offset--java
- 如何手动更新Kafka中某个Topic的偏移量
- 如何手动更新Kafka中某个Topic的偏移量
- zookeeper上修改kafka消费组的偏移量
- kafka同步zookeeper前移偏移量
- java 获取kafka offsets(偏移量)
- Spark Streaming管理Kafka偏移量
- 地址的偏移量
- 偏移量的问题
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper的实现
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper的实现
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现
- monkey安装和使用
- Linux环境源码编译安装SVN
- QNX system architecture 6
- webpack 2.0
- Hbase对数据表的增删改查和对数据的增删改查
- Kafka 消息偏移量的维护
- ACM暑假训练codeforces A. Arcade Game D. Frozen Rivers(康托展开式,spfa)
- n后问题————回溯法求解(递归与非递归)
- mysql replace into 遇上主键自增
- use python to sendmail
- nutch2二次开发笔记
- JAVA函数实现任意给定一组数, 找出任意数相加等于某数或者在一个范围
- 正则中出现多个贪婪模式
- 外观模式 | Facade Pattern