关于kafka的新的group无法订阅到topic中历史消息的问题
来源:互联网 发布:dxv解码器 for mac 编辑:程序博客网 时间:2024/06/06 19:31
今天在写kafka的java api例子时候,遇到一个问题,比如我创建了一个test主题,往里面写了1,2,3,4,5条消息,在这个时候,我用一个新的group启动了一个消费者,发现该消费者只能读到5以后的消息,而1到5的消息是读不到的,于是感到疑惑,就去官网上找了一下,看到这这样一个配置项“auto.offset.reset”,该配置项的描述如下:
What to do when there is no initial offset in Kafka or if the current offset does not exist any more on the server (e.g. because that data has been deleted):
- earliest: automatically reset the offset to the earliest offset
- latest: automatically reset the offset to the latest offset
- none: throw exception to the consumer if no previous offset is found for the consumer's group
- anything else: throw exception to the consumer.
需要注意的是,这个配置只在group第一次订阅主题的时候触发,一旦这个offset值被确定下来了,你再把这个配置改成“earliest”就没效果了,因为他已经不符合这个条件了(这个group在这个主题下已经能拿到offset值了)
0 0
- 关于kafka的新的group无法订阅到topic中历史消息的问题
- 问题记录: kafka producer.send(record) topic可以创建, 确无法从kafka-console-consumer中查看到此topic上的内容
- 把kafka中topic的数据上传到hdfs
- ros的topic:创建消息类型、发布、订阅
- 删除kafka 的topic
- Kafka的Topic操作
- 删除kafka的topic
- Spring data kafka操作kafka消息的发送和订阅
- 发布&订阅的消息系统 Kafka的深度解析
- 发布&订阅的消息系统 Kafka的深度解析
- Kafka 学习 -- Topic的创建
- Kafka的topic限制是多少
- kafka topic的基本操作
- 如何删除Kafka的Topic
- ROS中节点在每次接收到消息之后都发布一条消息的反馈topic
- 关于group的问题
- HadoopConsumer——消费kafka中若干topic的消息,追加存储至hdfs的不同文件内
- 关于HP-UX中出现无法使用历史命令的问题的解决方案
- 设计模式
- REST API权限控制
- PB发布程序需要的运行库文件
- java JSONObject与Map互相转换
- UITableView性能优化
- 关于kafka的新的group无法订阅到topic中历史消息的问题
- android面试题1
- HTTP响应头和请求头信息对照表
- Linux线程属性总结
- 取消 window 7 激活提示
- Java synchronized (this) 的含义
- linux-常用命令
- ODDR
- Linux FHS标准文件系统学习笔记