关于kafka重新消费数据问题
来源:互联网 发布:js获取本周第一天日期 编辑:程序博客网 时间:2024/04/30 12:00
我们在使用consumer消费数据时,有些情况下我们需要对已经消费过的数据进行重新消费,这里介绍kafka中两种重新消费数据的方法。
1. 修改offset
我们在使用consumer消费的时候,每个topic会产生一个偏移量,这个偏移量保证我们消费的消息顺序且不重复。Offest是在zookeeper中存储的,我们可以设置consumer实时或定时的注册offest到zookeeper中。我们修改这个offest到我们想重新消费的位置,就可以做到重新消费了。具体修改offest的方法这里就不详细介绍了,想了解的可以在我的博客kafka类中有相关文章,也可以点击这里了解。
2. 通过使用不同的group来消费
通过不同的group来重新消费数据方法简单,但我们无法指定我们要重复消费哪些数据,它会从这个groupid在zookeeper注册之后所产生的数据开始消费。这里需要注意的是新的group是重新消费所有数据,但也并非是topic中所有数据,它只会消费它在zookeeper注册过之后产生的数据。我们可以再zookeeper客户端中 /consumer/ 目录下查看我们已经注册过的groupid。我们在使用consumer消费数据时如果指定一个新的groupid,那么当这个consumer被执行的时候会自动注册到zookeeper中。而这个group中的consumer之后消费到注册之后产生的数据。
关于如何删除在zookeeper中注册的groupid,点击这里。
1 0
- 关于kafka重新消费数据问题
- SparkStreaming消费Kafka数据遇到的问题
- storm消费kafka数据
- kafka重复消费问题
- sparkstreaming消费kafka中的数据
- STORM整合kafka消费数据
- storm实时消费kafka数据
- zookeeper删除kafka元数据,解决kafka无法消费数据的问题
- kafka查看消费了多少条数据
- Sparak-Streaming基于Offset消费Kafka数据
- Kafka重复消费和丢失数据研究
- Kafka 生产消费 Avro 序列化数据
- 关于Spark Streaming微批次,Flink真正流处理 消费Kafka数据,处理数据的差距对比
- Kafka之Consumer获取消费数据全过程图解
- kafka重置consumer的offset 数据重复消费
- spark streaming从指定offset处消费Kafka数据
- 使用nodejs对kafka、zookeeper数据进行消费consumer
- Kafka 0.9.0.x 控制消费数据数量
- android apk 打包时出现xxx is not translated
- Android语言世界化的过程中遇到的阿拉伯语波斯语的问题总结
- adb 端口不识别问题
- JSP中<base href="<%=basePath%>">作用
- 【结论】Dijkstra
- 关于kafka重新消费数据问题
- 穷举法解决组合问题3
- 策略模式-StrategyMode
- 东北的八月。
- servlet的生命周期
- 穷举问题4
- svn 常见操作指令
- ubuntu安装it++
- C++类简述