常见问题----Spark Streaming 读取User Group ID设置

来源:互联网 发布:传智播客javaweb源码 编辑:程序博客网 时间:2024/06/16 05:03

在Spark Streaming DirectStream中设置User Group ID,优点是可跟踪Kafka中此Group ID的Offset,下次重启时从上次中断的地方开始读数据。但是如果Kafka中已经不保存对应Offset的数据,则会报java.lang.ClassNotFoundException: kafka.common.OffsetOutOfRangeException的错误。

解决方法:DirectStream修改User Group ID,或者采用KafkaConsumer的seek方法重设置此user group的offset,或者使用默认User Group ID


开发者社区活动,使用SODBASE产品的程序员现在可以领礼品啦 

0 0
原创粉丝点击