Spark 与 Kafka 集成出错: Apache Spark: java.lang.NoSuchMethodError

来源：互联网发布：数据概况英文翻译编辑：程序博客网时间：2024/05/21 22:28

按照 spark 与 kafka 的教程一步一步进行操作, 在运行 KafkaWordCount 的示例时，却始终没有预期的输出. 如果正确的话，大概是这样:

......-------------------------------------------Time: 1488156500000 ms-------------------------------------------(4,5)(8,12)(6,14)(0,19)(2,11)(7,20)(5,10)(9,9)(3,9)(1,11)...

实际上只有:

......-------------------------------------------Time: 1488156500000 ms--------------------------------------------------------------------------------------Time: 1488156600000 ms-------------------------------------------......

localhost:4040 查看运行日志，发现错误:NoSuchMethodError, 搜索相关内容，结果并不多，但是有人说可能是版本问题。

进一步排错, kafka 可以独立正常工作, spark streaming 也是正常工作. 两者一结合就不工作了, 最后发现是 kafka 与 spark 的版本不兼容.

已测试不兼容的版本有: kafka0.8.0/kafka0.10.2+spark2.1.0+scala2.11.8，亲测的兼容版本有: kafka0.8.2.2+spark2.1.0+scala2.11.8 .

0 0