Spark Streaming从1.4.1升级至2.0.0-preview遇到的问题汇总
来源:互联网 发布:win10开始键没反应知乎 编辑:程序博客网 时间:2024/06/08 04:20
Spark Streaming从1.4.1升级至2.0.0-preview遇到的问题汇总
Spark Streaming以及Kafka依赖问题(pom.xml)
- 1.4.1
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka_2.10</artifactId> <version>1.4.1</version></dependency>
- 2.0.0-preview
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-8_2.10</artifactId> <version>2.0.0-preview</version></dependency>
import org.apache.spark.Logging的问题
项目中继承org.apache.spark.Logging
类,并自定义了日志打印方法。但是在2.0.0-preview
版本中,org.apache.spark.Logging
这个类并不存在,转移到org.apache.spark.internal.Logging
。不同的是,在2.0.0-preview
版本中,这已经不是DeveloperApi了。
- 1.4.1部分源码
trait Logging{ ...}
- 2.0.0-preview部分源码
private[spark] trait Logging{ ...}
提交代码报错Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class
- 目前已同步系统与依赖Scala、Spark版本
- 以升级Scala IDEA
- 通过将
spark-2.0.0-bin-hadoop2.4.tgz
升级为spark-2.0.0-bin-hadoop2.6
问题解决
0 0
- Spark Streaming从1.4.1升级至2.0.0-preview遇到的问题汇总
- spark streaming 有趣问题汇总
- spark streaming中的demo运行时遇到的问题
- struts2.0升级到struts2.1.6遇到的问题汇总
- Spark Streaming 的一些问题
- cocos 1.0 preview 遇到的问题
- 遇到的hadoop/spark报错问题汇总
- 学习spark遇到的问题汇总(一)
- 升级php7+安装laravel过程中遇到的问题汇总
- Android Studio2.2版本升级后遇到的问题汇总
- 对于kafka spark Streaming出现的问题1
- nginx从6升级到8后的问题汇总
- Spark遇到的问题
- 关于从WEBLOGIC9升级到WEBLOGIC10遇到的问题
- 《从Activiti Designer5.8升级到5.9遇到的问题》
- Spark Streaming Kafka CreateDirectDStreaming 遇见的问题
- Spark streaming 作业需要注意的问题
- 应用程序从.net 2.0 升级到.net 4.0 后遇到的问题及解决办法
- JS高级程序设计笔记(五):引用类型
- VS中的路径宏 vc++中OutDir、ProjectDir、SolutionDir
- JSP指令详解
- Java学习之路--封装
- 5*.使用模拟退火算法解决“费马点”问题
- Spark Streaming从1.4.1升级至2.0.0-preview遇到的问题汇总
- MSSQL 游标使用
- C语言基础教学——认识C语言编译环境(第二课)
- jsp快捷键
- linux SystemCalls
- 单体模式和工厂模式结合使用
- oss_hdaudio移植
- js遍历对象的方法
- 【OpenCV】障碍物提取