在spark上运行scala代码,出现ClassNotFoundException
来源:互联网 发布:淘宝货到付款可以退吗 编辑:程序博客网 时间:2024/06/16 04:22
几个jvm运行报错说明:
- 如名字所言,一个exception,一个error, 而error是不建议捕捉的;
- classNotFound主要发生在Class.forName, ClassLoader.loadClass, Classloader.findSystemClass时动态加载类到内存中时,如果没有找到该类就会抛;还有一个原因是该类已经加载到内存中去了,此时另一个类加载器又尝试动态从同一个包中加载这个类;
- noClassDefFoundError主要由jvm抛出,大部分发生在new的时候却没有找到该类的定义。这个类在编译的时候有存在的,运行时却找不到。
- classNotFoundException发生在装入阶段;noClassDefFoundError发在生编译后使用阶段;
加载时从外存储器找不到需要的class就出现ClassNotFoundException(sc.addJar("D:\\817\\out\\artifacts\\*****\\*****.jar")确保该路径正确)
连接时从内存找不到需要的class就出现NoClassDefFoundError - classNotFoundException解决方法就是确定该类连同它依赖的包在类路径中;
- noClassDefoundError解决方法:确定依赖的包在运行时在正确的classPath中,通过System.getproperty("java.classpath")方法拿到实际存在的运行期classPath,如果不正确,可以通过-classpath命令明确指出正确的classPath。
0 0
- 在spark上运行scala代码,出现ClassNotFoundException
- 在spark上运行scala代码,出现ClassNotFoundException
- Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
- 在linux上,用scalac编译在Spark平台上运行的scala程序
- xgboost之spark上运行-scala接口
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
- 在Mesos上运行Spark
- spark在集群上运行
- 在 YARN 上运行 Spark
- 在集群上运行Spark
- spark部署:在YARN上运行Spark
- 在Predix上运行Scala的HelloWorld
- 在window上提交spark代码到远程测试环境上运行
- 利用Scala编写Wordcount并在spark框架下运行
- Spark在Yarn上运行Wordcount程序
- 在windows上运行Spark Driver
- 通过SparkR在R上运行Spark
- 梯度下降优化算法概述
- Qt事件处理的使用方法
- 算法时间复杂度
- 韩信点兵 刘汝佳《算法竞赛入门经典》
- 1001:Exponentiation
- 在spark上运行scala代码,出现ClassNotFoundException
- 哈夫曼编码思想
- OkHttp使用详解
- 算法与数据结构---加密系列二(AES)
- css3 居中对齐,position: absolute 垂直居中定位
- 使用QT连接SqlServer数据库
- hdu 5898 odd-even number
- Using Cordova Plugins in React Native (Android)
- 机能的健壮性