在spark上运行scala代码,出现ClassNotFoundException
来源:互联网 发布:蜂窝网络有电信的吗 编辑:程序博客网 时间:2024/06/08 09:10
几个jvm运行报错说明
- 如名字所言,一个exception,一个error, 而error是不建议捕捉的;
- classNotFound主要发生在Class.forName, ClassLoader.loadClass, Classloader.findSystemClass时动态加载类到内存中时,如果没有找到该类就会抛;还有一个原因是该类已经加载到内存中去了,此时另一个类加载器又尝试动态从同一个包中加载这个类;
- noClassDefFoundError主要由jvm抛出,大部分发生在new的时候却没有找到该类的定义。这个类在编译的时候有存在的,运行时却找不到。
- classNotFoundException发生在装入阶段;noClassDefFoundError发在生编译后使用阶段;
加载时从外存储器找不到需要的class就出现ClassNotFoundException(sc.addJar("D:\\817\\out\\artifacts\\*****\\*****.jar")确保该路径正确)
连接时从内存找不到需要的class就出现NoClassDefFoundError - classNotFoundException解决方法就是确定该类连同它依赖的包在类路径中;
- noClassDefoundError解决方法:确定依赖的包在运行时在正确的classPath中,通过System.getproperty("java.classpath")方法拿到实际存在的运行期classPath,如果不正确,可以通过-classpath命令明确指出正确的classPath。
阅读全文
0 0
- 在spark上运行scala代码,出现ClassNotFoundException
- 在spark上运行scala代码,出现ClassNotFoundException
- Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
- 在linux上,用scalac编译在Spark平台上运行的scala程序
- xgboost之spark上运行-scala接口
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
- 在Mesos上运行Spark
- spark在集群上运行
- 在 YARN 上运行 Spark
- 在集群上运行Spark
- spark部署:在YARN上运行Spark
- 在Predix上运行Scala的HelloWorld
- 在window上提交spark代码到远程测试环境上运行
- 利用Scala编写Wordcount并在spark框架下运行
- Spark在Yarn上运行Wordcount程序
- 在windows上运行Spark Driver
- 通过SparkR在R上运行Spark
- IntelliJ Idea 2017 注册码 免费激活方法
- 可视化tensorflow中间层
- Linux SPI总线设备驱动模型详解
- 给定一个二叉树和其中的一个节点,求中序遍历这个节点的下一个节点
- HttpClient以json形式的参数调用http接口并对返回的json数据进行处理(可以带文件)
- 在spark上运行scala代码,出现ClassNotFoundException
- java获取mp3的时长和播放mp3文件
- String 类型字符串存储和拼接
- springmvc的线程安全问题(与struts比较)
- mysql导入时报错
- Android深度探索:HAL与驱动开发学习笔记--工作队列
- JMX监控 Tomcat JBoss WebLogic WebSphere配置
- JPush简单Java服务端案例实现
- 3-6 静态数据成员与静态成员函数