Oozie报错ClassNotFoundException:…

来源:互联网 发布:oracle 数据库日志 编辑:程序博客网 时间:2024/06/07 05:11
RuntimeException:java.lang.ClassNotFoundException: Classorg.apache.oozie.action.hadoop.SparkMain not found
atorg.apache.hadoop.conf.Configuration.getClass(Configuration.
atorg.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.
atorg.apache.hadoop.mapred.MapRunner.run(MapRunner.
atorg.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.
atorg.apache.hadoop.mapred.MapTask.run(MapTask.
atorg.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runSubtask(LocalContainerLauncher.
atorg.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runTask(LocalContainerLauncher.
atorg.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.access$200(LocalContainerLauncher.
atorg.apache.hadoop.mapred.LocalContainerLauncher$EventHandler$1.run(LocalContainerLauncher.

【解决办法】
一、确保Oozie在hdfs上的sharelib中的spark文件夹下的关于spark的jar都是当前使用版本的。因为oozie编译的时候可能没设定版本,所以会导致不匹配或找不到的问题。(然而它一般只会提示你找不到,这时候脑筋死点就会纠结在为啥有了它却找不到的问题点上,不断的调整路径,以为路径配置错了。桑不起)
二、在oozie-site.xml里面添加如下,令oozie使用hdfs里面的jar库:
<property>
  <name>oozie.use.system.libpath</name>
  <value>true</value>
</property>

问题汇总:Oozie运行pyspark问题Stack trace: ExitCodeExceptionexitCode=1

参考1、参考2




0 0
原创粉丝点击