调用Hadoop时遇到的一个问题:could not find or load main class

来源:互联网 发布:网络投票刷票器 编辑:程序博客网 时间:2024/06/07 18:37

最近在使用其他框架调用Hadoop时,执行命令出现错误,查看UI界面的日志发现,如下:


导致错误的原因应该是,在程序运行时,找不到Hadoop中的MRAppMaster的主类,导致程序无法进行下去。
解决方法:
在yarn-site.xml文件中name为yarn.application.classpath对应的value中配置Hadoop的相关jar需求等,如下:
yarn.application.classpath
/bigdata/hadoop-2.6.0/etc/hadoop,
/bigdata/hadoop-2.6.0/share/hadoop/common/*,
/bigdata/hadoop-2.6.0/share/hadoop/common/lib/*,
/bigdata/hadoop-2.6.0/share/hadoop/hdfs/*,
/bigdata/hadoop-2.6.0/share/hadoop/hdfs/lib/*,
/bigdata/hadoop-2.6.0/share/hadoop/mapreduce/*,
/bigdata/hadoop-2.6.0/share/hadoop/mapreduce/lib/*,
/bigdata/hadoop-2.6.0/share/hadoop/yarn/*,
/bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/*

0 0