hadoop+eclipse 调试程序出现的问题warn: no job jar file set 以及 点击run on hadoop 无反应

来源:互联网 发布:中国域名交易网 编辑:程序博客网 时间:2024/04/29 08:18

hadoop:0.20.2

eclipse:helios service release2

jdk:jre1.7.0_51


问题一:下载源码并配置好一切后,脑残的认为应该点run as->java application,结果sb了吧,出现了

WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

等等一系列的信息,表明用!不!了!

问题二:然后好奇run as 里面的另一个选项:run on hadoop。点之,静置,一点反应都没有。(此时,完全没有想到这两个问题能连在一起。。。)

翻遍了baidu,都说是这是“由于及集群中没有我们提交的jar包,所以namenode不知道怎么执行我们的job任务,所以就会报空指针异常错误,所以要自己打jar提交给集群“。

。。。

一种说法是:没有写job.setJarByClass(WordCountTest.class);明明写了呀,wociang!

还一种说法是:需要加((JobConf)job.getConfiguration()).setJar(jarFile);但是得加代码,这对我这么一个hadoop白痴,身处图像实验室,葩葩也不支持,师兄也不明白的状况,如何是好,你倒是说说啊,加毛代码啊,看都不明白。

最后发现了。。。

可能是hadoop-0.20.2下自带的eclise插件已过时。我去年木落归本!!!

解决方案(转)就是:
1、下载正确的插件:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
2、重命名:将下载的插件重命名为"hadoop-0.20.2-eclipse-plugin.jar"
3、替换原来的插件。

4、重启eclipse

至此,世界都安静了,感觉分裂成两个人的我都释然了。

下午去复习算法了。(-之前遇到的问题赶紧写出来啊,省的都忘掉了懒b。-哦,待会吧,反正该忘得都忘了。让我享受这片宁静先,哦~耶~)。

0 0
原创粉丝点击