hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因

来源:互联网 发布:西班牙语入门 知乎 编辑:程序博客网 时间:2024/04/29 22:36

通过打包运行MapReduce程序的时候,当程序中包含自定义的类时,job执行时会出现异常:java.lang.RuntimeException: java.lang.ClassNotFoundException,抛出异常的原因是由执行task的节点找不到自定义的类引起的,mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时,为了使得各个从节点上能执行task任务(即map和reduce函数),会在作业提交时将运行作业所需的资源,包括作业jar文件、配置文件和计算所得的输入划分,复制到HDFS上一个以作业ID命名的目录中,并且作业jar的副本较多,以保证tasktracker运行task时可以访问副本,执行程序。

解决这个异常的关键就是要让task的节点找到自定义的类,我试了很多方法,都失败了,最后还是在官网上找到了DistributedCache类,幸好hadoop设计者早就考虑到了这个问题,用DistributedCache的addFileToClassPath()方法就可以解决那个异常。还有一点要注意DistributedCache.addFileToClassPath(new Path(""), Conf)里的Path必须是HDFS上的文件,所以需要把jar包也上传到HDFS上,要用”hdfs://master:9100/input/app.jar“这种方式获取文件,执行Job,就OK了。

0 0
原创粉丝点击