hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
来源:互联网 发布:西班牙语入门 知乎 编辑:程序博客网 时间:2024/04/29 22:36
通过打包运行MapReduce程序的时候,当程序中包含自定义的类时,job执行时会出现异常:java.lang.RuntimeException: java.lang.ClassNotFoundException,抛出异常的原因是由执行task的节点找不到自定义的类引起的,mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时,为了使得各个从节点上能执行task任务(即map和reduce函数),会在作业提交时将运行作业所需的资源,包括作业jar文件、配置文件和计算所得的输入划分,复制到HDFS上一个以作业ID命名的目录中,并且作业jar的副本较多,以保证tasktracker运行task时可以访问副本,执行程序。
解决这个异常的关键就是要让task的节点找到自定义的类,我试了很多方法,都失败了,最后还是在官网上找到了DistributedCache类,幸好hadoop设计者早就考虑到了这个问题,用DistributedCache的addFileToClassPath()方法就可以解决那个异常。还有一点要注意DistributedCache.addFileToClassPath(new Path(""), Conf)里的Path必须是HDFS上的文件,所以需要把jar包也上传到HDFS上,要用”hdfs://master:9100/input/app.jar“这种方式获取文件,执行Job,就OK了。
0 0
- hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
- 运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
- 运行hadoop jar 报错java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper及mapreduce执行
- 运行app时报java.lang.ClassNotFoundException
- java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper
- java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper
- java.lang.RuntimeException: java.lang.ClassNotFoundException
- hadoop java.lang.RuntimeException: java.lang.NoSuchMethodException
- hadoop客户端提交作业错误:java.lang.RuntimeException: java.lang.ClassNotFoundException: Job$Mappe
- RCP编程技巧:Eclipse rcp运行时报错java.lang.RuntimeException: 问题的解决
- 广播处理时报java.lang.ClassNotFoundException: Didn't find class的原因是什么?
- Solars10环境下ActiveMQ项目启动时报java.lang.ClassNotFoundException
- maven项目启动时报java.lang.ClassNotFoundException
- hadoop运行报错: java.lang.ClassNotFoundException解决方法
- hadoop运行报错: java.lang.ClassNotFoundException解决方法
- eclipse打包jar发布到linux下运行出错(java.lang.ClassNotFoundException: cmd.WordCount$MyMapper )
- android studio初次启动时报java.lang.RuntimeException: java.lang.IllegalArgumentException的错误
- Mac系统下执行hadoop jar 运行在某包内的程序 提示java.lang.ClassNotFoundException的解决方法
- SecureCRT如何设置才能使Vim中代码彩色显示??
- 算法竞赛入门经典(第2版)习题3-4 周期串 Periodic Strings UVa445
- sql文件导入时报错2006 – MySQL server has gone away
- jQuery学习之prop和attr的区别
- Python中classmethod与staticmethod区别
- hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
- Linux网络编程:原始套接字的魔力
- Selenium and BrowserMob Proxy
- Failed to export application
- 经纬财富:陇南银价继续高位震荡
- 上班之前
- 【iOS与EV3混合机器人编程系列之一】iOS要干嘛?EV3可以更酷!
- java date与string 互转
- ios中关于delegate(委托)