解决 RMContainerAllocator: Exception while unregistering java.lang.NullPointerException问题
来源:互联网 发布:打车软件有几种 编辑:程序博客网 时间:2024/06/08 08:07
在hadoop2.5.2环境中,执行一个mr任务,计算结果正确输出到hdfs里面了,但是job异常退出了,
报错信息如下:
大概意思就是有任务失败了吧。
然后查看各节点日志,发现有一个节点报错了,报错信息如下:
ERROR [Thread-856] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Exception while unregistering java.lang.NullPointerException at org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil.getApplicationWebURLOnJHSWithoutScheme(MRWebAppUtil.java:135) at org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil.getApplicationWebURLOnJHSWithScheme(MRWebAppUtil.java:150) at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.doUnregistration(RMCommunicator.java:212) at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.unregister(RMCommunicator.java:182) at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.serviceStop(RMCommunicator.java:255)
于是开始gg,发现hadoop官网上有相关报错issue:
https://issues.apache.org/jira/browse/MAPREDUCE-6213
这个bug的原因是这样描述的:
When DNS failed for a time, all MapReduce jobs which completed during that time got failed.
没理解,DNS不通导致的吗?为什么我3个节点就其中一个必然失败,其他的两个节点不会失败?
暂时不管了,下面有解决方案:
需要改代码,org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil
这个类在hadoop-mapreduce-client-common-2.5.2.jar包中,直接解压这个jar包,获得MRWebAppUtil.class文件,
反编译后修改相j关代码重新生成新的MRWebAppUtil.class文件,覆盖原文件。
执行jar cvfhadoop-mapreduce-client-common-2.5.2.jar * 生成新的jar包。
替换到hadoop中/share/hadoop/mapreduce目录。
重启mapreduce,问题解决了。
0 0
- 解决 RMContainerAllocator: Exception while unregistering java.lang.NullPointerException问题
- Exception starting filter struts2 java.lang.NullPointerException 解决...
- Exception starting filter struts2 java.lang.NullPointerException 解决...
- Exception starting filter struts2 java.lang.NullPointerException 解决...
- Exception starting filter struts2 java.lang.NullPointerException 解决...
- java.lang.NullPointerException的问题与解决
- Exception in thread "main" java.lang.NullPointerException问题
- 解决java.lang.NullPointerException
- java.lang.NullPointerException问题
- java.lang.nullpointerexception 问题
- Exception Ljava/lang/NullPointerException; thrown while initializing Landroid/os/debug
- Unhandled Exception thrown: class java.lang.NullPointerException
- Exception starting filter struts2 java.lang.NullPointerException
- Exception in Thread "HouseKeeper" java.lang.NullPointerException
- Exception in thread "HouseKeeper" java.lang.NullPointerException
- Exception in thread "HouseKeeper" java.lang.NullPointerException
- Exception starting filter struts2 java.lang.NullPointerException
- Exception in thread "main" java.lang.NullPointerException
- android面试题目2
- C语言进阶
- 图的遍历
- http://blog.csdn.net/innost?viewmode=contents
- ios打印NSInteger的时候去除警告
- 解决 RMContainerAllocator: Exception while unregistering java.lang.NullPointerException问题
- 第一行代码笔记之一Android系统架构
- hadoop案例实现之WordCount (计算单词出现的频数)
- 3、强制类型转换、as和is
- 全面解析Activity的生命周期
- 2015湘潭邀请赛 Segment Tree
- git
- tabhost+滚动条的效果实现
- 算法中常见时间复杂度的比较