Yarn平台下出现java.lang.ArithmeticException:/ by zero 该异常的调试经验

来源:互联网 发布:maya软件下载中文版 编辑:程序博客网 时间:2024/05/31 13:15

最近在公司的Yarn平台下跑多个Mapreduce application的时候,出现了下面的异常:

java.lang.ArithmeticException:/ by zero atorg.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:368)at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:150)atorg.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:131)at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:115)atorg.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.getLocalPathForWrite(LocalDirsHandlerService.java:263)atorg.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService$LocalizerRunner.run(ResourceLocalizationService.java:849)

 

原因分析:

该错误是由于无法创建本地文件而产生的,经过检查,一台nodemanager节点上磁盘空间不足导致无法创建本地文件,applcation监控页面下查找所有出现该异常的application以及相关的task,发现都是出现在该台服务器上,最后进行磁盘空间的整理,使得application 的maptask 和reducetask 的运行恢复正常

原创粉丝点击