Yarn shuffle OOM错误分析及解决
来源:互联网 发布:软件的license 编辑:程序博客网 时间:2024/05/17 17:15
Reference: 最近再补mapreduce相关的知识,该片文章引用同事前辈大宇神的博客文章!
http://dj1211.com/?p=358
大家也可以没事看看他别文章,都写得不错!!!
---------------------------------------------------------------------------------------------------
最近集群中一些任务经常在reduce端跑出Shuffle OOM的错误,具体错误如下:
2015-03-09 16:19:13,646 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#14at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:396)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1550)at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)Caused by: java.lang.OutOfMemoryError: Java heap spaceat org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:56)at org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:46)at org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.(InMemoryMapOutput.java:63)at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.unconditionalReserve(MergeManagerImpl.java:297)at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:287)at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:411)at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:341)at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:165)
先看一下基本流程,map端进行处理后将结果放在map端local路径中,map端不断心跳汇报给mrappmaster,在适当的阶段(另外可以写一个流程说明),reduce启动,reduce发送心跳给mrappmaster,获取已经结束的maptask对象。之后对已经结束的map进程的数据进行拉取俗称Shuffle,拉取是通过Fetcher线程进行的,随后进行sort。
有关的几个重要参数:
public static final String SHUFFLE_INPUT_BUFFER_PERCENT = “mapreduce.reduce.shuffle.input.buffer.percent”; 默认0.7
public static final String SHUFFLE_MEMORY_LIMIT_PERCENT = “mapreduce.reduce.shuffle.memory.limit.percent”; 默认0.25
public static final String SHUFFLE_MERGE_PERCENT = “mapreduce.reduce.shuffle.merge.percent”; 默认0.66
这个问题是在Fetcher过程中爆出的。首先解释一下参数,第一个参数SHUFFLE_INPUT_BUFFER_PERCENT是指在总的HeapSize中shuffle占得内存百分比我们总的HeapSize是1.5G,那大概Fetcher就是1.0G。 SHUFFLE_MEMORY_LIMIT_PERCENT是指的map copy过来的数据是放内存中还是直接写磁盘。 超过1.5G*0.7*0.25=250M的都放在磁盘中,其它开辟内存空间,放在内存中。 SHUFFLE_MERGE_PERCENT是指merge的百分比,超过这个百分比后停止fetcher,进行merge,merge到磁盘中。
跑出OOM后,调了下jvm参数,获取heapdump数据,根据MAT获取以下数据。数据如下:
首先发现整体的内存并没有到1.5G。其次,看了下内存对象分布,byte数组占了很大比例,这也很正常,所有内存中的buffer都是以byte数组形式出现的。在对比一下byte数组大小,大于900M,这就有一个问题了,首先整体HeapSize是1.5G,old区大概是1个G,这时候如果byte数组是900M来一个100M+的拷贝,由于是大内存开辟,不会进入Young区,直接开辟内存空间到Old区,而Old区即使fullgc也没有那么多连续空间,所以分配失败,报OOM错误。这时,只是一个假设,调整Xmn参数,减小Young区内存大小,增大Old区进行测试,成功,印证了想法。
但是对于我们跑任务调整jvm参数毕竟不现实,那么我们根据经验调整SHUFFLE_INPUT_BUFFER_PERCENT参数就可以了,调整为0.6即可解决问题。
- Yarn shuffle OOM错误分析及解决
- Yarn shuffle OOM错误分析及解决
- hadoop Shuffle Error OOM错误分析和解决
- Android内存分析及OOM解决
- Android程序OOM问题分析及解决
- Spark on Yarn下JVM的OOM问题及解决方式
- Hive中跑MapReduce Job出现OOM问题分析及解决
- YARN源码分析(八)-----Reduce Shuffle过程分析
- 图片OOM的错误分析
- MAT使用及OOM分析
- android压缩图片,解决oom错误
- 解决OOM错误的图片压缩方法
- android压缩图片,解决oom错误
- YARN环境中应用程序JAR包冲突问题的分析及解决
- 出现Android OOM,如何分析和解决?
- Android OOM产生原因及如何解决
- Android OOM产生原因及如何解决
- 图片压缩及缓存解决OOM
- Android Studio下OpenCV及JNI开发
- 1613-3-傅溥衍 总结《2016年10月26日》【连续第二十六天总结】
- Android studio 配合 genymotion 安装 使用
- 利用 Android Systrace 做performance 分析
- ubuntu14.04下调整交换分区大小及优化
- Yarn shuffle OOM错误分析及解决
- Android内存泄漏分析及调试
- 动态添加布局并且设置子布局水平居中,设置边距
- HDU 1724 (simpson积分)
- html超链接a打开本地文件支持各种浏览器
- html代码书写规范
- Qt事件处理摘录
- htpasswd小工具生成密码
- python.numpy学习