hadoop的mapreduce作业中出现Java heap space,你认为该如何解决?
来源:互联网 发布:针织短款开衫淘宝网 编辑:程序博客网 时间:2024/05/18 14:27
hadoop的mapreduce作业中经常出现Java heap space解决方案
“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误,然后失败呢?以前同一个作业没出现过的呀?”
10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.java:498)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:158)
这个实际上是 Out Of Memory OOM问题。
其实这样的错误有时候并不是程序逻辑的问题(当然有可能是由于程序写的不够高效,产生的内存消耗不合理而导致),而是由于同样的作业,在数据量和数据本身发生不同时就会占据不同数量的内存空间。由于hadoop的mapreduce作业的运行机制是:在jobtracker接到客户端来的job提交后,将许多的task分配到集群中各个tasktracker上进行分块的计算,而根据代码中的逻辑可以看出,其实是在tasktracker上启了一个java进程进行运算,进程中有特定的端口和网络机制来保持map 和reduce之间的数据传输,所以,这些OOM的错误,其实就是这些java进程中报出了OOM的错误。
知道了原因以后就好办了,hadoop的mapreduce作业启动的时候,都会读取jobConf中的配置(hadoop-site.xml),只要在该配置文件中将每个task的jvm进程中的-Xmx所配置的java进程的max heap size加大,就能解决这样的问题:
<property> <name>mapred.child.java.opts</name> <value>-Xmx1024m</value> </property>
我的xml文件中的默认配置为:
<property> <name>mapred.child.java.opts</name> <value> -Xmx72518104</value> </property>
PS:该选项默认是200M
新版本应该是在conf/hadoop-env.sh文件中修改。默认为1000M
转载地址:http://www.aboutyun.com/thread-8299-1-1.html
- hadoop的mapreduce作业中出现Java heap space,你认为该如何解决?
- [Hadoop] hadoop的mapreduce作业中经常出现Java heap space
- hadoop的mapreduce作业中经常出现Java heap space解决方案
- hadoop的mapreduce作业中经常出现Java heap space解决方案
- Hadoop运行Mapreduce作业时报错:java.lang.OutOfMemoryError: Java heap space
- 解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
- [hadoop异常] eclipse中运行mapreduce 异常 --java.lang.OutOfMemoryError: Java heap space
- 如何解决OutOfMemoryError: Java heap space
- 如何解决java heap space问题
- myeclipse中解决 java heap space 的方法
- Java heap space解决
- hadoop运行程序是出现java heap space
- hadoop运行程序出现Error: Java heap space
- hadoop异常java heap space
- Hadoop 运行作业java堆溢出:java.lang.outofmemoryerror: java heap space hadoop
- Hadoop/Yarn/MapReduce内存分配(解决Error:JVM heap space问题)
- hadoop中java.lang.OutOfMemoryError: Java heap space
- java.lang.OutOfMemoryError: Java heap space如何解决?
- CSU1081-集训队分组-BFS
- 主成分分析(PCA)原理详解
- CSU1092-Barricade-最短路/Dijkstra
- myEclipse 中修改 jsp 文件默认pageEncoding
- CSU1120-病毒-DP/LCS/LIS
- hadoop的mapreduce作业中出现Java heap space,你认为该如何解决?
- 第三学期第六次算法练习题
- CSU1216-异或最大值-0-1Trie树
- Base.js 库 实现 JS 的对象化编程
- 《统计学习方法》第1章 课后题答案
- CSU1225-ACM小组的队列-DP/LCS加强
- 使用GIT进行硬件版本控制
- 冒泡排序
- 《权限系列》----用redis存储HashMap