hadoop的mapreduce作业中经常出现Java heap space解决方案
来源:互联网 发布:绝地大逃杀a卡优化 编辑:程序博客网 时间:2024/05/18 12:31
我们经常遇到这样的问题,内存溢出,内存溢出的原因是很简单,不够用了,不够用该怎么设置,通过水设置。可以参考下面案例
一、hadoop的mapreduce作业中经常出现Java heap space解决方案
常常被一些用户问到,说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误,然后失败呢?以前同一个作业没出现过的呀?”
10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:498)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:158)
这个实际上是 Out Of Memory OOM问题。
其实这样的错误有时候并不是程序逻辑的问题(当然有可能是由于程序写的不够高效,产生的内存消耗不合理而导致),而是由于同样的作业,在数据量和数据本身发生不同时就会占据不同数量的内存空间。由于hadoop的mapreduce作业的运行机制是:在jobtracker接到客户端来的job提交后,将许多的task分配到集群中各个tasktracker上进行分块的计算,而根据代码中的逻辑可以看出,其实是在tasktracker上启了一个java进程进行运算,进程中有特定的端口和网络机制来保持map 和reduce之间的数据传输,所以,这些OOM的错误,其实就是这些java进程中报出了OOM的错误。
知道了原因以后就好办了,hadoop的mapreduce作业启动的时候,都会读取jobConf中的配置(hadoop-site.xml),只要在该配置文件中将每个task的jvm进程中的-Xmx所配置的java进程的max heap size加大,就能解决这样的问题:
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
PS:该选项默认是200M
新版本应该是在conf/hadoop-env.sh文件中修改。默认为1000M
二、Maven编译出现“java.lang. Java heap space”问题及解决办法
最近在Porting原来的一些工程的build从Ant到Maven,由于工程太大,所以建立了不少树形结构的工程,此时在编译的时候常常会出现“java.lang.OutOfMemoryError: Java heap space”错误,从而导致编译失败,这个错误已出现很明显就是编译是给JVM分配的Xmx不够,但是在Maven中直接在mvn命令行后指定-Xmx1024m是不起作用的,此时要想使设置生效,就需要在编译前设置Maven环境参数,如下:
export MAVEN_OPTS='-Xms256m -Xmx1024m'
然后再运行命令mvn命令编译就不好出现错误了。
三、eclipse内存溢出报错:java.lang.OutOfMemoryError:Java heap space.
1 查看内存:
方法一:
找到eclipse/eclipse.ini,打开,在其上加上
-vmargs
-Xms128m
-Xmx512m
-XX:permSize=64M
-XX:MaxPermSize=128M
方法二:
打开eclipse,选择Window--Preferences--Java--Installed JREs,在右边选择前面有对勾的JRE,单击Edit,出现一个EditJRE的对话框,在其中的Default VM Arguments框中输入-Xms128m -Xmx512m。
这样设置java虚拟机内存使用最小是128M,最大是512M。
一、hadoop的mapreduce作业中经常出现Java heap space解决方案
常常被一些用户问到,说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误,然后失败呢?以前同一个作业没出现过的呀?”
10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:498)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:158)
这个实际上是 Out Of Memory OOM问题。
其实这样的错误有时候并不是程序逻辑的问题(当然有可能是由于程序写的不够高效,产生的内存消耗不合理而导致),而是由于同样的作业,在数据量和数据本身发生不同时就会占据不同数量的内存空间。由于hadoop的mapreduce作业的运行机制是:在jobtracker接到客户端来的job提交后,将许多的task分配到集群中各个tasktracker上进行分块的计算,而根据代码中的逻辑可以看出,其实是在tasktracker上启了一个java进程进行运算,进程中有特定的端口和网络机制来保持map 和reduce之间的数据传输,所以,这些OOM的错误,其实就是这些java进程中报出了OOM的错误。
知道了原因以后就好办了,hadoop的mapreduce作业启动的时候,都会读取jobConf中的配置(hadoop-site.xml),只要在该配置文件中将每个task的jvm进程中的-Xmx所配置的java进程的max heap size加大,就能解决这样的问题:
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
PS:该选项默认是200M
新版本应该是在conf/hadoop-env.sh文件中修改。默认为1000M
二、Maven编译出现“java.lang. Java heap space”问题及解决办法
最近在Porting原来的一些工程的build从Ant到Maven,由于工程太大,所以建立了不少树形结构的工程,此时在编译的时候常常会出现“java.lang.OutOfMemoryError: Java heap space”错误,从而导致编译失败,这个错误已出现很明显就是编译是给JVM分配的Xmx不够,但是在Maven中直接在mvn命令行后指定-Xmx1024m是不起作用的,此时要想使设置生效,就需要在编译前设置Maven环境参数,如下:
export MAVEN_OPTS='-Xms256m -Xmx1024m'
然后再运行命令mvn命令编译就不好出现错误了。
三、eclipse内存溢出报错:java.lang.OutOfMemoryError:Java heap space.
1 查看内存:
workspace/.metadata/.plugins/org.eclipse.core.runtime/.settings/org.eclipse.ui.prefs,在里面加上SHOW_MEMORY_MONITOR=true,重启eclipse,就可以在其左下角看到内存使用情况。
已经验证
方法一:
找到eclipse/eclipse.ini,打开,在其上加上
-vmargs
-Xms128m
-Xmx512m
-XX:permSize=64M
-XX:MaxPermSize=128M
方法二:
打开eclipse,选择Window--Preferences--Java--Installed JREs,在右边选择前面有对勾的JRE,单击Edit,出现一个EditJRE的对话框,在其中的Default VM Arguments框中输入-Xms128m -Xmx512m。
这样设置java虚拟机内存使用最小是128M,最大是512M。
0 0
- hadoop的mapreduce作业中经常出现Java heap space解决方案
- hadoop的mapreduce作业中经常出现Java heap space解决方案
- [Hadoop] hadoop的mapreduce作业中经常出现Java heap space
- hadoop的mapreduce作业中出现Java heap space,你认为该如何解决?
- Hadoop运行Mapreduce作业时报错:java.lang.OutOfMemoryError: Java heap space
- MyEclipse中Jboss启动出现Java heap space解决方案
- MyEclipse中Jboss启动出现Java heap space解决方案
- [hadoop异常] eclipse中运行mapreduce 异常 --java.lang.OutOfMemoryError: Java heap space
- Java heap space解决方案
- JAVA遇到大批数据处理时会出现Java heap space的报错的解决方案
- hadoop运行程序是出现java heap space
- hadoop运行程序出现Error: Java heap space
- hadoop异常java heap space
- Hadoop 运行作业java堆溢出:java.lang.outofmemoryerror: java heap space hadoop
- Java heap space内存不足解决方案
- eclipse Java heap space 解决方案
- hadoop中java.lang.OutOfMemoryError: Java heap space
- Hadoop java.lang.OutOfMemoryError: Java heap space的解决方法
- OpenGL glBlendFunc()
- 【机房重构】正则表达式
- 【华为 OJ 】查找组成一个偶数最接近的两个素数
- 微服务实战(一):微服务架构的优势与不足
- redis配置文件redis.conf详细说明
- hadoop的mapreduce作业中经常出现Java heap space解决方案
- Solr学习总结(二)Solr的安装与配置
- Hadoop RPC框架
- linux系统安装ftp服务并配置ftp用户
- spring缓存注解@Cache
- 程序源码中".h"文件与".c"文件有什么区别呀??
- HDU4768 Flyer 二分
- Solr学习总结(三)Solr web 管理后台
- POJ2785-4 Values whose Sum is 0