Hadoop/Yarn/MapReduce内存分配(解决Error:JVM heap space问题)

来源:互联网 发布:淘宝发布的宝贝搜不到 编辑:程序博客网 时间:2024/05/18 15:07
方案最右侧一栏是一个8G VM的分配方案,方案预留1-2G的内存给操作系统,分配4G给Yarn/MapReduce,当然也包括了HIVE,剩余的2-3G是在需要使用HBase时预留给HBase的。

配置方案转自:http://blog.csdn.net/bluishglc/article/details/42436321

其中:

 mapreduce.map.memory.mb和 mapreduce.reduce.memory.mb配置的是map和reduce容器需要的内存大小,mapreduce.map.java.opts和mapreduce.ruduce.java.opt是mapreduce程序的物理内存(jvm heap)的使用上限,后者的容量要比前者的容量配置的要小,因为每一个容器都会运行一个JVM,所以jvm heap的大小应该小于Map和reduce memory,否则在mapreduce程序运行时会提示错误:

Container is running beyond memory limits。详见:http://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits


0 0
原创粉丝点击