Hadoop关键配置参数解释
来源:互联网 发布:淘宝浏览器打开就关闭 编辑:程序博客网 时间:2024/05/01 10:46
1、mapred-site.xml
1)mapreduce.map.memory.mb:每个Map Task需要的内存量; 默认值;1024M;map任务的数量=yarn.nodemanager.resource.memory-mb / mapreduce.map.memory.mb
2)mapreduce.reduce.memory.mb:每个Reduce任务需要的内存量; 默认值:1024M;reduce任务的数据=yarn.nodemanager.resource.memory-mb / mapreduce.reduce.memory.mb
3)mapreduce.map.java.ops和mapreduce.reduce.java.opts:这两个参主要是为需要运行JVM程序(java、scala等)准备的,通过这两个设置可以向JVM中传递参数的,与内存有关的是,-Xmx,-Xms等选项。此数值大小,应该在AM中的map.mb和reduce.mb之间
MARK:MapReduce运行中如遇到:xxxis running beyond virtual memory limits。可调整上面几个参数来解决
2、yarn-site.xml
1)yarn.scheduler.minimum-allocation-mb 和 yarn.scheduler.maximum-allocation-mb:单个容器可申请的最小与最大内存,应用在运行申请内存时不能超过最大值,小于最小值则分配最小值,从这个角度看,最小值有点想操作系统中的页。最小值还有另外一种用途,计算一个节点的最大Container数量; 默认值:1024/8192
2)yarn.nodemanager.resource.memory-mb 和 yarn.nodemanager.vmem-pmem-ratio:每个节点可用的最大内存,RM中的两个值不应该超过此值。此数值可以用于计算container最大数目,即:用此值除以RM中的最小容器内存。虚拟内存率,是占task所用内存的百分比,默认值为2.1倍;注意:第一个参数是不可修改的,一旦设置,整个运行过程中不可动态修改,且该值的默认大小是8G,即使计算机内存不足8G也会按着8G内存来使用。 默认值:8G /2.1
- Hadoop关键配置参数解释
- 已知的Hadoop关键配置
- hadoop metrics 各参数解释
- hadoop metrics 各参数解释
- hadoop metrics 各参数解释
- RMAN配置参数解释
- RMAN配置参数解释
- MHA配置参数解释
- MHA配置参数解释
- hadoop 伪分布式配置关键点
- Hadoop 参数配置优化
- hadoop参数配置详解
- hadoop 配置参数理解
- Hadoop 参数配置优化
- hadoop配置参数说明
- hadoop参数配置优化
- hadoop参数配置
- hadoop参数配置详解
- ACM大赛常见单词
- C++面向对象程序设计复习
- 项目笔记5
- BZOJ 4010: [HNOI2015]菜肴制作
- virtual workstation 虚拟机安装
- Hadoop关键配置参数解释
- 数组名&数组名取地址&数组首元素取地址的区别
- Asp.Net Mvc4分页,扩展HtmlHelper类
- 策略模式(Strategy Pattern,对象行为型模式)
- 每日一句:Glory
- JavaWeb 提交中文数据乱码问题总结
- 算法:判断数字奇偶性(parity)
- SQL Server中使用异常处理调试存储过程
- 如何让外网访问自己的本地Web服务器