yarn & mapreduce 配置参数总结
来源:互联网 发布:淘宝莲花橡皮章气眼 编辑:程序博客网 时间:2024/04/29 08:55
配置
设置nodemanager 总内存大小为32G,在yarn-site.xml 增加如下内容:
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>32768</value></property>
container内存按照默认大小配置,即为最小1G,最大8G
<property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value></property><property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value></property>
每个任务最大jvm heap 大小为1000M,在mapred-site.xml 增加如下内容:
<property> <name>mapred.child.java.opts</name> <value>-Xmx1000M -Dfile.encoding=UTF8 -XX:-UseGCOverheadLimit</value> </property>
FairScheduler调度器配置,在yarn-site.xml 增加如下内容:
<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> <property> <name>yarn.scheduler.fair.allocation.file</name> <value>/home/cluster/conf/hadoop/fair-scheduler.xml</value> </property>
日志聚合功能,在yarn-site.xml 增加如下内容:
<property> <name>yarn.log-aggregation-enable</name> <value>true</value></property> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/var/log/hadoop-yarn/apps</value> <description>Where to aggregate logs to.</description></property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>86400</value></property>
开启jobhistory服务
- 在yarn-site.xml 增加如下内容:
<property> <name>yarn.log.server.url</name> <value>http://master:19888/jobhistory/logs/</value></property>
- 在mapred-site.xml 增加如下内容:
<property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
设置yarn heap 大小,在yarn-env.sh 增加如下内容:
YARN_HEAPSIZE=6000
设置hadoop heap 大小,在hadoop-env.sh 增加如下内容:
# The maximum amount of heap to use, in MB. Default is 1000.export HADOOP_HEAPSIZE=6000
设置namenode jvm heap 大小,在hadoop-env.sh 增加如下内容:
export HADOOP_NAMENODE_OPTS="-Xmx60000m -Dcom.sun.management.jmxremote -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCApplicationStoppedTime -Xloggc:/home/stark_summer/logs/hadoop-hdfs/gc-$(hostname)-hdfs.log $HADOOP_NAMENODE_OPTS"
设置datanode jvm heap 大小(继承HADOOP_HEAPSIZE参数配置),在hadoop-env.sh 增加如下内容:
export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS"export HADOOP_DATANODE_OPTS="$JMX_BASE -Dcom.sun.management.jmxremote.port=26003 $HADOOP_DATANODE_OPTS"export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS $HADOOP_DATANODE_OPTS"
设置secondarynamenode jvm heap 大小,在hadoop-env.sh 增加如下内容:
export HADOOP_SECONDARYNAMENODE_OPTS="-Xms58320m -Xmx58320m -XX:-UseGCOverheadLimit -Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_SECONDARYNAMENODE_OPTS"
参数调优
设置 map & reduce 的container分配内存大小
-D mapreduce.map.memory.mb="1500" \-D mapreduce.reduce.memory.mb="1500" \
设置 map & reduce 的 jvm heap 大小
-D mapreduce.map.java.opts="-Xms1600M -Xmx1600M -Dfile.encoding=UTF8 -XX:-UseGCOverheadLimit" \-D mapreduce.reduce.java.opts="-Xms2500M -Xmx2500M -Dfile.encoding=UTF8 -XX:-UseGCOverheadLimit" \等价于-D mapred.map.child.java.opts="-Xms1600M -Xmx1600M -Dfile.encoding=UTF8 -XX:-UseGCOverheadLimit" \-D mapred.reduce.child.java.opts="-Xms2500M -Xmx2500M -Dfile.encoding=UTF8 -XX:-UseGCOverheadLimit" \
设置shuffle比例,默认shuffle比例是0.70,可降低这个比例
-D mapreduce.reduce.shuffle.input.buffer.percent=0.4 \
设置队列名称
-D mapreduce.job.queuename=root.routine \
尊重原创,拒绝转载
http://blog.csdn.net/stark_summer/article/details/48494391
1 0
- yarn & mapreduce 配置参数总结
- yarn & mapreduce 配置参数总结
- 理解配置yarn参数&mapreduce参数
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- hadoop YARN配置参数剖析—MapReduce相关参数
- Yarn下Mapreduce的内存参数理解&xml参数配置
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- mapreduce yarn内存参数
- mapreduce yarn内存参数
- mapreduce yarn内存参数
- mapreduce yarn内存参数
- Yarn下Mapreduce的内存参数理解
- yarn下mapreduce内存参数理解
- HDP YARN MapReduce参数调优建议
- 递归实现快速排序
- iOS中NSFileManager的简单用法
- scala学习笔记(九) 特质
- Java编写简单三角形与菱形
- [Asp.net]Uploadify上传大文件
- yarn & mapreduce 配置参数总结
- virtual
- django 1.8 官方文档翻译:7-3 Django管理文档生成器
- TCP socket 选项:TCP_NODELAY TCP_CORK
- 使用dispatch_once实现单例模式
- 算法&模型
- meta name="apple-mobile-web-app-capable"
- 如何卸载干净Fusion 360
- Swift学习笔记(三十)——函数的内部参数名和外部参数名