CDH集群中YARN的参数配置
来源:互联网 发布:js原型链是什么? 编辑:程序博客网 时间:2024/04/29 14:30
CDH对Yarn的部分参数做了少了修改,并且添加了相关的中文说明,本文着重介绍了CDH中相比 MapReduceV1一些参数改动的配置。
一、CPU配置ApplicationMaster虚拟 CPU 内核
yarn.app.mapreduce.am.resource.cpu-vcores // ApplicationMaster占用的cpu内核数(Gateway--资源管理)
容器虚拟 CPU 内核
yarn.nodemanager.resource.cpu-vcores //单 个NodeManager 最大能分配的cpu核数(NodeManager --资源管理)
结论:当前 nodemanager 申请的 ApplicationMaster数总 和小于 nodemanager最大cpu内核数
二、内存配置容器内存
yarn.nodemanager.resource.memory-mb //单个NodeManager能分配的最大内存(NodeManager --资源管理) //Memory Total= 单个NodeManager内存 * 节点数
结论:提交任务占用内存Memory Used 小于Memory Total
Map 任务内存
mapreduce.map.memory.mb //为作业的每个 Map 任务分配的物理内存量 (Gateway--资源管理 )
结论:map或reduce的内存需求不大于appmaster的内存需求
最大容器内存
yarn.scheduler.maximum-allocation-mb //单个任务可申请最大内存 (ResourceManager--资源管理 )
三、同一个Map或者Reduce 并行执行Map 任务推理执行
mapreduce.map.speculative //Gateway
Reduce 任务推理执行
mapreduce.reduce.speculative //Gateway
四、JVM重用启用 Ubertask 优化 :
mapreduce.job.ubertask.enable | (默认false) //true则表示启用jvm重用(Gateway--性能)
jvm重用的决定参数如下:
Ubertask最大 Map
mapreduce.job.ubertask.maxmaps //超过多少个map启用jvm重用(Gateway--性能)
Ubertask最大 Reduce
mapreduce.job.ubertask.maxreduces //超过多少 Reduce 启用jvm重用,目前支持1个 (Gateway--性能)
Ubertask最大作业大小
mapreduce.job.ubertask.maxbytes //application的输入大小的阀值,默认为 block大小(Gateway--性能)
五、其他参数给spark加日志编辑 spark-defaults.conf
spark.yarn.historyServer.address=http://cloud003:18080/
- CDH集群中YARN的参数配置
- CDH集群中配置Yarn资源
- CDH集群中关于HBase的优化
- HDP 2.2 ( Hadoop 2.6 ) 集群的内存参数配置和参数调优 (Yarn/MapReduce2)
- 手动配置安全的Hadoop YARN集群
- hadoop2 yarn 集群配置
- spark 配置:yarn集群
- 配置yarn集群
- Yarn集群配置
- 一个根据所给资源自动配置CDH中Hadoop等参数的工具
- 一个根据所给资源自动配置CDH中Hadoop等参数的工具
- CDH中服务的配置及启动
- Windows Spark On YARN 提交任务到CDH集群
- CDH集群中maptask的日志文件的位置整理
- CDH集群中maptask的日志文件的位置整理
- Yarn下Mapreduce的内存参数理解&xml参数配置
- 配置社区版spark运行在cdh yarn
- 一步一步完成如何在现有的CDH集群中部署一个与CDH版本不同的spark
- 【Unity&Shader】遮罩效果黑暗
- 代码规范(草案)
- bzoj 1874: [BeiJing2009 WinterCamp]取石子游戏 Nim游戏+SG函数
- 【BZOJ4521】手机号码,数位dp
- Storm1.0新版本特性
- CDH集群中YARN的参数配置
- WebStorm12配置react-native运行命令
- 几个机器学习算法及应用领域相关的中国大牛
- set集合和list集合的区别
- solr从pdf、office文档中建立索引
- phpStorm 2016.3.2 for Mac 正版破解教程
- JSP
- 啦啦啦啦
- 馆藏档案数字化加工:古籍爱好者的福利