yran参数的配置
来源:互联网 发布:php下载zip文件损坏 编辑:程序博客网 时间:2024/06/05 09:28
yran参数,参考如下博客:
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-memory-cpu-scheduling/
http://blog.csdn.net/suifeng3051/article/details/48135521
yarn.scheduler.minimum-allocation-mb AppMaster给单个容器可申请的最小内存
yarn.scheduler.maximum-allocation-mb AppMaster给单个容器可申请的最大内存
yarn.scheduler.minimum-allocation-vcores AppMaster给单个容器可申请的最少cpu数量
yarn.scheduler.maximum-allocation-vcores AppMaster给单个容器可申请的最大cpu数量
yarn.nodemanager.resource.memory-mb 节点最大可用内存 一般设置成机器内存的80%
yarn.nodemanager.resource.cpu-vcores 节点最大可用cpu数量,一般设置为机器物理cpu数量一致
yarn.nodemanager.vmem-pmem-ratio 虚拟内存率,默认2.1
max(container) = yarn.nodemanager.resource.memory-mb / yarn.scheduler.minimum-allocation-mb yarn资源最多的container个数
mapreduce.map.memory.mb 分配给任务单个map Container的内存大小
mapreduce.reduce.memory.mb 分配给任务单个reduce Container的内存大小
上面这两个值在yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb之间
mapreduce.map.java.opts 运行map任务的jvm参数
mapreduce.reduce.java.opts 运行reduce任务的jvm参数
上面这两个值在mapreduce.map.memory.mb和mapreduce.reduce.memory.mb 之间
yarn.scheduler.increment-allocation-mb 内存规整化,默认1G,如果一个Container请求资源是1.5GB,则将被调度器规整化为ceiling(1.5 GB / 1GB) * 1G=2GB。
- yran参数的配置
- hadoop2.X YRAN CSDN资料
- db2 参数的配置
- Suhosin的配置参数
- DBCP的配置参数
- DBCP的参数配置
- Tomcat的配置参数
- DBCP的配置参数
- DBCP的配置参数
- DBCP的配置参数
- Servlet的参数配置
- DBCP的配置参数
- hadoop2的配置参数
- Redis的配置参数
- DBCP的配置参数
- proxool的配置参数
- Tomcat6的配置参数
- JVM的配置参数
- python 参数
- 第一天
- GYM 2015 ACM Syrian Collegiate Programming Contest
- OK ,Let's go...
- 3. Git与TortoiseGit基本操作
- yran参数的配置
- CSDN转载
- IE浏览器文件下载转码问题
- (String)引用计数写的拷贝
- Linux下启动nfs服务报错
- win7提升20%网速
- HBase-JvmPauseMonitor分析
- 解决 TortoiseGit 诡异的 Bad file number 问题
- HDU-1814-TwoSAT