hadoop2.0 capacity调度器配置
来源:互联网 发布:软件开发是什么? 编辑:程序博客网 时间:2024/05/19 23:29
集群同时运行的最大作业数
<name>yarn.scheduler.capacity.maximum-applications</name>
<value>100</value>
<value>100</value>
default 队列同时运行的最大作业数
<name>yarn.scheduler.capacity.root.default.maximum-applications</name>
<value>10</value>
<value>10</value>
am 所占资源最大比例,用来控制同时运行的作业数
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.1</value>
<value>0.1</value>
默认的资源计算器,使用内存作为度量
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
子队列分别占用资源的百分比,所有子队列的和应该是100
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>50</value>
<value>50</value>
<name>yarn.scheduler.capacity.root.datadev.capacity</name>
<value>50</value>
<value>50</value>
用户可以占用队列分配的资源的比例,0-1
<name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
<value>1</value>
<value>1</value>
队列可以使用资源的最高比例
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
<value>80</value>
<value>80</value>
队列的状态:RUNNING STOPPED
<name>yarn.scheduler.capacity.root.default.state</name>
<value>RUNNING</value>
<value>RUNNING</value>
队列访问控制,用户与用户之间用“,”隔开,用户和组之间用“ ”空格隔开
<name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
<value>datadev </value>
<value>datadev </value>
队列管理权限,格式同访问权限配置
<name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
<value>datadev datadev</value>
<value>datadev datadev</value>
为了尽量调度rack-local的container,可以等待的次数,默认-1表示关闭此项功能。
通常设置为机架数量
<name>yarn.scheduler.capacity.node-locality-delay</name>
<value>-1</value>
<value>-1</value>
root队列的子队列,子队列也可以细分成多个队列
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,datadev</value>
<value>default,datadev</value>
- hadoop2.0 capacity调度器配置
- hadoop2.0 capacity调度器配置
- hadoop2.*能力调度器capacity-scheduler
- hadoop Capacity Scheduler计算能力调度器配置
- yarn 调度器 resourcemanager 的 Capacity Scheduler 部分配置说明
- Hadoop系列(5)之容量调度器Capacity Scheduler配置
- Yarn scheduler Capacity调度器概念以及配置
- hadoop2.0 公平调度器(fair-scheduler)配置
- hadoop2.0 公平调度器(fair-scheduler)配置
- hadoop Capacity Scheduler调度器使用体验
- Yarn的fair和capacity调度器
- Hadoop2.x调度器
- Hadoop应用-------Hadoop计算能力调度器(Capacity Scheduler)应用和配置{hadoop mradmin -refreshQueues动态更新队列和容量}其他调度器比较
- Hadoop Yarn Capacity调度器之ACL的一个坑
- Hadoop2.0 配置详解
- Capacity Scheduler配置说明
- hadoop2.3.0错误之Configured Capacity: 0 (0 B)Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used:
- hadoop 0.23的容量调度器简介(Hadoop MapReduce Next Generation - Capacity Scheduler)
- 统一资源管理与调度平台(系统)介绍
- 项目经验分享
- YARN/MRv2 ResourceManager代码分析
- C++常成员函数学习笔记
- wordpress为什么你就是无法自动更新?
- hadoop2.0 capacity调度器配置
- JVM调优总结(七)-典型配置举例1
- HDU 4248 A Famous Stone Collector (dp)
- Handler,Message,Runnable
- xml与json的对比
- hbase安装配置(整合到hadoop)
- hbase查询一条数据的过程(转)
- 手把手教你如何把java代码,打包成jar文件以及转换为exe可执行文件
- The Application was unable to start correctly (0xc0150002),Click OK to close the application.