hadoop2.0 capacity调度器配置

来源:互联网 发布:java韩震 编辑:程序博客网 时间:2024/05/07 19:24
集群同时运行的最大作业数
<name>yarn.scheduler.capacity.maximum-applications</name>
    <value>100</value>

default 队列同时运行的最大作业数
 <name>yarn.scheduler.capacity.root.default.maximum-applications</name>
    <value>10</value>

am 所占资源最大比例,用来控制同时运行的作业数
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.1</value>

默认的资源计算器,使用内存作为度量
<name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>

子队列分别占用资源的百分比,所有子队列的和应该是100
<name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>50</value>
 <name>yarn.scheduler.capacity.root.datadev.capacity</name>
    <value>50</value>

用户可以占用队列分配的资源的比例,0-1
<name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
    <value>1</value>

队列可以使用资源的最高比例
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>80</value>

队列的状态:RUNNING   STOPPED
<name>yarn.scheduler.capacity.root.default.state</name>
    <value>RUNNING</value>

队列访问控制,用户与用户之间用“,”隔开,用户和组之间用“ ”空格隔开
<name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
    <value>datadev </value>

队列管理权限,格式同访问权限配置
<name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
    <value>datadev datadev</value>

为了尽量调度rack-local的container,可以等待的次数,默认-1表示关闭此项功能。
通常设置为机架数量
<name>yarn.scheduler.capacity.node-locality-delay</name>
    <value>-1</value>



root队列的子队列,子队列也可以细分成多个队列
<name>yarn.scheduler.capacity.root.queues</name>
    <value>default,datadev</value>

原创粉丝点击