Hadoop调度器

调度器

    概念：调度器队列的方式来管理job，队列内部通过某种机制实现job的运行。

    原理：每一种调度器中可以有对个队列，但是所有的队列必须在”root”下面root.root,hadoop默认的队列是root.default。

1、容量调度

    APACHE：容量调度

    名称：capacity.CapacityScheduler

    概念：根据当前队列的任务个数与分配资源的比值，选择较小的一个。

    策略：默认是FIFO(先进先出)，会考虑用户资源和内存的限制，可以自己指定提交到某一个队列

2、公平调度

    CDH：公平调度

    名称：fair.FairScheduler

    概念：所有的job队列平分资源。

    策略：job1进入队列->获取该队列的所有资源->等到job2进入->重新平分资源->所有的资源都被平分，限制每个队列job提交个数。

    内部队列的调度还是fair,所有的job不能再”root”中运行，必须在叶子节点运行