hadoop 2.6 YarnScheduler接口用到的类分析

YarnScheduler是Yarn所有调度器必须实现的接口，因此，分析它所用的类对于理解调度器的功能，为以后自定义调度器打下了基础。

1. QueueInfo

QueueInfo 报告了一个队列在运行时的信息。它包含以下信息：队列名称。队列中的容量。队列的最大容量。队列的当前容量。子队列。正在运行的程序。队列的状态。

QueueState 是一个枚举类，有两个元素：

  STOPPED --Stopped状态不接受任何新程序。

 RUNNING --正常状态

public enum QueueState {  /**   * Stopped - Not accepting submissions of new applications.   */  STOPPED,    /**   * Running - normal operation.   */  RUNNING}

QueueACL是一个枚举类，有两个元素：

  SUBMIT_APPLICATIONS -- 可以把程序提交到这个队列的ACL。

  ADMINISTER_QUEUE -- 管理这个队列的ACL。

public enum QueueACL {  /**   * ACL to submit applications to the queue.   */  SUBMIT_APPLICATIONS,    /**   * ACL to administer the queue.   */  ADMINISTER_QUEUE,}

ApplicationAttemptId 就是ApplicationMaster的一次运行尝试，有两个成员，一个是ApplicationId，一个是int attemptId。

ApplicationId代表一个应用的全局唯一标识，标识的字符串内容为：appIdStrPrefix + this.getClusterTimestamp() + "_"    + appIdFormat.get().format(getId());

其中：appIdStrPrefix = "application_";

          cluster timestamp = start-time of theResourceManager

          getId() 返回当前程序的ID,程序的ID用一个单向递增的计数器生成，然后再格式化成最少4位数的字符串。

         

allocate方法是最重要的方法，定义如下所示：

  Allocation   allocate(ApplicationAttemptId appAttemptId,       List<ResourceRequest> ask,      List<ContainerId> release,       List<String> blacklistAdditions,       List<String> blacklistRemovals);

ResourceRequest:　代表一个应用程序向ResourceManager申请获得各种Container的请求。它包含

　　Priority: request的优先级（Priority ）

　　Location: 所需要容器所在的服务器或者机架的位置。‘*’代表任何服务器都可以。

　　Resource: 以上条件下的容器的数量。

　　RelaxLocality: 是否可以宽松本地化，默认为true。

ContainerId: 代表一个容器在集群中的全局唯一标识,　包括ApplicationAttemptId appAttemptId,      long containerId

SchedulerNodeReport getNodeReport(NodeId nodeId);

NodeId 是一个结点的唯一标识，包括结点的主机名称和端口。

SchedulerNodeReport有三个字段，第一个是已经使用了的资源，第二个是未分配的资源，第三个是正在运行的容器数量。

SchedulerAppReport有三个字段，第一个是正在使用的资源，第二个是保留的资源，第三个是是否处于暂停状态。

ApplicationResourceUsageReport 有以下字段：

    numUsedContainers：已经使用了的容器数量。

    numReservedContainers：已经保留了的容器数量。

    usedResources：已经使用了的资源。

   reservedResources：保留的资源。

   neededResources: 需要的资源。

   memory_seconds：程序分配的内存乘以运行的时间（以秒计）。

  vcore_seconds：程序分配的cpu数乘以运行的时间（以秒计）。

public enum RMContainerState {  NEW,   RESERVED,   ALLOCATED,   ACQUIRED,   RUNNING,   COMPLETED,   EXPIRED,   RELEASED,   KILLED}

Container代表一个集群中分配了的资源。ResourceManager有对应用分配容器的唯一权威。分配的Container总是在单个结点上，并且有唯一的ContainerId.它有一定量的资源。它包括以下内容：

  ContainerId：全局唯一。

  NodeId: 分配的结点。

  nodeHttpAddress：结点的uri.

  Resource:分配的资源。

  Priority:优先级

  Token:Container的Token.

  一般来说,在资源协商过程中，ApplicationMaster从ResourceManager接收Container，然后和NodeManager交互来启动或者停止Container.

 QueueEntitlement是队列的应得权益。 在FairScheduler中是weights,在CapacityScheduler中代表Capacity.