Hadoop之YARN及运行流程

YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

YARN通用资源管理框架组成部分：

1，ResourceManager（RM）：由Scheduler（资源调度器）和ApplicationsManager（ASM：应用管理器）2个组件组成。RM和每个NodeManager (NM)构成一个资源估算框架，管理协调分配集群中的资源，对集群中所有的资源拥有最终最高级别的仲裁权。

      Scheduler：资源调度器主要负责将集群中的资源分配。Yarn默认实现了如下资源调度器：
      

        ApplicationsManager：应用管理器主要负责接收应用程序，协商获取第一个Container用于执行AM，并且在AM Container失败后，提供重启服务。

2，ApplicationMaster（AM）：主要与RM协商获取应用程序所需资源。实际的资源都在NM中，所以AM和NM合作，在NM中运行任务，AM和MapReduce TASK都运行在Container中，Container由RM调度（启动/停止）并由NM(NodeManager)管理，监控所有Task的运行情况，在任务运行失败时，重新为任务申请资源以启动任务。

注：（MRAppMaster是mapreduce的ApplicationMaster实现）

3，Nodemanager（NM）：用来启动和监控本地计算机资源单位Container的利用情况，是每个节点上的资源和任务管理器，定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态，并且接受并处理来自AM的Container启动/停止等请求。

4，Container：Container是yarn资源的抽象，它封装了某个节点上的多维度资源（内存，cpu，磁盘，网络等），当AM向RM申请资源时，RM为AM返回的资源便是用 Container表示的。yarn会为每个任务分配一个Container，且该任务只能使用该Container描述的资源，它是一个动态资源划分单位，是根据应用程序的需求动态生成的。（目前yarn只支持cpu和内存2种资源）

注：（YarnChild是Container实现）

来源：http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

JOB运行流程：

1：用户向YARN中提交JOB，当在配置文件中设置mapreduce.framework.name为yarn时候，MapReduce2.0继承接口ClientProtocol的模式就激活了。RM会生成新的Job ID（即Application ID)，接着Client计算输入分片，拷贝资源(包括Job JAR文件、配置文件，分片信息)到HDFS，最后用submitApplication函数提交JOB给RM。

获取新的JobID源码（org.apache.hadoop.mapred.YARNRunner）：

  @Override  public JobID getNewJobID() throws IOException, InterruptedException {    return resMgrDelegate.getNewJobID();  }

submitApplication提交应用程序源码（org.apache.hadoop.mapred.YARNRunner）：

@Override  public JobStatus submitJob(JobID jobId, String jobSubmitDir, Credentials ts)  throws IOException, InterruptedException {        addHistoryToken(ts);        // Construct necessary information to start the MR AM    ApplicationSubmissionContext appContext =      createApplicationSubmissionContext(conf, jobSubmitDir, ts);    // Submit to ResourceManager    try {      ApplicationId applicationId =          resMgrDelegate.submitApplication(appContext);      ApplicationReport appMaster = resMgrDelegate          .getApplicationReport(applicationId);      String diagnostics =          (appMaster == null ?              "application report is null" : appMaster.getDiagnostics());      if (appMaster == null          || appMaster.getYarnApplicationState() == YarnApplicationState.FAILED          || appMaster.getYarnApplicationState() == YarnApplicationState.KILLED) {        throw new IOException("Failed to run job : " +            diagnostics);      }      return clientCache.getClient(jobId).getJobStatus(jobId);    } catch (YarnException e) {      throw new IOException(e);    }  }

通过Eclipse的Hadoop插件，可以查看应用程序的相关信息：

2：ASM（应用管理器）接受submitApplication方法提交的JOB，则将其请求交给Scheduler（调度器）处理，Scheduler（调度器）分配Container，同时RM在NM上分配应用程序第一个Container来启动AM进程，MRAppMatser会初始化一定数量的记录对象(bookkeeping)来跟踪JOB的运行进度， 并收集每个TASK的进度和完成情况，接着MRAppMaster收集计算后的输入分片情况，如果应用程序很小，能在同一个JVM上运行，则用uber模 式，下面会讲满足什么情况才采用uber模式。

3： 如果不在uber模式下运行，则Application Master会为所有的Map和Reducer Task向RM请求Container，所有的请求都通过heartbeat(心跳)传递，心跳也传递其他信息，例如关于map数据本地化的信息，分片所 在的主机和机架地址信息，这些信息帮助调度器来做出调度的决策，调度器尽可能遵循数据本地化或者机架本地化的原则分配Container。
在 Yarn中，例如，用yarn.scheduler.capacity.minimum- allocation-mb设置最小申请资源1G，用yarn.scheduler.capacity.maximum-allocation-mb设置最大可申请资源10G 这样一个Task申请的资源内存可以灵活的在1G~10G范围内

4： 获取到Container后，NM上的Application Master就联系NM启动Container，Task最后被一个叫org.apache.hadoop.mapred.YarnChild的main 类执行，不过在此之前各个资源文件已经从分布式缓存拷贝下来，这样才能开始运行map Task或者reduce Task。PS：YarnChild是一个(dedicated)的JVM。

5：当Yarn运行同时，各个Container会报告它的进度和状态给Application Master，客户端会每秒轮询检测Application Master，这样就随时收到更新信息，这些信息可以通过Web UI来查看。

6：客户端每5秒轮询检查Job是否完成，期间需要调用函数Job类下waitForCompletion()方法,Job结束后该方法返回。轮询时间间隔可以用配置文件的属性mapreduce.client.completion.pollinterval来设置

7：应用程序运行完成后， MRAppMaster向ResourceManager注销并关闭自己。

YARN能够调度CPU和内存，有些任务使用CPU比较多，有些任务就比较占内存，所以要根据任务的特点合理的利用计算机资源。