yarn运行mapreduce的工作机制

yarn的基本概念

1. yarn并不清楚用户提交的程序的运行机制
2. yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）
3. yarn中的主管角色叫ResourceManager
4. yarn中具体提供运算资源的角色叫NodeManager
5. 这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序，tez
   ……
6. 所以，spark、storm等运算框架都可以整合在yarn上运行，只要他们各自的框架中有符合yarn规范的资源请求机制即可
7. Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享

---

yarn运行mapreduce的工作机制

1. 客户端向yarn提交mr程序(application)，job.submit()
2. resourcemananger返回一个mr提交的hdfs路径，hdfs://…./.staging/application_id(Jobid)
3. 客户端把相应的资源文件上传至hdfs的…../.staging/application_id(Jobid)路径下（job.split、job.xml、jar包等等）
4. 资源提交完毕，向rm申请运行mrApplication
5. 将用户的请求初始化成一个task并放入消息队列
6. nodemanager领取task任务
7. 根据任务描述信息，创建mrAppmaster容器，并从hdfs拉取资源文件
8. 申请运行maptask/reducetask的运行容器
9. nodemanager领取任务信息，并分配maptask/reducetask运行容器
10. mrAppmaster启动相应的maptask/reducetask进程，进行mapreduce操作

11. 整个job运行完毕后，mrAppMaster会向RM注销自己

    ---