Yarn通信协议与工作流程

一. Yarn通信协议

在 YARN 中，任何两个需相互通信的组件之间仅有一个 RPC 协议，而对于任何一个 RPC 协议，通信双方有一端是 Client，另一端为 Server，且 Client 总是主动连接 Server 的，因此，YARN 实际上采用的是拉式（pull-based）通信模型。如图所示，箭头指向的组件是 RPC Server，而箭头尾部的组件是 RPC Client，YARN 主要由以下几个 RPC 协议组成 ：

• JobClient(作业提交客户端）与 RM 之间的协议—ApplicationClientProtocol：JobClient 通过该 RPC 协议提交应用程序、查询应用程序状态等。
  
• Admin（管理员）与RM 之间的通信协议—ResourceManagerAdministrationProtocol：Admin 通过该 RPC 协议更新系统配置文件，比如节点黑白名单、用户队列权限等。
• AM与RM之间的协议—ApplicationMasterProtocol ：AM 通过该 RPC 协议向 RM注册和撤销自己，并为各个任务申请资源。
• AM与NM之间的协议—ContainerManagementProtocol ：AM 通过该 RPC 要求NM 启动或者停止 Container，获取各个 Container 的使用状态等信息。
• NM与RM之间的协议—ResourceTracker ：NM 通过该 RPC 协议向 RM 注册，并定时发送心跳信息汇报当前节点的资源使用情况和 Container 运行情况。

二. Yarn工作流程

当用户向 YARN 中提交一个应用程序后，YARN 将分两个阶段运行该应用程序 ：第一个阶段是启动 ApplicationMaster；第二个阶段是由 ApplicationMaster 创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。如图 2-11 所示，YARN 的工作流程分为以下几个步骤：

• 步骤 1　用户向 YARN 中提交应用程序，其中包括 ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。
  
• 步骤 2　ResourceManager 为该应用程序分配第一个 Container，并与对应的 Node-Manager 通信，要求它在这个 Container 中启动应用程序的 ApplicationMaster。
  
• 步骤 3　ApplicationMaster 首先向 ResourceManager 注册，这样用户可以直接通过ResourceManage 查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤 4~7。
• 步骤 4　ApplicationMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。
• 步骤 5　一旦 ApplicationMaster 申请到资源后，便与对应的 NodeManager 通信，要求它启动任务。
• 步骤 6　NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
• 步骤 7　各个任务通过某个 RPC 协议向 ApplicationMaster 汇报自己的状态和进度，以让 ApplicationMaster 随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过 RPC 向 ApplicationMaster 查询应用程序的当前运行状态。
• 步骤 8　应用程序运行完成后，ApplicationMaster 向 ResourceManager 注销并关闭自己。