hadoop2任务提交过程
来源:互联网 发布:知世头像 编辑:程序博客网 时间:2024/06/06 03:20
1.在hadoop任意节点上通过 bin/hadoop jar命令开始任务;RunJar进程启动,相当于一个客户端client,计算输入分片。RunJar内置有一个Cluster对象,通它过可以向ResourceManager进行rpc通信;
2、客户端向ResourceManager申请作业ID,并且把作业资源文件包括MapReduce程序打包的jar文件、配置信息和客户端计算的输入划分信息存入共享文件系统(如hdfs);作业ID可以让作业加入队列,输入划分信息决定了ResourceManager为该作业启动多少个map任务等信息。
3.ResourceManager启动appMaster(一个java应用程序,主类是MRAppMaster),对作业进行初始化,接收来自共享系统(HDFS)的在客户端计算好的输入分片。每一个分片创建一个map任务,以及由客户端指定的或配置文件指定的默认的reduce的任务对象。
4.appMaster根据客户端计算好的数据分片信息划分map任务或者reduce任务,向resourceManager请求计算资源,包括cpu核数、内存资源等待以启动container。默认情况下,appMaster会根据分片信息,尽量把map任务分配在数据所在的本地节点上。
5.container启动后,首先将任务所需要的资源本地化,即接受共享文件系统中存储的作业的配置,jar文件等等,运行map或者reduce任务。
6.appMaster每隔一定时间接收任务的实时状态和进度,客户端每秒钟查询一次appMaster的任务状态。
7.作业完成后,appMaster和任务容器清理器工作状态。
- hadoop2任务提交过程
- Hadoop任务提交过程
- hadoop任务提交过程
- hadoop提交任务过程
- storm 任务提交过程
- hadoop2 作业执行过程之作业提交
- Hadoop2.*源码分析之Job任务提交与执行
- 基于hadoop2.5提交mapreduce任务的几种方式
- hadoop2提交到Yarn: Mapreduce执行过程分析
- hadoop2提交到Yarn: Mapreduce执行过程分析
- hadoop2提交到Yarn: Mapreduce执行过程分析
- hadoop2提交到Yarn: Mapreduce执行过程分析1
- hadoop2提交到Yarn: Mapreduce执行过程分析2
- hadoop2提交到Yarn: Mapreduce执行过程reduce分析3
- hadoop2提交到Yarn: Mapreduce执行过程分析1
- hadoop2提交到Yarn: Mapreduce执行过程分析2
- hadoop2提交到Yarn: Mapreduce执行过程reduce分析3
- hadoop2提交到Yarn: Mapreduce执行过程分析1
- 微信小程序开发(十)小程序支付-查询退款
- linux常用指令
- input框focus时的美化效果
- Python2和Python3的区别
- 【OpenCV入门教程之四】 ROI区域图像叠加&初级图像混合 全剖析
- hadoop2任务提交过程
- OpenCL实例
- hibernate
- centos7 下安装curl 和 composer
- 一致性HASH算法详解
- 在Github和Git上fork之简单指南
- opencv 内存图像操作
- HashMap、HashSet、TreeMap、TreeSet判断元素是否存在的逻辑
- 复仇之路——我一定要学会linux系统