Mapreduce(二):MR的执行过程分析
来源:互联网 发布:成都姣美网络 编辑:程序博客网 时间:2024/06/05 08:04
1.MR的作业执行流程图
(1).客户端提交一个mr的jar包给JobClient(提交方式:hadoop jar ...)
(2).JobClient通过RPC和JobTracker进行通信,返回一个存放jar包的地址(HDFS)和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息,不是jar, 包括jobid,jar存放的位置,配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件,开始计算输入分片,每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务(任务的描述信息)
(8).下载所需的jar,配置文件等
(9).TaskTracker启动一个java child子进程,用来执行具体的任务(MapperTask或ReducerTask)
(10).将结果写入到HDFS当中
0 0
- Mapreduce(二):MR的执行过程分析
- 分析MapReduce执行过程
- 分析MapReduce执行过程
- 云计算(二十二)- 分析MapReduce执行过程
- Mapreduce执行过程分析(基于Hadoop2.4)——(二)
- Mapreduce执行过程分析(基于Hadoop2.4)——(二)
- 【MR原理-2】MapReduce作业提交与初始化过程分析
- Hadoop执行MR Job的基本过程
- MapReduce的执行过程介绍
- Hadoop的MapReduce执行过程
- Netty的启动执行过程分析(二)
- Hue中使用Oozie的workflow执行MR过程
- 【MR】MapReduce 常见的排序
- 【MR】经典的MapReduce(MapReduce 1) 运行机制
- mapreduce任务执行过程详细分析--源码级分析
- 《MapReduce:详细介绍Shuffle的执行过程》
- mapreduce的执行流程以及shuffle过程
- hadoop中mapreduce的执行过程
- iOS视频拍摄与压缩
- 取得多选框值
- 《Hamiltonian Cycle》题目分析
- Qt Embedded Linux下隐藏鼠标箭头
- MVC Kendo总结之-----> TabStrip
- Mapreduce(二):MR的执行过程分析
- 闭包漫谈(从抽象代数及函数式编程角度)
- 语法参考系列——(一)如何读懂Swift的语言参考
- html中背景图不随着鼠标的转动改变大小
- 哈希查找
- iOS蓝牙开发(一)蓝牙相关基础知识
- CUDA优化(重要)
- 一个简单网页的制作-飘雪
- python上机题:黑色星期五