Hadoop基础教程-第7章 MapReduce进阶(7.2 MapReduce工作机制)(草稿)
来源:互联网 发布:html模板仿淘宝 编辑:程序博客网 时间:2024/05/16 23:55
第7章 MapReduce进阶
原文地址:http://blog.csdn.net/chengyuqiang/article/details/73382034
7.2 MapReduce工作机制
本节将从作业的角度来解读一个作业时如何在MapReduce计算框架下提交、运行等。注意,在Hadoop 2.x中,MapReduce的工作机制已经被YARN的工作机制所替代。
YARN框架下的Mapreduce工作流程如下图所示:
从图中可以看出YARN运行MapReduce的过程有11个步骤,我们分别来看看:
(1) 客户端向集群提交作业,启动一个job。
(2) Job从资源管理器ResourceManager获取新的作业应用程序ID。
(3) 客户端检查作业的输出情况,计算输入分片,并将作业jar包、配置、分片信息等作业资源复制到HDFS。
(4)Job通过调用资源管理器ResourceManager的 submitApplication() 方法提交作业。
(5) ResourceManager接收到作业后,将作业请求传递给调度器。ResourceManager分配一个container,然后ResourceManager在NodeManager的管理下,在container中启动一个ApplicationMaster进程。
(6)ApplicationMaster对作业进行初始化,并保持对作业的跟踪,判断作业是否完成。
(7)ApplicationMaster根据存储在HDFS中的分片信息确定Map和Reduce的数量,获取计算出的输入分片,为每个分片创建一个map任务。并创建reduce任务。
(8)ApplicationMaster为本次作业的Map和Reduce以轮询的方式向ResourceManager申请container。master为作业向资源管理器请求一个容器来运行任务。
(9)ApplicationMaster获取到container后,与NodeManager进行通信启动container。
(10)container从HDFS中获取作业的jar包、配置和分布式缓存文件等,将任务需要的资源本地化。
(11)container启动Map或Reduce任务。
- Hadoop基础教程-第7章 MapReduce进阶(7.2 MapReduce工作机制)(草稿)
- Hadoop基础教程-第7章 MapReduce进阶(7.1 MapReduce过程)(草稿)
- Hadoop基础教程-第7章 MapReduce进阶(7.3 MapReduce API)(草稿)
- Hadoop基础教程-第6章 MapReduce入门(6.1 MapReduce介绍)(草稿)
- Hadoop基础教程-第6章 MapReduce入门(6.4 MapReduce程序框架)(草稿)
- Hadoop基础教程-第7章 MapReduce进阶(7.5 MapReduce 连接)
- Hadoop基础教程-第7章 MapReduce进阶(7.6 MapReduce 二次排序)
- Hadoop基础教程-第7章 MapReduce进阶(7.7 MapReduce 全排序)
- Hadoop基础教程-第6章 MapReduce入门(6.2 解读WordCount)(草稿)
- Hadoop基础教程-第6章 MapReduce入门(6.3 加速WordCount)(草稿)
- Hadoop基础教程-第6章 MapReduce入门(6.5 温度统计)(草稿)
- Hadoop基础教程-第7章 MapReduce进阶(7.4 自定义Key类型)
- Hadoop基础教程-第12章 Hive:进阶(12.1 内置函数)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.2 自定义函数)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.3 HiveServer2)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.4 Hive Metastore)(草稿)
- Hadoop基础教程-第12章 Hive:进阶(12.5 Hive外表)(草稿)
- 《hadoop权威指南》学习笔记-MapReduce工作机制(上)
- Html-样式表、字体、背景图
- (转)李开复的美东AI见闻
- hadoop2.2.0集群的高可用配置
- SDUT-3106 小鑫数数儿
- 文本编程:模仿卡拉OK文本变色
- Hadoop基础教程-第7章 MapReduce进阶(7.2 MapReduce工作机制)(草稿)
- linux 文件压缩解压
- 在Linux Opensuse42.2上使用dnw向Tiny6410下载程序
- 文本编程:模仿记事本
- PHP文件操作
- CodeForces-698A Vacations(水题)
- 路径层
- Activity的退出应用程序
- DC使用入门