MapReduce执行过程总结
来源:互联网 发布:昆吾九鼎投资知乎 编辑:程序博客网 时间:2024/05/24 06:40
宏观上MapReduce可以分为以下三个阶段,如下图1所示。
阶段1:input/map/partition/sort/spill
阶段2:mapper端merge
阶段3:reducer端merge/reduce/output
图1 MapReduce执行过程
以下分别对上述三个阶段详解。首先是Mapper段的执行逻辑,如图2所示:
Step 1.将key/value/Partition写入到内存缓冲区中
Step 2.当缓冲区使用量达到一定阀值,将其spill到disk上,spill前,需要进行排序
Step 3.排序时先按照Partition进行排序,再按照key进行排序,默认排序算法是快速排序。
注意: 在内存中进行排序时,数据本身不用移动,仅对索引排序即可
注意:
1. 由于每一个spill文件都是按分区和key排序好的,所以归并完的文件也是按分区和key排序好的。
2.在进行归并的时候,不是一次性的把所有的spill文件归并成一个大文件。而是部分spill文件归并成中间文件,然后中间文件和剩下的spill文件再进行归并。
图3 Map端Merge
最后是Reducer端的Merge和Reduce,分为以下几步,如图四所示:
1. 当有新的MapTask事件完成时,拷贝线程从指定的机器上面拷贝数据
2. 当数据拷贝的时候,分两种情况,当数据量小的时候就会写入内存当中,当数据量大的时候就会写入硬盘当中
3. 来自不同的机器的多个数据文件,需要归并成一个文件.在拷贝文件过程中会进行文件归并操作.
图4 Reducer端Merge和Reduce
转载请注明出处。
- MapReduce执行过程总结
- MapReduce执行过程
- MapReduce执行过程
- mapreduce执行过程
- MapReduce执行过程
- MapReduce执行过程
- MapReduce执行过程
- 分析MapReduce执行过程
- 详解MapReduce执行过程
- mapreduce 执行过程2
- mapreduce执行过程3
- 分析MapReduce执行过程
- MapReduce作业执行过程
- MapReduce的执行过程介绍
- mapreduce原理和执行过程
- MapReduce 原理及执行过程
- Hadoop MapReduce 程序执行过程
- Hadoop MapReduce执行过程详解
- 最全的Resharper快捷键汇总
- (8)安装桌面和VNC
- 新浪微博-随便看看
- RESTful API 设计指南
- SQL Server 2008 的版本和组件
- MapReduce执行过程总结
- Eclipse中设置svn下载的maven项目属性为web项目
- Opencv 图片视频不能正常显示问题
- android官方文档学习之Saving Data
- openfire+jwchat
- linux下查看进程/线程
- 修改postgresql用户密码
- Android几个常用功能代码(校园助手开发笔记)
- Hibernate对象的三种状态