MapReduce中Shuffle过程整理
来源:互联网 发布:淘宝店铺宣传语大全 编辑:程序博客网 时间:2024/04/27 18:03
MapReduce中的Shuffle过程分为Map端和Reduce端两个过程。
Map端:
1.(Hash Partitioner)执行完Map函数后,根据key进行hash,并对该结果进行Reduce的数量取模(该键值对将会由某个reduce端处理)得到一个分区号。
2.(Sort Combiner)将该键值对和分区号序列化之后的字节写入到内存缓存区(大小为100M,装载因子为0.8)中,当内存缓冲区的大小超过100*0.8 = 80M的时候,将会spill(溢出);在溢出之前会在内存缓冲区中对 该键值对和分区号序列化之后的字节 进行排序,并合并缓冲区中key相同的key-value对。
3.(Merge)对于map结果有多个spill文件的情况,会将这些文件再进行一次合并,合并每个spill文件中key相同的key-value对,然后形成一些新的文件并删除spiil文件(注意:map端的输出文件存储在本地磁盘上,而不是在HDFS上);对只有一个spill文件的情况,直接结束Map端的shuffle。
Reduce端:
1. (Copy)从每个map端使用HTTP拷贝需要的文件
2. (Merge)对于从每个map端得到的文件进行在内存(该内存不仅仅是100M,而是JVM中堆的大小,因为此时不执行Reduce任务,JVM的内存可以全部让Merge使用)中合并,合并每个文件中key相同的key-value对,将结果存储在内存或者HDFS上,作为Reduce函数的输入。
参考文献:
1. http://www.linuxidc.com/Linux/2015-05/118028.htm
2. http://blog.csdn.net/lifuxiangcaohui/article/details/39698273
- MapReduce中Shuffle过程整理
- MapReduce中Shuffle过程整理
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- 详解MapReduce shuffle 过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- MapReduce:详解Shuffle过程
- mapreduce shuffle过程问答
- MapReduce:详解Shuffle过程
- Windows下安装MySQL服务
- 甲骨文中间件与主数据管理平台
- lnmp环境搭建(nginx负载配置)
- 微信公众号开发
- 无线路由器被蹭网后,有被黑的风险吗?
- MapReduce中Shuffle过程整理
- django model field
- (JS错误)document对象操作,获取对象的错误
- iOS 模拟器(Simulator) 简介
- hhhhh
- 动态多态入门示例之虚函数
- js动态添加table,select等
- 27. Remove Element
- 动态SQL字符长度超过8000