wordcount详解shuffle机制

 最近在学习Hadoop，写过了一些小的程序，但是一直没弄明白mapreduce的实现原理。找了好多有关的博客和资料，他们都是从很底层的实现过程来讲解shuffle的，对于初学者来讲并不是适合学习的材料，因为那些概念都太抽象，再加上从单机到分布式的思维模式的转换，更加增加了学习的难度。所以，我一直想写一篇专门讲解shuffle或者说讲解mapreduce的博客，这篇博客不是给很专业的人看的，而是给初学者看的，让初学者知道这些数据在各个节点之间怎么流通，数据怎么一步一步的得到最终的结果，而不是把后面的实现过程全部展现出来，那些东西看了只会让初学者觉得难受。

 

本文主要以wordcount为例详细阐述shuffle的实现过程

 

一、map方法执行之前

 

 

我们知道，HDFS里的文件是分块存放在Datanode上面的，而我们写的mapper程序也是跑在各个节点上的。这里就涉及到一个问题，哪一个节点上的mapper读哪一些节点上的文件块呢？hadoop会自动将这个文件分片（split），得到好多split，这每一个split放到一个节点的一个mapper里面去读。然后在每一台有mapper任务的节点上都执行了这么一个操作，将分得到的split切割成一行一行的键值对，然后传给map方法。键是这每一行在split中的偏移量，值是每一行得到的字符串。

 

二、执行map方法

 
写过wordcount的朋友都知道，这个过程就是读到每一行，切割字符串，生成键值对写出去。

 

三、shuffle操作（一）

 

这个过程是在有map任务的节点上完成的

 

 

1. partition

将得到的键值对按照一定的规则分组，例如例子中将首字母为a的全部分到一组，将首字母为b的分到一组。这里只是为了讲明白这个方式，进行了过程简化，实际不一定是分为两组，也不一定是按照首字母分组。

 

2. sort

对每一个组中的键值对根据键的哈希码排序。

 

3. combine

将具有相同键的键值对合成一个新的键值对，这个新的键值对的键是原来的键，键值是所有键的键值之和。

 

四、shuffle操作（二）

 

这个过程是在有reduce任务的节点上完成的。

 

 

1. 拉取partition

hadoop决定有多少个reducer的时候会规定有多少个partition，每一个reducer拉取自己要处理的那个分组的全部成员。例如，某台节点要处理所有以a开头的键值对，它就会将所有mapper中的以a开头的那一组全部拉取过来。

 

2. merge

在每一个reducer上，将具有相同键的键值对生成另外一个新的键值对，键是以前的键，键值是一个以前键值的集合。

 

3. sort

在每一台reducer节点上，将新生成的键值对进行排序，根据 哈希码值。

 

五、reduce操作

 

 

 

 写过wordcount的朋友都知道，在reduce方法中，hadoop回传过来一个一个的键值对，键是每一个单词，键值就是四中新生成的键值对的键值。执行reduce操作，就是将每一个键值对中的键值累加起来。然后以键值对的形式将结果写出去。

 

六、文件写入HDFS

 

 

在每一台reducer节点上将文件写入，实际上是写成一个一个的文件块，但对外的表现形式是一整个大的结果文件。

 

 

以上就是mapreduce的全部过程，论述过程如有不当或者有别的见解，欢迎与我交流。