Hadoop MapReduce 过程概述

　　   一个MapReduce任务就是一个Job。Job分为2个阶段：Map 和 Reduce

　　Map函数接收一个形式的输入，然后产生一个形式的中间输出，Hadoop会把相同中间Key值的value集合在一起传给reduce函数。

　　reduce 函数接收 形式的输入，然后对values集合进行处理，输出形式。

　　一个MapReduce Job 包括：输入数据，MapReduce程序和配置信息(Configuration)。Hadoop将 Job 分成多个 tasks ：map tasks 和 reduce tasks。

　　Hadoop集群中有两类节点，一个jobtracker 和多个tasktrackers。

　　Hadoop 对 【输入数据分片】，为每个分片创建一个map task。大多数情况下，分片大小与HDFS中块大小一致。Map 任务在每个数据节点上运行。Map 将中间结果保存在本地文件系统中。

　　如果只有一个reduce task，map task 的输出经过排序处理，发送到运行 reduce task的节点。

　　如果有多个reduce task，map task 会对输出进行partition。一个分区对应一个reduce 任务。Map 的中间结果会分配到分区中，相同Key的输出在一个分区中。可以自定义分区函数，默认是哈希分区算法。