大数据学习笔记2-MapReduce

Map-Reduce是一种计算模式，用于实现管理多个大规模计算过程。保证对硬件故障的容错性。

通常包含Map和Reduce两种函数。

1. 一个系统可包含多个Map任务，输入为分布式文件（DFS）中的一个或者多个文件块。 Map的任务是将文件块转化成一个键值对序列。

2. 系统的主控制器从每个Map任务中收集一系列键值对，并对其按照键大小进行排序。这些键值对又被分到所有的Reduce任务中，所以具有相同键值对的键会被分到同一Reduce任务中。

3. Reduce任务每次作用于 一个键，并将与此键关联的所有值以某种方式组合起来。