Hadoop学习3：Hadoop核心组件-MapReduce

HDFS用于解决大数据的存储，而MapReduce用于解决大数据的分析计算。
MapReduce：Hadoop分布式计算框架的一种，适合于离线计算。
Storm：流式计算框架，适合实时计算。
Spark：内存计算框架，适合快速得到结果。

Mapreduce设计理念

• 移动计算，而不移动数据
  计算框架MR
  
• 四个步骤：
  1 ：split(切成块)：对HDFS上的数据处理成一个一个的碎片快，每一个片段有一个map线程并发执行；

split计算公式：max.split、min.split、blocksplit = max(min.split , min( block , max.split))所以一般是Block的大小，即128M

2 ：map(Java线程，输出和输入必须键值对)，map的执行由程序员控制；
3 ：shuffler(合并和排序，相同的key合并，并处理成集合)；
4 ：reduce(reduce有可能只有一个，有程序决定)

Shuffler

shuffler处于map和reduce之间的一个步骤，大部分工作由MapReduce框架自己完成，程序员只可以控制一小部分。
- 可以把map的输出按照某种key值重新切分和组合成n份，把key值符合某种范围的输出送到特定的reduce去处理；
- 可以简化reduce的过程。

在map的机器中操作
1 . map得到的结果放在内存中，当到达一定值就会溢写；每个maptask对应一个内存缓冲区，默认100M，存储map的输出结果。80%时就会溢写，留有20%用于继续处理map的输出结果。
当缓冲区快满的时候，将缓冲区的数据以一个临时文件的方式存放在磁盘。
溢写有单独线程完成，不影响往缓冲区写map结果的线程。（spill.percent，默认80%）。

2 . partition，分区。同一分区的数据会被放在同一个reduce中处理，用于解决负载均衡和数据倾斜问题。可以自定义，也有默认分区规则（对key取hash值，然后对reduce的个数进行模运算 hashVal%reduceNum）。
3 . sort：默认排序方式-ASCII码值排序，即字典排序。（10排在9的前面），可自定义。
4 . spill to disk：溢写到磁盘。
5 . merge on disk：把溢写的文件按照hash值（及key值相同）合并：combiner，目的：提高下一步网络数据copy的效率，可以自定义。

进入reduce的机器中操作
6 . 根据分区把各个map数据copy到reduce中。
7 . 将得到的数据merge合并，key相同合并。
8 . 把执行的结果合并。

---

*注：map不可能产生数据倾斜，只有reduce会产生。
原因：map的数据来源split，而split是按照一定规则的，同时split的数据来源于block，因而，输入map中的数据是大小基本相同的。reduce的数据来源于shuffle的，取决于partition，好的partition可以避免数据倾斜*。