hadoop 控制map任务数详解

但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，默认为64M，可以通过参数dfs.block.size设置total_size : 输入文件整体的大小input_file_num : 输入文件的个数（1）默认map个数如果不进行任何设置，默认的map个数是和blcok_size相关的。default_num = total_size / block_size;（2）期望大小可以通过参数mapred.map.tasks来设置程序员期望的map个数，但是这个个数只有在大于default_num的时候，才会生效。goal_num =mapred.map.tasks;（3）设置处理的文件大小可以通过mapred.min.split.size 设置每个task处理的文件大小，但是这个大小只有在大于block_size的时候才会生效。split_size = max(mapred.min.split.size,block_size);split_num = total_size / split_size;（4）计算的map个数compute_map_num = min(split_num, max(default_num, goal_num))除了这些配置以外，mapreduce还要遵循一些原则。 mapreduce的每一个map处理的数据是不能跨越文件的，也就是说max_map_num <= input_file_num。 所以，最终的map个数应该为：final_map_num = min(compute_map_num, input_file_num)经过以上的分析，在设置map个数的时候，可以简单的总结为以下几点：（1）如果想增加map个数，则设置mapred.map.tasks 为一个较大的值。（2）如果想减小map个数，则设置mapred.min.split.size 为一个较大的值。

3.1 减小Map-Reduce job 启动时创建的Mapper数量
当处理大批量的大数据时，一种常见的情况是job启动的mapper数量太多而超出了系统限制，导致Hadoop抛出异常终止执行。解决这种异常的思路是减少mapper的数量。具体如下：
3.1.1 输入文件size巨大，但不是小文件
这种情况可以通过增大每个mapper的input size，即增大minSize或者增大blockSize来减少所需的mapper的数量。增大blockSize通常不可行，因为当HDFS被hadoop namenode -format之后，blockSize就已经确定了（由格式化时dfs.block.size决定），如果要更改blockSize，需要重新格式化HDFS，这样当然会丢失已有的数据。所以通常情况下只能通过增大minSize，即增大mapred.min.split.size的值。
3.1.2 输入文件数量巨大，且都是小文件
所谓小文件，就是单个文件的size小于blockSize。这种情况通过增大mapred.min.split.size不可行，需要使用FileInputFormat衍生的CombineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理，从而减少mapper的数量。具体细节稍后会更新并展开。
3.2 增加Map-Reduce job 启动时创建的Mapper数量
增加mapper的数量，可以通过减小每个mapper的输入做到，即减小blockSize或者减小mapred.min.split.size的值。